Vi ga databasen vår en chatboks. Jeg har ikke spurt en utvikler om en rapport siden.

Den dyreste delen av produktanalyse var aldri verktøyene. Det var å avbryte en utvikler hver gang jeg trengte et tall.

En tirsdag i august skrev jeg et spørsmål inn i en ny chatboks i det interne admin-dashbordet vårt: hvor mange brukere som prøvde studiomodus, endte opp med å lagre noe? Agenten fant ut hva den skulle spørre etter, sjekket hvordan dataene våre er strukturert, og kjørte de lesebaserte spørringene sine. Tjue sekunder senere hadde jeg svaret som en graf, pluss noen foreslåtte oppfølgingsspørsmål. Ingen utviklere ble avbrutt i produksjonen av den rapporten.

Hva som endret seg i hverdagen vår

Jeg er produktsjef i LI Solutions. Vi driver Shop Minis, fire KI-shoppingapper inne i Shopifys Shop app, og den chatboksen ga oss en dataanalytiker på vakt døgnet rundt.

Før vi bygde den, betydde hvert tall å spørre en utvikler: rundt tjue minutter med kontekstbytte på hans side, en time til en dag med venting på min. Den friksjonen lærte meg å slutte å stille små spørsmål. Jeg ba bare om data når jeg hadde et stort forslag å forsvare.

Nå stiller jeg kanskje ti ganger flere spørsmål enn jeg gjorde i vår. Noen fører ingen steder og er glemt før lunsj. Noen få ble til reelle punkter på veikartet som jeg aldri ville funnet i en kvartalsrapport. Månedsregningen for modellene bak alt dette er på nivå med en lunsj.

Sikkerhet var den første bekymringen da vi koblet en agent til en produksjonsdatabase. Agenten kan fysisk ikke endre noe: tilgangen er ren lesetilgang, og hver spørring sjekkes før den kjøres. Det verste en dårlig spørring kan gjøre, er å gi et feil svar eller et tregt et. Et feil svar kan jeg fange opp. En slettet tabell kan jeg ikke.

Å gi agenten forretningsreglene våre

Generiske tekst-til-SQL-verktøy reklamerer med 85%+ treffsikkerhet på benchmarks og faller til 10-20% på ekte bedriftsdata. De feiler fordi de mangler forretningskontekst: de vet ikke hva som betyr noe i produktet ditt, eller hvordan du definerer suksess.

Vi ga agenten vår nettopp den konteksten. Den kjenner hele datamodellen, hendelsestrakten i kanonisk rekkefølge og forretningsreglene. Å lagre som favoritt er den egentlige konverteringen, og lagringsrater betyr mer enn rene antall. Den kunnskapen bor sammen med koden, så når utviklerne endrer hva appene registrerer, oppdateres agentens bilde av virkeligheten med det, særegenheter og grensetilfeller inkludert.

ML-laget kjører på de samme skinnene i dag. En trent modell scorer hver generering etter hvor sannsynlig det er at den ender i en lagring, og viser hvilke faktorer som trekker sannsynligheten opp eller ned. Ved siden av kjører prognosene: estimert daglig bruk og KI-kostnad per app, uker frem i tid, slik at kapasitets- og budsjettplanlegging starter fra en prognosekurve i stedet for en gjetning.

Prediksjonene lander i den samme chatsamtalen. Jeg spør hvilken modus som driver flest lagringer ifølge modellen, og svaret kommer med modellens tall i ryggen i stedet for en magefølelse. Og ML-siden forblir strengt additiv. Hvis den noen gang går ned, merker brukerne våre ingenting i appene.

Å kjøre modellene på egen maskinvare

Den viktigste delen av denne arkitekturen er hvor den bor. ML-modellene kan kjøre helt og holdent på egen maskinvare, og lokale LLM-er er nå gode nok til analysearbeid. Hele analytikeren, både agent og modeller, kan dermed sitte i din egen infrastruktur, og sensitive rader forlater den aldri.

For oss er dette praksis, ikke teori. Vi bygger helseprodukter under strenge NDA-er der det rett og slett ikke er et alternativ å sende bruksmønstre til et eksternt API. Å kjøre modellene lokalt er slik de prosjektene får analyse i det hele tatt. Samme logikk gjelder fintech og ethvert produkt under strenge dataregler.

Lokale modeller har mindre dramatiske fordeler også. Du vet hva maskinvaren din koster hver måned, så en leverandørs prisendring kan ikke sprenge analysebudsjettet. Et eksternt avbrudd kan ikke ta dashbordet ditt offline. Og når en bedre åpen modell slippes, oppgraderer du i ditt eget tempo. Analyseinfrastrukturen tilhører deg.

Å ha en privat analytiker endret hvordan jeg behandler min egen nysgjerrighet. Jeg sjekker ikke lenger hvor opptatt utviklerteamet ser ut før jeg stiller et spørsmål. Jeg utforsker en magefølelse med en gang og dropper den hvis dataene sier nei.

Har du en produktdatabase og et internt dashbord, er dette en funksjon på en til to uker. Gi agenten ren lesetilgang. Skriv ned stammekunnskapen der den kan se den, og la den bo ved siden av koden. Noen må riktignok bruke noen dager på å oversette forretningsreglene til ord. Hos oss var det meg.