Så bygger du en AI-agent som håller i produktion

Att få en AI-agent att fungera en gång är enkelt. Att få den att fungera varje gång, för ärenden ingen förutsåg, är arbetet. Skillnaden ligger sällan i modellvalet utan i fyra saker: hur snävt uppdraget är, hur verktygen är byggda, vilka spärrar som finns och hur ni mäter träffsäkerheten.

Den vanligaste orsaken till att agentprojekt fastnar är att uppdraget är formulerat så brett att ingen kan avgöra om resultatet är rätt. Sköt kundtjänsten går inte att utvärdera. Föreslå ett svarsutkast på inkommande fakturafrågor och hämta uppgifterna ur affärssystemet går att utvärdera, ärende för ärende.

• Ett verktyg per tydlig uppgift, med ett namn som beskriver vad det gör
• Få parametrar, och tydliga fel när något saknas — agenten rättar sig efter felmeddelanden
• Returnera det som behövs för nästa steg, inte hela databasposten
• Gör läsning och skrivning till separata verktyg, så att skrivning kan kräva godkännande
• Gör skrivande anrop idempotenta, så att en omkörning inte skapar dubbletter

Mer information gör inte agenten klokare. Långa instruktioner och stora datamängder gör att det viktiga drunknar, ökar kostnaden per ärende och gör felen svårare att förstå. Ge agenten det som behövs för steget den står inför, och låt den hämta resten själv med ett verktyg.

• Låt agenten föreslå, men låt en människa godkänna det som är oåterkalleligt
• Sätt tak: belopp, antal ärenden per timme, antal steg per uppgift
• Begränsa åtkomsten till exakt de system uppgiften kräver, med egna behörigheter för agenten
• Logga varje verktygsanrop med indata, utdata och tidpunkt
• Ha en av-knapp som stänger agenten utan att stoppa resten av verksamheten

Samla tjugo till femtio verkliga ärenden med känt facit och kör dem som ett test varje gång ni ändrar instruktioner, verktyg eller modell. Utan det testet vet ni inte om en ändring gjorde agenten bättre eller sämre — ni vet bara att det kändes bättre i det exempel ni råkade prova.

• Hur ofta blir svaret rätt utan mänsklig rättelse?
• Hur ofta väljer agenten fel verktyg eller fastnar i loopar?
• Vad kostar ett ärende i modellanrop, och hur varierar det?
• Hur lång tid tar ett ärende jämfört med manuell hantering?

Modeller uppdateras ofta och beteendet ändras med dem. Bygg därför så att modellen är utbytbar: håll instruktioner, verktyg och utvärdering skilda från själva modellanropet. Då blir ett modellbyte ett test i stället för ett omtag.