Live checks in de console¶
Het concept achter live checks staat in Live checks.
Op deze pagina geef je een agent live checks in de console, zie je hoe vaak elke check slaagt, en lees je wat de checks over één beurt van een gesprek besloten. Een live check is een regel waaraan elke echte beurt van de agent wordt gehouden, op de vraag die iemand stelde of op het antwoord dat het model gaf.
Je hebt een beheerdersaccount van de organisatie nodig, en de capability agents moet in het
plafond van de organisatie aanstaan; voor de slagingspercentages ook evaluations, en voor de
uitkomsten van een beurt threads. Hetzelfde doe je
met een sleutel in Live checks via de API.
Live checks aan een agent toevoegen¶
Live checks horen bij een agentversie, dus je schrijft ze waar je de rest van de versie schrijft:
- bij Agent toevoegen open je het ingeklapte onderdeel Live checks;
- bij een bestaande agent kies je Nieuwe versie en ga je naar de rij Live checks.
Kies Check toevoegen. Elke check is een eigen kaart, Check 1, Check 2 enzovoort, met een prullenbak in de hoek om hem te verwijderen. Een versie heeft hooguit 16 checks.
Vul de kaart van boven naar beneden in. De velden verderop hangen af van wat je kiest bij Soort, Waar en Wat er gebeurt, zodat alleen de velden verschijnen die die check gebruikt.
| Veld | Wat je invult |
|---|---|
| Naam | kleine letters, cijfers, - en _, hooguit 64 tekens, uniek binnen de versie. Wie een beurt tegengehouden ziet, krijgt deze naam te zien, zet er dus niets geheims in |
| Soort | de regel, zie De soorten |
| Omschrijving | optioneel, hooguit 300 tekens: je eigen zin voor de regel. Wordt een antwoord opnieuw gevraagd, dan leest het model hem als de regel die het brak |
| Waar | Op de vraag: wat de beller schreef, voordat er een model wordt aangeroepen. Op het antwoord: wat het model antwoordde. Gebruikt een tool leest wat de beurt deed en staat daarom alleen op het antwoord |
| Wat er gebeurt | Blokkeren: de check beslist over de beurt en houdt hem tegen bij een mislukking. Achteraf beoordelen: een beoordelaar geeft een steekproef van beurten een score als ze klaar zijn en raakt de beurt nooit aan; alleen voor een beoordeelde soort op het antwoord |
| Verwacht | de tekst die erin moet staan of juist niet; bij Gebruikt een tool de naam van de tool, of leeg voor een willekeurige tool; bij een beoordeelde soort de regel die de beoordelaar toepast, in je eigen woorden |
| Patroon en Langste treffer | bij Komt overeen met patroon: een reguliere expressie (RE2) waarvan een treffer de check laat falen, en hoeveel tekens een treffer hooguit beslaat, 1 tot 200 |
| Model van de rechter | bij een beoordeelde soort: het model dat beoordeelt. Leeg: dan beoordeelt het model waarop de beurt draait. Een agent met een router als model moet er een kiezen; een agent zonder eigen model die bellers met een router aanroepen ook, anders kan de check niet beslissen en houdt hij, als hij blokkeert, de beurt tegen |
| Drempel | bij een beoordeelde soort: de score van 0 tot 1 vanaf waar de check slaagt; leeg is 0,7 |
| Steekproef | bij Achteraf beoordelen: het aandeel beurten dat wordt beoordeeld, 0 tot 1; leeg is 0,1 |
| Antwoord opnieuw vragen bij een mislukking | bij een blokkerende check op het antwoord: faalt het antwoord, dan krijgt het model de regel te lezen en probeert het opnieuw |
| Melding | optioneel: Mislukkingsaandeel en Over de laatste resultaten, zie Een melding krijgen |
Het formulier heeft geen veld voor wat een beoordeelde check doet als de beoordelaar niet kan
beslissen (on_error); een check die je hier opslaat, houdt de instelling die hij heeft
(De velden van een check).
Onder de checks staan twee velden van de versie zelf, elk alleen zolang een check het nodig heeft:
- Standaardantwoord bij een geblokkeerde vraag verschijnt zodra een check op de vraag blokkeert, en is dan verplicht. Dit leest de beller als die check faalt; er wordt dan geen model aangeroepen. Hooguit 1000 tekens.
- Pogingen bij een opnieuw gevraagd antwoord verschijnt zodra een check het antwoord opnieuw vraagt: 1 tot 3, en 2 als je het leeg laat.
Sla de versie op zoals altijd, met Opslaan als v… of Opslaan als concept v…. Als concept opslaan laat je de checks eerst meten met een evaluatie voordat een sleutel ze draait (Concepten). Probeer het op de pagina van de agent past de checks van de versie die je probeert toe, zoals elke aanroep doet: een geweigerde vraag toont het standaardantwoord, en bij een achtergehouden antwoord staat er "Het antwoord is tegengehouden door een live check." Weigert Core een check, dan toont de kaart de zin van Core onder het veld waar het om gaat.
De soorten¶
| Soort | De check faalt wanneer |
|---|---|
| Bevat tekst | de tekst Verwacht niet bevat, hoofdletterongevoelig |
| Bevat geen tekst | de tekst Verwacht bevat, hoofdletterongevoelig |
| Komt overeen met patroon | de tekst een treffer van Patroon bevat |
| Gebruikt een tool | de beurt de tool uit Verwacht niet aanriep, of helemaal geen tool |
| Juist formaat | een beoordelaar vindt dat het antwoord niet het formaat volgt dat Verwacht beschrijft |
| Beleefde toon | een beoordelaar de toon niet professioneel, behulpzaam en beleefd vindt |
| Geen verzinsels | een beoordelaar iets verzonnen vindt |
| Eigen oordeel van een model | een beoordelaar vindt dat de tekst niet voldoet aan de regel in Verwacht |
De laatste vier zijn beoordeeld: elk is één aanroep van het beoordelingsmodel, dat de console de rechter noemt, op de sleutel waarmee de beurt draaide. Antwoordtijd, een check die een evaluatie wel kent, wordt bij een live check nog niet aangeboden.
Een patroon moet een langste treffer hebben. Core weigert een patroon dat eindeloos door kan lopen,
zoals .* of \w+, een patroon waarvan een treffer langer kan zijn dan Langste treffer, en een
patroon dat niets treft. NL\d{2}[A-Z]{4}\d{10}, een Nederlandse IBAN, is altijd 18 tekens lang, dus
een Langste treffer van 18 past. Bij een gestreamd antwoord houdt Core zoveel tekens achter
voordat het ze verstuurt; daarom doet die grens ertoe.
De checks van een versie lezen¶
De pagina van de agent toont de versie die je leest. De rij Live checks zet elke check op één regel: de naam, de soort, Op de vraag of Op het antwoord, Blokkeren of Achteraf beoordelen, dan het patroon of de verwachte tekst, je omschrijving, en de drempel, de rechter, de steekproef, vraagt opnieuw en de melding waar de check die heeft. Het standaardantwoord en het aantal pogingen staan onder de lijst.
Zien hoe vaak een check slaagt¶
Heeft de nieuwste versie van de agent live checks, dan staat op zijn pagina opzij de kaart Live checks in gebruik. Kies 24 uur, 7 dagen of 30 dagen. Per check toont de kaart het aandeel besliste uitkomsten dat slaagde, een balk in drie kleuren — geslaagd, gefaald en onbeslist — en de drie aantallen. Een uitkomst die niet kon beslissen, telt apart mee en nooit als mislukking, zodat hij het aandeel niet omlaag haalt. De aantallen tellen de uitkomsten van alle versies van de agent mee.
"In dit venster is nog geen enkele check toegepast" betekent dat er in die periode geen uitkomst van een check van de agent is vastgelegd: er draaide geen beurt, of de beurten die draaiden waren van een versie zonder checks.
Lezen wat de checks over één beurt besloten¶
Open het gesprek onder Traces en kies het bericht van de beurt in Wat er gebeurde. Is er op die beurt een live check toegepast, dan staat op de kaart rechts Live checks van deze beurt: de namen van de checks die faalden op één rode regel, en daarna één regel per uitkomst met de naam van de check en Geslaagd, Mislukt of Kon niet beslissen. Een uitkomst die niet slaagde, heeft een reden: een vaste zin bij een regel, de eigen zin van de beoordelaar bij een beoordeelde check. Werd het antwoord opnieuw gevraagd, dan zegt elke uitkomst over welke poging hij gaat, en een beoordeelde uitkomst heeft een score.
Een beurt waarvan een check op de vraag de vraag weigerde, deed geen aanroep van een model. Zo'n beurt heeft geen trace: onder Traces toont het gesprek niets. Lees de uitkomsten dan via de API (Live checks via de API).
Een beurt waarop geen check werd toegepast, heeft dit onderdeel niet. De uitkomst van een check die achteraf beoordeelt, verschijnt er alleen als de beurt in de steekproef viel, kort na de beurt, zodra de beoordelaar hem heeft gescoord. Zie Een trace lezen voor de rest van de pagina van het gesprek.
Een melding krijgen¶
Vul onder Melding van een check Mislukkingsaandeel (boven 0, hooguit 1) en Over de laatste resultaten (1 tot 1000) in. Zodra de check zoveel uitkomsten heeft en het aandeel daarvan dat faalde of niet kon beslissen het mislukkingsaandeel bereikt, krijgen de beheerders van de organisatie een melding Live check faalt per mail of Slack, hooguit één keer per dag per check. Een mislukkingsaandeel van 0,3 over de laatste 50 resultaten geeft een melding zodra 15 van de laatste 50 niet slaagden.
De melding noemt de agent en de check, nooit een vraag of een antwoord. Waar ze heen gaat, en de schakelaar waarmee je de soort uitzet, staan op de kaart Meldingen (Meldingen).