Verbeteringen in de console¶

Het concept achter verbeteranalyses staat in Inzicht.

Op Verbeteringen lees je de voorstellen die verbeteranalyses over je agents en skills schrijven, en beslis je erover: toepassen, accepteren of negeren. Je zet de analyses aan en stelt ze in op Instellingen, tabblad Verbeteringen; daar kies je ook welke soorten voorstellen een analyse zelf toepast. Dezelfde handelingen doe je met een sleutel in Verbeteringen via de API.

Je hebt een beheerdersaccount van de organisatie nodig. Daarnaast moeten twee dingen aanstaan:

• De installatie draait verbeteranalyses. Staat dat uit, dan zeggen het scherm en het tabblad Deze omgeving draait geen verbeteranalyses. Vraag je operator om ze in te schakelen.
• De organisatie mag de capability improvements gebruiken. Zonder die capability staat Verbeteringen niet in de zijbalk. De beheerder van de organisatie erboven, of je operator, zet hem aan op Toegestane capabilities.

Analyses aanzetten¶

1. Open Instellingen van de organisatie en kies het tabblad Verbeteringen.
2. Zet de schakelaar Verbeteranalyses aan. De kaart zegt wat je daarmee doet: Aanzetten is je toestemming: het analysemodel leest gepseudonimiseerde gesprekken, toolaanroepen en traces van deze organisatie. Elke analyse kost modelaanroepen, tot het maximum hieronder, en telt mee voor het uitgavenplafond. Daaronder staat: Analyses veranderen zelf niets, tenzij de organisatie hieronder een niveau voor een soort koos bij Toepassen zonder beoordeling.
3. Kies de klok, de controles, het model, de pseudonimisering en wat een analyse zelf mag toepassen op de kaarten eronder (hieronder).
4. Kies Opslaan in de balk onderaan.

De eerste analyse draait op het volgende moment van de klok. Wil je niet wachten, kies dan Nu analyseren op Verbeteringen.

Gesprekken lezen kan alleen als traces aanstaan voor de organisatie (Traces). Staan ze uit, dan berekenen drie controles alleen de cijfers, en slaan Steeds dezelfde eerste aanroep, Een werkwijze die meerdere agents herhalen en Een evaluatie uit echte gesprekken zich helemaal over: die schrijven dan niets. De andere drie van de vijf nieuwere controles, Een skill die niet wordt gebruikt, Een werkwijze in de instructies en Een slankere agent, lezen geen traces en draaien ook met traces uit.

Zie je bovenaan Alleen lezen, dan houdt de organisatie erboven het sleutelbeheer bij zich (Wat de organisatie erboven voorbehoudt). Je ziet de instellingen dan wel, maar alleen een beheerder van de organisatie erboven wijzigt ze. Op een telefoon zet je de analyses aan of uit en kies je de klok; drempels, het cron-patroon en de pseudonimisering stel je in op een groter scherm.

Klok en periode¶

Op de kaart Wanneer en waarover kies je bij Klok wanneer een analyse draait: Elke nacht 03:00, Elke werkdag 03:00, Elke maandag 03:00, of Geavanceerd voor een eigen Cron-patroon (vijf velden: minuut, uur, dag, maand, weekdag) en Tijdzone. De standaard is elke nacht om 03:00 in de tijdzone van de organisatie. Onder de klok staat wanneer de volgende analyse draait.

Periode is hoeveel dagen een analyse terugleest, van 1 tot 30; de standaard is 7. Een analyse leest nooit verder terug dan de organisatie traces bewaart.

Controles¶

Op de kaart Controles zet je elke controle aan of uit en stel je hoogstens drie getallen in:

• Drempel: vanaf welke waarde een bevinding een voorstel wordt.
• Minimum: hoeveel beurten een agent of skill in de periode nodig heeft om mee te tellen.
• Steekproef: hoeveel gesprekken een analyse per kandidaat leest, hoogstens 50.

Een controle toont alleen de getallen die voor haar iets betekenen. De vijf nieuwere controles staan uit tot je ze aanzet.

Wat de vijf nieuwere controles doen en wat ze voorstellen staat bij de nieuwere controles. Een laatste regel, Herhaalde scripts, staat grijs en is niet in te stellen.

Proeven¶

De kaart Proeven noemt de sleutel waarmee een proef draait. Een proef is hoe Een slankere agent uitzoekt of een wijziging van een agent veilig is om voor te stellen (Proeven).

• Sleutel voor proeven is elke sleutel van de organisatie, of Geen: er start geen proef, wat er staat tot je kiest. Elke sleutel toont zijn maandplafond, of dat hij er geen heeft.
• Het maandplafond van de sleutel is het budget van de proeven, de beoordeling inbegrepen. Een sleutel zonder maandplafond start geen proef: de kaart zegt dan Deze sleutel heeft geen maandplafond, dus er start geen proef. Geef de sleutel een plafond: dat bedrag is het budget van de proeven. Verhoog het plafond op de pagina van de sleutel; Sleutel bekijken opent haar. Bestaat de gekozen sleutel niet meer, of is hij uitgezet of verlopen, dan zegt de kaart dat er geen proef start tot je een andere kiest.
• Wijzigen vraagt naast verbeteringen ook beheer, omdat het bepaalt wiens geld proeven uitgeven. Houdt de organisatie erboven het sleutelbeheer voor zichzelf, dan is de kaart alleen-lezen, zoals de rest van het tabblad.

Een proef gebruikt de echte tools van de agent. De kaart zegt het, en de regel Een slankere agent op de kaart Controles ook: Een proefuitvoering roept dezelfde tools aan als een echt gesprek. Een tool die verstuurt, schrijft of boekt, doet dat tijdens een proef dus echt. Kijk voordat je de controle aanzet wat de agents die ze mag proberen kunnen doen.

Model en kosten¶

Bij Analysemodel kies je welk model de gesprekken leest:

• Standaard van het platform volgt het model dat je installatie voor analyses heeft. De keuze noemt dat model, of zegt dat er geen is.
• Eigen keuze opent een lijst met de chatmodellen van deze organisatie.

Core valt nooit terug op het hulpmodel. Zonder analysemodel leveren de drie controles die er een nodig hebben alleen cijfers, zonder uitleg en zonder voorgestelde wijziging. Steeds dezelfde eerste aanroep heeft geen model nodig en stelt nog steeds een wijziging voor.

Max. modelaanroepen per analyse begrenst wat één analyse mag uitgeven; de standaard is 40. Is het maximum bereikt, dan komt wat niet is bekeken bij de volgende analyse eerst. Genegeerd voorstel blijft stil zegt hoeveel dagen een genegeerd voorstel niet terugkomt, tenzij het probleem in die tijd verdubbelt; de standaard is 30.

Onderaan het tabblad staat hoeveel analyses er vorige maand draaiden en hoeveel modelaanroepen ze deden. In Gebruik opent Gebruik, waar de kosten staan.

Pseudonimisering¶

Alles wat een model leest, is gepseudonimiseerd; dat is niet uit te zetten. Op de kaart Pseudonimisering kies je alleen hoe:

• Taal: de taal waarin de gesprekken worden gelezen.
• Betrouwbaarheid: hoe zeker de herkenning moet zijn. Lager vindt meer, maar maakt ook gewone woorden onleesbaar.
• Soorten gegevens: wat wordt vervangen, zoals Persoon, E-mail, Telefoon, IBAN en BSN. Kies er minstens één.

Gevonden gegevens worden plaatshouders zoals <PERSON_1>. Is de dienst die dat doet niet bereikbaar, dan leest Core geen gesprekken en draait die controle niet.

Steeds dezelfde eerste aanroep stuurt niets naar een model: Core vergelijkt de toolaanroepen zelf, en het voorstel neemt het resultaat van de tool letterlijk over. Dat gebeurt alleen als dat resultaat hetzelfde was in de gesprekken van minstens drie verschillende mensen.

Toepassen zonder beoordeling¶

Op de kaart Toepassen zonder beoordeling kies je per soort voorstel hoe ver een analyse zelf gaat, zonder dat iemand het voorstel eerst leest. Wat dat betekent staat in Inzicht. De kaart zegt het kort: Per soort voorstel kies je hoe ver een analyse zelf gaat: alleen voorstellen, een concept maken dat een persoon publiceert, of toepassen en publiceren. Wat ze niet kan toepassen, blijft open voor een persoon. Terugdraaien kan: zet de oude versie vast of verwijder wat is gemaakt.

Elke soort heeft een eigen keuze, en elke keuze begint op Alleen voorstellen:

Kies Opslaan in de balk onderaan. Wat de analyses daarna zelf toepasten, lees je zoals in Wat een analyse zelf toepaste.

De voorstellen lezen¶

Open Verbeteringen in de zijbalk, in de groep Inzicht. Naast de naam staat hoeveel voorstellen open staan. Bovenaan staan de laatste analyse en wanneer de volgende draait, met de knop Nu analyseren. De tabbladen Voorstellen en Analyses verdelen het scherm.

Filter de lijst met drie rijen keuzes:

• Status: Alle, Open, Geaccepteerd, Toegepast, Genegeerd of Opgelost.
• Controle: een van de controles.
• Doel: Agent, Prompt, Skill of Evaluatie.

De filters staan in het adres, dus een link die je deelt opent dezelfde lijst. Elke regel noemt het voorstel, het doel, het Belangrijkste cijfer (bijvoorbeeld 82% van de gesprekken), de status en wanneer een analyse het voorstel voor het laatst vond. Paste een analyse het voorstel zelf toe, dan staat Automatisch toegepast bij de status.

Is de lijst leeg, dan zegt het scherm waarom:

Een voorstel¶

Kies een voorstel om het te openen. De pagina heeft deze delen:

• Bevinding: wat de controle opmerkte.
• Uitleg, door het analysemodel: waarom, op basis van de gelezen gesprekken.
• Voorgestelde wijziging: wat er verandert, per onderdeel (instructies, tools, skills of sjabloon) met de regels erbij en eraf. Een voorstel voor een nieuwe agent toont Voorgestelde agent met naam, beschrijving en instructies. Een herschreven skill toont Herschreven skill met de hele nieuwe SKILL.md en een knop Kopiëren.
• Cijfers: het aandeel, bij een skill het aandeel Zonder de skill, en bij een herhaalde eerste aanroep hoeveel Aanroepen en Tokens per maand je bespaart. De nieuwere controles voegen de Periode, de Gesprekken en de Mensen toe waar een bevinding op rust, de Reeks tools die meerdere agents herhalen, en bij een slankere agent de Geslaagde stappen, de Kosten van de uitvoering en de Gemiddelde reactietijd van beide uitvoeringen, en de Geschatte besparing per maand.
• Voorbeeldgesprekken: de beurten waar de bevinding op rust, hoogstens twintig, elk met het tijdstip en het response-id. Het response-id is een link die de modelaanroepen van die beurt opent op Traces (Een trace lezen). Het voorstel zelf bewaart geen tekst uit die gesprekken.
• Geschiedenis: in welke analyse het voorstel werd gevonden en ververst, en wie erover besliste; bij een voorstel dat een analyse zelf toepaste staat daar de analyse.

De nieuwere controles voegen voorstellen van hun eigen soort toe (de nieuwere controles): Voorgestelde skill voor een skill die een analyse schreef, met de hele SKILL.md; een agentversie die een skill laadt of de instructies helemaal vervangt (het deel instructies (vervangen)); Voorgestelde evaluatie of Scenario’s om toe te voegen, met elk opgesteld scenario, zijn stappen en de controles waaraan het antwoord wordt gehouden; en Slankere agent, met het model, de tools die de agent niet meer krijgt en de kortere instructies, wat de proef ook veranderde. Een skill die geen agent laadt en geen aanroep noemde, krijgt een voorstel met alleen cijfers: een skill buiten gebruik stellen doe je zelf.

Een voorstel van een van de drie modelcontroles zonder uitleg en zonder wijziging is gemaakt toen er geen analysemodel was: Geen voorgestelde wijziging. Het heeft alleen de cijfers; Model instellen brengt je naar het model.

Boven de wijziging kan een melding staan die zegt waarom je nog niet kunt toepassen:

De nieuwere controles¶

Alle vijf staan uit tot je ze aanzet (Controles).

Een analyse schrijft nooit een skill die een persoon noemt: een concept met een naam, een e-mailadres, een telefoonnummer, een link of een id wordt niet voorgesteld. De opgestelde scenario’s van Een evaluatie uit echte gesprekken zijn herschreven met verzonnen details, noemen geen persoon en geen gesprek, en zijn de eigen testgegevens van de organisatie: ze worden niet gewist met een persoon. Een skill die een analyse uit de instructies schreef vervangt niets tot jij hem toepast, en een agentversie die de instructies helemaal vervangt wordt nooit zonder beoordeling toegepast: bij Toepassen en publiceren wacht ze op jou.

Proeven uitgelegd¶

Een proef probeert één wijziging tegelijk, in deze volgorde: minder tools (die in minstens 14 dagen in geen beurt werden gebruikt), dan een goedkoper model (minstens 20% goedkoper bij de eigen verhouding van invoer en uitvoer van de agent, een model dat je beleid toestaat en dat de regels van niemand weigeren), dan kortere instructies (minstens een kwart korter, opgesteld door het analysemodel). Dat gebeurt als twee uitvoeringen van de eigen evaluatie van de agent, met dezelfde scenario’s en hetzelfde beoordelingsmodel: een op de gepubliceerde versie van de agent, een op een concept met de wijziging. Wat een proef schrijft bereikt geen sleutel: het concept is niet gepubliceerd, en het concept van een proef die niets voorstelt wordt weggegooid.

Een proef kan langer duren dan een analyse, dus de volgende analyse leest zijn uitkomst. Ze schrijft een voorstel Slankere agent alleen als de score van de gewijzigde versie minstens die van de gepubliceerde versie is, geen stap die de gepubliceerde versie haalde mislukte, en de kosten of de reactietijd minstens 10% lager zijn. Anders eindigt de proef zonder voorstel. Per analyse starten hoogstens drie proeven, en per agent een tegelijk. Een agent wordt eenmaal per gepubliceerde versie geprobeerd.

Een proef gebruikt de echte tools van de agent. Een proefuitvoering roept dezelfde tools aan als een echt gesprek, dus een tool die verstuurt, schrijft of boekt, doet dat tijdens de proef echt, in beide uitvoeringen. Het voorstel en de analyse zeggen het nog eens.

Wat een proef niet kan laten zien. Elk voorstel Slankere agent draagt deze zin met het aantal scenario’s: Een proef laat één ding zien: op deze … scenario’s, beoordeeld door dit beoordelingsmodel, deed de slankere agent het niet slechter. Een proef laat niet zien hoe de agent zich gedraagt bij onderwerpen die de evaluatie mist, of een tool die één keer per kwartaal nodig is nog nodig is, of de toon is verschoven op een manier die het beoordelingsmodel niet controleert, of dat de uitkomst zich herhaalt: elke kant is één uitvoering. Daarom wordt het voorstel alleen voorgesteld en nooit zonder beoordeling toegepast.

Wat een proef kost. De beurten en de aanroepen van het beoordelingsmodel worden op de proefsleutel geboekt, dus zijn maandplafond begrenst ze, binnen het plafond van de organisatie zelf. Voordat een proef start schat Core de kosten op twee keer wat de laatst afgeronde uitvoering van die evaluatie door de agent kostte, de beoordeling inbegrepen; is dat meer dan wat de maand nog heeft, dan start de proef niet (Overgeslagen: het proefbudget van deze maand is op).

Een agent zonder evaluatie van minstens vijf scenario’s wordt helemaal niet geprobeerd. De pagina van de analyse wijst naar de voorstellen van Een evaluatie uit echte gesprekken, die er een opstelt.

Toepassen¶

Toepassen maakt een nieuwe versie van de agent, de prompt of de skill, of een nieuwe agent. De versie waar het voorstel over gaat blijft bestaan, en wie die versie vastzet houdt haar. Bij een agent, een prompt of een nieuwe agent is het resultaat een concept: geen sleutel ziet of draait het totdat je het publiceert (Als concept toegepast).

1. Kies Toepassen, of Agent maken bij een voorstel voor een nieuwe agent. Met Bewerken op de kaart van de wijziging open je hetzelfde venster.
2. Het venster noemt de nieuwe versie (bijvoorbeeld Nieuwe versie 4 van support-agent), wat er verandert en wat er daarna gebeurt. Bij een agent of een prompt zegt het venster dat de versie als concept klaarkomt: geen sleutel draait haar totdat je haar publiceert, en aanroepen zonder vaste versie blijven op de versie die ze nu gebruiken. Bij een skill zegt het venster: v… wordt de laatste versie. Agentversies houden hun vastgezette versie; een aanroep die de skill zonder versie noemt, gebruikt v… direct.
3. Pas zo nodig de tekst aan. Het veld heet Toe te voegen aan de instructies, bij een prompt Toe te voegen aan het sjabloon, bij een nieuwe agent Instructies en bij een skill SKILL.md van de nieuwe versie. Wat je hier verandert komt in de nieuwe versie; het voorstel bewaart de oorspronkelijke tekst. Vervang elke plaatshouder: zolang er een staat, kun je niet bevestigen.
4. Kies Concept v… maken of Concept van de agent maken.

Andere soorten worden op dezelfde manier toegepast, met eigen woorden in het venster. Nieuwe skill maakt concept v1 van de skill. Voorgestelde evaluatie maakt concept v1 van een nieuwe evaluatie, gekoppeld aan de agent, en Scenario’s om toe te voegen maakt het volgende concept van de evaluatie naast haar gepubliceerde scenario’s; geen van beide heeft tekst om te bewerken, en er wordt niets tegen een concept gemeten tot je het publiceert, op de pagina van de evaluatie of vanuit het voorstel (Als concept toegepast).

Een slankere agent is de uitzondering: toepassen publiceert. Het venster heet Slankere … publiceren en de knop Versie … publiceren. De versie die de proef mat wordt meteen de nieuwste, en elke aanroep zonder vastgezette versie draait haar. Een proef mat de evaluatie, niet elke aanroeper van de agent: lees eerst de zin over wat een proef niet kan laten zien. Is het concept weggegooid, dan schrijft Core de wijziging opnieuw en publiceert dat. Met Bewerken pas je de kortere instructies aan voordat ze worden gepubliceerd.

De console meldt wat er is gemaakt, het voorstel staat op Toegepast en Bekijken opent de nieuwe versie of agent. De tekst bewerken doe je op een groter scherm.

Als concept toegepast¶

Bij een voorstel dat als concept is toegepast staat boven de bevinding Dit is een concept, nog niet gepubliceerd, met Concept bekijken, dat de pagina van de agent of prompt op die versie opent (bij een opgestelde evaluatie de pagina van de evaluatie), en Publiceren. Bij een skill opent Concept bekijken de pagina van de skill, waar de versies het concept tonen. Publiceren vraagt om een bevestiging en maakt het concept de nieuwste versie; weigert Core, dan toont de bevestiging zijn zin. Is het concept gepubliceerd, of op de pagina van de agent, prompt of skill weggegooid, dan zegt het bericht dat.

Weigert Core het toepassen, dan staat de reden in het venster zoals Core hem gaf. De meest voorkomende: het doel heeft intussen een nieuwere versie (de volgende analyse ververst het voorstel), er staat nog een plaatshouder in de tekst, of een regel van je organisatie staat de wijziging niet toe.

Een nieuwe koppeling, of een wijziging die je zelf maakte¶

Een Verzoek om een koppeling voert Core niet zelf door: geef de beschrijving aan wie jullie API-koppelingen of MCP-servers bouwt. Bestaat de koppeling, dan stelt een volgende analyse voor om hem aan de agent toe te voegen.

Heb je de wijziging zelf gemaakt, bijvoorbeeld een koppeling gebouwd of een herschreven skill met Kopiëren zelf in de skill gezet (Skills in de console), kies dan Markeren als toegepast; je kunt er een notitie bij schrijven, bijvoorbeeld waar je de wijziging maakte. Via de API is dat PATCH .../improvements/proposals/{id} met "status": "applied" (Over een voorstel beslissen).

Accepteren, negeren en heropenen¶

Elke knop opent eerst een venster; er verandert niets bij de eerste klik. Je kunt er een Notitie bij schrijven van hoogstens 1.000 tekens, die in de geschiedenis van het voorstel komt.

• Accepteren zegt dat je het een goed idee vindt, maar dat het nog niet is doorgevoerd. Het voorstel blijft staan tot iemand het toepast of het probleem verdwijnt.
• Negeren houdt het voorstel het aantal dagen van Genegeerd voorstel blijft stil weg, tenzij het probleem in die tijd verdubbelt.
• Heropenen zet een genegeerd voorstel weer open. Heeft een latere analyse dezelfde bevinding intussen als nieuw voorstel geschreven, dan weigert Core het heropenen; werk dan met dat nieuwe voorstel.

Op een telefoon staan de knoppen onderaan de pagina.

Wat een analyse zelf toepaste¶

Voor de soorten die je op Concept maken of Toepassen en publiceren zette bij Toepassen zonder beoordeling past een analyse elk voorstel dat ze schrijft of ververst meteen zelf toe. Een voorstel dat iemand al accepteerde of negeerde, laat ze staan.

Herkennen. Een voorstel dat een analyse toepaste, staat op Toegepast met Automatisch toegepast erbij, in de lijst en bovenaan het voorstel. In de Geschiedenis staat de analyse waar anders de naam van een persoon staat, en Bekijken opent wat er is gemaakt.

Geweigerd. Kon de analyse een voorstel niet toepassen, dan is er niets veranderd en blijft het open. Bovenaan het voorstel staat Kon niet automatisch worden toegepast, met de reden:

Een andere reden, zoals een definitie die de route van het doel weigerde, toont de console als Reden: met de code die Core gaf. Vindt een volgende analyse dezelfde bevinding, dan probeert ze het voorstel opnieuw.

Tellen. Op de pagina van een analyse staan per controle die draaide ook Automatisch toegepast en Niet toegepast, open, met 0 als geen soort gekozen is. Bij Mislukt, Onderbroken en Overgeslagen · tracing uit, en bij oudere analyses, staan ze er niet (Analyses).

Terugdraaien. Toepassen overschrijft niets, dus je draait het terug zoals elke nieuwe versie. Een concept van een agent of prompt dat nog niet gepubliceerd is: gooi het weg op zijn pagina. Een gepubliceerde nieuwe versie van een agent of prompt: zet de vorige versie vast waar die wordt gebruikt (Agents in de console, Prompts in de console). Een nieuwe agent: verwijder hem. Een nieuwe skillversie verandert geen agent zolang geen agentversie haar vastzet; een verzoek dat de skill zelf noemt, zet je terug op de vorige versie door die te noemen, als naam@N.

Nu analyseren¶

Nu analyseren zet meteen een analyse in de wachtrij, naast de analyses van de klok. De knop toont daarna In de wachtrij en Analyse loopt. Core weigert een nieuwe analyse zolang de analyses uitstaan of er al een in de wachtrij staat of loopt; een melding geeft dan de reden.

Analyses¶

Het tabblad Analyses toont elke analyse, de nieuwste eerst: wanneer ze startte, of de klok (planning) of iemand (handmatig) haar startte, hoe lang ze duurde, hoeveel voorstellen ze schreef of verversde, hoeveel modelaanroepen ze deed en haar status.

Kies een analyse voor de details: wanneer ze startte, hoe lang ze duurde, de Gelezen periode, de modelaanroepen en de voorstellen. Daaronder staat per controle de uitkomst met de aantallen Kandidaten, Gelezen gesprekken, Nieuwe voorstellen en Ververst, en bij een controle die draaide ook Automatisch toegepast en Niet toegepast, open:

Heeft een controle bevindingen weggelaten omdat toepassen zou worden geweigerd (door beleid, een instelling, of omdat het doel is veranderd of weg is), dan toont een regel onder de aantallen Niet voorgesteld met het totaal, daarna elke reden met haar aantal. Pas het beleid of de instelling aan die de reden noemt; de volgende analyse stelt ze opnieuw voor.

Onder de aantallen kan een controle Wat er verder gebeurde noemen: elk aantal dat Core schreef, met zijn getal. Bij Een slankere agent zeggen die waarom een agent niet werd geprobeerd (Overgeslagen: geen beoordelingsmodel bij de evaluatie, nog geen afgeronde uitvoering om de kosten te schatten, geen proefsleutel ingesteld, de proefsleutel heeft geen maandplafond, de proefsleutel is verwijderd, uitgezet of verlopen, het proefbudget van deze maand is op, bewaard voor een latere analyse: te veel proeven in één analyse, te weinig gesprekken, de periode is te kort), waarom er geen goedkopere of kortere versie kwam (elke tool werd gebruikt, de agent noemt geen model, de agent gebruikt een router, geen goedkoper model dat in aanmerking komt), en hoe proeven eindigden (Proeven gestart, Proeven die slaagden, voorgesteld, Proeven die niet slaagden, Proeven die nog lopen, en een proef die verviel omdat de agent een nieuwere versie kreeg, een uitvoering mislukte of de agent is verwijderd). Bij de controles die tekst opstellen staat wat is weggelaten: een scenario dat een persoon of iets echts noemt, of te dicht bij het oorspronkelijke bericht zit, en Geen voorstel: te weinig scenario’s of mensen over. Een aantal waar de console geen woorden voor heeft staat onder de eigen naam van Core. De pagina van Een slankere agent zegt ook nog eens dat een proef de echte tools van de agent gebruikt.