Modelrouters¶

Het concept achter modellen en routering staat in Modellen en routering.

Met Routers laat je Core het model voor een beurt kiezen. Een aanroeper noemt een router waar hij een model zou noemen, en Core kiest voor die beurt één model uit de pool van de router.

Een router heeft een id dat altijd met auto- begint, bijvoorbeeld auto-goedkoop. Core leest het laatste bericht van de beurt, bepaalt wat voor taak het is en hoe moeilijk, en laat de beurt draaien op het eerste model in de tabel van de router voor die combinatie dat de aanroepende sleutel mag gebruiken. Alles wat geldt voor een model dat een aanroeper zelf noemde, geldt voor het model dat de router koos: het beleid van de sleutel, de hosting-eis, de fallback-keten van het model en zijn prijs.

Een router is van de organisatie zelf. Een onderliggende organisatie erft er geen.

Je hebt een beheerdersaccount van de organisatie nodig. Houdt de organisatie erboven het sleutelbeheer bij zich, dan kun je routers lezen en niet wijzigen (hieronder). Een sleutel die management heeft doet hetzelfde via de API, op /model-routers voor haar eigen organisatie en /organisations/{id}/model-routers voor een organisatie eronder (API-referentie).

Een router aanmaken¶

1. Kies Nieuwe router en vul het Id in. auto- staat er vast voor; gebruik kleine letters, cijfers, punten, underscores en streepjes. Het id kan later niet meer wijzigen.
2. Voeg onder Pool één tot zestien chatmodellen toe, op volgorde. Elk moet een model zijn dat de organisatie mag gebruiken.
3. Voeg onder Standaardlijst de modellen toe die een beurt probeert als de taaksoort niet te vertrouwen is. Ze komen uit de pool.
4. Vul eventueel de Tabel per taaksoort (hieronder).
5. Controleer de drempels en laat Live uit tot de router is gemeten.
6. Sla de router op.

Core controleert de hele router bij het opslaan. Een fout noemt de lijst waar het om gaat en het model waarop het misging, en staat onder die lijst; een tweede router met een id dat de organisatie al heeft, wordt geweigerd met een melding boven het formulier.

Volgorde is de betekenis van elke lijst: een beurt loopt hem van boven naar beneden af en gebruikt het eerste model dat het beleid van de sleutel, de hosting-eis en de prijsgrens van de router overleeft. Wijzig de volgorde met de pijlen.

De tabel per taaksoort¶

De tabel heeft een rij per taaksoort — algemeen, code, samenvatten, extractie, redeneren, data-analyse en bevestiging — en een kolom voor makkelijke en een voor moeilijke beurten. Elke cel is een geordende lijst uit de pool. Een lege cel gebruikt de standaardlijst. Een bevestiging ("bedankt", "ok") is nooit moeilijk en heeft daarom alleen een cel voor makkelijke beurten.

Drempels¶

De standaardwaarden komen uit de meting vooraf waarop de router is ontworpen; ze zijn niet afgestemd op jouw verkeer. Meet een router voordat je erop vertrouwt, zoals hieronder.

Live¶

Een router die niet live staat, bedient alleen evaluaties. Gewone beurten die hem noemen krijgen de fout dat het model onbekend is, en hij staat niet in de lijst met modellen. Zet Live aan als je tevreden bent over de vergelijking. Een wijziging aan de pool, de lijsten, de tabel of een drempel schrijft een nieuwe versie; de schakelaar Live en de omschrijving doen dat niet.

Een router kiezen voor een agent of planning¶

Het model van een agentversie en dat van een planning bieden je routers bovenaan de modelkiezer aan, met niet live erbij zolang ze dat zijn. In geen enkel ander modelveld: een beoordelaar, het hulpmodel, samenvatten, een routeringsketen, een pipelinestap en een index noemen elk één modelaanroep, en Core weigert daar een router.

Zien hoe een beurt is gerouteerd¶

Als een beurt een router noemde, toont de console hoe hij is gerouteerd overal waar hij die beurt toont: op de pagina van een aanroep bij Traces, op het bericht van de beurt in een gesprek en onder een stap van een evaluatie-uitvoering. Het blok noemt de router en versie, de taaksoort met zekerheid, de moeilijkheid, waarom Core zo besliste, de lijst waaruit het model kwam, het gekozen model en elk poolmodel met Behouden of de reden dat het afviel. Een beurt die een model noemde, heeft zo'n blok niet.

Een router meten voordat hij live gaat¶

Meten gaat met een evaluatie: koppel twee agents die alleen in hun model verschillen, één met de router en één met een vast model, en stel een Beoordelingsmodel in op de evaluatie zodat beide uitvoeringen op dezelfde manier worden beoordeeld. Voer haar uit, open één uitvoering en kies Vergelijken met de andere:

• De pagina van de uitvoering toont de gemiddelde beoordeling naast het slagingspercentage, de gemiddelde duur van een beurt, de kosten en de tokens, de routerversie die hij vastlegde en de beoordelaar.
• De vergelijking toont per stap het model dat antwoordde en zijn beoordeling aan beide kanten, en de totalen: hoeveel stappen de eerste uitvoering won, gelijk speelde en verloor, en de cijfers van beide uitvoeringen naast elkaar. Twee beoordelingen binnen 0,05 van elkaar tellen als gelijk.
• Als de twee uitvoeringen niet door één vast model zijn beoordeeld, zegt de vergelijking dat, en zijn de beoordelingen niet vergelijkbaar.

Of de router goed genoeg is, beslis je zelf; Core stelt geen drempel.

Een router verwijderen¶

Kies Verwijderen in het rijmenu en bevestig. Core controleert niet wat de router nog noemt: een agentversie of planning die dat doet, krijgt bij de volgende beurt de fout dat het model onbekend is, zoals bij een model dat uit de catalogus is gehaald.

Voorbehouden sleutelbeheer¶

Als de bovenliggende organisatie het sleutelbeheer heeft voorbehouden, zijn routers hier alleen-lezen. Vraag een operator of een beheerder van de bovenliggende organisatie om ze aan te maken, te wijzigen of te verwijderen.