Modellen en routering¶

Een agent denkt met een model. Core houdt bij welke modellen er zijn, waar ze draaien, wat er gebeurt als een model niet antwoordt, welk model een beurt krijgt als je Core laat kiezen, en wat een aanroep kost.

1. De catalogus¶

De catalogus is de lijst modellen die op je installatie zijn ingesteld. Het onderdeel Modellen van een organisatie toont hem, met per model:

• het id dat een verzoek in het veld model zet;
• de soort: chat voor een beurt, embedding voor doorzoekbaar maken, afbeelding voor afbeeldingen genereren, of audio voor een opname omzetten in tekst;
• het lab dat het model ontwikkelde, de provider die het draait, en de regio waar het draait;
• de prijs die voor deze organisatie geldt.

De catalogus is alleen-lezen: een model toevoegen of wijzigen doet je operator. Wat een organisatie zelf instelt, zijn labels op een model, zoals tier: premium.

De catalogus zegt wat er bestaat. Wat een sleutel mag gebruiken, bepaalt haar policy met regels over Modellen, op naam of op label. GET /models geeft de modellen die een sleutel bereikt.

Je operator kan een model ook uitfaseren: vanaf een gekozen datum neemt een ander model uit de catalogus, de vervanger, zijn plaats in. Een beurt die het model daarna noemt, draait op de vervanger, of wordt geweigerd als de policy van de organisatie of de sleutel dat zegt. Wat in je organisatie het model nog gebruikt, zie je op Modellen onder Nog in gebruik, en een maand voor de datum krijg je er een melding over.

Wanneer: een leverancier stopt met een model, en je wilt weten wat je moet overzetten en wanneer.

2. Regio's¶

Elk model heeft een regio: eu, us, global, in-cluster (de eigen infrastructuur van de installatie) of een landcode zoals nl. Regio's liggen in elkaar: nl en in-cluster liggen in eu, en alles ligt in global.

Met Toegestane regio's in de policy van een sleutel of organisatie houd je aanroepen binnen die regio's. Dat geldt voor het model dat antwoordt en ook voor embedding-modellen, de modelstappen van een kennispipeline, tools en computers. Een bestemming buiten de lijst wordt geweigerd, tenzij de policy haar als uitzondering noemt. Een verzoek kan daarnaast zelf een regio eisen met het veld hosting.

Wanneer: een klant eist dat gegevens de EU, of de eigen installatie, niet verlaten.

3. Fallback¶

Een routeringsconfiguratie legt vast op welk model een beurt terugvalt als het gevraagde model niet kan antwoorden: een time-out, overbelasting of een serverfout bij de provider. Een configuratie is een lijst ketens; elke keten noemt één model en daarachter, op volgorde, één tot vier alternatieven.

Je maakt een configuratie de standaard van de organisatie, of kiest er een op één sleutel. Een agentversie, of één verzoek, kan een eigen configuratie noemen, die voorgaat op die van de sleutel, zodat één sleutel meerdere assistenten kan bedienen die elk langs hun eigen keten terugvallen. Het antwoord noemt in model het model dat werkelijk antwoordde, en het verbruik wordt aan dat model toegeschreven. Een alternatief moet zelf ook door de policy en de regio-eis komen: een keten geeft geen extra rechten.

Wanneer: je applicatie moet blijven antwoorden als één provider een storing heeft.

4. Routers¶

Een router kiest het model voor je. Een verzoek, agent of planning noemt de router waar het anders een model zou noemen; het id begint altijd met auto-, bijvoorbeeld auto-goedkoop. Core leest het laatste bericht van de beurt, bepaalt de taaksoort (algemeen, code, samenvatten, extractie, redeneren, data-analyse of bevestiging) en of de beurt makkelijk of moeilijk is, en gebruikt het eerste model uit de lijst voor die combinatie dat de sleutel mag gebruiken.

Je stelt een router zelf samen: een pool van modellen, een standaardlijst, en per taaksoort een lijst voor makkelijke en voor moeilijke beurten. Alles wat voor een zelf gekozen model geldt, geldt ook voor het model dat de router koos: de policy, de regio, de fallback-keten en de prijs.

Een router staat pas aan voor gewone beurten als je Live aanzet. Meet hem eerst met een evaluatie: twee agents die alleen in hun model verschillen, één met de router en één met een vast model.

Wanneer: je wilt eenvoudige vragen op een goedkoper model laten draaien en moeilijke op een sterker model, zonder dat je applicatie die keuze maakt.

Fallback en routers vullen elkaar aan. Een router kiest vooraf het model voor een beurt; fallback vangt het op als dat model daarna niet antwoordt.

5. Prijzen en markups¶

Core rekent verbruik om naar euro met een prijs per model, per tool en per soort verbruik. Prijzen zet je operator; een organisatie leest haar prijs en schrijft hem niet. De prijs die voor jouw organisatie geldt, staat op Modellen.

Een prijs staat in de valuta waarin de leverancier factureert, bijvoorbeeld dollars. Core rekent hem om naar euro met de referentiekoers van de Europese Centrale Bank. Zolang een maand open is, gebruikt Core de nieuwste koers, dus de kosten van die maand bewegen mee met de koers. Sluit je operator een maand af, dan liggen de koersen van die maand vast en veranderen de kosten ervan niet meer.

Een markup is wat jouw organisatie boven op die prijs zet. Je kiest voor wie hij geldt:

• Deze organisatie: verandert wat je eigen overzichten, limieten en modelprijzen tonen.
• Alles eronder: verandert wat elke organisatie onder de jouwe ziet als haar eigen prijs.

Een markup is een percentage of een bedrag, voor alle verbruik of voor één soort, model of tool. Zo bepaal je wat je een klant doorbelast. De klant ziet alleen de opgehoogde prijs. Jij ziet in het verbruik van de hele tak Doorbelast en Betaald naast elkaar: wat de klant in rekening krijgt, en wat jij voor datzelfde verbruik betaalt.

De kostenlimiet per maand van een organisatie of sleutel telt met dezelfde prijzen, markup inbegrepen.

Wat een onderliggende organisatie niet erft¶

Routeringsconfiguraties en routers zijn van de organisatie zelf. Een klantorganisatie erft ze niet en heeft eigen instellingen. Een markup op Alles eronder werkt wel door naar beneden.

Hoe het samenhangt¶

• Een agent legt een model of een router vast.
• De policy bepaalt welke modellen en routers een sleutel bereikt en in welke regio's.
• Elke modelaanroep wordt gemeten in tokens en omgerekend met de prijs (Inzicht).
• Embedding-modellen horen bij kennis: een index en een graaf noemen er een.

Verder¶

Tutorial: Bouw je eerste agent.