Modellen: de catalogus en labels¶
Het concept achter modellen en routering staat in Modellen en routering.
Op Modellen vind je de id’s en eigenschappen van modellen die voor deze installatie zijn
ingesteld. Vul het gewenste id in bij het veld model van je verzoek.
De catalogus zelf is alleen-lezen: vraag je operator om een model toe te voegen of te wijzigen. Eén ding stel je wel zelf in via het rijmenu (het pictogram met de drie puntjes), en dat is Labels: de indeling waarmee je organisatie bepaalt wie welk model bereikt.
Modelgegevens¶
| Kolom | Bevat |
|---|---|
| Model | de naam waarmee een aanroep dit model kiest, met ervoor het merkteken van het lab dat het heeft getraind. Daaronder staat wie het model draait en, met een klein pictogram, waar de inferentie draait: een server voor in het cluster, een wereldbol voor de rest. Hover over een merkteken of lees het met een schermlezer voor de naam. Een model waarvan het lab niet is vastgelegd, heeft alleen de tweede regel. Wordt het model uitgefaseerd, dan staat eronder tot wanneer het werkt en door welk model het wordt vervangen. Heeft het model labels van je organisatie, dan staan die er nog onder. |
| Soort | chat voor een beurt, embedding voor doorzoekbaar maken, afbeelding voor afbeeldingen genereren, audio voor opnames omzetten in tekst |
| Context | hoeveel tokens er in één beurt passen, in en uit samen |
| Max. tools | hoeveel tools één aanroep van dit model mag dragen; een streepje bij een model dat geen tools neemt. Een beurt die er meer aanbiedt, wordt geweigerd, tenzij hij zijn tools achter de toolrouter zet |
| Dimensies | alleen bij embedding: de lengte van een vector |
| Prijs | wat dit model deze organisatie nu kost: per miljoen tokens in en uit (met een tarief cache voor invoer die de provider uit zijn cache las en een tarief cache schrijven voor invoer die hij erin schreef, als de prijs die zet), per afbeelding bij een afbeeldingsmodel, of per minuut audio bij een audiomodel (bij een audiomodel dat in tokens wordt afgerekend, zoals gpt-4o-transcribe, is die minuut alleen de schatting waarmee de maandlimiet vóór de aanroep wordt gecontroleerd; afgerekend worden de tokens). Klik erop voor de geschiedenis. Een streepje betekent dat niets dit model prijst. |
Bij een afbeeldingsmodel staat onder het model ook de tool waarmee je het aanroept
(builtin__generate_image__<model>): zo'n model kies je niet met het veld model, je geeft de
beurt die tool mee. Een audiomodel draagt zijn transcriptietool op dezelfde manier
(builtin__transcribe_audio__<model>), en is ook wat POST /audio/transcriptions in zijn veld
model noemt en een input_audio-deel in zijn eigen model
(Audio transcriberen).
Het model met het label standaard embedding-model wordt gebruikt als een kennisbron of zoekopdracht geen model opgeeft.
Lab¶
Het lab ontwikkelt het model, de provider voert het uit en hosting geeft de regio aan. Eenzelfde model kan bij verschillende providers en in verschillende regio's beschikbaar zijn.
Filter boven de tabel op lab, als een rij knoppen: Alle toont de volledige catalogus; Overig bevat modellen zonder ingesteld lab. Ernaast filter je op model-id en op soort; elke knop en elk tabblad telt hoeveel modellen er (nog) onder vallen. Het filter werkt op de volledig geladen lijst. Dezelfde labfilters en merktekens verschijnen in modelkeuzes voor agents, evaluaties, routering, indexen en pipelines.
Prijs¶
De kolom Prijs toont de prijs die op dit moment voor deze organisatie geldt. Staat er eigen prijs bij, dan heeft deze organisatie een eigen prijs voor dit model en wordt de prijs van de installatie niet gebruikt. Staat er een streepje, dan rekent Core dit model als nul: verbruik verschijnt dan op Gebruik als zonder prijs, en die regels tellen ook als nul tegen een limiet in euro.
Klik op de prijs voor de prijsgeschiedenis van dit model: elke vastgelegde prijs, nieuwste eerst, in de valuta waarin hij is vastgelegd, met per regel of het de prijs van de installatie is of die van deze organisatie, en vanaf wanneer hij geldt. Een prijs wordt nooit gewijzigd, alleen opgevolgd door een nieuwe met een latere ingangsdatum -- zo houdt een periode die al berekend is de prijs waartegen dat gebeurde.
Prijzen zijn van Artific: de installatie heeft een eigen prijs voor elk model, en jouw organisatie kan een afgesproken eigen prijs hebben die daarboven gaat. Een organisatie leest een prijs en schrijft er nooit een -- wat er in rekening wordt gebracht, is geen keuze van de partij die betaalt. Wat jouw organisatie er zelf bovenop zet, voor zichzelf of voor de organisaties eronder, is een markup.
Een prijs in een andere valuta¶
Een prijs staat in de valuta waarin de leverancier van het model factureert: een model dat in
dollars wordt afgerekend, heeft een prijs in dollars. De kolom Prijs toont altijd euro. Bij een
prijs in een andere valuta staat eronder de prijs zoals hij is vastgelegd, met de koers waarmee
Core hem omrekende en de dag waarop de Europese Centrale Bank die koers publiceerde, bijvoorbeeld koers 1.1650 USD/EUR
met de datum erachter. Core rekent om met de nieuwste ECB-referentiekoers die het
heeft.
Daardoor beweegt het bedrag in euro mee met de koers, en de kosten van een maand ook, totdat je operator die maand afsluit. Bij het afsluiten wordt voor elke valuta de koers van die maand vastgelegd, en daarna veranderen de kosten van die maand niet meer. De lopende maand is nooit afgesloten. Heeft Core voor een valuta geen koers, dan telt het verbruik tegen die prijs als zonder prijs (Gebruik), net als verbruik waarvoor geen prijs bestaat.
Uitgefaseerde modellen¶
Je operator kan een model uitfaseren. Hij kiest daarvoor een datum (in UTC) en een vervanger: een ander model uit de catalogus dat de plaats ervan inneemt. Onder het model staat dan een label:
| Label | Betekenis |
|---|---|
| oranje: werkt tot datum, daarna vervanger | De datum is nog niet aangebroken. Een beurt die het model noemt, draait er nog op. |
| rood: uitgefaseerd sinds datum, nu vervanger | De datum is voorbij. Een beurt die het model noemt, draait op de vervanger of wordt geweigerd. |
Wat er vanaf de datum gebeurt, stel je zelf in met Uitgefaseerde modellen in de policy van je organisatie of van een sleutel (Sleutels):
- Omleiden naar de vervanger (
reroute), en ook als niets is ingesteld: de beurt draait op de vervanger. Voor de vervanger gelden dezelfde controles als wanneer het verzoek hem zelf had genoemd: de policy van de sleutel, de regio's en de fallback-keten. Het antwoord noemt de vervanger inmodel, en het verbruik wordt tegen de prijs van de vervanger berekend. - Blokkeren (
block): de beurt wordt geweigerd met een melding die de datum en de vervanger noemt.
Blokkeren gaat voor: zegt de policy van de organisatie of die van de sleutel Blokkeren, dan wordt de beurt geweigerd. Een uitgefaseerd model in een fallback-keten wordt op dezelfde manier vervangen door zijn vervanger, of overgeslagen als de beurt blokkeert.
Alleen het model van een beurt wordt omgeleid. Het samenvattingsmodel van een sleutel, de beoordelaar van een evaluatie, een afbeeldingsmodel dat als tool wordt aangeboden en het embedding-model van een kennisindex worden na de datum nog steeds als zichzelf aangeroepen, tot je de instelling aanpast die ze noemt. Een embedding-model kan nooit worden omgeleid: de vectoren van een index horen bij het model dat ze maakte, dus een index overzetten betekent opnieuw indexeren.
Hoe een aanroeper dit in het antwoord ziet, staat bij Een modelaanroep doen.
Nog in gebruik¶
Zolang de catalogus een model uitfaseert, staat onder de tabel het onderdeel Nog in gebruik: elke plek in je organisatie die zo'n model nog noemt. Zet elk ervan over op de vervanger vóór de datum.
| Kolom | Bevat |
|---|---|
| Model | het model dat wordt uitgefaseerd, met zijn label |
| Waar | wat het noemt, met naam en id: een Agent (de laatste versie), een Router (de laatste versie), een Routering (een fallback-keten), een Sleutel (haar samenvattingsmodel), een Schema (het opgeslagen verzoek), een Evaluatie (de beoordelaar) of een Kennisindex (het embedding-model) |
| Veld | waar in die configuratie: model, tools (een afbeeldingstool van het model), pool, chains, capabilities.compaction.model, request.model, request.tools, judge_model of embedding_model |
Een kennisindex die geen eigen embedding-model noemt, staat er ook als het standaard embedding-model wordt uitgefaseerd, want daarmee embedt hij. Per soort configuratie leest Core hoogstens 500 rijen: heeft je organisatie meer dan 500 van één soort, bijvoorbeeld agents, dan kan de lijst plekken van die soort missen.
Een sleutel met management leest dezelfde lijst met GET /organisation/model-references, met
cursor gepagineerd. Met ?model=<id>
vraag je naar één model uit de catalogus, ook als het niet wordt uitgefaseerd.
Een model dat binnen 30 dagen wordt uitgefaseerd, of al is uitgefaseerd, en dat je organisatie nog noemt, levert ook één melding op, per mail of in Slack.
Hosting¶
Het beleid van een sleutel kan de regio's waarin een model mag draaien beperken
(settings.regions_allow; zie Sleutels). Een verzoek kan daarnaast zelf een regio
eisen voor de beurt die het beantwoordt met het veld hosting; zie Een modelaanroep
doen. Beide gelden voor elk model dat Core namens de sleutel
aanroept, niet alleen voor het model dat antwoordt: het samenvattingsmodel, de modelstappen van een
kennispipeline, een afbeeldingsmodel en een audiomodel worden elk getoetst aan de regio die hier
staat.
Regio's liggen in elkaar: in-cluster (de eigen infrastructuur van deze installatie) en elke
EU-lidstaat liggen in eu, en elke regio ligt in global. Een model voldoet aan een lijst of een
gevraagde regio die bevat waar het draait: een model in nl voldoet aan eu, en een lijst met
global laat elk model toe; een model dat global of in us draait, voldoet niet aan eu.
Een sleutel kan dezelfde regio's zelf opvragen: GET /models?kind=image, ?kind=audio en
?kind=embedding tonen die modellen met allowed, GET /model-roles noemt het samenvattingsmodel en het
embeddingmodel, en GET /knowledge/pipelines/{id}/models plaatst de modelstappen van een pipeline;
zie Modellen die je sleutel bereikt zonder ze te
noemen.
Sleutelbeleid¶
De console toont de volledige modelcatalogus van de installatie. Een sleutel mag alleen modellen
gebruiken die door het beleid worden toegestaan. Core controleert dit bij elke
aanroep. Vraag met GET /models de toegestane modellen voor je sleutel op.
Labels¶
Open het rijmenu van een model (het pictogram met de drie puntjes) en kies Labels… om de
labels van dat model voor je organisatie te bewerken. Bijvoorbeeld: geef een model tier: premium
en voeg aan de policy van een sleutel een regel over Modellen toe die het label leest
(Regels over een persoon).
Core controleert die regel voordat het de modelleverancier aanroept. Voor een persoon die geen
toegang heeft, ontbreekt het model ook in GET /models. Modellen zonder het vereiste label voldoen
niet aan de regel. Het gewone modelbeleid van de sleutel blijft eveneens gelden.
Zie Bouwen voor personen.
Lege catalogus¶
Zie je “Geen modellen beschikbaar”, vraag de beheerder van de installatie dan om de modelconfiguratie te controleren.