Gebruik in de console¶

Het concept achter verbruik, audit en traces staat in Inzicht.

Op Gebruik bekijk je wat een organisatie heeft verbruikt en wat het kostte: per periode, per soort resource, per API-sleutel en per gebruiker, en hoe ver elke limiet van deze maand is. Je gebruikt het om kosten te volgen en om te zien welke sleutel of persoon het verbruik veroorzaakt.

Je hebt een beheerdersaccount van de organisatie nodig. Houdt de organisatie erboven de gebruikscijfers bij zich, dan zie je het scherm niet (hieronder). Dezelfde cijfers lees je met een sleutel in Gebruik en audit via de API.

Het scherm heeft vier tabbladen: Kosten, Verbruik, Snelheid en Limieten. De periode, de sleutel, het bereik, het tabblad en de verdeling staan in de link, dus wie de link deelt, opent dezelfde cijfers.

Periode, sleutel en export¶

Kies bovenaan een periode: Laatste 7 dagen, Laatste 30 dagen, Deze maand, Vorige maand of Alle tijd. Laat de keuzelijst Sleutel op Alle sleutels staan voor de cijfers van de hele organisatie, of kies een sleutel om alleen het verbruik daarvan te zien. Op een telefoon staan de periodeknoppen in een rij die je opzij schuift, met de sleutelkeuze eronder.

Exporteren downloadt de regels van Per model of tool (op het tabblad Verbruik) als CSV-bestand, voor de periode, sleutel en het bereik die je hebt gekozen.

De periode en de sleutel gelden voor Kosten en Verbruik. Snelheid volgt alleen de periode en telt altijd alle sleutels van deze organisatie. Limieten gaat altijd over de lopende kalendermaand (hieronder).

Heeft een deel van het verbruik in de periode geen prijs, dan staat boven elk tabblad behalve Limieten één waarschuwing met het aantal regels zonder prijs. Die regels tellen als € 0, dus de kosten en limieten zijn dan een ondergrens. Prijzen bekijken brengt je naar de plek waar je een prijs zet; welke prijs voor welk model geldt, lees je op Modellen.

Kosten¶

De kaart Kosten met de gekozen periode in de titel (bijvoorbeeld Kosten deze maand) toont wat de periode kostte, over alles wat een prijs heeft. Elke regel kost wat de prijs was op het moment dat hij werd vastgelegd, dus een prijswijziging binnen de periode prijst eerder verbruik niet opnieuw. Een prijs in een andere valuta dan de euro wordt omgerekend met de nieuwste koers, totdat je operator de maand afsluit; tot dan beweegt het bedrag mee met de koers (Een prijs in een andere valuta).

Onder het bedrag staat een staaf per UTC-dag, opgedeeld in Modeltokens, Embedding, Tools en zoeken en Overig. Wijs een staaf aan voor de bedragen van die dag. Bij Alle tijd en bij Inclusief onderliggende staat er geen grafiek, maar een regel die zegt waarom: kies dan een kortere periode, of bekijk een organisatie apart.

Kosten verdeeld¶

Onder de kosten staat Kosten verdeeld, met drie keuzes:

• Per sleutel: elke sleutel die in de periode iets kostte, met aanroepen, kosten en aandeel. Wat vanuit de console zelf werd gestart, staat op een eigen regel Beheer, zonder sleutel.
• Per gebruiker: de tien duurste gebruikers, met erboven hoeveel gebruikers er in de periode waren. Wat geen gebruiker noemde, zoals elke actie vanuit de console, staat op een eigen regel Zonder gebruiker.
• Sleutel × gebruiker: de twee duurste sleutels, en binnen elke sleutel de twee duurste gebruikers.

Een gebruiker is hier het id waarmee je eigen applicatie een aanroep aan een persoon koppelde. Core bewaart geen naam bij dat id, en het scherm zoekt er ook geen naam bij op.

Per sleutel en Sleutel × gebruiker tellen altijd alle sleutels, ook als je bovenaan één sleutel hebt gekozen; de kaart zegt dat dan ook. Per gebruiker volgt de gekozen sleutel wel.

Per helper¶

Deden helpers in de periode werk, dan volgt de kaart Per helper: één regel per helper, op zijn naam, met wat zijn werk kostte. De regels zijn je eigen helpers, op de naam die je beurten ze in helper gaven (Je eigen helper bouwen), en die van Core zelf, zoals assist.json_schema voor Beschrijf wat je nodig hebt. Een regel telt alles op wat het werk van de helper verbruikte: elk model, elke tool en elke agent. Verbruik dat geen helper deed, heeft hier geen regel. Zonder helperwerk in de periode staat de kaart er niet.

Verbruik¶

Het tabblad Verbruik toont een tegel per soort verbruik die Core meet:

Elke tegel zegt hoeveel hij veranderde ten opzichte van de even lange periode ervoor. De twee opslagtegels doen dat niet: ze tonen wat er nu is opgeslagen, geen totaal over de periode. Bij Alle tijd is er geen periode ervoor, dus dan staat er bij geen enkele tegel een verandering.

Per model of tool¶

Onder de tegels staat Per model of tool: elke groep verbruik met het model of de tool, de soort, het Aantal en de Kosten. Staat er n zonder prijs onder een bedrag, dan dekte geen prijs die regels en is het bedrag een ondergrens.

Twee soorten passen de modeltokens van hetzelfde model aan in plaats van nieuw werk te tellen. Cache lezen is invoer die de provider uit zijn promptcache las; de kosten daarvan zijn nul of negatief, de korting van het goedkopere cachetarief. Cache schrijven is invoer die de provider in zijn cache schreef; de kosten daarvan zijn nul of positief, wat het cache-schrijftarief extra kost. Zie promptcaching.

Gedeelde bytes is wat deellinks verstuurden: elke keer dat iemand een deellink opent, telt de grootte van het bestand dat hij toont erbij. Wat je zelf in de console opent, telt niet mee.

Snelheid¶

Het tabblad Snelheid toont Snelheid per model: één regel per model dat in de gekozen periode een aanroep van deze organisatie beantwoordde, over alle sleutels samen. De sleutelkeuze en Bereik veranderen deze tabel niet.

• Aanroepen: hoeveel aanroepen het model beantwoordde.
• Time to first token: de tijd tussen het versturen van de aanvraag en de eerste byte van het antwoord. De balk is donker tot de mediaan (p50) en licht tot het 95e percentiel (p95); beide cijfers staan erbij in milliseconden. Alle balken staan op één schaal.
• Tokens/s p50 / p95: hoeveel tokens het model per seconde leverde vanaf die eerste byte. Dit telt alleen aanroepen die nog minstens 100 ms doorgingen na de eerste byte, en eronder staat op hoeveel van de aanroepen het cijfer rust. Haalde geen enkele aanroep die grens, dan staat er een streepje.

De periode telt hier vanaf het moment waarop de eerste byte binnenkwam, niet vanaf het moment waarop Core de aanvraag verstuurde. Zie je Nog geen aanroepen met een eerste byte in deze periode, kies dan een langere periode of controleer of er in die periode aanroepen waren.

Limieten¶

Het tabblad Limieten toont wat elke limiet deze kalendermaand toestaat en wat er al is verbruikt. Deze cijfers gaan altijd over de lopende kalendermaand in UTC, wat je bovenaan ook kiest als periode: over die maand handhaaft Core de limiet. Een limiet is in euro en alleen in euro.

Bovenaan staan drie tellers: hoeveel limieten limiet bereikt zijn, hoeveel boven de 80% en hoeveel ruim binnen de limiet. Het tabblad Limieten draagt een rood getal zodra een limiet bereikt is of boven de 80% zit.

De tabel heeft een regel per limiet, in drie groepen:

• Organisatie: één limiet voor alles wat de organisatie verbruikt, alle sleutels samen. Telt de limiet ook de organisaties eronder, dan gaan de balk en het bedrag over de organisatie en alles eronder, en staat waarvan eigen erbij.
• Sleutels van de organisatie: elke sleutel met een eigen limiet binnen die van de organisatie. Zo'n limiet telt alleen wat via die sleutel liep.
• Organisaties eronder: alleen als de organisatie onderliggende organisaties heeft. Elke organisatie eronder heeft haar eigen limiet, en de limiet van deze organisatie geldt ook voor hen: is die bereikt, dan stoppen zij ook. Of hun verbruik ervoor meetelt, kies je bij de limiet zelf. Kan de limiet van een organisatie eronder niet worden gelezen, dan blijft haar regel staan met die melding.

Elke regel toont een balk, Verbruikt / limiet en Verwacht eind maand. Zonder limiet staat er geen limiet. Bij een bereikte limiet staat er bereikt en blijft het bedrag wat er echt verbruikt is, ook als dat iets boven de limiet uitkomt: een beurt die al begonnen was, loopt af. Verwacht eind maand is een schatting: wat de maand tot nu toe kostte, in een rechte lijn doorgetrokken tot het eind van de maand. Gaat die schatting boven de limiet, dan staat dat erbij. In de eerste dag van de maand staat er nog geen schatting.

Het potlood op een regel opent de plek waar die limiet wordt ingesteld: de limiet van de organisatie op Instellingen, die van een sleutel op de pagina van de sleutel, en die van een organisatie eronder op haar eigen Instellingen. Of je de limiet daar mag wijzigen, hangt af van je rol: een organisatie stelt haar eigen limiet niet in.

Onder de tabel staat bij welke percentages er een melding gaat en naar welke adressen. Die grenzen en adressen stel je in bij de instellingen van de organisatie. Heeft de organisatie geen meldadres, dan zegt de regel dat de meldingen nergens heen gaan.

Is de limiet bereikt, dan antwoordt Core op een nieuwe beurt 429 en stopt een achtergrondrun met usage_cap_exceeded; bij het begin van de volgende maand loopt het weer. Wat een aanroeper daarvan merkt, staat in je maandlimiet.

De limiet telt alles wat een prijs heeft: tokens, afbeeldingen, toolaanroepen, zoekopdrachten, verwerkte pagina's, gecrawlde pagina's, sandboxtijd en de bytes die via deellinks zijn verstuurd. Opslag telt nooit mee: dat is een meting van wat er nu staat, geen beprijsd verbruik. Een regel zonder prijs kost nul tegen de limiet; hoeveel regels dat in een periode waren, zegt de waarschuwing boven de andere tabbladen. Vraag je operator om een onderwerp te beprijzen dat daar steeds opduikt.

Onderliggende organisaties meetellen¶

Heeft de organisatie onderliggende organisaties, dan staat onder de tabbladen Bereik: Alleen met de naam van deze organisatie erachter, of Inclusief onderliggende. De tweede telt deze organisatie en alles eronder op. Naast de keuze staat over hoeveel organisaties het gaat en wat ze samen kostten. Het bereik geldt voor Kosten en Verbruik. Bereik staat niet op het tabblad Snelheid, dat alleen deze organisatie leest, en niet op Limieten, omdat elke limiet bij één organisatie hoort.

Met Inclusief onderliggende verandert het tabblad Kosten zo:

• De kaart Per organisatie toont per organisatie wat ze kostte. Is de naam van een organisatie nog niet geladen, dan staat haar id er, zodat het bedrag nergens verdwijnt.
• Er staat geen grafiek per dag: dat verloop staat bij elke organisatie apart.
• Kosten verdeeld blijft over deze organisatie alleen, omdat sleutels en gebruikers bij één organisatie horen. De kaart zegt dat erbij.

Met alleen deze organisatie staat op Kosten de kaart Organisaties eronder: hoeveel organisaties eronder hun eigen verbruik hebben, dat hier niet meetelt. Inclusief onderliggende bekijken schakelt het bereik om.

Geldt er een markup op een organisatie eronder, dan staan Doorbelast en Betaald naast elkaar: bij de kosten van de periode, op Per organisatie en op Per model of tool. Doorbelast is wat die organisatie in rekening wordt gebracht, Betaald is wat jij zelf betaalt voor datzelfde verbruik, tegen je eigen prijzen. Ze zijn gelijk, tenzij een markup ze uit elkaar trekt; wijs de kop Betaald aan voor dezelfde uitleg. Met alleen deze organisatie is er geen kolom Betaald, want daar zijn de twee prijzen dezelfde. Wat je betaalt voor één organisatie onder de jouwe apart, staat in de API, via een sleutel van jezelf.

Een organisatie waarvan het verbruik aan jou is voorbehouden, telt gewoon mee; alleen haar eigen beheerders zien haar niet in hun eigen optelling.

Als de organisatie erboven het verbruik leest¶

Houdt de organisatie erboven de gebruikscijfers bij zich (Voorbehouden), dan staat op dit scherm alleen de zin De organisatie erboven leest het verbruik van deze organisatie., en staat Gebruik niet in de navigatie. De sleutels van de organisatie merken er niets van: GET /usage antwoordt ze gewoon.

Toeschrijving¶

API-activiteit wordt toegeschreven aan de gebruikte sleutel. Activiteit vanuit de console, zoals een zoektool proberen, pipelinetest of herindexering, hoort bij de organisatie en de persoon die de taak startte. Organisatietotalen bevatten beide. Filteren op een sleutel sluit beheeractiviteit uit; in Kosten verdeeld staat die als Beheer, zonder sleutel.

Noem je bij een aanroep een gebruiker, dan telt Core dat id apart mee, zichtbaar onder Per gebruiker. Een naam bij dat id houdt Core niet bij; leg die koppeling vast in je eigen applicatie.

Lege resultaten¶

Zie je Nog geen gebruik in deze periode, controleer dan de gekozen periode en sleutel. Core registreert activiteit voor elke sleutel.