Fallback-routering¶

Het concept achter modellen en routering staat in Modellen en routering.

Op Routering bepaal je op welk model een beurt terugvalt als het gevraagde model niet kan antwoorden. Je maakt er routeringsconfiguraties aan en neemt ze in gebruik. Elke configuratie is een kaart die elke keten als regel toont: het gevraagde model, dan de genummerde alternatieven. De regel onder de naam zegt hoeveel modellen ze dekt, wat haar gebruikt (de standaard van de organisatie, en hoeveel sleutels) en wanneer ze voor het laatst is gewijzigd.

Een routeringsconfiguratie is een lijst ketens met een naam. Elke keten noemt één model en daarachter, op volgorde, de modellen die in de plaats worden geprobeerd. Een configuratie geldt voor een hele sleutel: stel er één in als standaard van deze organisatie, of noem er één op één sleutel. Wat een aanroeper ervan ziet, staat op Terugvallen op een ander model. Wil je dat Core zelf het model voor een beurt kiest, zie dan Routers.

Je hebt een beheerdersaccount van de organisatie nodig. Houdt de organisatie erboven het sleutelbeheer bij zich, dan kun je configuraties lezen en niet wijzigen (hieronder). Met een sleutel die management heeft doe je hetzelfde via de API (Organisaties beheren via de API).

Een configuratie aanmaken¶

1. Kies Nieuwe configuratie in de paginabalk en geef de configuratie een unieke Naam.
2. Kies bij Gevraagd model het model waarvoor je fallback wilt instellen.
3. Voeg met Alternatief toevoegen één tot vier chatmodellen toe. Core probeert ze in de genummerde volgorde. Gebruik Alternatief omhoog en Alternatief omlaag op een alternatief om de volgorde te wijzigen.
4. Gebruik Keten toevoegen voor een ander model.
5. Kies Aanmaken in de balk onderaan de pagina.

Een bestaande configuratie wijzig je op haar eigen pagina: kies Bewerken op haar kaart, pas haar aan en kies Opslaan. Daar telt dezelfde balk je niet-opgeslagen wijzigingen; Annuleren zet de opgeslagen waarden terug. Gebruikt door naast het formulier noemt de standaard van de organisatie en de sleutels die de configuratie gebruiken, elk als link.

Een model kan maar één keten beginnen. Binnen een keten mag een model niet tweemaal voorkomen. Het formulier maakt ongeldige keuzes onbeschikbaar. Core controleert de volledige configuratie bij het opslaan; bij een fout blijft het formulier open met een melding.

Alternatieven mogen bij een andere provider of in een andere regio draaien. Bij uitvoering controleert Core opnieuw het beleid van de sleutel en de regio-eis van het verzoek. Een opgeslagen keten geeft geen extra rechten.

Concepten¶

Elke wijziging van de ketens is een genummerde versie. Op de pagina van een bestaande configuratie geldt de wijziging met Opslaan meteen voor elke sleutel die haar gebruikt; met Opslaan als concept v… wordt ze een concept waarop nog geen enkele beurt terugvalt. Een nieuwe configuratie maak je met Aanmaken, of met Opslaan als concept als concept. Zo'n configuratie is gemarkeerd als concept en kan nog niet aan een sleutel of de organisatie worden gekoppeld.

Onder het formulier staan bij Versies alle versies. Open een concept om de ketens te zien en kies Publiceren of Concept weggooien. Het enige concept van een configuratie zonder gepubliceerde versie gooi je niet weg: verwijder dan de configuratie.

Een model dat niet meer wordt aangeboden¶

Een model dat niet meer beschikbaar is, blijft in de opgeslagen configuratie staan met het label niet in de catalogus. Core slaat zo'n alternatief over tijdens fallback. Verwijder of vervang het model om de configuratie bij te werken.

Een configuratie in gebruik nemen¶

In de console koppel je de configuratie aan een organisatie of een sleutel:

• Stel haar in als standaard op Instellingen. Sleutels zonder eigen configuratie gebruiken deze standaard als fallback is ingeschakeld.
• Kies haar onder Fallback-routering op een sleutel. Die keuze gaat voor op de organisatiestandaard.

Een agentversie en één verzoek kunnen via de API ook een eigen configuratie noemen, en die gaat voor op die van de sleutel (Een configuratie voor één agent of één beurt). Het agentformulier in de console heeft er geen veld voor; een versie die je daar opslaat, houdt de configuratie die de agent al noemt.

Je kunt fallback per sleutel uitschakelen; een sleutel waarop fallback uit staat, valt nergens op terug, wat een agent of verzoek ook noemt. Onderliggende organisaties erven de routeringsstandaard niet; ze hebben een eigen instelling.

Fallback tijdens een aanroep¶

Bij een time-out, overbelasting of serverfout past Core eerst de retryregels voor het model toe. Als het model niet kan antwoorden, probeert Core het volgende toegestane alternatief.

• Core doorloopt alleen de keten van het oorspronkelijk gevraagde model. Het volgt geen ketens van alternatieven.
• Na een geslaagde fallback gebruikt de beurt dat model ook voor de resterende toolrondes.
• Het veld model van het antwoord noemt het alternatief dat antwoordde. Verbruik wordt aan het daadwerkelijk gebruikte model toegeschreven.
• Bij streaming is fallback alleen mogelijk voordat de eerste tekst is verstuurd.

Zie Terugvallen op een ander model voor de fouten die geen fallback activeren.

Een configuratie verwijderen¶

Kies Verwijderen in het menu van de kaart, of in de gevarenzone op de eigen pagina van de configuratie, en bevestig; op een telefoon heeft de kaart geen menu, dus verwijder je daar via de gevarenzone. Core weigert de verwijdering als de configuratie nog als organisatiestandaard of op een sleutel is ingesteld, of als de laatste versie van een agent haar noemt. De console noemt dan wat haar nog gebruikt, elk met een link: Instellingen voor de standaard, de eigen pagina van de sleutel voor een sleutel (Sleutels), en de pagina van de agent voor een agent. Wijzig daar de standaard of de keuze op de sleutel. Een agent heeft een nieuwe versie nodig met een andere routing_config_id, of zonder, die je via de API schrijft (Agents via de API). Probeer het daarna opnieuw.

Voorbehouden sleutelbeheer¶

Heeft de bovenliggende organisatie het sleutelbeheer voorbehouden, dan kun je routeringsconfiguraties alleen lezen. Vraag een operator of beheerder van de bovenliggende organisatie om ze aan te maken, te wijzigen of te verwijderen.