Modelle und Modellkarten

Nutzer wählen im Chat kein rohes Modell aus, sondern eine Modellkarte. Eine Karte bündelt einen Anbieter, ein Modell und die Voreinstellungen dazu unter einem verständlichen Namen. Diese Seite zeigt, was Sie als Administrator damit steuern.

Was eine Modellkarte ist

Eine Karte ist ein kuratiertes Preset. Statt eines technischen Modellnamens liest die Person im Modell-Picker eine verständliche Bezeichnung und bekommt damit automatisch den passenden Systemprompt und die passenden Parameter. Das hat drei Vorteile: die Auswahl bleibt verständlich, der Systemprompt wird serverseitig eingefügt und landet nicht im Browser, und Sie können die Auswahl pro Rolle und Gruppe zuschneiden.

Zu einer Karte gehören unter anderem ein sichtbares Label, eine kurze Beschreibung, die Position im Picker, der Anbieter und das Modell dahinter sowie Voreinstellungen wie Temperatur, Begrüssungstext und Systemprompt. Genau eine Karte ist die Standardkarte.

Zusätzlich lässt sich einstellen, ob ausschliesslich Karten wählbar sind oder ob daneben auch die rohe Modellliste erscheint.

Anbieter

Die Anbieter und die von ihnen bereitgestellten Modelle werden in der Konfiguration gepflegt. Ein Verbindungstest prüft die Anbindung, ohne das Geheimnis preiszugeben.

Sichtbarkeit pro Rolle und Gruppe

Welche Karten jemand sieht, legen Sie auf Ebene der Rolle und der Gruppe fest. Wo es keine eigene Regel gibt, gilt die ausgelieferte Auswahl. Grundsatz: die engere Regel gewinnt.

Im Rollen-Editor schalten Sie die Karten einzeln an oder aus und blenden bei Bedarf die rohe Modellliste aus; eine Gruppe bekommt bei Bedarf eine eigene Auswahl. Auf beiden Ebenen lässt sich die Auswahl in einem Schritt auf den Auslieferungsstand zurücksetzen.

Anbieter einschränken

Läuft ein Endpunkt über einen Vermittler, der seinerseits mehrere Anbieter einsetzt, lässt sich einschränken, welche davon Ihre Anfragen bedienen dürfen: nur Anbieter ohne Speicherung und ohne Training der Prompts, und auf Wunsch nur Anbieter mit Sitz oder Rechenzentrum in EU, EWR und Schweiz.

Model-Router

Neben den festen Karten gibt es die Möglichkeit, Anfragen automatisch auf ein passendes Modell zu verteilen, statt jede Frage vom teuersten Modell beantworten zu lassen. Fällt die Einordnung aus, geht die Anfrage an das stärkere Modell: im Zweifel entscheidet der Router für Qualität, nicht für die Ersparnis.