Zum Hauptinhalt springen
FIM One bietet eine vollständige Admin-Benutzeroberfläche zur Verwaltung von LLM-Anbietern und Modellen. Diese Anleitung behandelt das Hinzufügen von Anbietern, die Konfiguration einzelner Modelle, die Optimierung erweiterter Einstellungen für strukturierte Ausgaben und die Organisation von Modellen in Gruppen für schnelle Umschaltung. Für ENV-basierte Konfiguration (ohne Admin-Benutzeroberfläche) siehe Umgebungsvariablen. Für Empfehlungen zur Modellauswahl siehe Empfohlene Modelle.

​
Architektur: Provider, Modell, Gruppe

FIM One organisiert die LLM-Konfiguration in drei Ebenen:
EbeneWas es darstelltBeispiel
ProviderEin Satz gemeinsamer Anmeldedaten (API-Schlüssel + Basis-URL). Ein Provider kann viele Modelle hosten.”Mein OpenAI-Konto”, “Company Bedrock Relay”
ModellEin einzelnes Modell unter einem Provider. Hat seinen eigenen Anzeigenamen, API-Modellbezeichner und erweiterte Einstellungen.”GPT-4o”, “Claude Sonnet 4.6”
ModellgruppeEine benannte Voreinstellung, die Modelle Rollen zuweist (Allgemein / Schnell / Reasoning). Das Aktivieren einer Gruppe wechselt alle Rollen auf einmal.”Production (OpenAI)”, “Budget (DeepSeek)“
Provider: "My OpenAI Account"
  ├── Model: "GPT-4o"         (model_name: gpt-4o)
  ├── Model: "GPT-5 Nano"     (model_name: gpt-5-nano)
  └── Model: "o3"             (model_name: o3)

Provider: "Anthropic Direct"
  ├── Model: "Claude Sonnet"   (model_name: claude-sonnet-4-6)
  └── Model: "Claude Haiku"    (model_name: claude-haiku-4-5)

Group: "Production"
  ├── General → GPT-4o
  ├── Fast    → GPT-5 Nano
  └── Reasoning → o3

​
Anbieter hinzufügen

1

Öffnen Sie die Seite Modelle

Navigieren Sie zu Admin (Seitenleiste) und wählen Sie die Registerkarte Modelle aus.
2

Klicken Sie auf Anbieter hinzufügen

Klicken Sie auf die Schaltfläche Anbieter hinzufügen im oberen rechten Bereich des Abschnitts ‘Anbieter”.
3

Wählen Sie eine Voreinstellung oder verwenden Sie einen benutzerdefinierten Endpunkt

Das Dialogfeld zeigt Voreinstellungsschaltflächen für gängige Anbieter: OpenAI, Anthropic (Claude), Google Gemini, DeepSeek, Mistral AI und OpenAI Compatible (benutzerdefinierter Endpunkt). Durch Klicken auf eine Voreinstellung werden der Anbieter-Name und die Basis-URL automatisch ausgefüllt.Wählen Sie OpenAI Compatible, wenn Ihr Anbieter nicht aufgelistet ist (z. B. ein Drittanbieter-Relay, Ollama oder ein anderer OpenAI-kompatibler Endpunkt).
4

Geben Sie Anmeldedaten ein

Füllen Sie die erforderlichen Felder aus:
  • Anbieter-Name – Eine benutzerfreundliche Bezeichnung (z. B. ‘Mein OpenAI-Konto”). Dies dient nur als Referenz für Sie.
  • Basis-URL – Der API-Endpunkt. Voreinstellungen füllen dies automatisch aus. Geben Sie für benutzerdefinierte Endpunkte die vollständige URL ein (z. B. http://localhost:11434/v1 für Ollama).
  • API-Schlüssel – Der API-Schlüssel Ihres Anbieters. Geben Sie für lokale Modelle (Ollama) eine beliebige nicht-leere Zeichenkette ein (z. B. ollama).
5

Speichern

Klicken Sie auf Erstellen. Der Anbieter wird in der Liste angezeigt und ist bereit, damit Sie Modelle unter ihm hinzufügen können.
Sie können mehrere Anbieter für denselben Dienst erstellen. Beispielsweise zwei ‘OpenAI”-Anbieter mit unterschiedlichen API-Schlüsseln für separate Abrechnungskonten oder ein ‘Anthropic (Direkt)” und ‘Anthropic (über Bedrock)” mit unterschiedlichen Basis-URLs.

​
Ein Modell hinzufügen

1

Einen Anbieter erweitern

Klicken Sie auf der Seite ‘Modelle” auf das Chevron neben einem vorhandenen Anbieter, um ihn zu erweitern und seine Modelle anzuzeigen.
2

Klicken Sie auf Modell hinzufügen

Klicken Sie auf die Schaltfläche Modell hinzufügen, die unter dem erweiterten Anbieter angezeigt wird.
3

Modelldetails eingeben

Füllen Sie die zwei erforderlichen Felder aus:
  • Anzeigename — Ein benutzerfreundlicher Name, der in der Benutzeroberfläche angezeigt wird (z. B. ‘GPT-4o”, ‘Claude Sonnet”). Kann beliebig sein.
  • Modellname (API) — Der genaue Modellbezeichner, der an die API gesendet wird (z. B. gpt-4o, claude-sonnet-4-6, deepseek-chat). Dies muss dem entsprechen, was Ihr Anbieter erwartet.
4

Erweiterte Einstellungen konfigurieren (optional)

Klicken Sie auf den Schalter Erweitert, um zusätzliche Einstellungen anzuzeigen: Max. Ausgabe-Token, Kontextgröße, Temperatur, Native Funktionsaufrufe und JSON-Modus. Weitere Informationen zu den einzelnen Einstellungen finden Sie im Abschnitt Erweiterte Einstellungen unten.
5

Speichern

Klicken Sie auf Erstellen. Das Modell wird unter seinem Anbieter angezeigt und ist nun verfügbar, um es Modellgruppen zuzuweisen.

​
Erweiterte Einstellungen

Jedes Modell verfügt über erweiterte Einstellungen, die steuern, wie FIM One mit der API des Anbieters für die Extraktion strukturierter Ausgaben interagiert. Diese Einstellungen finden Sie unter dem Umschalter Erweitert im Dialog zum Erstellen/Bearbeiten von Modellen.

​
Native Funktionsaufrufe

Einstellungsname: Native Function Calling (gespeichert als tool_choice_enabled) Standard: AN Steuert, ob FIM One erzwungenes tool_choice für die Extraktion strukturierter Ausgaben verwendet. Dies ist Stufe 1 in der Degradationskette für strukturierte Ausgaben — die zuverlässigste Methode, wenn das Modell sie unterstützt. Wann deaktivieren:
  • Ihr Modell gibt Fehler wie "tool_choice 'specified' is incompatible with thinking enabled" zurück — häufig bei Modellen mit immer aktiviertem Denken (DeepSeek R1, Kimi K2.5)
  • Anfragen für strukturierte Ausgaben sind konsistent langsam mit einer ~10-Sekunden-Strafe pro Aufruf, gefolgt von einem Fallback zu JSON Mode
Auswirkung bei Deaktivierung: FIM One überspringt Stufe 1 (native Funktionsaufrufe) und beginnt bei Stufe 2 (JSON Mode) für strukturierte Ausgaben. Der Funktionsaufruf des ReAct-Agenten ist völlig unbeeinträchtigt — er verwendet tool_choice="auto", das mit allen Modellen unabhängig von dieser Einstellung funktioniert.
Diese Einstellung betrifft nur erzwungene Werkzeugauswahl, die für die Extraktion strukturierter Ausgaben verwendet wird (DAG-Planung, Schema-Annotation). Sie betrifft nicht den ReAct-Agenten, der frei entscheidet, wann Werkzeuge mit tool_choice="auto" aufgerufen werden.
Technische Details finden Sie unter LLM-Anbieter-Kompatibilität — tool_choice_enabled.

​
JSON Mode

Einstellungsname: JSON Mode (gespeichert als json_mode_enabled) Standard: AN Steuert, ob FIM One response_format=json_object für strukturierte Ausgaben verwendet. Dies ist Level 2 in der Degradationskette. Wann deaktivieren:
  • Ihr Provider lehnt Assistant Message Prefill ab — hauptsächlich AWS Bedrock Relays, die "This model does not support assistant message prefill" werfen
Auswirkung bei Deaktivierung: FIM One überspringt Level 2 (JSON Mode) und fällt auf Level 3 (Nur-Text-Extraktion) zurück. Moderne Modelle erzeugen gültiges JSON aus Prompt-Anweisungen allein, daher gibt es typischerweise keinen Qualitätsverlust. Technische Details finden Sie unter LLM Provider Compatibility — json_mode_enabled.

​
Temperatur

Standard: 0.7 (geerbt von der globalen Einstellung, wenn nicht festgelegt) Steuert die Zufälligkeit der Modellausgabe. Bereich: 0 (deterministisch) bis 2 (hochkreativ).
Wenn Reasoning/Extended Thinking für Anthropic-Modelle aktiviert ist, wird die Temperatur vom System automatisch auf 1.0 erzwungen. Sie müssen dies nicht manuell festlegen.

​
Max Output Tokens

Die maximale Anzahl von Tokens, die das Modell in einer einzelnen Antwort generieren kann. Lassen Sie dieses Feld leer, um den Systemstandard (64.000) zu verwenden. Für lokale Modelle mit begrenztem VRAM sollten Sie diesen Wert explizit auf einen niedrigeren Wert setzen (z. B. 8192).

​
Kontextfenstergröße

Die Größe des Kontextfensters des Modells in Token. Lassen Sie dieses Feld leer, um den Systemstandard (128.000) zu verwenden. Stellen Sie diesen Wert so ein, dass er der tatsächlichen Kapazität Ihres Modells entspricht – bei lokalen Modellen liegt dieser Wert je nach Modell und verfügbarem Speicher oft zwischen 4K und 32K.

​
Empfohlene Konfiguration

Die meisten Modelle funktionieren mit den Standardeinstellungen korrekt (beide Schalter AN). Passen Sie die Einstellungen nur an, wenn Sie auf Fehler oder unnötige Latenz stoßen. Die folgende Tabelle behandelt häufige Anbieter und Modelle. Daten stammen aus UniAPI-Funktionsetiketten und wurden gegen das Laufzeitverhalten vom 2026-03-22 verifiziert. Modellfunktionen ändern sich häufig – wenn Sie auf Fehler stoßen, überprüfen Sie die neueste Dokumentation Ihres Anbieters.

​
Schnellregeln

  • Native FC AN für Modelle mit Funktionsaufrufen-Unterstützung (die meisten modernen Modelle)
  • Native FC AUS für Modelle mit ständiger Denkfunktion, die erzwungene tool_choice ablehnen
  • JSON Mode AN für die meisten Modelle (sichere Standardeinstellung)
  • JSON Mode AUS nur für AWS Bedrock-Relays (Prefill-Ablehnung)

​
Pro-Anbieter-Konfigurationsmatrix

OpenAI
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
gpt-5.4Allgemein1.050K128KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
gpt-5.4-miniSchnell400K128KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
o3-proReasoning200K100KANANReasoning-Modell; FC funktioniert mit automatisch deaktiviertem Denken
Anthropic (Claude)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
claude-sonnet-4-6Allgemein1.000K64KANANFunktionsaufrufe + Reasoning; Denken automatisch deaktiviert für FC
claude-haiku-4-5Schnell200K64KANANFunktionsaufrufe unterstützt
claude-opus-4-6Reasoning1.000K128KANANFunktionsaufrufe + Reasoning; Denken automatisch deaktiviert für FC
Google Gemini
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
gemini-3.1-pro-previewAllgemein1.048K65KANANNeueste Vorschau; Nachfolger des veralteten gemini-3-pro-preview
gemini-2.5-proSchnell1.048K65KANANStabiles GA; produktionsreif
gemini-3.1-pro-previewReasoning1.048K65KANANThinking-Unterstützung mit konfigurierbarem thinking_level
DeepSeek
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
deepseek-chatAllgemein128K8KANANV3.2 Non-Thinking-Modus; FC + JSON-Modus unterstützt
deepseek-chatSchnell128K8KANANGleiches Modell wie Allgemein; nur zwei offizielle API-Modell-IDs vorhanden
deepseek-reasonerReasoning128K64KAUSANThinking immer aktiviert; erzwungene tool_choice abgelehnt; 64K einschließlich CoT
xAI (Grok)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
grok-4-1-fast-non-reasoningAllgemein2.000K30KANANFunktionsaufrufe + strukturierte Ausgabe
grok-3-mini-fastSchnell131K131KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning; 131K ist gemeinsames Kontextbudget
grok-4-1-fast-reasoningReasoning2.000K30KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
Qwen (Alibaba Cloud)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
qwen3.5-plusAllgemein1.000K64KANANFunktionsaufrufe + strukturierte Ausgabe
qwen-turbo-latestSchnell1.000K16KANANFC wahrscheinlich unterstützt (UniAPI-Tags unvollständig)
qwq-plusReasoning131K16KANANReasoning + Funktionsaufrufe; Denken umschaltbar via enable_thinking
Zhipu (GLM)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
glm-4.7Allgemein200K128KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
glm-4.7-flashxSchnell200K128KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
glm-5Reasoning200K128KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
Moonshot (Kimi)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
kimi-k2.5Allgemein262K65KAUSANFC funktioniert, aber erzwungene tool_choice wird abgelehnt, wenn Denken aktiviert ist (Standard)
kimi-k2Schnell131K32KANANNon-Thinking; natives FC funktioniert (in Produktion verifiziert)
kimi-k2-thinkingReasoning131K—AUSANDenken immer aktiviert; erzwungene tool_choice abgelehnt
MiniMax
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
MiniMax-M2.5Allgemein205K65KANANFunktionsaufrufe + strukturierte Ausgabe (in Produktion verifiziert)
MiniMax-M2.5-highspeedSchnell205K65KANANFunktionsaufrufe + strukturierte Ausgabe (in Produktion verifiziert)
MiniMax-M1Reasoning1.000K80KANANFunktionsaufrufe + strukturierte Ausgabe; 456B Parameter Hybrid-MoE
ByteDance (Doubao)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
doubao-seed-2-0-proAllgemein256K128KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
doubao-seed-1-6Schnell256K16KANANFunktionsaufrufe + strukturierte Ausgabe + Reasoning
doubao-seed-1-6Reasoning256K16KANANUnterstützt reasoning_effort (minimal/low/medium/high)
Meta (Llama)
ModellRolleKontextMax. AusgabeNative FCJSON-ModusHinweise
llama-3.3-70bAllgemein131K16KANANFC + JSON-Modus hängen vom Hosting-Anbieter ab; max. Ausgabe variiert (2K–16K)
”—” in Max. Ausgabe bedeutet, dass der Anbieter kein Limit angegeben hat. In der Praxis unterstützen diese Modelle typischerweise 4K-16K Ausgabe-Token. Legen Sie Max. Ausgabe-Token explizit in den erweiterten Einstellungen des Modells fest, wenn Sie einen bestimmten Wert benötigen.
Diagnose: Überprüfen Sie Ihre Anwendungsprotokolle auf structured_llm_call: native_fc call raised Warnungen. Wenn Sie diese Warnungen gefolgt von erfolgreicher JSON-Modus-Extraktion sehen, profitiert das Modell nicht von nativen Funktionsaufrufen. Deaktivieren Sie Native Function Calling für dieses Modell, um den verschwendeten API-Aufruf und die ~10-Sekunden-Latenzstrafe pro strukturierter Ausgabeanfrage zu vermeiden.
Modellkapazitäten ändern sich häufig, wenn Anbieter ihre APIs aktualisieren. Die obigen Empfehlungen basieren auf Daten vom 22.03.2026 (UniAPI-Funktions-Tags + Produktions-Laufzeit-Verifizierung). Wenn ein Modell, das zuvor funktioniert hat, Fehler zurückgibt, überprüfen Sie das Änderungsprotokoll des Anbieters auf Breaking Changes.

​
Modellgruppen

Mit Modellgruppen können Sie Modelle bestimmten Rollen zuweisen und mit einem einzigen Klick zwischen Konfigurationen wechseln.

​
Rollen

FIM One verwendet drei Modellrollen. Jede Rolle erfüllt einen anderen Zweck in der Ausführungs-Pipeline:
RolleVerwendet fürEmpfehlung
GeneralPlanung, Analyse, ReAct-Agent, komplexe ArgumentationIhr leistungsfähigstes Modell (z. B. gpt-4o, claude-sonnet-4-6)
FastDAG-Schrittausführung, KontextkomprimierungOptimiert für Geschwindigkeit und Kosten (z. B. gpt-5-nano, deepseek-chat). Fällt auf General zurück, falls nicht zugewiesen.
ReasoningAufgaben, die tiefe Analyse erfordern – komplexe Planung, mathematische Beweise, mehrstufige LogikEin starkes Reasoning-Modell (z. B. o3, deepseek-reasoner). Fällt auf General zurück, falls nicht zugewiesen.

​
Erstellen einer Modellgruppe

1

Öffnen Sie den Bereich Gruppen

Scrollen Sie auf der Seite Admin > Modelle zum Bereich Modellgruppen.
2

Klicken Sie auf Gruppe hinzufügen

Klicken Sie auf die Schaltfläche Gruppe hinzufügen.
3

Benennen Sie die Gruppe

Geben Sie einen aussagekräftigen Namen ein (z. B. ‘Production (OpenAI)”, ‘Budget (DeepSeek)”, ‘Local Dev”).
4

Weisen Sie Modelle Rollen zu

Wählen Sie für jede Rolle (General, Fast, Reasoning) ein Modell aus dem Dropdown-Menü aus. Das Dropdown-Menü zeigt alle aktiven Modelle von aktiven Anbietern, gruppiert nach Anbieter-Name. Sie können eine Rolle nicht zugewiesen lassen – sie wird dann auf das Modell ‘General” zurückgreifen (oder auf ENV-konfigurierte Modelle, wenn ‘General” ebenfalls nicht zugewiesen ist).
5

Speichern

Klicken Sie auf Erstellen. Die Gruppe ist nun zur Aktivierung verfügbar.

​
Eine Gruppe aktivieren

Um eine Modellgruppe zu aktivieren, verwenden Sie das Dropdown-Menü oder die Aktivierungskontrolle auf der Seite ‘Modelle”. Es kann jeweils nur eine Gruppe aktiv sein. Das Aktivieren einer Gruppe wendet ihre Modellzuweisungen sofort auf alle neuen Gespräche an. Um die aktuelle Gruppe zu deaktivieren (Rückgriff auf ENV-konfigurierte Modelle), wählen Sie die Deaktivierungsoption.
Das Wechseln der aktiven Modellgruppe wirkt sich auf alle neuen Gespräche systemweit aus. Laufende Gespräche verwenden weiterhin das Modell, das aktiv war, als sie gestartet wurden.

​
ENV-Fallback

Wenn keine vom Administrator konfigurierte Modellgruppe aktiv ist, greift FIM One auf ENV-basierte Konfiguration zurück:
RolleENV-Variable
AllgemeinLLM_MODEL
SchnellFAST_LLM_MODEL (greift auf LLM_MODEL zurück)
ReasoningREASONING_LLM_MODEL (greift auf LLM_MODEL zurück)
Vom Administrator konfigurierte Modelle haben immer Vorrang vor ENV-Variablen. Die Systemgesundheitsprüfung berücksichtigt beide Quellen – solange entweder eine aktive Modellgruppe oder gültige ENV-Variablen konfiguriert sind, meldet das LLM-Subsystem einen fehlerfreien Status. Die vollständige ENV-Referenz finden Sie unter Umgebungsvariablen.

​
Export und Import

Die Seite ‘Models” unterstützt den Export Ihrer gesamten Anbieter- und Modellkonfiguration (Anbieter, Modelle und Gruppen) als JSON-Datei und deren Import auf einer anderen Instanz. Dies ist nützlich für:
  • Migration der Konfiguration zwischen Entwicklungs-, Staging- und Produktionsumgebungen
  • Austausch einer bekanntermaßen funktionierenden Modellkonfiguration mit Teammitgliedern
  • Sicherung Ihrer Konfiguration vor Änderungen
Die exportierte Konfiguration enthält keine API-Schlüssel. Nach dem Import müssen Sie jeden Anbieter bearbeiten, um den entsprechenden API-Schlüssel einzugeben.