LLM-Anbieter-Kompatibilität

Documentation Index

Fetch the complete documentation index at: https://docs.fim.ai/llms.txt

Use this file to discover all available pages before exploring further.

​

Anbieter-Erkennung

1. Expliziter Anbieter (aus DB-Feld ModelConfig.provider) — höchste Priorität. Wenn der Anbieter einer bekannten Domäne in der URL entspricht, wird keine api_base zurückgegeben (LiteLLM leitet nativ weiter). Andernfalls wird api_base auf die Relay-URL gesetzt.
2. Domänen-Abgleich gegen KNOWN_DOMAINS — offizielle API-Endpunkte werden anhand des Hostnamens erkannt.
3. URL-Pfad-Hinweis gegen PATH_PROVIDER_HINTS — häufig auf Relay-Plattformen wie UniAPI, wo /claude oder /anthropic im Pfad das Upstream-Protokoll anzeigt.
4. Fallback — openai/-Präfix (generisches OpenAI-kompatibles).

​

tool_choice — die vier Modi

​

Wo tool_choice verwendet wird

​

ReAct-Engine — tool_choice=“auto”

​

structured_llm_call — tool_choice=forced

​

Die Bedrock-Prefill-Falle

{"role": "assistant", "content": "{"}

ValidationException: This model does not support assistant message prefill.
The conversation must end with a user message.

1. Das Modell wird mit dem Präfix anthropic/ aufgelöst (über Domain-Abgleich oder URL-Pfad-Hinweis).
2. response_format={"type":"json_object"} wird übergeben (der json_mode-Codepfad in structured_llm_call).
3. Das eigentliche Backend ist AWS Bedrock (das Prefill ablehnt).

​

Die Lösung: json_mode_enabled

• DB-konfigurierte Modelle: Umschalter in Admin → Models → Advanced settings. Das Flag wird auf ModelProviderModel.json_mode_enabled gespeichert (Standard TRUE).
• ENV-konfigurierte Modelle: setzen Sie LLM_JSON_MODE_ENABLED=false in Ihrer Umgebung.
• Auswirkung: wenn deaktiviert, gibt abilities["json_mode"] False zurück → response_format wird nie übergeben → keine Prefill → Bedrock funktioniert. Die Degradationskette wird zu native_fc → plain_text, wobei der fehlgeschlagene json_mode-Aufruf vollständig übersprungen wird.
• Kein Qualitätsverlust: das Modell gibt weiterhin gültiges JSON zurück, da das System-Prompt es anweist. Die plain_text-Ebene verwendet extract_json() zum Parsen von JSON aus Freitext-Inhalten, was bei modernen Modellen zuverlässig funktioniert.

​

Thinking-Modelle + erzwungene tool_choice

tool_choice 'specified' is incompatible with thinking enabled

​

Die Lösung: tool_choice_enabled

• DB-konfigurierte Modelle: Umschalter in Admin → Models → Advanced → “Native Function Calling”. Das Flag wird auf ModelProviderModel.tool_choice_enabled gespeichert (Standard TRUE).
• ENV-konfigurierte Modelle: setzen Sie LLM_TOOL_CHOICE_ENABLED=false in Ihrer Umgebung.
• Auswirkung: wenn deaktiviert, gibt abilities["tool_choice"] False zurück → die Degradationskette beginnt bei Level 2 (json_mode) oder Level 3 (plain_text) und überspringt native_fc vollständig. Dies eliminiert die ~10s Strafe pro strukturiertem Aufruf für inkompatible Modelle.
• ReAct-Agent nicht betroffen: tool_choice_enabled steuert nur die erzwungene Werkzeugauswahl in structured_llm_call. Die ReAct-Engine verwendet tool_choice="auto" (Modell entscheidet frei), was mit allen Modellen unabhängig von dieser Einstellung funktioniert.

​

Kurzreferenz: Was funktioniert wo

​

Empfohlene Pro-Modell-Konfiguration

# Disable native_fc globally (for thinking-model-only deployments)
LLM_TOOL_CHOICE_ENABLED=false

# Disable json_mode globally (for Bedrock relay deployments)
LLM_JSON_MODE_ENABLED=false

​

Reasoning-Aufwand und Thinking-Konfiguration

1. Temperatur wird auf 1,0 erzwungen. Bedrock lehnt temperature != 1.0 ab, wenn Thinking aktiviert ist. FIM One handhabt dies automatisch — keine Benutzeraktion erforderlich.
2. GPT-5.x mit Tools: reasoning_effort wird stillschweigend verworfen, wenn tools vorhanden sind, da der GPT-5-Endpunkt /v1/chat/completions die Kombination ablehnt. Dies betrifft nur die ReAct-Tool-Schleife; structured_llm_call-Aufrufe ohne tools-Parameter sind nicht betroffen.

​

Defensive Parsing für strukturierte Ausgabe

1. Einzelnes Objekt statt Array. Einige Modelle geben {"steps": {"id": "1", "task": "..."}} (ein einzelnes Step-Objekt) statt {"steps": [{"id": "1", "task": "..."}]} (ein Array) zurück. Der Parser erkennt dies, indem er auf id- oder task-Schlüssel prüft und das Objekt in eine Liste einbindet.
2. Doppelt kodierter JSON-String. Wenn strukturierte Ausgabe auf json_mode zurückfällt (das keine Schema-Erzwingung hat), geben einige Anbieter den steps-Wert als JSON-String statt als natives Array zurück – z. B. {"steps": "[{\"id\": \"1\", ...}]"}. Dieser String kann auch Zeilenumbrüche enthalten (aus der Formatierung des Modells), die Standard-json.loads unterbrechen. Der Parser verwendet extract_json_value() (das _repair_json_strings enthält), um folgende Fälle zu behandeln:
   • Literale Zeilenumbrüche innerhalb von JSON-Stringwerten
   • Ungültige Escape-Sequenzen (häufig bei LaTeX- oder Code-Inhalten)
   • Andere Serialisierungsbesonderheiten von Kompatibilitätsschichten
3. Fehlender steps-Wrapper. Das Modell kann einen einzelnen Step als Top-Level-Objekt ohne den steps-Wrapper-Schlüssel zurückgeben. Der Parser erkennt id und task auf der Root-Ebene und bindet sie entsprechend ein.

​

Prompt-Caching (anbieterübergreifend)

​

Architektur

• PromptSection — ein benanntes Fragment mit entweder statischem content: str oder dynamischem content: Callable
• PromptRegistry — ein memoized Store (statische Abschnitte werden einmal gerendert, dynamische Abschnitte werden pro Aufruf neu gerendert)
• DYNAMIC_BOUNDARY — ein Sentinel-Marker, den die Registry zwischen dem letzten statischen Abschnitt und dem ersten dynamischen einfügt, damit Aufrufer den gerenderten Prompt am Cache-Breakpoint aufteilen können

• Statisches Präfix (~95% des Prompts) — Identität, Kernrichtlinien, Tool-Beschreibungen
• Dynamisches Suffix — aktuelles Datum/Uhrzeit, sprachspezifische Direktive pro Anfrage, Handoff-Kontext

​

Funktionserkennung

​

Cross-Provider-Abdeckung

​

Observability

"cache": {
  "read_tokens": 1067,
  "creation_tokens": 0
}

​

Multi-turn Cache ROI

​

Reasoning-Replay-Richtlinie (modelllose Korrektheit)

​

Drei Richtlinien

• anthropic_thinking — Claude-Familie (einschließlich anthropic/, bedrock/anthropic, vertex_ai/claude). Thinking-Blöcke MÜSSEN mit signature replayed werden; Anthropic lehnt nachfolgende Turns ab, wenn die Signatur fehlt oder geändert wird.
• informational_only — Modelle, die CoT ausgeben, aber KEINE Replay erwarten: DeepSeek R1 / R1-Distill, Qwen QwQ, Gemini 2.x thinking, OpenAI o1 / o3 / o4. Ihre Dokumentation besagt explizit „senden Sie reasoning_content nicht in der Nachrichtenhistorie zurück”. Es trotzdem zu senden:
  • Verstößt gegen den Provider-Vertrag (kann in zukünftigen Versionen Ablehnungen verursachen)
  • Invalidiert automatisch ihren Prefix-Cache stillschweigend — Nachrichtenbytes mutieren bei jedem Turn und brechen den Hash
• unsupported — Modelle ohne Reasoning-Fähigkeit (GPT-4o, GPT-4 Turbo, Gemini 1.5, Mistral, Llama). Kein CoT zum Replay; Feld sollte niemals erscheinen. Diese Richtlinie ist auch die sichere Standardeinstellung für unbekannte Modell-IDs.

​

Durchsetzung

​

Für Benutzer

• Wenn Sie Agenten zwischen Claude und DeepSeek in derselben Konversation wechseln, wird der Verlauf mit Thinking Blocks intakt gespeichert; beim nächsten Turn passt sich die ausgehende Nachrichtenform an das aktuelle Modell an.
• Wenn Sie einen Proxy / eine benutzerdefinierte BaseLLM-Unterklasse verwenden, stellen Sie sicher, dass seine Modell-ID erkennbar ist (enthält eines der Fragmente) oder die Standard-unsupported-Richtlinie wird angewendet — was sicher ist, aber bedeutet, dass Claude hinter einem ungewöhnlichen Proxy möglicherweise die Thinking-Wiedergabe verliert. Fügen Sie das Modell-ID-Fragment zu _CACHE_CAPABLE_MODEL_FRAGMENTS (in core/prompt/caching.py) und/oder zur Reasoning-Richtlinien-Suche hinzu.

​

Fehlerbehebung