LLMプロバイダーの互換性

Documentation Index

Fetch the complete documentation index at: https://docs.fim.ai/llms.txt

Use this file to discover all available pages before exploring further.

​

プロバイダー検出

1. 明示的なプロバイダー（DB の ModelConfig.provider フィールドから）— 最優先。プロバイダーが URL 内の既知ドメインと一致する場合、api_base は返されません（LiteLLM はネイティブでルーティング）。それ以外の場合、api_base はリレー URL に設定されます。
2. KNOWN_DOMAINS に対するドメイン一致 — 公式 API エンドポイントはホスト名で認識されます。
3. PATH_PROVIDER_HINTS に対する URL パスヒント — UniAPI のようなリレープラットフォームで一般的です。パスに /claude または /anthropic が含まれている場合、アップストリームプロトコルを示します。
4. フォールバック — openai/ プレフィックス（ジェネリック OpenAI 互換）。

​

tool_choice — 4つのモード

​

tool_choiceが使用される場所

​

ReAct エンジン — tool_choice=“auto”

​

structured_llm_call — tool_choice=forced

​

Bedrockプリフィルトラップ

{"role": "assistant", "content": "{"}

ValidationException: This model does not support assistant message prefill.
The conversation must end with a user message.

1. モデルが anthropic/ プレフィックスで解決されている（ドメインマッチまたはURLパスヒント経由）。
2. response_format={"type":"json_object"} が渡されている（structured_llm_call のjson_modeコードパス）。
3. 実際のバックエンドがAWS Bedrock（プリフィルを拒否）である。

​

修正: json_mode_enabled

• DB設定モデル: Admin → Models → Advanced settings で切り替え。フラグは ModelProviderModel.json_mode_enabled に保存されます (デフォルト TRUE)。
• ENV設定モデル: 環境で LLM_JSON_MODE_ENABLED=false を設定。
• 効果: 無効にすると、abilities["json_mode"] は False を返す → response_format は渡されない → プリフィルなし → Bedrock が動作。デグラデーションチェーンは native_fc → plain_text となり、失敗する json_mode 呼び出しをスキップします。
• 品質低下なし: システムプロンプトが JSON を返すよう指示するため、モデルは引き続き有効な JSON を返します。plain_text レベルは extract_json() を使用して自由形式のコンテンツから JSON を解析し、最新のモデルで確実に動作します。

​

思考モデル + 強制 tool_choice

tool_choice 'specified' is incompatible with thinking enabled

​

修正: tool_choice_enabled

• DB設定モデル: Admin → Models → Advanced → “Native Function Calling” で切り替え。フラグは ModelProviderModel.tool_choice_enabled に保存されます (デフォルト TRUE)。
• ENV設定モデル: 環境で LLM_TOOL_CHOICE_ENABLED=false を設定。
• 効果: 無効にすると、abilities["tool_choice"] は False を返す → 劣化チェーンは Level 2 (json_mode) または Level 3 (plain_text) から開始され、native_fc は完全にスキップされます。これにより、互換性のないモデルの構造化呼び出しあたり約10秒のペナルティが排除されます。
• ReAct エージェントは影響を受けない: tool_choice_enabled は structured_llm_call での強制ツール選択のみを制御します。ReAct エンジンは tool_choice="auto" (モデルが自由に決定) を使用し、この設定に関係なくすべてのモデルで動作します。

​

クイックリファレンス: どこで何が機能するか

​

モデルごとの推奨設定

# Disable native_fc globally (for thinking-model-only deployments)
LLM_TOOL_CHOICE_ENABLED=false

# Disable json_mode globally (for Bedrock relay deployments)
LLM_JSON_MODE_ENABLED=false

​

推論努力と思考設定

1. 温度は 1.0 に強制されます。 Bedrock は思考が有効な場合、temperature != 1.0 を拒否します。FIM One はこれを自動的に処理します — ユーザーアクションは不要です。
2. GPT-5.x とツール: tools が存在する場合、reasoning_effort はサイレントにドロップされます。これは GPT-5 の /v1/chat/completions エンドポイントがこの組み合わせを拒否するためです。これは ReAct ツールループにのみ影響します。tools パラメータを持たない structured_llm_call 呼び出しは影響を受けません。

​

構造化出力の防御的パース

1. 配列の代わりに単一オブジェクト。 一部のモデルは{"steps": [{"id": "1", "task": "..."}]}（配列）の代わりに{"steps": {"id": "1", "task": "..."}}（単一ステップオブジェクト）を返します。パーサーはidまたはtaskキーをチェックしてこれを検出し、オブジェクトをリストでラップします。
2. ダブルエンコードされたJSON文字列。 構造化出力がスキーマ強制を欠くjson_modeにフォールバックする場合、一部のプロバイダーはsteps値をネイティブ配列ではなくJSON文字列として返します。例えば{"steps": "[{\"id\": \"1\", ...}]"}です。この文字列には、標準的なjson.loadsを破壊するモデルのフォーマットからのリテラル改行も含まれる場合があります。パーサーはextract_json_value()（_repair_json_stringsを含む）を使用して以下を処理します:
   • JSON文字列値内のリテラル改行
   • 無効なエスケープシーケンス（LaTeXまたはコードコンテンツで一般的）
   • 互換性レイヤーからの他のシリアライゼーション特性
3. stepsラッパーの欠落。 モデルはstepsラッパーキーなしでトップレベルオブジェクトとして単一ステップを返す場合があります。パーサーはルートレベルでidとtaskを検出し、それに応じてラップします。

​

プロンプトキャッシング（クロスプロバイダー）

​

アーキテクチャ

• PromptSection — 静的な content: str または動的な content: Callable を持つ名前付きフラグメント
• PromptRegistry — メモ化されたストア（静的セクションは1回レンダリングされ、動的セクションはコール毎に再レンダリングされます）
• DYNAMIC_BOUNDARY — レジストリが最後の静的セクションと最初の動的セクションの間に挿入するセンチネルマーカー。呼び出し元がキャッシュ破断点でレンダリングされた提示词を分割できるようにします

• 静的プレフィックス（提示词の約95%）— アイデンティティ、コアガイドライン、ツール説明
• 動的サフィックス — 現在の日時、リクエスト毎の言語指示、ハンドオフコンテキスト

​

キャパビリティ検出

​

クロスプロバイダーカバレッジ

​

可観測性

"cache": {
  "read_tokens": 1067,
  "creation_tokens": 0
}

​

マルチターンキャッシュ ROI

​

推理重放策略（无模型正确性）

​

3つのポリシー

• anthropic_thinking — Claude ファミリー（anthropic/、bedrock/anthropic、vertex_ai/claude を含む）。思考ブロックは signature を付けて再生する必要があります。Anthropic は署名が欠落または変更されている場合、後続のターンを拒否します。
• informational_only — CoT を出力しますが再生を期待しないモデル：DeepSeek R1 / R1-Distill、Qwen QwQ、Gemini 2.x thinking、OpenAI o1 / o3 / o4。これらのドキュメントは「メッセージ履歴に reasoning_content を送信しないでください」と明示しています。それでも送信する場合：
  • プロバイダー契約に違反します（将来のバージョンで拒否が開始される可能性があります）
  • 自動プレフィックスキャッシュをサイレントに無効化します — メッセージバイトがターンごとに変更され、ハッシュが破損します
• unsupported — 推理機能のないモデル（GPT-4o、GPT-4 Turbo、Gemini 1.5、Mistral、Llama）。再生する CoT がなく、フィールドは表示されません。このポリシーは、未知のモデル ID に対しても安全なデフォルトです。

​

実装

​

ユーザー向け

• 同じ会話内でClaudeとDeepSeekの間でエージェントを切り替える場合、履歴は思考ブロックをそのまま保存されます。次のターンで、送信メッセージの形状は現在のモデルに適応します。
• プロキシ / カスタム BaseLLM サブクラスを使用する場合、そのモデルIDが認識可能であることを確認してください（フラグメントの1つを含む）。そうでない場合、デフォルトの unsupported ポリシーが適用されます — これは安全ですが、異常なプロキシの背後にあるClaudeが思考リプレイを失う可能性があります。モデルIDフラグメントを _CACHE_CAPABLE_MODEL_FRAGMENTS（core/prompt/caching.py 内）および/または推理ポリシー検索に追加してください。

​

トラブルシューティング