インテリジェントドキュメント処理

​

フォーマットサポートマトリックス

​

仕組み

​

ビジョンモード設定

​

1. モデルごとのトグル

​

2. グローバル環境変数

# Use vision when the model supports it (default)
DOCUMENT_PROCESSING_MODE=auto

# Always attempt vision processing, regardless of model config
DOCUMENT_PROCESSING_MODE=vision

# Never use vision — text extraction only
DOCUMENT_PROCESSING_MODE=text

​

3. リクエストごとのパラメータ

{
  "message": "Analyze this financial report",
  "doc_mode": "vision",
  "attachments": [...]
}

​

環境変数

​

トークンコストの考慮事項

​

コスト最適化のヒント

• DOCUMENT_VISION_MAX_PAGESを適切な制限に設定する（例：10）一般的な使用の場合
• DOCUMENT_VISION_DPIを150から100に低下させる画像品質が許容できる場合 — これにより、トークン消費量が約40%削減されます
• textモードを使用するレイアウトが重要でないドキュメント（例：プレーンテキストレポート、スプレッドシート）の場合
• visionモードを選択的に使用する視覚的レイアウトが重要なドキュメント（例：請求書、フォーム、図表）の場合

​

設計上の決定と制限事項

​

LibreOfficeを使用しない理由は何ですか？

​

LibreOfficeなしで失われるもの

​

PDF Vision vs. DOCX/PPTX Vision

• PDF — スマートなページごとの処理。テキストが豊富なページはテキストコンテンツと埋め込み画像を別々に抽出するため、トークン効率が大幅に向上します。スキャンされたページまたは画像のみのページ（例：撮影されたドキュメント、スキャンされた契約書）は、最大限の視覚的忠実度のためにフルページPNG画像としてレンダリングされます。この適応的なアプローチは品質とトークンコストのバランスを自動的に取ります。
• DOCX / PPTX — テキストコンテンツと抽出された埋め込み画像。ほとんどのビジネスドキュメントに適していますが、ページレイアウトとフォーマットは保持されません。

​

自動フォールバック

​

セーフティガードレール

​

ファイル整合性保護

​

説明的なエラーガイダンス

• 検出されたファイルタイプと処理できなかった理由
• ファイルが画像ベースの場合、モデルでビジョンを有効にするための提案
• ユーザーが試すことができる代替アプローチ (例: 別の形式へのエクスポート)

​

ベストプラクティス

​

管理者向け

• ビジョン機能を選別して有効化する。 supports_vision は、画像入力を実際にサポートするモデルにのみ有効化してください。設定ミスはフォールバック再試行サイクルでトークンを浪費します。
• auto モードから始める。 デフォルトの動作はほとんどのデプロイメントに適しています — ビジョンは有益で利用可能な場合に使用されます。
• トークン使用量を監視する。 ビジョン機能を有効化した後、トークン消費ダッシュボードを確認してください。コストが予期せず急増する場合は、DOCUMENT_VISION_MAX_PAGES または DOCUMENT_VISION_DPI を調整してください。
• 事前構築されたサンドボックスイメージを使用する。 Dockerfile.sandbox には、ドキュメントに対する AI コード実行に必要な一般的なデータサイエンスパッケージ（pdfplumber、Pillow、pandas など）が含まれています。docker compose 経由で、または docker build -f Dockerfile.sandbox -t fim-sandbox . で手動でビルドして、--network=none コンテナでコード実行が機能することを確認してください。

​

エンドユーザー向け

• PDFが最良の結果をもたらします。 ビジュアル忠実度が重要な場合は、Officeドキュメントをアップロードする前にPDFにエクスポートしてください。
• スプレッドシートはそのままで問題ありません。 XLSXファイルは構造化されたテーブルとして抽出されます。ビジョンは追加の利点をもたらしません。
• 大きなPDFは切り詰められる可能性があります。 ドキュメントがDOCUMENT_VISION_MAX_PAGES制限を超える場合、最初のNページのみが画像としてレンダリングされます。残りのページはテキストとして抽出されたまま利用可能です。
• 画像品質が重要です。 スタンドアロン画像のアップロードの場合、可能な限り高解像度のオリジナルを使用してください。圧縮または低解像度の画像は、モデルが詳細を抽出する能力を低下させます。