LLM File Gateway
01 / OVERVIEW
ローカル環境にvLLMを使ってGemma4などのマルチモーダル対応モデルをホストした場合、通常はPDF、Officeファイルなどを直接モデルに送信することはできず、そのままではモデルにファイルの内容を踏まえた推論を実行させることができません。
LLM File GatewayをvLLMを使ってローカル環境にホストしたモデルの前段に配置することで、OpenAI Files API互換のAPIを提供し、ファイルのアップロードとモデルへの入力が可能になります。
PDF、Officeファイル、テキスト、画像をアップロードすると、ファイルIDを発行し、テキスト抽出と画像変換を非同期で行います。ファイルID指定して推論リクエストを送信することで、モデルにファイルの内容踏まえた推論を実行させることができます。
GitHub
https://github.com/mochizuki875/llm-file-gateway
LFGの開発背景
https://speakerdeck.com/mochizuki875/ai-cording-with-k8s-knowledge
02 / ARCHITECTURE
クライアントOpenAI SDK / HTTP
ファイルと推論リクエスト
ファイルと推論リクエスト
LLM File GatewayFiles API
ファイル受付・変換・保存
テキストと画像への展開
ファイル受付・変換・保存
テキストと画像への展開
vLLMマルチモーダルモデル
推論・応答生成
推論・応答生成
03 / API
| メソッド | エンドポイント | 内容 |
|---|---|---|
| GET | /v1/files | ファイルの一覧を取得 |
| POST | /v1/files | ファイルをアップロード |
| GET | /v1/files/{file_id} | ファイル情報と処理状態を取得 |
| GET | /v1/files/{file_id}/content | アップロードした元ファイルを取得 |
| DELETE | /v1/files/{file_id} | ファイルを削除 |
| POST | /v1/responses | Responses APIによる推論 |
| POST | /v1/chat/completions | Chat Completions APIによる推論 |
- 変換中のファイルを参照する推論リクエストは、変換完了を待って処理します。
- 推論には
file_idまたはfile_dataを指定できます。Responses APIでは公開HTTPSのfile_urlも利用できます。 - 通常モードでは、その他の
/v1/*リクエストをvLLMへ転送します。
04 / DEMO
デモモードではLLMに接続せず、ダミー応答を返します。
サンプルファイル
DOCXsample.docx
01 / POST /v1/files
02 / POST /v1/responses「このファイルの内容を要約してください」
03 / DELETE /v1/files/{file_id}
ファイルID:未取得
待機中
curlによる実行例
以下の手順でLLM File Gatewayに任意のファイルをアップロードし、推論を行うデモを実行できます。
curlとjqを使用します。公開デモには機密ファイルをアップロードしないでください。
1. ファイルパスを指定してアップロード
FILE_PATH=./document.docx
FILE_ID=$(curl -fsS https://llm-file-gateway.showcase.cloudnativedays.jp/v1/files \
-F "purpose=user_data" -F "file=@$FILE_PATH" | jq -er '.id')
echo "$FILE_ID"
2. 質問文を指定してリクエスト
curl --fail --silent https://llm-file-gateway.showcase.cloudnativedays.jp/v1/responses \
-H 'Content-Type: application/json' \
-d "{\"model\":\"demo-model\",\"input\":[{\"role\":\"user\",\"content\":[{\"type\":\"input_file\",\"file_id\":\"$FILE_ID\"},{\"type\":\"input_text\",\"text\":\"このファイルの内容を要約してください\"}]}]}" | \
jq '{id, status, output_text: [.output[].content[] | select(.type == "output_text").text] | join("")}'
3. ファイルを削除
curl -fsS -X DELETE \
"https://llm-file-gateway.showcase.cloudnativedays.jp/v1/files/$FILE_ID"