LLM File Gateway
Developed by mochizuki875

LLM File Gateway

01 / OVERVIEW

ローカル環境にvLLMを使ってGemma4などのマルチモーダル対応モデルをホストした場合、通常はPDF、Officeファイルなどを直接モデルに送信することはできず、そのままではモデルにファイルの内容を踏まえた推論を実行させることができません。

LLM File GatewayをvLLMを使ってローカル環境にホストしたモデルの前段に配置することで、OpenAI Files API互換のAPIを提供し、ファイルのアップロードとモデルへの入力が可能になります。

PDF、Officeファイル、テキスト、画像をアップロードすると、ファイルIDを発行し、テキスト抽出と画像変換を非同期で行います。ファイルID指定して推論リクエストを送信することで、モデルにファイルの内容踏まえた推論を実行させることができます。

GitHub
https://github.com/mochizuki875/llm-file-gateway
LFGの開発背景
https://speakerdeck.com/mochizuki875/ai-cording-with-k8s-knowledge

02 / ARCHITECTURE

クライアントOpenAI SDK / HTTP
ファイルと推論リクエスト
LLM File GatewayFiles API
ファイル受付・変換・保存
テキストと画像への展開
vLLMマルチモーダルモデル
推論・応答生成

03 / API

メソッドエンドポイント内容
GET/v1/filesファイルの一覧を取得
POST/v1/filesファイルをアップロード
GET/v1/files/{file_id}ファイル情報と処理状態を取得
GET/v1/files/{file_id}/contentアップロードした元ファイルを取得
DELETE/v1/files/{file_id}ファイルを削除
POST/v1/responsesResponses APIによる推論
POST/v1/chat/completionsChat Completions APIによる推論

04 / DEMO

デモモードではLLMに接続せず、ダミー応答を返します。

サンプルファイル
DOCXsample.docx
01 / POST /v1/files
02 / POST /v1/responses「このファイルの内容を要約してください」
03 / DELETE /v1/files/{file_id}

ファイルID:未取得

待機中


      

curlによる実行例

以下の手順でLLM File Gatewayに任意のファイルをアップロードし、推論を行うデモを実行できます。

curlとjqを使用します。公開デモには機密ファイルをアップロードしないでください。

1. ファイルパスを指定してアップロード

FILE_PATH=./document.docx
FILE_ID=$(curl -fsS https://llm-file-gateway.showcase.cloudnativedays.jp/v1/files \
  -F "purpose=user_data" -F "file=@$FILE_PATH" | jq -er '.id')
echo "$FILE_ID"

2. 質問文を指定してリクエスト

curl --fail --silent https://llm-file-gateway.showcase.cloudnativedays.jp/v1/responses \
        -H 'Content-Type: application/json' \
        -d "{\"model\":\"demo-model\",\"input\":[{\"role\":\"user\",\"content\":[{\"type\":\"input_file\",\"file_id\":\"$FILE_ID\"},{\"type\":\"input_text\",\"text\":\"このファイルの内容を要約してください\"}]}]}" | \
        jq '{id, status, output_text: [.output[].content[] | select(.type == "output_text").text] | join("")}'

3. ファイルを削除

curl -fsS -X DELETE \
  "https://llm-file-gateway.showcase.cloudnativedays.jp/v1/files/$FILE_ID"