vLLM

vLLM（ブイエルエルエム）は、大規模言語モデル（LLM）を、多くの人が同時に使っても速く応答できるように動かすための、推論サーバーです。社内の全員が使うAIの基盤や、AIを組み込んだサービスを、自前のGPUサーバーで動かしたいときに使われます。OpenAIのAPIに近い形で、ほかのアプリから呼び出せます。もともとは、カリフォルニア大学バークレー校の研究室で開発され、公式は、現在は大学や企業の多くの参加者による、活発なプロジェクトに育ったと説明しています。

できること

公式のREADMEにある、主な特徴です。

• 同時の大量のリクエストの処理：届いたリクエストを連続してまとめて処理（連続バッチ処理）し、GPUのメモリを無駄なく使う仕組み（PagedAttention）で、同時に多くのリクエストをさばきます。
• OpenAI互換のAPI：OpenAIのAPIを使っているアプリを、接続先を変えるだけで、自前のサーバーにつなぎ替えられることがあります。チャット、補完、埋め込み、音声の文字起こし・翻訳などのAPIに対応します。AnthropicのMessages APIとgRPCにも対応するとされています。
• 多くのモデルに対応：Hugging Faceにある、200以上のモデルの種類に対応します。文章を作るモデルのほか、画像と文章を扱うモデル、検索用の埋め込みのモデルなどがあります。
• モデルを軽くする工夫：FP8、INT8、INT4、GPTQ、AWQ、GGUFなど、多くの量子化の方式に対応します。
• 複数のGPUでの分散処理：1台に収まらない大きなモデルを、複数のGPUや複数のサーバーに分けて動かせます。
• 使い勝手の機能：結果を文字ごとに流して返す（ストリーミング）、決まった形式（JSONなど）で出力させる、ツールの呼び出し、複数のLoRA（追加の学習）の切り替え、などがあります。

OllamaやLocalAIとの違い

Ollamaは、1人〜少人数が、手元のパソコンで手軽に試すためのツールです。vLLMは、GPUサーバーで、多くの利用者に提供するための、本格的な基盤です。手軽さではOllama、たくさんの同時利用での速さではvLLMが向いています。OpenAI互換のAPIをローカルで提供する別の選択肢として、LocalAIもあります（比較は「LocalAIとvLLMの違い」）。CPUでも動かせる土台として、llama.cppもあります。

必要な環境

公式のインストールの説明にある、条件です（導入する版で変わることがあります）。

• OS：Linuxです。Pythonは3.11〜3.14です。
• NVIDIAのGPU：計算能力（compute capability）7.5以上のGPUが対象です。T4、RTX 20シリーズ、A100、L4、H100などが例に挙がっています。
• AMDのGPU：MI200系・MI300系・MI350系や、Radeon RX 7900・9000シリーズなどが対象で、ROCm 6.3以上が必要です。
• ほかの機器：Intelのデータセンター向けGPUやArc、Apple Silicon（macOS Sonoma以降、専用の「vLLM-Metal」を使う）、そしてCPU（x86・ARM・PowerPC）向けの導入の説明もあります。
• 必要なGPUのメモリ：動かすモデルが大きいほど、多くのGPUメモリが必要です。公式の説明に、モデルごとの必要量の一覧はありません。

CPU向けの導入方法も公式にありますが、この解説はGPUでの利用を中心に書いています。CPUでの速度は、検証していません。

導入と起動

• Pythonで入れる：公式は、uv を使う方法（推奨）か、pip での導入を案内しています。起動を速くするための、事前に作られた部品（カーネル）を取得する手順もあります。
• Dockerで動かす：公式の画像（vllm/vllm-openai）があります。GPUとモデルの保存先を割り当て、8000番のポートを公開して、モデルを指定して起動します。モデルは、初回にHugging Faceから取得するため、アクセス用のトークンが必要なモデルもあります。
• ほかの機器向けの画像：AMD（ROCm）、Intel（XPU）向けの公式の画像もあります。
• rootでない利用者で動かすための画像の作り方も、公式の説明にあります。
• Kubernetesでの運用や、Helmでの導入の説明もあります。

向いている人・向かない人

• 向いている：自社のGPUサーバーで、社内向け、または自社のサービス向けに、AIを多くの人へ提供したい組織。クラウドのAPIの利用料が大きくなってきて、自前の運用と比べたい人。
• 向かない：1人で試したいだけの人。GPUサーバーを用意できない人。モデルの入れ替えや更新を、運用できる人がいない場合。

注意点

• 個人が試す用途には、大がかりです。 まず試すなら、Ollamaやllama.cppのほうが手軽です。
• GPUサーバーは、費用が大きくなりがちです。利用人数と、クラウドのAPIを使った場合の料金を、先にCost Labなどで比べておきましょう。
• APIの互換性には、範囲があります。 たとえば、補完のAPIでは suffix が使えず、チャットのAPIでは user が無視されます（公式の説明）。使うアプリで試してから決めてください。
• 使うモデルごとに、利用条件（ライセンス）が異なります。vLLM自体はApache-2.0です。
• 公式の画像は、安定版（latest）と、開発中の最新を含む版（nightly）に分かれています。本番では、版を決めて運用し、更新の前に試す環境を用意してください。

OpenAI APIの代替のページで、ほかの候補も比べられます。

出典と確認の範囲

公式のREADME・LICENSE・公式ドキュメント（インストール、Docker、OpenAI互換サーバー）を、2026-10-25に確認して書いています。実際にGPUサーバーで動かしての速度・必要なGPUメモリの検証は、していません。対応する機器と条件は、版によって変わるため、導入前に公式ドキュメントで最新の情報を確認してください。