# vLLM OpenAI APIの代わりになるオープンソース。OpenAI APIの代わりに、大規模言語モデルを自分のGPUで提供する推論サーバー。メモリを効率よく使い、多くのリクエストを同時に速くさばける。OpenAI互換のAPIを持つ。 - ossalt.jp のページ: https://ossalt.jp/tools/vllm/ - 公式サイト: https://docs.vllm.ai - GitHub: https://github.com/vllm-project/vllm - 代わりになるSaaS: OpenAI API - カテゴリ: AI・LLM基盤 - ライセンス: Apache-2.0（許容型） - 画面の日本語翻訳: あり - 日本語のドキュメント: 未確認 - Dockerでの導入: あり - GitHubのスター: 96,411（直近32日間で+3,236） - 最終コミット: 2026-11-05 - OpenSSF Scorecard: 未評価 ## vLLMとは vLLM（ブイエルエルエム）は、大規模言語モデル（LLM）を、多くの人が同時に使っても速く応答できるように動かすための、推論サーバーです。社内の全員が使うAIの基盤や、AIを組み込んだサービスを、自前のGPUサーバーで動かしたいときに使われます。OpenAIのAPIに近い形で、ほかのアプリから呼び出せます。もともとは、カリフォルニア大学バークレー校の研究室で開発され、公式は、現在は大学や企業の多くの参加者による、活発なプロジェクトに育ったと説明しています。 ### できること 公式のREADMEにある、主な特徴です。 - **同時の大量のリクエストの処理**：届いたリクエストを連続してまとめて処理（連続バッチ処理）し、GPUのメモリを無駄なく使う仕組み（PagedAttention）で、同時に多くのリクエストをさばきます。 - **OpenAI互換のAPI**：OpenAIのAPIを使っているアプリを、接続先を変えるだけで、自前のサーバーにつなぎ替えられることがあります。チャット、補完、埋め込み、音声の文字起こし・翻訳などのAPIに対応します。AnthropicのMessages APIとgRPCにも対応するとされています。 - **多くのモデルに対応**：Hugging Faceにある、200以上のモデルの種類に対応します。文章を作るモデルのほか、画像と文章を扱うモデル、検索用の埋め込みのモデルなどがあります。 - **モデルを軽くする工夫**：FP8、INT8、INT4、GPTQ、AWQ、GGUFなど、多くの量子化の方式に対応します。 - **複数のGPUでの分散処理**：1台に収まらない大きなモデルを、複数のGPUや複数のサーバーに分けて動かせます。 - **使い勝手の機能**：結果を文字ごとに流して返す（ストリーミング）、決まった形式（JSONなど）で出力させる、ツールの呼び出し、複数のLoRA（追加の学習）の切り替え、などがあります。 ### OllamaやLocalAIとの違い [Ollama](/tools/ollama/)は、1人〜少人数が、手元のパソコンで手軽に試すためのツールです。vLLMは、GPUサーバーで、多くの利用者に提供するための、本格的な基盤です。手軽さではOllama、たくさんの同時利用での速さではvLLMが向いています。OpenAI互換のAPIをローカルで提供する別の選択肢として、[LocalAI](/tools/localai/)もあります（比較は「[LocalAIとvLLMの違い](/compare/localai-vs-vllm/)」）。CPUでも動かせる土台として、[llama.cpp](/tools/llama-cpp/)もあります。 ### 必要な環境 公式のインストールの説明にある、条件です（導入する版で変わることがあります）。 - **OS**：Linuxです。Pythonは3.11〜3.14です。 - **NVIDIAのGPU**：計算能力（compute capability）7.5以上のGPUが対象です。T4、RTX 20シリーズ、A100、L4、H100などが例に挙がっています。 - **AMDのGPU**：MI200系・MI300系・MI350系や、Radeon RX 7900・9000シリーズなどが対象で、ROCm 6.3以上が必要です。 - **ほかの機器**：Intelのデータセンター向けGPUやArc、Apple Silicon（macOS Sonoma以降、専用の「vLLM-Metal」を使う）、そしてCPU（x86・ARM・PowerPC）向けの導入の説明もあります。 - **必要なGPUのメモリ**：動かすモデルが大きいほど、多くのGPUメモリが必要です。公式の説明に、モデルごとの必要量の一覧はありません。 CPU向けの導入方法も公式にありますが、この解説はGPUでの利用を中心に書いています。CPUでの速度は、検証していません。 ### 導入と起動 - **Pythonで入れる**：公式は、`uv` を使う方法（推奨）か、`pip` での導入を案内しています。起動を速くするための、事前に作られた部品（カーネル）を取得する手順もあります。 - **Dockerで動かす**：公式の画像（`vllm/vllm-openai`）があります。GPUとモデルの保存先を割り当て、8000番のポートを公開して、モデルを指定して起動します。モデルは、初回にHugging Faceから取得するため、アクセス用のトークンが必要なモデルもあります。 - **ほかの機器向けの画像**：AMD（ROCm）、Intel（XPU）向けの公式の画像もあります。 - **rootでない利用者で動かす**ための画像の作り方も、公式の説明にあります。 - **Kubernetesでの運用**や、Helmでの導入の説明もあります。 ### 向いている人・向かない人 - **向いている**：自社のGPUサーバーで、社内向け、または自社のサービス向けに、AIを多くの人へ提供したい組織。クラウドのAPIの利用料が大きくなってきて、自前の運用と比べたい人。 - **向かない**：1人で試したいだけの人。GPUサーバーを用意できない人。モデルの入れ替えや更新を、運用できる人がいない場合。 ### 注意点 - **個人が試す用途には、大がかりです。** まず試すなら、Ollamaやllama.cppのほうが手軽です。 - GPUサーバーは、費用が大きくなりがちです。利用人数と、クラウドのAPIを使った場合の料金を、先に[Cost Lab](/cost-lab/?saas=openai-api&oss=vllm)などで比べておきましょう。 - **APIの互換性には、範囲があります。** たとえば、補完のAPIでは `suffix` が使えず、チャットのAPIでは `user` が無視されます（公式の説明）。使うアプリで試してから決めてください。 - 使うモデルごとに、利用条件（ライセンス）が異なります。vLLM自体はApache-2.0です。 - 公式の画像は、安定版（latest）と、開発中の最新を含む版（nightly）に分かれています。本番では、版を決めて運用し、更新の前に試す環境を用意してください。 [OpenAI APIの代替](/alternatives/openai-api/)のページで、ほかの候補も比べられます。 ### 出典と確認の範囲 公式のREADME・LICENSE・公式ドキュメント（インストール、Docker、OpenAI互換サーバー）を、2026-10-25に確認して書いています。実際にGPUサーバーで動かしての速度・必要なGPUメモリの検証は、していません。対応する機器と条件は、版によって変わるため、導入前に[公式ドキュメント](https://docs.vllm.ai)で最新の情報を確認してください。 ## よくある質問 **vLLMは日本語で使えますか？** リポジトリに画面の日本語翻訳のファイルがあることを確認できています。翻訳されている範囲はツールによって異なるため、導入前に実際の画面で確かめてください。 **vLLMはDockerで動かせますか？** リポジトリで、Docker用のファイルや公式のコンテナイメージの案内を確認できています。手順は公式のドキュメントに従ってください。 **vLLMは無料で使えますか？ 業務で使ってもよいですか？** ライセンスはApache-2.0（許容型）です。制限の少ない「許容型」のライセンスで、社内の業務で使うことも、改変することも、広く認められています。配布するときは、著作権の表示などの条件を守る必要があります。自分のサーバーで動かす場合も、サーバー代と、アップデートやバックアップなどの運用の手間がかかります。また、一部の機能を有料版だけで提供しているツールもあります。 **vLLMの開発は続いていますか？** 最後の更新は3日前です。過去12か月のリリースは34回です。GitHubのスターは、直近32日間で3,236増えています。 **vLLMのセキュリティの評価は？** OpenSSF Scorecard の評価はまだありません（評価がないことは、安全・危険のどちらも意味しません）。脆弱性の報告窓口（SECURITY.md）があります。導入後は、セキュリティの更新を確実に適用してください。 **OpenAI APIの代わりになる、vLLM以外のツールは？** 当サイトでは、LocalAIも掲載しています。下の比較表で、ライセンスや更新状況を見比べられます。 --- データ: ossalt.jp（2026-11-08時点。GitHubの公開データとリポジトリの自動調査による）。「未確認」は「非対応」という意味ではありません。導入前に公式の情報を確認してください。