llama.cpp

llama.cpp（ラマ・シーピーピー）は、大規模言語モデル（LLM）を自分のパソコンやサーバーで動かすための実行エンジンです。C/C++で書かれていて、モデルを小さく圧縮（量子化）することで、高価なGPUがなくても、普通のパソコンのCPUやメモリで動かせることが特徴です。多くのAIツールの土台として使われています。公式は、最小限の準備で、幅広い機器の上で高い性能を出すことを目標にしていると説明しています。

できること

• CPUでのモデルの実行：GPUがないパソコンでも、モデルを動かせます。外部のライブラリーを必要としない、C/C++だけの実装です。
• 幅広い機器に対応：Apple Silicon（ARM NEON・Accelerate・Metal）、x86のCPU（AVX・AVX2・AVX512・AMX）、RISC-Vなどを使って、速くします。GPUは、NVIDIA（CUDA）、AMD（HIP）、Moore Threads（MUSA）に対応し、VulkanとSYCLも使えます。
• GPUとCPUの併用：モデルが、GPUのメモリより大きい場合でも、一部だけをGPUで動かす（ハイブリッドの推論）ことができます。
• 量子化されたモデルの利用：モデルを小さくした形式（GGUF）で配布されているものを、少ないメモリで動かせます。1.5〜8ビットの量子化に対応します。
• APIサーバー（llama-server）：付属のサーバーを起動すると、OpenAIのAPIに近い形（チャット、レスポンス、埋め込み）で、ほかのアプリからモデルを呼び出せます。AnthropicのMessages APIに近い形の呼び出し、再ランキング、複数ユーザーの同時処理、画面（Web UI）も備えています。
• 画像を扱えるモデル：画像と文章を扱うモデル（VLM）でも使えると、READMEで説明されています。

導入の方法

READMEが案内している方法は、次のとおりです。

• インストール用のスクリプト：公式サイト（llama.app）の案内に従って入れます。
• Docker：公式の画像が、GitHubのコンテナレジストリで配布されています。
• ビルド済みのファイル：リリースのページから、自分の環境用のファイルを取得します。
• ソースからのビルド：CMakeで作ります。CPU向けのほか、CUDA・Metal・Vulkan・SYCLなどの対象を選べます。

入れたあとは、Hugging Faceにあるモデルを、指定して直接取得しながら実行できます。READMEには、llama cli -hf （モデル名） で対話し、llama serve -hf （モデル名） でOpenAI互換のAPIサーバーを起動する例があります。

APIサーバーとして動かす

• 起動すると、初期設定では自分のパソコンの 127.0.0.1 の8080番で待ち受けます。同じ住所を、ブラウザで開くと、画面（Web UI）が使えます。
• Dockerで動かす場合は、server の画像を使い、--host 0.0.0.0 --port 8080 を付けます。モデルは、手元のフォルダーを割り当てます。設定は、環境変数（例：LLAMA_ARG_MODEL、LLAMA_ARG_CTX_SIZE、LLAMA_ARG_N_PARALLEL）でも指定できます。
• GPUを使う場合は、GPU対応の画像と、--n-gpu-layers の指定が必要です。公式は、GPU対応の画像について「ビルドが通ることまでしか、自動の試験をしていない」と説明しています。必要な環境（CUDAなど）が違う場合は、自分でビルドします。
• OpenAI互換のAPIについて、公式は「OpenAIの仕様との互換性を強くは主張しないが、経験上、多くのアプリで使える」と書いています。使うアプリとの組み合わせは、試してから決めてください。

Ollamaとの関係

Ollamaは、モデルのダウンロードと実行を、コマンド1つで済ませられるようにした、使いやすいツールです。llama.cppは、そうしたツールの内部でも使われる、より土台に近い部品です。細かい設定を自分で調整したいならllama.cpp、手軽さを優先するならOllamaが向いています。

必要なメモリの目安

動かせるモデルの大きさは、メモリの量で決まります。一般に、使うモデルのファイルの大きさより、余裕のあるメモリが必要です。大きなモデルほど多くのメモリが必要で、量子化で小さくするほど、必要なメモリは減ります。公式の説明に、モデルごとの必要なメモリの一覧はありません。最初は小さめのモデルで試しましょう。

向いている人・向かない人

• 向いている：モデルの動かし方を細かく調整したい人。GPUがない、または小さいGPUの環境で、モデルを試したい人。自分のアプリに、OpenAI互換のAPIを置きたい人。
• 向かない：コマンドの操作に慣れていない人。多数の利用者に高速で提供したい場合は、vLLMのほうが向いています。

注意点

• 量子化すると、精度は少し落ちます。 小さくするほど、回答の質が下がる傾向があります。用途に足りるかを試してから決めてください。
• コマンドでの操作が中心です。画面で使いたい場合は、付属のWeb UIか、Open WebUIなどと組み合わせます。
• 使うモデルごとに利用条件（ライセンス）が異なります。llama.cpp自体はMITライセンスです。
• 開発が活発で、オプションの名前や使い方が変わることがあります（たとえば、Web UIの設定の名前に、古い名前と新しい名前が両方あります）。手順は、導入する版の公式の説明で確認してください。

ChatGPT APIの代替のページで、ほかの候補も比べられます。

出典と確認の範囲

公式のREADME・LICENSE・公式ドキュメント（Docker、サーバー、ビルド）を、2026-10-25に確認して書いています。実際にモデルを動かしての速度・必要なメモリ・回答の質の検証は、していません。機能とオプションは、版によって変わるため、導入前に公式のリポジトリで最新の情報を確認してください。