Ollama

Ollama（オラマ）は、大規模言語モデル（LLM）を自分のパソコンやサーバーで動かすためのツールです。公開されているAIモデルをダウンロードして動かせます。公式のFAQでは、ローカルで動かす場合、入力内容をOllama側が見ることはないと説明されています。一方、クラウドモデルを使う場合は、入力と回答をOllamaのサービス側で処理します。社外に出せない情報を扱うなら、使うモデルと接続先を確認して選びましょう。

できること

• AIモデルを手元で動かす：ollama run に続けてモデルの名前を指定すると、モデルのダウンロードから会話の開始までを行います。公開されている多くのモデルから選べます。
• ほかのアプリから使う：Ollamaは、ほかのアプリから呼び出すためのAPIを提供します。既定では localhost:11434 で受け付けます。Open WebUIのようなチャット画面や、Difyのような開発基盤とつないで使うのが一般的です。
• Windows・macOS・Linuxに対応：手元のパソコンでも、サーバーでも動かせます。Dockerの公式画像（ollama/ollama）もあります。
• 動いているモデルの確認：ollama ps で、読み込まれているモデルと、GPUとCPUのどちらで動いているかを確認できます。

向いている人・向かない人

• 向いている：社外に出したくない文章を、手元のAIで扱ってみたい人。まず小さく試したい個人や小さなチーム。
• 向かない：たくさんの人が同時に使う本格的な基盤が必要な場合。その場合は、GPUサーバー向けのvLLMが候補になります。CPUでも動く土台としてはllama.cppもあります。

必要なパソコンの性能の目安

快適に動くかどうかは、モデルの大きさとパソコンの性能で大きく変わります。

• 大きなモデルほど、多くのメモリ（GPUのメモリを含む）が必要です。
• GPUがなくても動きますが、応答はかなり遅くなります。
• まずは小さめのモデルで試し、性能を見ながら大きいモデルに変えていくのが無駄のない進め方です。
• 対応するGPU：公式のドキュメントでは、NVIDIAは計算能力5.0以上でドライバー550以降（5.0〜6.2は570以降）、AMDはROCm経由で一部のRadeonなど、AppleはMetalで対応すると説明されています。ほかに、Vulkan経由でのGPU対応もあります。お使いのGPUが対象かは、公式のHardware supportで確認してください。

導入の流れ

• パソコンに入れる：公式のREADMEに、macOS・Linux・Windows向けの導入方法があります。
• Dockerで動かす：CPUだけなら、公式の手順は docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama です。NVIDIAのGPUを使うには、NVIDIA Container Toolkitを入れて --gpus=all を付けます。AMDのGPUは ollama/ollama:rocm を使います。
• MacのDockerではGPUが使えません：公式のFAQは、macOSのDocker Desktopでは、GPUを渡せないため使えないと説明しています。Macでは、アプリとして直接入れるほうが向いています。

つまずきやすい点

• モデルが遅い：ollama ps で、100% CPU になっていないか確認します。GPUのメモリに収まらないと、一部または全部がCPUで動きます。
• 長い文章を扱いたい：公式によると、既定の文脈の長さ（コンテキスト）は4096トークンです。OLLAMA_CONTEXT_LENGTH で変えられますが、増やすほどメモリを使います。
• Linuxで一時停止から復帰するとGPUを見失う：公式が、ドライバーの不具合として載せています。回避の手順も公式のGPUのページにあります。
• 複数のGPUがある：CUDA_VISIBLE_DEVICES などで、使うGPUを選べます。

運用で気をつけること

• ほかの機器から使えるようにする：既定では 127.0.0.1 の11434番だけで受け付けます。OLLAMA_HOST で変えられます。Linuxでsystemdの場合は systemctl edit ollama.service で、macOSは launchctl setenv で、Windowsは環境変数の画面で設定します。Ollamaのサーバーには、認証の仕組みの説明が公式のFAQにありません。 ネットワークに公開する場合は、Nginxなどのリバースプロキシや、ネットワークの制限で守ってください。
• モデルの保存先：macOSは ~/.ollama/models、Linuxは /usr/share/ollama/.ollama/models、Windowsは C:\Users\ユーザー名\.ollama\models です。大きなモデルは容量を使うため、OLLAMA_MODELS で別の場所へ変えられます。Linuxの標準の導入では、ollama ユーザーに読み書きの権限が必要です。
• モデルがメモリに残る時間：既定では、使い終わって5分後に解放されます。OLLAMA_KEEP_ALIVE や、APIの keep_alive で変えられます。すぐ解放するには ollama stop モデル名 です。
• 同時のリクエスト：OLLAMA_NUM_PARALLEL（同時に処理する数、既定は1）、OLLAMA_MAX_LOADED_MODELS、OLLAMA_MAX_QUEUE（待たせる数、既定は512）で調整します。同時に処理する数を増やすと、必要なメモリが増えます。
• 起動時に自動で立ち上がる：WindowsとmacOSのアプリは、ログイン時に自動で起動する設定になります。止めたい場合は、公式のFAQに手順があります。

注意点

• ローカル利用とクラウド利用を区別する：Ollamaにはクラウドモデルもあります。チャット画面や連携先のアプリで外部APIや検索を使う場合も、データの送り先を確認してください。Ollamaのクラウド機能を無効にする設定（OLLAMA_NO_CLOUD=1 など）は、公式のFAQで説明されています。これは連携先のアプリまで一括で制限する設定ではありません。
• モデルの性能は用途によって異なります。日本語の質問、社内資料の要約など、実際に使う内容で比較してから決めましょう。
• モデルごとにライセンス（利用条件）が異なります。Ollama自体はMITライセンスですが、業務で使う場合は、使うモデルのライセンスも確認してください。
• 公式アプリのほか、チームでブラウザから使う画面の候補としてOpen WebUIなどもあります。利用者の管理や接続先の設定を含めて比べましょう。

ChatGPTの代替のページで、ほかの候補も比べられます。

出典と確認の範囲

2026年10月25日に、公式のREADME、FAQ、Hardware support、Dockerを確認して書いています。モデル別の応答速度や必要メモリを、当サイトで実測したものではありません。設定の名前や既定値は版によって変わることがあるため、導入前に公式の最新の説明を確認してください。