中級・ AI / LLM / Ollama / ローカル

手元のマシンでAIを動かす（ローカルLLM・Ollama）

クラウドに送りたくないデータでAIを使いたい。API料金を気にせず実験したい。自分のLinuxマシンでLLM（大規模言語モデル）を動かしてみたい。

手順

curl -fsSL https://ollama.com/install.sh | sh公式スクリプトでOllamaを導入。Linuxではsystemdサービスとして常駐する。実行前に中身を確認する習慣も忘れずに。

ollama pull llama3.2モデルを取得。数GBあるので回線と空き容量を確認してから。

ollama run llama3.2対話開始。日本語で話しかけてみる。/bye で終了。

curl http://localhost:11434/api/tagsREST APIからも呼べることを確認。シェルスクリプトや自作ツールとの連携の入口。

ollama list手元にあるモデルの一覧と容量を確認。増えすぎたら ollama rm で整理。

⚠

注意モデルはRAM（またはVRAM）に丸ごと載る。目安として7B級モデルで8GB以上の空きメモリを見ておく。載りきらないと極端に遅くなる——その時は小さいモデルか量子化版を選ぶ。