Mac(M4/32GB)でGemma 4をローカルで動かす。Docker Model Runnerで苦戦して、LM Studioに落ち着いた話
最近、ローカルLLMをちゃんと使ってみたくなりました。手元のMacBook Air(M4/32GB)でやってみた記録です。
やりたかったことは3つ。できればDockerでクリーンに。MacなのでMLXで最適化されたやつ。あ ...
macでgemma3nをDocker Modelsから使用する
Apple Silicon使ってるならAIのモデルの実験で一番手っ取り早いやり方がDocker Modelsを使うことだと思ってます。
自分のローカル端末の性能でどれくらい動くのかというのを実験し ...
Docker MCP Toolkitが統合されたので再度セットアップから連携までを解説
前回、下記で拡張機能のDocker MCP Toolkitの導入について記事を書きましたが、非推奨となったので再度記事を書きます。
さて、以前の発端は以前のDocker MCP Toolkit経由だと日本語が文字化けすると ...
ローカルLLMをTyping Mindから使う。Docker Model Runner + Gemma 3 連携を リバースプロキシ[Caddy] で実現するまで
今週はローカル環境で大規模言語モデル (LLM) を動かして遊んでました。特に Docker Desktop に統合された「Model Runner」機能は、コンテナ技術を使って手軽に LLM を試せるので捗ります。今回は、この Do ...
Mac M4でDocker Model RunnerでLLMをローカル実行
大規模言語モデル(LLM)をローカル環境で動かすのは、まだまだハードルが高いと感じています。モデル選び、ハードウェア設定、パフォーマンス調整など、本格的に開発を始める前に、準備段階でつまずいてしまうことも少なくありません。
非推奨となった拡張機能で提供されていたDockerのMCP Toolkitについての記事
この記事の内容は非推奨となっています。
新しいMCP ToolkitはDocker自体に組み込まれているので、わざわざ下記のように拡張機能としてインストールする必要はなくなりました。
新しくなったMCP Toolkit ...
pgvectorとDockerでベクトルデータベースの実験環境構築
今回は、PostgreSQLの拡張機能「pgvector」をDockerで手軽に試せる環境を作ってみることにしました。普段からDockerを使っている方にとっては、サクッと試せる内容になっているはずです。
そもそもベクトルデータ ...Devcontainerで拡張機能がインストールされない
少し宣伝させてください!Azureの試験対策本を執筆しました。
Installing extension…で処理が永遠完了しない。
調査してみると、M1 Macで発生する問題のようだ。
GitHub ...
Azure FunctionsをDevcontainerで実行するまでの調査
以下二つのサイトを参考に進めていました。
しかし、エラーが出て実行できませんでした。
エラーの内容を取るのを忘れてしまいましたが、調査した感じM1 MACで発生するエラーのようでした。azure functio ...
Dockerチートシート
最近Dockerでの作業が多いけど、毎度忘れては調べてとやってるので、よく使うコマンドを蓄積していく。
実行系最後に実行したDockerに入るdocker exec -it $(docker ps -l -q)/bin/bash ...