Mac M4でDocker Model RunnerでLLMをローカル実行

大規模言語モデル(LLM)をローカル環境で動かすのは、まだまだハードルが高いと感じています。モデル選び、ハードウェア設定、パフォーマンス調整など、本格的に開発を始める前に、準備段階でつまずいてしまうことも少なくありません。
主にC#関連の記事を書きます。最近はXamarin.Formsが多め。
大規模言語モデル(LLM)をローカル環境で動かすのは、まだまだハードルが高いと感じています。モデル選び、ハードウェア設定、パフォーマンス調整など、本格的に開発を始める前に、準備段階でつまずいてしまうことも少なくありません。