生成AI

今週はローカル環境で大規模言語モデル (LLM) を動かして遊んでました。特に Docker Desktop に統合された「Model Runner」機能は、コンテナ技術を使って手軽に LLM を試せるので捗ります。今回は、この Do ...

大規模言語モデル（LLM）をローカル環境で動かすのは、まだまだハードルが高いと感じています。モデル選び、ハードウェア設定、パフォーマンス調整など、本格的に開発を始める前に、準備段階でつまずいてしまうことも少なくありません。

 

公式の解説はこちら

 

まずはssh keyの登録(公開鍵)

 

アカウントを選択して

SSH Keysをクリック

 

概要

今回の記事は、vast.aiというGPUレンタルサービスを使ってDeepSeek-R1-Distill-Llama-8Bをセルフホストする手順を説明したものです。GPUを時間単位でレンタルすることができないか探していたら、vast ...