macでgemma3nをDocker Modelsから使用する

 

Apple Silicon使ってるならAIのモデルの実験で一番手っ取り早いやり方がDocker Modelsを使うことだと思ってます。

自分のローカル端末の性能でどれくらい動くのかというのを実験したいなと思ったのでやってみます。

BETAではありますが、ModelsからDocker Hubを選択してGemma3nをPullしてみます。

 

Installedになりました。

これクリックすると中に入れるんですけど、なんかいろんなSizeのモデルありますよね。

規定でlatestが選ばれるので3.9GBのディスク容量が喰われると思っておけばいいですね。

 

Local選択したらありました。

 

一発目、多分メモリーに展開するのは五秒くらいかかりましたが、２回目のやり取りは即座に帰ってきました。しかも内容普通に問題なさそう。

 

ちょっと画像が読み込めるか確認したかったけど、無理っぽいのでGoogle AI Studioのモデルでやってみた。なんかエラーになった。

 

 

Visualって書いてあるモデルでやってみます。

 

ちょいモザイクしてますが、完璧に読み込めとる。。

めっちゃ応用範囲広がるなぁ。。

去年の確定申告で経費登録はほぼ自動でやったけど、今回はモデルを変えてやってみたいなと思いました。

ちなみに、去年(今年度の確定申告)使ったモデルは以下です。こちらは商用利用できなライセンスでしたが、たぶんgemma3nはいけそう。gemma3nをvast.aiとかのGPUマシンを一時的にホスティングして処理させたら安くサービス作れそうだなと思いました。(思うだけじゃなく、ちゃんと行動しないとなぁ。)

Yomitoku is an AI-powered document image analysis package designed specifically for the Japanese language.
https://github.com/kotaro-kinoshita/yomitoku
35 forks.
895 stars.
14 open issues.

Recent commits:

Docker, 生成AIDocker, 生成AI

Posted by takumioda