vast.aiのTemplateを変更する
下記に行きつくまでにやったことです。
このREADMEは読んでおいた方がいい。今回Templateの変更の元になったTemplateのREADMEです。
https://cloud.vast.ai/template/readme/5d2c8df8e0d0ab7d1a7a3ed0f9105637
Authorization Bearer xxxを不要にしてAPIを叩く
AUTH_EXCLUDEに11434(APIのポート)を追加する。これでAuthorization Bearer xxxを不要にできる。
ollama pullしてイメージを用意した状態でコンテナーを起動させたかった(未実現)
Open WebUI + Ollamaの限定かもしれない？以下のdocを読んでいてわかったことなので。
PROVISIONING_SCRIPTというのがあって、これを使うと初回起動時にscriptを走らせることができる。これで先にollamaのイメージをダウンロードするようにする。
最初からyuma/DeepSeek-R1-Distill-Qwen-Japanese:14bをpullした状態で始めたい。
#!/bin/bash
set -eo pipefail
ollama pull yuma/DeepSeek-R1-Distill-Qwen-Japanese:14bテンプレートをeditする。
環境変数が出てくるのでここに設定すればいいはず。
githubのRawを押す。
PROVISIONING_SCRIPT=https://raw.githubusercontent.com/xiaotiantakumi/daily/refs/heads/main/2025-02-10/vast-provisioning-scripts/load_d_r_j_14.sh
保存されたのに保存されてない？
こっちのDocker Optionsで追加を試みる。定義を見るとstringだったのでダブルクォーとするんだろう。
また追加されたっぽい。
でも、””で囲まれてるから、これのせいか？ 再度確認すると、ちゃんとうまくいった。
Createを押す。
すると、My Templatesに自分のTemplateとしてできた。
再生ボタンを押すと、次にインスタンスを立てるときに使用されるようになります。
豆知識
docsを読んでいて、追加でportを設定する方法が書いてあった。 これ以外にも今後ファイルを高速にダウンロードする方法とか、そういうのでお世話になると思う。
っで、今回はちょっとやりたいことがあったので以下のように任意のPortを追加する。
今回は8181を追加した。
メモ
今後、初回設定で毎度admin設定するの面倒なのでスクリプトで何とかできないか考え中。
https://docs.openwebui.com/getting-started/quick-start
ただ、これPROVISIONING_SCRIPTでは厳しい気がする。