vast.aiでホスティングしたモデルでcline,roo codeを動かす
目次
まずまとめ
- TemplateでAuthorization Bearer xxxを不要にしてAPIを叩ける用に設定する。
- Cloudflareを使ってhttps経由でアクセスする
これでvast.aiでホスティングしたモデルを使ってCline,Roo Codeを動かすことができます。
最近関連した以下のような内容を書いてきました。
Clineをデバッグして原因特定し、わざわざエラー解消版のvscode拡張機能も作りました。
エラーメッセージ「unable to verify the first certificate」がデバッグして初めて確認することができ、接続先サーバーが提示するSSL/TLS証明書の検証に失敗していることがわかりました。
つまり、httpsで接続するか、その設定を無効にするかという対策があります。
エラー解消版のvscode拡張機能は「その設定を無効にする」をやりました。
ただ、vast.aiってCloudflareを使えるので・・・このURLでもいけるんじゃない？と思ってやってみるとうまくいきました。。。
Instance PortalからOllama APIの再生ボタンを押すと、Cloudflare Quick Tunnelが出てきます。
以下のようなURLが発行されます。
この後ろのtokenは不要でした。
つまり、以下のURLをollamaのURLに設定します。
https://relevant-texts-lost-built.trycloudflare.com
これで実行できます。