Dockerの出すModel Runner、LLMの実行環境もコンテナ内に隔離されるらしい。
プログラムじゃないモデルだけで何の意味あんの、と思うけど、これからはエージェント化したモデルとか、プログラムコード込みで配布される事になってきそうだし、全体をセキュアなサンドボックス内に入れるというのは、将来的なビジョンを見据えて先見性があるように思う。
HuggingFaceでtrust_remote_code=Falseとかするくらいならコンテナ化の方がよいのだろう。
リコーのモデルはどの位になるのか。70Bならギリ動かせるかな・・・？OpenAIのモデルは出てみないとなんとも・・・。
それこそエージェント化した状態でモデル＋ロジックの状態で出してくるのかもと勝手に期待。