全社に OpenCode + LiteLLM を導入してコストを抑えつつ AI 活用を進めている話

記事サマリー

日本トレカセンター（社員約200名）が、全社員のAI利用の「入り口」を1つにまとめた事例紹介。社員のPCにはAIエージェントクライアントの OpenCode を配り、リクエストを自前ホストのLLMゲートウェイ LiteLLM に集約。モデル選択は会社側で制御し、予算は月単位で決めて社員ごとに週次上限を設定した結果、AIコストが導入前の10分の1以下に抑えられた、というのが最大のポイント。

導入前の課題

• ChatGPT・Claude・CursorなどAIツールが乱立し、社内でどんなプロンプトが使われているか把握不能だった
• 業務情報をAIに渡している以上、セキュリティ・ガバナンス面で放置できない
• AI利用費用が跳ね上がり、ROIを考えると無視できない金額に達していた

全体アーキテクチャ

• 各プロバイダーのAPIキーはLiteLLMだけが保持。社員は自分用のLiteLLMキーを持つ
• リクエストが全てLiteLLMを通るため、プロンプトをログで把握可能。Guardrail（LLM送信前リクエストチェック）にも対応
• 新しいモデルが出てもLiteLLM側でつなぎ先を差し替えるだけで試せる

なぜ LiteLLM？ なぜ OpenCode？

• LiteLLM：複数LLMプロバイダーを同一インターフェースで呼べるゲートウェイ。キー単位で max_budget（上限額）と budget_duration（リセット周期）を設定でき「気づいたら請求が跳ね上がる」事故を仕組みで防止
• Claude Desktop on 3P（推論先をゲートウェイへ向ける公式構成）は開発者モード前提の設定を非エンジニアに案内するのはハードルが高いと判断
• Claude Code + LiteLLM構成も試したがAPIエラーが頻発（tools.N.custom.input_examplesによる400エラー、prompt cachingのベータヘッダーによる400エラーなど、LiteLLM側の追従待ち）
• OpenCodeは設定をJSONファイルに書く方式。用意済み設定ファイルを置くだけで接続完了し、配布が非常に楽。デスクトップアプリ版はUIもシンプル
• 一部エンジニアにはOpenAI Codexのサブスクリプションも支給し、LiteLLM⇔Codexを切り替えて使える柔軟運用

ホスティング・SSO・配布

• LiteLLMはAWS ECS Fargateで運用
• キー発行は社員自身がGoogle WorkspaceのSSOログインでセルフサービス実施（管理者が一人ずつ発行する手間なし）
• SSOは自作 — LiteLLM公式のSSOは無料で5ユーザーまで（v1.76.0以降）で、200名にはEnterpriseライセンスが必要なため割に合わないと判断
• セットアップはワンライナースクリプト：ターミナルに1行貼り付けるとOpenCode Desktopのインストールから設定配置まで完了

effort別モデルと予算運用

• LiteLLM上に社内向けモデル名を Low / Mid / High / XHigh の4段階で定義。OpenCodeからはこの名前で選択
• 現状Lowの裏側はOpenRouter経由の DeepSeek-V4.1-Flash。パフォーマンスを見ながらLiteLLM側で差し替え（社員の手元設定は変更不要）
• 予算は月単位で決定、社員ごとの上限は週次（7d）リセット。週ごとに区切ることで自分の使用量を毎週意識する仕組み
• 上限超過時はSlackワークフローから追加申請が可能
• コスト削減の要因：高価なフロンティアモデルを使いっぱなしにしなくなった＋コスト可視化で社員がコスパを考えてモデルを選ぶようになった
• コメント欄の情報：社員全体の平均利用額は月20万円ほど

MCPの一本化

• OpenCodeへの移行で、Claude Codeコネクタなどによる外部サービス連携が使えなくなる課題が発生
• Cloudflare One の MCP server portals で社内向けMCPサーバーを1エンドポイントに集約。OpenCode側にはポータルURLを1つ登録するだけで済む

この記事の要点まとめ

• 全社AI利用の入り口をOpenCode + LiteLLMで1本化することで、ガバナンス（プロンプト可視化）とコスト管理を同時に実現
• セルフホストSSO＋週次予算リセットという細かい運用設計が効いている
• 既存のオープンソース（LiteLLM・OpenCode・Cloudflare MCPポータル）の組み合わせで大規模展開できる好例