公開日 2026.05.21 ／ 検証日 2026.05.21 ／ テック比較ジャーナル編集部
AIエージェントが話題になると、「自動で調べる」「勝手にツールを使う」「社内FAQに答える」といった便利な面ばかりが目立ちます。ですが、本番で怖いのはそこではありません。怖いのは、間違った回答を出したときに、どのプロンプト・検索結果・ツール呼び出し・モデル判断が原因だったのか分からないことです。
たとえば社内FAQエージェントが、古い料金表を参照して顧客に誤った金額を案内したとします。チャット画面だけ見ても、原因は分かりません。検索対象が悪かったのか、RAGで拾った文書が古かったのか、プロンプトが曖昧だったのか、ツール呼び出しが失敗したのか。ここを追うための道具が、AIエージェント観測性ツールです。
今回は、単なる機能比較ではなく、次のような実務シナリオで考えます。
この流れは便利ですが、失敗ポイントも多いです。古い資料を拾う、権限のない情報を参照する、ツール呼び出しが途中で失敗する、同じ検索を何度も繰り返してコストが跳ねる、出典のない断定文を作る。AIエージェントの観測性は、こうした「便利になったぶん増えた失敗」を追うために必要になります。
AIエージェント観測性という言葉は少し大げさに聞こえますが、実務で見るべきものはかなり具体的です。
| 見るもの | 何が分かるか | 見ないと起きること |
|---|---|---|
| Trace | 1回の依頼の中で、どの処理がどの順番で動いたか | どこで失敗したか分からない |
| Tool Call | CRM、検索、社内DB、外部APIをどう呼んだか | API失敗や権限エラーを見落とす |
| Retrieved Chunks | RAGでどの文書・どの段落を拾ったか | 古い資料や関係ない資料を使っても気づけない |
| Latency / Token Cost | どこで遅く、どこで費用が増えているか | 利用者が増えた瞬間にコストが爆発する |
| Evaluation | 回答が正しいか、出典があるか、危険な回答でないか | 改善したつもりが品質低下しても分からない |
この表を見て「うちはまだ要らない」と感じるなら、たぶんまだ本番エージェントの段階ではありません。逆に、社内データ検索、顧客対応、API実行、チーム利用のどれかが入っているなら、早めに入れた方が後から楽です。
LangSmith、Langfuse、Phoenix、Galileoは同じ「観測性」カテゴリで語られますが、実際の立ち位置はかなり違います。雑に言えば、LangSmithは最短導入、Langfuseは自社管理、Phoenixは軽量実験、Galileoは企業向け評価運用です。
| ツール | 向く状況 | 注意点 |
|---|---|---|
| LangSmith | LangChain利用、PoCから本番へ早く進めたい | トレース量・保存期間でコスト感が変わる |
| Langfuse | 自社データ管理、OSS、セルフホスト、長期運用 | インフラ運用できる人がいないと逆に重い |
| Arize Phoenix | ローカルで軽く試す、OpenTelemetryで中立に始める | 本格的な権限管理や運用体制は別途考える必要あり |
| Galileo | 評価、ガードレール、品質監視を企業レベルで回す | 価格や導入は問い合わせ前提になりやすい |
LangSmithの強みは、導入の速さです。LangChainを使っているアプリなら、環境変数を設定するだけでトレースが送られ始める構成にしやすく、開発者が「まず何が起きているか見たい」と思ったときの立ち上がりが速いです。
社内FAQエージェントの例で言えば、営業担当の質問に対して、どのRetrieverが呼ばれ、どの文書チャンクが選ばれ、最終プロンプトに何が入ったかを追えます。ここで「古い料金表のPDFが上位に来ていた」と分かれば、RAG側の文書整理やメタデータ設計を直せます。
ただし、LangSmithは「見える化が簡単」な反面、本番で大量トレースを長く保存する場合はコスト管理が必要です。短期デバッグ用のトレースと、後から検証したい重要なトレースを分ける設計をしないと、気づいたらログ保管が膨らみます。
導入手順や料金の考え方は、LangSmithの使い方・料金ガイドで詳しく解説しています。
Langfuseは、OSSでセルフホストできる点が大きな違いです。顧客データ、社内文書、営業メモ、問い合わせ内容などを扱うAIエージェントでは、「トレースの中に何が入るか」が重要になります。プロンプトや回答だけでなく、検索された文書、顧客名、メール文面、内部IDがログに残ることもあるからです。
このとき、クラウドサービスにログを置くこと自体が社内規程に合わない会社では、Langfuseのセルフホストが現実的な選択肢になります。とくに金融、医療、BtoB SaaS、個人情報を多く扱う業務では、自社管理できることが単なるコスト以上の意味を持ちます。
一方で、セルフホストは魔法ではありません。Dockerで立ち上がるとはいえ、バックアップ、アップデート、監視、権限管理は自社責任です。エンジニアが少ない会社で「無料だから」と入れると、運用の面倒を誰も見ないツールになりがちです。
セルフホストの具体的な構築手順は、Langfuseセルフホスト構築ガイドでまとめています。
Phoenixは、ローカルや開発環境でAIアプリの挙動を確認する入口として使いやすいツールです。いきなり商用クラウドやセルフホスト基盤を決める前に、トレースとは何か、評価とは何か、RAGの失敗はどう見えるのかを体験できます。
社内FAQエージェントを作り始めた段階で、まずPhoenixを使って「検索された文書チャンク」「回答の評価」「プロンプト変更前後の差」を見る。これだけでも、観測性ツールを入れる意味はかなり理解できます。OpenTelemetryとの相性を重視するチームにも向きます。
ただし、本格的なチーム運用、監査、権限管理、長期保存、サポートまで求めるなら、Phoenix単体で全部を背負わせるより、Arize側の商用基盤や別ツールとの組み合わせを検討した方が現実的です。
セットアップと評価の使い方は、Arize Phoenixの使い方ガイドで詳しく解説しています。
Galileoは、単なるトレース閲覧よりも、評価・監視・ガードレールに寄った企業向けの色が強いツールです。AIエージェントが「正しい回答をしたか」だけでなく、危険な回答、根拠不足、回答品質の劣化、リリース前後の回帰を継続的に見たい場合に候補になります。
たとえば営業支援エージェントで、料金、契約条件、個人情報、法務表現が絡む場合、単にTraceを眺めるだけでは足りません。「出典なしの断定をしていないか」「禁止ワードを含んでいないか」「前バージョンより回答品質が落ちていないか」を評価し続ける必要があります。Galileoはこうした評価運用を前提に検討するツールです。
一方で、個人開発や小規模PoCで最初に入れるには少し重いです。価格や導入も問い合わせ前提になりやすいため、まずはLangSmithやLangfuse、Phoenixで失敗パターンを把握し、品質保証の運用が必要になった段階で検討するのが自然です。
社内FAQ兼営業支援エージェントが「旧料金で回答した」ケースで考えます。観測性ツールを入れていれば、次の順番で原因を追えます。
この流れができると、「AIが間違えました」で終わりません。「旧料金表が検索上位に残っていた」「CRMの新プラン項目が取得できていなかった」「プロンプトが出典確認を強制していなかった」という具合に、修正箇所まで落とし込めます。
| あなたの状況 | おすすめ | 理由 |
|---|---|---|
| もし LangChainで作っていて、まず可視化したい | LangSmith | 導入が速く、Trace確認までの距離が短い |
| もし 顧客データを含むTraceを自社管理したい | Langfuse | OSS・セルフホストでデータ主権を確保しやすい |
| もし 観測性をローカルで試したい | Phoenix | 軽量で、RAGや評価の見え方を体験しやすい |
| もし 本番品質・評価・ガードレールまで管理したい | Galileo | 評価運用と品質監視を企業レベルで回しやすい |
| もし 何を選ぶべきか分からない | LangSmith or Langfuse | クラウド最短ならLangSmith、自社管理ならLangfuseが第一候補 |
ここを決めずにツールだけ入れても、ダッシュボードを眺めるだけで終わります。観測性ツールは、ログを取るための道具ではなく、失敗を修正する運用を作るための道具です。
AIエージェント観測性ツールは、「一番有名なもの」を選ぶより、失敗時の調査フローに合うものを選ぶべきです。LangChainで早く本番に近づけたいならLangSmith。顧客データや社内文書のログ管理を重視するならLangfuse。観測性をまず体験したいならPhoenix。評価やガードレールまで企業運用するならGalileoです。
個人的には、PoC段階ではLangSmithかPhoenixで十分です。ただし、顧客情報を含む社内エージェントを本番運用するなら、かなり早い段階でLangfuseのような自社管理型も検討した方がいいです。AIエージェントは、動くところまでは意外と早い。問題は、動いた後に何が起きているかを説明できるかです。
社内FAQや営業支援など、AIが検索・判断・外部ツール呼び出しを行う段階になったら必要です。単発のチャットなら不要なこともありますが、RAG、ツール実行、複数ステップのワークフローを本番で動かすなら、トレース・評価・コスト監視がないと原因調査が難しくなります。
LangChainを使っているならLangSmithが最短です。データを自社管理したい、OSSで始めたい、長期的なコストを抑えたい場合はLangfuseが有力です。ローカル検証ならArize Phoenix、評価・ガードレールまで企業運用したい場合はGalileoを検討します。
入れるだけで精度が上がるわけではありません。どのプロンプト、検索結果、ツール呼び出し、モデル設定が失敗原因だったかを見つけやすくするツールです。改善するには、トレースを見てプロンプト、検索対象、評価データ、ワークフローを修正する運用が必要です。
LangfuseはOSSとしてセルフホストでき、PhoenixもOSSで軽く試せます。LangSmithにも無料枠があります。本番利用ではトレース量、保存期間、チーム管理、サポート要件でコストが変わるため、無料枠で導入感を見たあとに本番想定のトレース数を試算するのが安全です。
LangSmithはLangChainとの親和性と導入の速さが強みです。LangfuseはOSS・セルフホスト・データ管理の自由度が強みです。小さく速く始めるならLangSmith、自社管理や長期コストを重視するならLangfuse、という分け方が現実的です。