公開日 2026.05.09 ／ 検証日 2026.05.09 ／ テック比較ジャーナル編集部
「LangSmithとは？」で検索している人の多くは、単に機能一覧を知りたいのではなく、LLMアプリを作り始めた後に、どこで詰まり、何を見れば直せるのかを知りたいはずです。たとえば社内FAQチャットボットを作ったとき、ユーザーから「回答が古い」「参照している資料が違う」「たまに異常に遅い」と言われても、通常のログだけでは原因が追いにくい。そこで役に立つのがLangSmithです。
LangSmithは、LangChain社が提供するLLMアプリ・AIエージェント向けの観測性、評価、プロンプト管理、監視のプラットフォームです。公式ドキュメントでも、LangSmithはフレームワーク非依存で、AIエージェントやLLMアプリを構築・デバッグ・デプロイするためのプラットフォームとして説明されています。この記事では、ありきたりな概要ではなく、社内FAQ/RAGチャットボットが間違った回答を返した場面を例に、LangSmithで何をどう見るのかまで踏み込んで解説します。
LLMアプリのデバッグは、普通のWebアプリより厄介です。APIが500エラーを返すなら原因はまだ追いやすいですが、AIはエラーではなく、もっともらしい間違いを返します。しかも原因が「プロンプトが悪い」のか、「検索で違う資料を取ってきた」のか、「モデルが勝手に補完した」のか、「ツール呼び出しに失敗した」のかが、表面の回答だけでは分かりません。
LangSmithは、このブラックボックスを分解します。1回のユーザー質問に対して、どのプロンプトが送られ、どの検索クエリが走り、どの文書が取得され、どのモデルが何トークン使い、最終回答にどうつながったのかを階層的に記録します。いわば、LLMアプリ版の「開発者コンソール」と考えると理解しやすいです。
ここでは、よくある社内向けRAGチャットボットを例にします。社員が「出張精算の領収書提出期限はいつですか？」と質問すると、社内規程PDF、経理FAQ、過去のTeams議事録などから該当箇所を検索し、AIが回答する仕組みです。
最初は便利に見えますが、実運用では次のような問題が起きます。
このとき、LangSmithで見るべきは「最終回答」ではありません。質問から回答までの途中経路です。具体的には、次の順番で確認すると原因を切り分けやすくなります。
まず、LangSmithのTrace一覧から該当のリクエストを開きます。ここでは、入力、最終出力、実行時間、エラーの有無、メタデータなどを確認します。ユーザーIDやセッションIDをメタデータに入れておくと、問い合わせ対応時に該当トレースを探しやすくなります。
RAGで一番多い失敗は、モデルではなく検索です。Retrieverが古いPDFや関係ない議事録を拾っていれば、どれだけプロンプトを調整しても回答は安定しません。LangSmithでは、検索クエリ、取得文書、スコア、文書のメタデータをトレース上で確認できます。
検索結果が正しいのに回答が間違う場合は、LLMに渡しているプロンプトを見ます。「資料にないことは答えない」「日付は原文の表記を優先する」「複数資料が矛盾する場合は新しい資料を優先する」といったルールが曖昧だと、モデルが勝手に補完します。
「たまに遅い」問題は、感覚で話すと解決しません。どのステップで時間がかかったのか、モデル呼び出しなのか、検索なのか、外部APIなのかをTraceで確認します。トークン数が膨らんでいる場合は、取得文書数を減らす、要約を挟む、プロンプトを短くするなどの改善余地があります。
LangSmithを「ただのログビューア」で終わらせないために重要なのがここです。失敗した質問をDatasetに保存し、改善後のプロンプトや検索設定で同じ質問を再実行します。改善前後で正答率、根拠の妥当性、回答の過剰生成が変わったかを比較できれば、勘ではなく検証で改善できます。
LangChainを使っている場合、最初の設定はかなり簡単です。環境変数を入れるだけでトレースが送られる構成にできます。
# 1. ライブラリを導入
pip install langsmith langchain
# 2. 環境変数を設定
export LANGSMITH_TRACING=true
export LANGSMITH_API_KEY="ls-..."
export LANGSMITH_PROJECT="faq-rag-production"
# 3. LangChain/LangGraph側の処理を実行すると
# プロジェクト単位でトレースが記録されるLangChainを使わない場合でも、SDKや@traceableのような仕組みを使って関数単位で記録できます。実務では、開発環境、本番環境、検証用プロンプトなどをプロジェクト名で分けておくと後で見返しやすいです。
初めてLangSmithを開くと、機能が多くて何から見ればいいか迷います。最初は次の順番で十分です。
| 見る場所 | 確認すること | 判断できること |
|---|---|---|
| Traces | 入力、出力、実行時間、エラー | どのリクエストが失敗したか |
| Run tree | 検索、ツール呼び出し、LLM呼び出しの順番 | どの処理で回答がズレたか |
| Metadata | ユーザー種別、環境、モデル名、バージョン | 特定条件でだけ失敗していないか |
| Feedback | ユーザー評価、手動ラベル | 失敗例を評価データに回せるか |
| Datasets | 失敗質問、期待回答、評価基準 | 改善後に同じテストを再実行できるか |
検索流入でこの記事に来た人に一番伝えたいのは、LangSmithは導入よりも運用設計が大事だという点です。メタデータを入れず、プロジェクトも分けず、失敗例もDataset化しないまま使うと、数週間後には「ログはあるけど何を直せばいいか分からない」状態になります。
2026年5月時点で、LangSmithの料金を見るときは月額だけで判断しない方がいいです。公式料金ページでは、ベーストレースと長期保存トレースで保存期間と料金が分かれています。ベーストレースは短期保持で、長期保存したいトレースはExtended扱いになります。
| 項目 | 見落としやすいポイント | 実務での考え方 |
|---|---|---|
| 無料プラン | 検証には十分でも、本番の全ログには足りない | まずは開発・検証用途で使い、月間トレース量を把握する |
| Base trace | 短期保持が前提 | 日々のデバッグや直近障害の確認向き |
| Extended trace | 長期保存はコストが上がる | 重要障害、ユーザー低評価、評価データ候補だけ残す |
| チーム利用 | 席数＋トレース量＋保存方針で費用が変わる | 導入前に想定リクエスト数から概算する |
本番運用でありがちな失敗は、「無料で始められるから安い」と思って導入し、ユーザーが増えてからトレース量に驚くパターンです。特にエージェント型のアプリは、1回の質問で検索、ツール呼び出し、LLM呼び出しが複数回走るため、単純なユーザー数以上にトレースが増えます。
LangSmithの比較対象としてよく出るのがLangfuseです。ただし、ここも単純に「どちらが安いか」だけで見ると失敗します。
| 比較軸 | LangSmith | Langfuse |
|---|---|---|
| 導入の速さ | LangChain/LangGraph利用ならかなり速い | OSSやセルフホストに慣れていれば速い |
| 評価機能 | Dataset、評価実行、プロンプト改善の流れがまとまっている | 柔軟だが、運用設計は自分たちで作る部分が多い |
| データ管理 | クラウド利用が中心。セルフホストはEnterprise向け | セルフホストを選びやすい |
| 向くチーム | LangChain系で早く本番運用したいチーム | 自社管理・OSS・コスト制御を重視するチーム |
社内FAQボットのように、個人情報や社内文書を含む可能性があるアプリでは、データの置き場所も大事です。LangSmithの手軽さは強いですが、厳格なデータ管理が必要ならLangfuseやEnterprise構成も検討対象になります。
最後に、LangSmithを入れる前に確認しておきたい項目を整理します。
| チェック項目 | 確認内容 |
|---|---|
| ログに含まれる情報 | 個人情報、社内文書、顧客名、APIレスポンスが含まれないか |
| メタデータ設計 | 環境、モデル名、プロンプト版、ユーザー種別を記録するか |
| 保存期間 | 短期デバッグ用と長期評価用を分けるか |
| 評価データセット | 失敗例を誰が選び、期待回答を誰が書くか |
| コスト上限 | 月間トレース数と長期保存トレースの目安を決めたか |
| 代替候補 | Langfuseなどのセルフホスト型も比較したか |
LangSmithは、LLMアプリの「なぜこの回答になったのか分からない」を解決するための実務ツールです。特にRAGチャットボットやAIエージェントでは、検索、プロンプト、モデル、ツール呼び出しが複雑に絡むため、トレースなしで原因を追うのはかなり難しくなります。
一方で、LangSmithは入れれば終わりのツールではありません。価値が出るのは、失敗トレースをDatasetに落とし、プロンプトや検索設計を変え、改善前後を評価する運用まで回したときです。無料枠で始められる手軽さはありますが、本番運用ではトレース量・保存期間・データ管理を必ず見ておきましょう。LangChain/LangGraph中心で早く品質管理を始めたいならLangSmith、データ主権やセルフホストを重視するならLangfuseも候補に入れる、という判断が現実的です。
LLMアプリやAIエージェントの入力、出力、検索、ツール呼び出し、エラー、レイテンシ、コストをトレースとして記録し、デバッグ・評価・監視に使うツールです。特にRAGチャットボットやLangChain/LangGraphを使ったアプリの原因調査に向いています。
個人や検証用途なら無料プランで始められます。ただし本番アプリではトレース数、保存期間、チーム管理、サポートの面で有料プランが前提になりやすいです。2026年5月時点では、ベーストレースと長期保存トレースで料金・保存期間が分かれています。
使えます。LangChainとの相性は非常に高いですが、LangSmithはフレームワーク非依存のプラットフォームとして案内されており、SDKやトレース用のデコレータを使えばLangChain以外のLLMアプリでも利用できます。
LangChainやLangGraph中心で、すぐにトレース・評価・監視を始めたいならLangSmithが扱いやすいです。データを自社環境で管理したい、オープンソースやセルフホストを重視する場合はLangfuseも候補になります。
上がりません。LangSmithは回答精度を自動で改善する魔法のツールではなく、失敗した原因を見つけ、評価データセットを作り、プロンプトや検索設計を改善するための道具です。トレースを見て改善サイクルを回して初めて効果が出ます。
LangSmith・Langfuse・Phoenix・Galileoを横断で比較した記事はAIエージェント観測ツール比較2026にまとめています。どれを選ぶか迷う場合はあわせてご覧ください。