AI GUIDE

DeepEval
LLM評価メトリクスの使い方を初心者向けに解説

公開日 2026.06.09 ／テック比較ジャーナル編集部

DeepEvalとは？LLM評価メトリクスの使い方を初心者向けに解説する記事のイメージ図 — ▲ DeepEvalの概要イメージ（説明用のイメージ図）

本ページは広告・アフィリエイトリンクを含みます。ただし掲載順位や評価は編集部が独立して判断しています。

AIアプリを改善するとき、「プロンプトを変えたら本当に良くなったのか？」を感覚で判断していませんか？通常のソフトウェアにはテストがあるように、LLMアプリにも品質を定量的に測る仕組みが必要です。それを実現するのがDeepEval──「LLM版のpytest」とも呼ばれるオープンソースの評価フレームワークです。50を超える研究ベースの指標を備え、2026年時点で最も注目される評価ツールの一つです。本記事では、DeepEvalの基本、指標の種類、テストの書き方、RAG評価への応用までを初心者向けに解説します。

DeepEvalとは何か

DeepEvalは、LLMアプリの出力品質を定量的に評価するテストフレームワークです（開発元は Confident AI、ライセンスはApache-2.0）。最大の特徴は、Pythonのテストツール「pytest」とそっくりな書き味であること。普段ソフトウェアテストを書く感覚で、「この回答は正確か」「文脈に忠実か」をコードでテストできます。一次情報はDeepEval公式サイトとGitHubリポジトリが参照しやすいです。

これにより、AIの品質を「なんとなく良くなった気がする」ではなく、数値とテスト結果で管理できます。さらにCI/CD（自動テスト・デプロイの仕組み）に組み込めば、プロンプトやモデルを変えるたびに品質が落ちていないかを自動でチェックできます。

DeepEvalでLLM出力を評価する流れを示した概念図：テストケース（質問・入力）→LLMアプリが回答を生成→DeepEvalで自動評価→スコア・指標で品質を可視化→閾値判定・レポートで改善につなげる — ▲ DeepEvalでLLM出力を評価する流れ（説明用のイメージ図）

DeepEvalのインストール方法

DeepEvalはPythonライブラリなので、導入は pip だけで完了します。Python 3.9以上の環境を用意し、次のコマンドを実行します。

# 1. インストール
pip install -U deepeval

# 2. 採点役のLLMにOpenAIを使う場合、APIキーを環境変数に設定
#    （多くの指標は内部でLLMを呼び出すため鍵が必要）
export OPENAI_API_KEY="sk-..."   # Windowsは set OPENAI_API_KEY=...

# 3. 動作確認（バージョン表示）
deepeval --help

あとは後述の最小テストを test_example.py として保存し、deepeval test run test_example.py を実行すれば、合否・スコア・採点理由が出力されます。導入から最初のテストまでの公式手順は DeepEval Quickstart（公式Docs）が確実です。APIキーや採点モデルの指定でつまずくケースが多いので、後述の「よくあるエラー・詰まりどころ」も先に目を通しておくとスムーズです。

主な評価指標

DeepEvalは50を超える指標を持ちますが、まず押さえるべき代表的なものは次の通りです。

指標	何を測るか
Answer Relevancy	回答が質問に的確に答えているか
Faithfulness	回答が参照情報に忠実か（捏造していないか）
Hallucination	事実に反する作文をしていないか
Contextual Precision	検索した文脈のうち有用な割合（RAG向け）
Contextual Recall	必要な文脈を取りこぼしていないか（RAG向け）
Toxicity / Bias	有害・偏った表現が含まれていないか

各指標の定義や計算方法は公式Docsが一次情報です。よく使うAnswer Relevancy・Faithfulnessあたりから読むと、何をどう測っているかが掴みやすいです。

テストの書き方：最小例

実際のコードはとてもシンプルです。「入力・出力・期待値」を用意し、指標を指定してアサート（検証）するだけです。

from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import AnswerRelevancyMetric

# 評価したいやり取りを定義
test_case = LLMTestCase(
    input="返品はできますか？",
    actual_output="はい、購入後30日以内なら返品可能です。",
)

# 「回答関連性」を0.7以上で合格とする
metric = AnswerRelevancyMetric(threshold=0.7)

# テスト実行（pytest と一緒に動かせる）
assert_test(test_case, [metric])

これを deepeval test run で実行すれば、合否とスコア、さらに「なぜその点数なのか」の理由まで出力されます。複数のテストケースをまとめて回せば、回答品質を一覧で把握できます。

G-Eval：自然言語で独自指標を作る

既存の指標で測れない品質もあります。たとえば「回答が丁寧か」「専門用語を避けてわかりやすく説明しているか」など。こうした独自基準を自然言語で書くだけでカスタム指標にできるのがG-Evalです（詳細はG-Eval公式Docs）。

from deepeval.metrics import GEval
from deepeval.test_case import LLMTestCaseParams

politeness = GEval(
    name="丁寧さ",
    criteria="回答が丁寧で、専門用語を避け、初心者にも分かりやすいか",
    evaluation_params=[LLMTestCaseParams.ACTUAL_OUTPUT],
)

これで「丁寧さ」という独自の観点でLLMが採点してくれます。自社サービスの「らしさ」を評価軸にできるのが強力です。

料金：本体は無料、有料はクラウド版だけ

結論から言うと、DeepEval本体（Pythonライブラリ）はApache-2.0ライセンスの完全無料です。指標もG-Evalもすべて使えて、機能を絞った「お試し無料枠」ではありません。pip install deepeval 一発で全機能が手に入ります。

有料になるのは、開発元 Confident AI が提供するクラウド版──チームでの結果共有、本番監視、ダッシュボード、データセット管理──を使う場合だけです。ここはローカル評価とは別レイヤーだと理解しておくと混乱しません。

プラン	料金	主な範囲
DeepEval本体（OSS）	無料（Apache-2.0）	ローカル/CIで全指標・G-Eval・RAG評価
Confident AI Free	$0	2席・1プロジェクト・週5テスト実行・保持1週間
Confident AI Starter	$19.99/ユーザー/月〜	保持無制限・オンライン評価5,000回/月
Confident AI Premium	$49.99/ユーザー/月〜	トレース容量・評価回数を拡大
Team / Enterprise	個別見積	SSO・権限管理・大規模監視

※2026-06時点、Confident AI 公式pricingより。ローカルで評価を回すだけならクラウド契約は不要です。

DeepEvalは日本語LLM評価に使える？

結論として、日本語のテストケースもそのまま評価対象にできます。入力（質問）も出力（回答）も日本語で問題ありません。ただし、いくつか日本語ならではの注意点があります。

採点役モデルの日本語力に結果が左右される。 多くの指標は「採点役のLLM」が判定するため、その採点モデルが日本語を得意とするかでスコアの妥当性が変わります。日本語の評価では、日本語に強いモデルを採点役に指定するのが無難です。
評価基準（G-Evalのcriteria）は日本語で具体的に書く。 「丁寧で分かりやすいか」のような基準は、日本語で・判断できる粒度まで噛み砕いて書くほど採点が安定します。曖昧な基準だと採点もぶれます。
閾値は英語の例をそのまま流用しない。 合格ラインは言語やドメインで適切値が変わります。自社の日本語データで数十件試し、合否の体感と合うよう閾値を調整してから本番に使うのが安全です。

つまり「日本語で使えるか？」の答えはYesですが、採点モデル選び・基準の書き方・閾値調整の3点を日本語前提でチューニングすることが品質の決め手になります。

よくあるエラー・詰まりどころ

導入そのものは数分で終わります。ただ、最初に触ると引っかかりやすいポイントがいくつかあります。編集部が公式Docsやコミュニティの情報をもとに整理した「先に知っておきたい点」をまとめます。

APIキーの設定漏れ。 多くの指標は内部でLLMを呼ぶため、OPENAI_API_KEY などの環境変数が未設定だと認証エラーで落ちます。最初のエラーはここが大半です。
採点モデルの指定。 どのLLMを採点役にするかは指標生成時に指定できます（例：AnswerRelevancyMetric(model="gpt-4o-mini") のように）。指定しないと既定モデルが使われるため、コストや日本語精度を意識するなら明示しましょう。
RAG評価で retrieval_context が必要。 Faithfulness や Contextual 系の指標は、回答だけでなく「検索で取得した文脈（retrieval_context）」を LLMTestCase に渡さないと計算できません。ここを忘れて指標がエラー／意味のないスコアになるのは典型的なつまずきです。
スコアが毎回ぴったり同じにならない。 採点役がLLMである以上、出力は確率的で、同じ入力でもスコアが多少揺れます。閾値ギリギリ（例：0.69と0.71）の自動判定を機械的に信じすぎず、重要な判定はサンプルで人間レビューを残すのが安全です。
閾値を厳しくしすぎる。 いきなり高い合格ラインを設定すると、実用上は問題ない回答まで不合格になり「全部赤」で運用が回りません。低めから始め、自社データを見ながら少しずつ上げるのが現実的です。

編集部の所感としては、DeepEvalは「入れた瞬間に品質保証が完成する魔法の道具ではなく、運用しながら基準を育てていく計測器」です。さらに、評価そのものにも採点役LLMのAPI利用料がかかる点は見落とされがち。本番トラフィック全件に回すとコストが膨らむため、全件ではなく一部をサンプリングして評価するのが一般的な運用です。なお、この「AIがAIを採点する」仕組み自体の精度と落とし穴は LLM as a Judgeの解説記事で詳しく扱っています。

こんな人に向いている／向かない

向いている人

普段からPythonとpytestでテストを書いている開発者・AIエンジニア
プロンプトやモデルの変更を、感覚ではなく数値で良し悪し判断したいチーム
RAGや社内AIをCI/CDに載せ、品質のリグレッション（劣化）を自動で止めたい人
有害表現・バイアスの混入を出荷前にチェックしたい人

向かない人（正直に）

コードを書かずノーコードでAIを使うだけの人（Python前提のため学習コストが高い）
評価のためのLLM API課金をかけたくない／予算が取れない個人
「とりあえず2〜3パターンのプロンプトを軽く見比べたいだけ」の人（後述のPromptfooの方が速い）

Ragas・Promptfooとの使い分け（用途別の勝者）

LLM評価OSSはDeepEval一強ではありません。2026年時点の定番は他にRagasとPromptfoo。目的で選ぶのが正解です。まずは特性を一覧で比べてみます。

DeepEval・Ragas・Promptfooの得意分野・特徴・RAG評価・プロンプト比較・向いている人を比較したイメージ図 — ▲ DeepEval / Ragas / Promptfoo の使い分け（説明用のイメージ図）

比較軸	DeepEval	Ragas	Promptfoo
得意分野	LLMアプリ全般の品質評価	RAG（検索＋生成）評価に特化	プロンプト・モデルの比較／レッドチーム
導入しやすさ	pip導入・pytest互換で開発者には自然	pip導入・RAGパイプライン前提	CLI中心で手軽・設定ファイルで定義
RAG評価	◯（専用指標あり）	◎（最も得意・指標が厚い）	△（基本的な検証）
CI/CD連携	◎（pytestに乗せやすい）	◯（コードから実行可）	◯（CLIをCIで実行）
プロンプト比較	△（基本的な比較は可能）	△（あまり得意ではない）	◎（横並び総当たりが非常に強い）
向いている読者	Pythonでテストを書き品質を継続管理したい人	RAGの精度をしっかり測り改善したい人	複数プロンプト/モデルを横並びで比べたい人

用途別の結論： Python中心でCI品質ゲートを作るならDeepEvalが第一候補。RAGの本番監視はRagas併用、プロンプトの総当たり比較やレッドチームはPromptfooと、役割で組み合わせるのが2026年の実務的なやり方です。チームで共有・本番監視・ダッシュボード化まで踏み込むなら、DeepEvalのクラウド版 Confident AI が連携先になります。

関連記事・一次情報でさらに深掘り

どんな場面で役立つか

プロンプト改善のA/B評価：変更前後で同じテストを回し、スコアが上がったか確認
RAGの精度監視：検索した文脈の質と回答の忠実性を継続測定
リグレッション防止：モデルを更新したとき、品質が落ちていないかCIで自動チェック
安全性チェック：有害表現・バイアスの混入を出荷前に検出

編集部の結論

DeepEvalは、これまで感覚に頼りがちだったLLMアプリの品質管理を、「テスト」という開発者になじみ深い形に落とし込んだフレームワークです。50超の研究ベース指標で多角的に評価でき、G-Evalを使えば自社独自の品質基準も自然言語で定義できます。pytest風の書き味でCI/CDにも組み込みやすく、AIの品質を「数値で語れる」ようになるのが最大の価値です。まずは pip install deepeval で導入し、自分のアプリの代表的なやり取りを数件テストにしてみることから始めるとよいでしょう。

次に読む・始める

体系的に学びたい方は、AIアプリ開発・LLM評価の基礎を扱った書籍も役立ちます（DeepEvalそのものの専門書はまだ少ないため、生成AI／LLM開発の入門〜実践書が近いテーマです）。

Amazonで詳細を見る

※上記はアフィリエイトリンク（PR）を含みます。価格・在庫はAmazonの表示をご確認ください。

気になる疑問に答える

DeepEvalとは何ですか？

LLMアプリの出力品質を定量的に評価するオープンソースのテストフレームワークです。pytestのような書き味で、回答の正確性・関連性・忠実性などを50超の指標で自動採点でき、CI/CDに組み込んでAIの品質を継続監視できます。

G-Evalとは何ですか？

自然言語で評価基準を書くだけでカスタム指標を作れる機能です。「回答が丁寧で専門用語を避けているか」のような独自基準を文章で定義すると、LLMがその観点で採点します。既存指標で測れない品質を評価したいときに便利です。

RAGの評価に使えますか？

使えます。Faithfulness（忠実性）、Answer Relevancy（回答関連性）、Contextual Precision/Recall（文脈の精度・再現率）など、RAG専用の指標が用意されており、検索精度と回答品質の両方を測定できます。

DeepEvalは無料ですか？

本体（Pythonライブラリ）はApache-2.0ライセンスの完全無料で、機能制限もありません。有料になるのは開発元 Confident AI のクラウド版（チーム共有・本番監視・ダッシュボード）を使う場合のみで、Free（$0）のほかStarterが$19.99/ユーザー/月〜、Premiumが$49.99/ユーザー/月〜です（2026-06時点）。

評価にお金はかかりますか？

本体は無料ですが、多くの指標は内部で採点役のLLM（LLM-as-a-judge）を呼ぶため、OpenAIなどのLLM API利用料が別途かかります。1回あたりの料金は使う採点モデルやテスト量によって変わり、本番トラフィック全件に回すと費用が膨らみやすいので、全件ではなく一部をサンプリングして評価する運用が一般的です。

RagasやPromptfooとどう違いますか？

DeepEvalはCI/CDに組み込む広範なLLM品質ゲート向き、RagasはRAGに特化した学術ベースの指標が厚く、PromptfooはCLI中心で複数プロンプト・モデルの横並び比較やレッドチームが得意です。Python中心でCI品質ゲートを作るならDeepEvalが第一候補です。

DeepEvalは日本語でも使えますか？

使えます。日本語のテストケース（質問・回答）をそのまま評価できます。ただし採点役のLLMの日本語力でスコアの妥当性が変わるため、日本語に強いモデルを採点役に指定し、G-Evalの評価基準も日本語で具体的に書き、閾値は自社の日本語データで調整するのがおすすめです。

DeepEvalとRagasはどちらを選ぶべきですか？

用途次第です。RAG（検索＋生成）の精度を深く測りたいならRagasが得意、LLMアプリ全般の品質をCI/CDで継続的にチェックしたいならDeepEvalが向きます。両者は併用も可能で、CIの品質ゲートにDeepEval、RAGの継続監視にRagasという組み合わせも実務的です。

DeepEvalの評価スコアは毎回同じになりますか？

厳密には毎回同じにはなりません。採点役がLLMである以上、同じ入力でもスコアは多少揺れます。閾値ギリギリの自動判定を過信せず、重要な判定はサンプルで人間レビューを併用し、採点モデルはバージョンを固定して比較するのが安全です。

#LLM評価 #DeepEval

← JOURNALに戻る｜ AIツール一覧を見る →