最終更新日：
AIの評価とは、AIが業務で使える水準にあるかを、決めたデータと物差しで確かめることです。
AIの評価では、学習には使っていないデータ（評価用データ）を用意し、正解率や、見落としと誤検知の割合などの物差し（評価指標）で結果を測ります。生成AIでは、答えが正しいか、根拠の文書に沿っているか、決まった形を守っているかなどを、人やAIが採点することもあります。
PoCで先へ進むかどうかを判断するときや、プロンプトやモデルを変えたときに、前より良くなったのかを確かめる土台になります。業務の側で、どの程度の誤りなら受け入れられるのかを先に決めておくと、評価の結果を判断に使いやすくなります。
評価用データが実際の業務の入力と違っていると、評価では良くても本番で精度が下がります。めったに起きないものの重要な例を、評価用データに含めておきます。使い始めた後もデータの傾向は変わるため、定期的に評価をくり返す運用にしておきます。