AIの試し（PoC）で終わらせないために

AIの試し（PoC）を本番の利用につなげるには、始める前に、目的、評価の基準、使うデータ、運用の担い手を決め、「どうなれば本番に進むか」という条件を関係者で共有しておくことです。試してから考えるのではなく、試す前に出口を決めておきます。

PoCとは、Proof of Concept の略で、考えた仕組みが実際に使えるかを、小さな範囲で確かめる取り組みのことです。AIは試してみないと精度や使い勝手が分からないため、PoCから始めるのは理にかなっています。ただ、試しただけで終わり、本番の利用に進まない「PoC止まり」も多く聞かれます。

PoC止まりの原因は4つに分けられる

本番に進まない原因は、目的、評価の基準、データ、運用の担い手の4つのどこかに見つかることが多くあります。

目的があいまい

「AIで何かできないか」から始まったPoCは、何が分かれば成功なのかが決まっていません。終わったときに「面白かった」で止まり、投資の判断に進めません。どの業務の、どの作業を、どう変えたいのかを、始める前に言葉にします。

評価の基準がない

「精度がよければ本番に」という合意だけでは、どの程度なら「よい」のかで意見が分かれます。何を、どう測り、どの水準なら本番に進むかを数字や条件で決めておかないと、結果を見てからの議論になり、判断が先延ばしになります。

データが本番と違う

PoCでは、扱いやすいように整えたデータや、少ない件数で試すことがよくあります。本番のデータは、書式がばらばらだったり、欠けていたり、量が多かったりします。PoCでうまくいっても、本番のデータで同じ結果が出るとは限りません。

運用の担い手がいない

PoCは外部の会社や一部の担当者が進め、本番で使う部署やシステムの管理者が関わっていないことがあります。本番で、だれがAIの結果を確かめ、だれが不具合に対応し、だれが改善を続けるのかが決まらないと、本番には進めません。

始める前に決める「本番化の条件」

PoCを始める前に、次の項目を決め、関係者で合意しておきます。

やめる条件を決めておくことも大切です。期待した水準に届かなかったときに、条件を変えて試し直すのか、やめるのかをあらかじめ決めておけば、PoCがずるずると続くことを防げます。やめることも、投資の判断としては一つの成果です。

本番に近い形で試す

PoCの段階から、本番に近いデータと、実際に使う人を入れて試します。

• データは、きれいな見本だけでなく、例外や読み取りにくいものも含める
• 結果を確かめるのは、実際に業務を担う人にする
• AIの結果を、人がどう確かめ、どこで直すかという流れまで試す
• 試す前の作業の時間や件数を測り、試した後と比べる

AIの精度だけを見ていると、使う人にとっての手間が見落とされます。人の確認を含めた業務の流れ全体で、手間が減ったかを確かめます。

生成AIを試すときの注意

生成AIは、同じ質問でも答えの言い回しや内容が毎回少しずつ変わります。数件を試して「よさそうだ」と判断すると、本番で思わぬ答えが出ることがあります。

そこで、実際の業務で出てくる質問と、望ましい答えの組を、よくある質問から例外まで幅広く用意し、評価用の問題集として使う方法があります。プロンプトや参照する文書を直すたびに同じ問題集で試すと、直したことで良くなったのか、別の所が悪くなったのかを比べられます。問題集は本番に入った後も、モデルの更新や改修のたびに使えます。

本番に向けて足すもの

PoCで確かめた仕組みを本番で使うには、試しの段階では省いていた部分を足す必要があります。

• いまのシステムとのつなぎ込みと、データの受け渡し
• アクセスの権限と、操作の記録（ログ）
• 動いているかの監視と、止まったときの連絡の手順
• 例外のときの人への引き継ぎ
• 精度の変化を見て、直していく運用

こうした運用の仕組みはLLMOps・MLOpsと呼ばれます。PoCの見積もりに含まれていないことが多いため、本番化の費用として、始める前に見込んでおきます。投資の判断の考え方は経営の目標から、AIとシステムへの投資を決めるでも扱っています。

当社のご支援

アメリア・テクノロジーは、PoCの前の目的と評価の基準の整理から、本番に向けた開発と運用までをお手伝いします。何から試すかの整理はAI・DXコンサルティングで、お客様の現場に入り、要件を決めながら試作と改善をくり返す形は現場に入るFDEで承ります。