つくったAIを直し続ける運用（LLMOps）の進め方

つくった生成AIの仕組みを使い続けるには、公開した後も答えの品質と費用を測り、変えたことを記録しながら直していく運用が要ります。中心になるのは、評価用の問題集、版の管理、記録と監視の3つです。評価・版の管理・記録と監視に、費用の管理、提供元のモデルの更新への備え、人の確認の記録を加えます。

LLMOpsとは、LLM（大規模言語モデル）を使うシステムを本番の業務で使い続けるために、評価・公開・監視・改善の流れを整える取り組みです。機械学習のモデルを対象にした MLOps の考え方を、生成AIに合わせたものです。PoCから本番に進むときに足すものはAIの試し（PoC）で終わらせないためにで触れました。この記事では、本番に入った後の運用を扱います。

なぜ、つくった後も直し続けるのか

生成AIの仕組みは、こちらが何も変えていなくても、使われ方、参照する文書、提供元のモデル、費用が変わっていくためです。

• 使われ方が変わる：想定していなかった質問や、別の業務での使い方が増えます
• 参照する文書が変わる：社内の規程やマニュアルが改訂されます
• 提供元のモデルが変わる：モデルの更新や、古いモデルの提供の終了があります
• 費用が変わる：利用する人や入力の長さが増えると、利用料が増えます

ふつうのシステムは同じ入力に同じ結果を返すため、一度確かめれば大きくは変わりません。生成AIは、同じ質問でも答えが少しずつ変わり、ある所を直すと別の所が悪くなることもあります。そこで、変えるたびに測り、記録する仕組みを最初から用意しておきます。

評価の仕組み：問題集で、変える前と後を比べる

評価用の質問と望ましい答えの組（問題集）を用意し、プロンプトの文、モデル、参照する文書などを変えるたびに、同じ問題集で試して前と後を比べます。

AIの評価の基本は、実際の業務で出る質問を、よくあるものから例外まで集めることです。望ましい答えに加えて、答えてはいけない質問（社外秘を求める質問、担当の範囲の外の相談など）と、そのときの望ましい断り方も入れておきます。

測り方は、答えの種類で分けます。

AIに採点させる方法は手間を減らせますが、採点するAIも誤ることがあります。採点の基準を文にしておき、人の採点と合っているかを、ときどき抜き取りで確かめます。社内の文書を検索して答える仕組みでは、検索と答えを分けて測ります。測り方はRAGの精度を上げるにはで説明しています。

問題集は、公開した後に育てていきます。利用者から「違う」と評価された答えや、答えられなかった質問を記録から拾い、内容を確かめてから問題集に足します。

プロンプトとモデルの版を管理する

プロンプト、使うモデルの名前と版、設定の値、参照する文書を一組にして版の番号を付け、いつ、何を、なぜ変えたかを記録します。

答えの品質を左右するのは、プロンプトだけではありません。モデルの版、答えのばらつきを決める設定、検索で渡す文書の件数、参照する文書の版も影響します。どれか1つを変えたときに、どの組み合わせで動いていたかが分からないと、品質が落ちたときに原因を追えません。

• プロンプトは、プログラムと同じく変更の履歴が残る場所で管理する
• モデルは、自動で新しい版に替わる名前ではなく、版が決まった名前で指定する
• 変更には、理由と評価の結果を添える
• 前の版に戻す手順を決め、一度は試しておく

記録と監視：何が起きているかを見えるようにする

入力と出力、使ったプロンプトの版、参照した文書、答えが返るまでの時間、トークンの量を記録し、品質・速さ・費用・安全の4つを続けて見ます。

ログ（記録）は、問題が起きたときの調べものと、改善の材料の両方に使います。入力には個人情報や社外秘が含まれることがあるため、記録する範囲、保存の期間、見られる人を決め、必要に応じて伏せ字にしてから保存します。

監視では、次のような変化に気づけるようにします。

• 品質：利用者の評価が低い答えの割合、「分かりません」と答えた割合
• 速さ：答えが返るまでの時間、提供元のサービスの障害
• 費用：1日あたりの利用料、1件あたりの入力の長さ
• 安全：入力と出力を検査するガードレールが止めた件数と内容

数字だけでなく、記録から一定の件数を選んで人が読む時間も設けます。数字には表れにくい、答えの調子の変化や想定外の使われ方に気づけるためです。攻撃や情報の漏えいへの備えは生成AIのセキュリティにまとめています。

費用を管理する

生成AIの利用料は、主に入力と出力のトークンの量で決まるため、件数と1件あたりの量の両方を見て、上限と通知を設けます。

運用の費用は、提供元のモデルの利用料に、検索の仕組みや記録の保存などの基盤の費用と、問題集の更新や人の確認にかかる社内の時間を足したものと考えます。利用料だけを見ていると、運用にかかる人の時間が見落とされます。

利用料を抑える工夫には、次のようなものがあります。いずれも、問題集で評価の結果が落ちていないことを確かめてから取り入れます。

• 検索で渡す文書を、答えに要る部分に絞る
• 毎回同じ前置きを送る場合は、くり返しの部分の費用を抑える仕組みが提供元にあるかを確かめる
• 簡単な問い合わせには、小さく安いモデルを使い分ける
• 部署や機能ごとに月の上限を決め、上限に近づいたら知らせる

モデルの更新と提供の終了に備える

提供元は古いモデルの提供を終えることがあるため、新しいモデルへの切り替えを、評価で確かめてから行う手順として決めておきます。

たとえば Anthropic は、一般に公開したモデルの提供を終える場合、使っている顧客に少なくとも60日前に知らせるとし、提供を終える日より十分前に、新しいモデルで自社のアプリケーションを試すことを勧めています。OpenAI も、提供を終える予定のモデルと、代わりに勧めるモデルの一覧を公開しています。

出典：Model deprecations（Anthropic）
Deprecations（OpenAI）

切り替えは、次の順で進めます。

1. 使っているモデルの提供の終了の予定を、定期的に確かめる
2. 新しいモデルで問題集を試し、前のモデルとの差を見る
3. 差が出た質問について、プロンプトを直すか、そのまま受け入れるかを決める
4. 一部の利用者や機能から切り替え、記録を見てから広げる

新しいモデルのほうが全体の評価はよくても、特定の質問で答え方が変わることがあります。業務で大事な質問ほど、問題集に入れておくと安心です。

人の確認を記録に残す

人がAIの答えを確かめた結果と直した内容を記録に残すと、改善の材料になり、後から経緯を説明する根拠にもなります。

業務でAIの出力を人が確かめてから使う場合、確かめた結果は捨てずに残します。

• 直した答えは、どこをどう直したかを残し、問題集や指示の改善に使う
• 使わなかった答えは、理由（誤り、古い情報、言い回しなど）を選んで残せるようにする
• だれが、いつ確かめたかを残す

送信や登録など、取り消せない操作をAIに任せる場合は、実行の前に人の承認を挟み、承認の記録も残します。AIが自分で道具を使って作業を進める仕組みの注意点は、AIエージェントの記事で説明しています。

小さく始めて、担い手を決める

最初から大がかりな基盤を整える必要はありません。問題集、版の記録、入力と出力の記録の3つから始め、だれが記録を見て、だれが直すかを決めます。

見直しの頻度は、利用の量と業務の重さに合わせて決めます。運用の担い手が決まらないまま公開すると、品質が落ちても気づく人がいない状態になります。

当社のご支援

アメリア・テクノロジーのAIインテグレーションでは、いま使っているシステムにAIを組み込み、使われ方と精度を見ながら、プロンプト・データ・画面を少しずつ改善し続けます。社内で運用・改善を続けられるよう、手順書の整備や担当の方へのレクチャーも行います。動かした後の見直しを少しずつ頼みたい場合は、月20時間・20万円（税別）からのAIタイムシェアの時間の中でもお任せいただけます。