LLMOps・MLOps

MLOpsは、機械学習のモデルを対象に、学習データの管理、モデルの学習と評価、本番への公開、精度の監視、学び直しまでを、くり返し回せるように整える考え方です。LLMOpsは、生成AI・LLMを使うシステムに向けたもので、プロンプトの版の管理、答えの品質の評価、費用の監視なども含みます。

AIは作って終わりではなく、データの傾向や業務が変われば精度が落ちていきます。LLMを使う場合は、提供元のモデルの更新で答えの傾向が変わることもあります。試験用の問いの一覧で定期的に評価し、変化に気づけるしくみを用意しておきます。

はじめから大がかりな基盤を整える必要はありません。記録を残す、評価の手順を決める、変更の前に試す、といった基本から始め、使う範囲が広がるのに合わせて整えていきます。運用の担い手を決めておくことも、使い続けるための前提です。