最終更新日:
強化学習とは、試した行動の結果に応じて「報酬」を与え、よりよい行動の選び方をAIに学ばせる方法です。
強化学習では、AIが置かれた状況の中で行動を選び、その結果につけられた点数(報酬)が大きくなるように、行動の選び方を少しずつ改めていきます。正解をつけたデータで学ぶ教師あり学習と異なり、試行錯誤から学ぶのが特徴です。囲碁や将棋のAI、ロボットの制御などで知られています。
生成AIの分野では、人の評価をもとにした強化学習が、LLMの答えを人の意図に沿ったものにする調整に使われています。業務では、在庫の補充や設備の制御、配車のように、判断を何度もくり返し、その結果が後に影響する問題で研究や活用が進められています。
現実の業務で試行錯誤させると損失が出るおそれがあるため、多くはシミュレーションの中で学ばせます。報酬の決め方を誤ると、AIが意図しない近道を覚えることがあります。業務で使うときは、何を報酬とするかと、シミュレーションが現実に合っているかを確かめます。
強化学習の学び方
- 行動を選ぶAIが、置かれた状況の中で行動を選びます
- 報酬がつくその結果に点数(報酬)がつけられます
- 選び方を改める報酬が大きくなるように、行動の選び方を少しずつ改めます
正解をつけたデータで学ぶ教師あり学習と異なり、試行錯誤から学ぶのが特徴です
関連する用語
- 教師あり学習・教師なし学習正解をつけたデータで学ぶか、正解のないデータから構造を見つけるかで分けた、機械学習の二つの学び方です。
- 機械学習コンピューターがデータから規則やパターンを学び、分類や予測を行えるようにする方法です。
- LLM(大規模言語モデル)大量の文章を学び、次に来る言葉を予測することで文章を作るAIのモデルです。
- 自然言語処理(NLP)人がふだん使う言葉(自然言語)を、コンピューターで分析したり作り出したりする技術です。
- 推論学習を終えたAIのモデルに新しいデータを入れて、予測や分類、文章の生成などの答えを出させる処理です。
- 説明可能なAI(XAI)AIの答えに、どの情報がどう効いたのかを人が理解できるようにする技術や考え方です。