過学習

過学習は、英語で overfitting と呼ばれます。試験の過去問の答えを丸暗記して、少し形を変えた問題に答えられない状態にたとえられます。学習データの量に比べてモデルが複雑すぎる場合や、データに含まれる偶然のばらつきまで学んでしまった場合に起こります。

過学習を見つけるには、学習に使ったデータとは別に評価用のデータを分けておき、両方での精度を比べます。学習データでは精度が高いのに、評価用のデータでは低い場合は、過学習を疑います。データを増やす、モデルを単純にする、などで対策します。

業務では、試験の段階でよい結果が出ても、本番のデータで同じ精度が出るとは限りません。PoCの評価では、実際の運用に近い時期や条件のデータで確かめることが大切です。たとえば、評価用のデータを学習に使ったデータより後の時期のものにする、といった分け方が使われます。