データクレンジング

データクレンジングでは、たとえば「株式会社」と「（株）」の混在、全角と半角の違い、同じ顧客の重複した登録、日付の書き方の違い、入っていない値などを見つけ、決めた規則に沿ってそろえます。直せないデータは、印をつけて分析から外すこともあります。

AIや分析の結果は、元のデータの質に左右されます。学習データやBIの数字が誤っていれば、予測や判断も誤ります。AIの開発では、データを集めて整える作業に、モデルを作る作業と同じかそれ以上の手間がかかることも珍しくありません。整える規則は、業務の担当者と一緒に決めます。

一度整えても、入力の段階で揺れが生まれれば、また乱れていきます。入力の画面で選択肢を用意する、入力の規則を決める、定期的に点検する、といった、データが乱れにくい運用とあわせて考えます。データの持ち主を決め、誤りを見つけたときの直し方を決めておくことも役に立ちます。