いまのAIが得意なこと・苦手なこと：予測と説明の違い

予測が当たることと、理由を理解していることは別

いまのAIは、過去のデータに似た場面では高い精度で予測できますが、その背後にある法則を理解しているとは限りません。予測がよく当たることと、なぜそうなるかを理解していることは、分けて考える必要があります。

予測と理解の違いを確かめた研究として、ハーバード大学とマサチューセッツ工科大学（MIT）の研究者による論文があります。この記事では、論文で確かめられた内容を紹介し、業務でAIを使うときの考え方につなげます。

どのような研究か

紹介するのは、2025年7月に公開された論文「What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models」です。著者は、ハーバード大学の Keyon Vafa 氏と、MIT の Peter G. Chang 氏、Ashesh Rambachan 氏、Sendhil Mullainathan 氏の4人で、機械学習の国際会議 ICML 2025 で発表されました。

出典：What Has a Foundation Model Found? Using Inductive Bias to Probe for World Models（arXiv）

論文は、天文学の歴史を例に問いを立てています。ケプラーは惑星の観測データから軌道を正確に予測する法則を見つけましたが、なぜその軌道になるのかを説明したのは、のちのニュートンの万有引力の法則でした。大量のデータで次に来るものを予測するよう学んだAIは、ケプラーのように予測が得意なだけなのか、ニュートンのように背後のしくみ（論文の言葉では「世界モデル」）まで身につけているのか、というのが研究の問いです。

実験の内容と結果

研究では、予測の精度とは別に、モデルが背後の法則に沿って答えるかを確かめる方法を考案し、物理などいくつかの分野で試しています。

惑星の軌道を学んだモデル

研究者は、シミュレーションで作った約1,000万の惑星系の軌道のデータで、約1億900万のパラメーターを持つ Transformer のモデルを学習させました。

出典：What Has a Foundation Model Found?（arXiv HTML版）

結果は次のとおりです。

• 学習した課題である、惑星の次の位置の予測は、ほぼ正確にできた
• 少しのデータで「惑星にかかる力を答える」という新しい課題に合わせると、答えは大きく外れた
• モデルの答えから力の法則を式として取り出すと、ニュートンの法則とは一致せず、データの組ごとに異なる式になった

研究者は、モデルが一つの法則を身につけたのではなく、場面ごとに異なる近似のルールで答えているように見える、と述べています。

汎用のLLMでの試み

論文の付録では、o3、Claude Sonnet 4、Gemini 2.5 Pro といった汎用のLLMにも、軌道のデータと一部の力の値を示して残りを答えさせています。いずれの場合も、答えから取り出した式はニュートンの法則とは異なっていました。ただし、研究者はこの試みを小規模な実験と位置づけています。

ほかの分野での結果

物理のほかに、簡単な位置の移動を表すデータや、ボードゲームのオセロでも同じ方法で確かめています。いずれも、モデルは正しい次の手や動きを高い割合で出せる一方で、盤面などの背後の状態を正しくとらえてはいない、という傾向が見られました。

研究から読み取れること

研究が示しているのは、学習した課題でよく当たるモデルでも、背後の法則を身につけているとは限らない、ということです。課題に合わせた近似で答えているモデルは、条件が変わったり、別の問いを立てたりすると、思わぬ形で外れることがあります。

一方で、結果を広げすぎないことも大切です。実験は研究者が用意した特定の設定で行われたもので、すべてのAIや業務に同じことが当てはまると示したわけではありません。AIのしくみは改良が続いており、論文が扱っていない方法で学んだモデルの性質は、別に確かめる必要があります。

いまのAIが得意なこと・苦手なこと

一般に、いまのAIは、学んだデータに似た条件でパターンをとらえる作業が得意で、条件が大きく変わる場面や、理由の説明が求められる場面では注意が要ります。

得意な使い方の例：

• 過去の傾向が続く前提での需要や売上の予測
• 書類や問い合わせの分類、帳票の読み取り
• 文章の下書き、要約、翻訳

注意が要る使い方の例：

• 新商品や新しい市場など、過去のデータが少ない、または条件が違う場面での予測
• 「なぜそうなるのか」の説明や、原因と結果の判断
• 前例のない状況での方針の決定

機械学習のモデルの選び方による違いは機械学習とディープラーニングの違いと、業務での使い分けでも取り上げています。

業務で使うときの考え方

業務でAIを使うときは、予測の精度だけで判断せず、使う場面の条件と、人が担う判断の範囲を決めておくことが大切です。

1. 学習したデータと、実際に使う場面の条件が近いかを確かめる
2. 市場や商品、業務の手順が変わったときは、精度を見直す時期を決めておく
3. 予測の結果は判断の材料として使い、理由の判断や最終の決定は人が持つ
4. AIの答えを確かめる担当と手順を、運用の中に組み込む

AIを万能の道具として扱うのではなく、得意な部分を任せ、苦手な部分を人が補う形にすると、業務の中で長く使いやすくなります。

当社のご支援

当社は、経営の目標から逆算して、AIに任せる範囲と人が判断する範囲を決めるところからご支援しています。使いどころの見きわめはAI・DXコンサルティング、作ったAIをいまのシステムにつなぎ、精度を見ながら運用・改善する段階はAIインテグレーションをご覧ください。