コンテキストウィンドウ

コンテキストウィンドウは、トークンの数で表されます。入力した指示や資料、それまでの会話、AIが書く答えの合計が、上限の中に収まる必要があります。上限が大きいモデルほど、長い文書や多くの資料をまとめて読ませることができます。

業務では、長い契約書や報告書の要約、複数の資料を見比べた分析などで、コンテキストウィンドウの大きさが効いてきます。収まらない量の文書を扱う場合は、文書を分けて処理するか、RAGで関係する部分だけを探して渡します。

上限の中に収まっていても、長い入力の途中にある情報を見落とすことがあると指摘されています。入力が長いほど費用と応答の時間もかかるため、何でも読ませるより、必要な情報を選んで渡すほうがよい結果になることがあります。