マルチモーダル

マルチモーダルなAIは、たとえば写真を見て内容を説明する、図表の入った資料を読んで要点をまとめる、音声を聞いて文字に起こし要約する、といったことができます。入力だけでなく、画像や音声を作り出す出力の側で、文章以外のデータを扱えるモデルもあります。

業務では、紙の帳票や手書きのメモの読み取り、現場の写真からの報告書の作成、設備の点検の画像の確認、会議の録音からの議事録の作成などに使われます。文字・画像・音声を別々のAIで処理していた作業を、まとめて扱える場合があります。

画像や音声を扱うと、文章だけの場合に比べて処理の費用がかかることがあります。写っている人の顔や声などの個人情報の扱いにも注意し、読み取りの結果は人が確かめる手順を組み込みます。手書きやかすれた文字、細かな図表は読み違えることもあります。