文章や写真、動画を一つのAIへ　中国Ant Groupが新モデルを提供

本誌の考察

説明書と手元の動画を合わせて、困っている箇所を伝える

文章、図、映像をまとめて扱うAIが、日常の相談で使いやすくなった未来を想像します。例えば、家具を組み立てている人が、説明書と部品の写真、作業の様子を撮った短い動画をAIへ渡します。「この部品の向きが分からない」と伝えると、AIが説明書のどの図と関係するかを示します。利用者は図と自分の手元を見比べ、次に確かめる箇所を選べます。部品の形や向きを言葉だけで説明しなくても、困っている場面を伝えやすくなるでしょう。

同じ使い方は、職場で仕事を覚える場面にも広がりそうです。新人が作業手順書と研修動画を読み込み、自分が迷った点を尋ねると、関係する文章や図、動画の場面をまとめて確かめられます。長い資料を扱えることが、別々の資料を行き来しながら説明を探す手間を減らす方向へつながります。教える人も、どの説明と実際の作業が結び付いていないのかを確認し、必要なところから話しやすくなるかもしれません。

こうした相談を役立てるには、使っている製品や作業に合う資料をそろえ、AIの説明がどの図や場面に基づくかをたどれる仕組みが大切になります。利用者が元の資料と手元の状態を照らし合わせられれば、詳しい人に相談する際にも何を確認したいかを伝えやすくなります。長い資料を一度に渡せることと、画像や動画を扱えることが合わさると、質問する前の説明づくりから、答えを確かめる作業までを助ける道具が育っていきそうです。