AIに「緊急ブレーキ」を Microsoftのナデラ氏、人が外側から制御する設計を提言
ニュースの要点
Microsoftのナデラ氏が、AIの権限を外側の仕組みで制限し、人が作業中でも止められる設計を提言しました。AIの判断力と、データや業務を動かす権限を分ける考え方です。
Microsoftの会長兼最高経営責任者（CEO）、サティア・ナデラ氏は10月10日、XでAIシステムの制御に関する論考を公表しました。重要な情報や業務をAIへ任せる際は、モデルを提供する企業の説明に加え、利用する側が権限と行動を管理する設計が必要だと訴えています。
ナデラ氏は、AIを企業の内部で強い権限を持つ人と同様に扱う考え方を示しました。能力のある人でも間違えたり攻撃を受けたりするため、AIにも本人確認、必要な範囲だけの権限、行動記録、操作範囲の制限を設けるという提案です。
とくに、AIが何を読めるか、どの操作を実行できるかを決める仕組みを、モデルの外側へ置くよう求めています。AI自身の説明や、別のAIによる監視に加え、人が追える記録と独立した検証が必要だとしています。
制御の例として挙げたのが「緊急ブレーキ」です。権限のある人が、AIの作業を途中でも一時停止・終了できる設計を求めました。今回の論考は、こうした制御や事故情報の共有を広げるための提言です。
このニュースをやさしく解説
要点
AIへ仕事を任せるときは、何を読めるか、何を実行できるかを人が決めます。ナデラ氏は、その制限と途中で止める機能を、AIの外側に設けるよう提言しました。
AIに任せる仕事と権限
AIが業務を代行するときは、会社の情報を読む権限や、システムを操作する権限を与えます。任せる範囲が広いほど、間違いや攻撃を受けた際の影響も広がり得ます。ナデラ氏は、社内で大きな権限を持つ人を管理する方法をAIにも適用し、仕事に必要な範囲へ権限を絞るよう求めています。
制限をAIの外側へ置く理由
AI自身が操作の許可を決め、その制限まで書き換えられると、利用する側が決めたルールを守らせにくくなります。そこで、情報へのアクセスや操作の可否を管理する仕組みを、AIとは切り離して設けるという提案です。AIが考えた手順にも、人があらかじめ決めた操作範囲を適用します。
途中で止め、行動を確かめる
緊急ブレーキは、権限のある人がAIの作業を途中でも止められる機能を指します。何をしたかを人が読める形で記録し、後から書き換えられないようにすることも提言しています。AIを提供する企業の説明に加え、利用する組織が自分たちで行動を確かめ、独立した検証を受けられる設計を求めています。
この記事に出てくる用語を確認する
- 権限
- どの情報を読めるか、どの操作を実行できるかについての許可です。
- 独立した検証
- 調べられるAI自身に判断を任せず、別の立場から行動や記録を確かめることです。
解説の参考資料
本誌の考察
本誌の考察
この提言を身近に考えると、AIに渡す権限が、間違えたときの被害を左右することが見えてきます。例えば、会社のAIが請求書を読み違え、そのまま送金まで進めば、文章の誤りが金銭の被害に変わります。情報を読む、書き換える、外へ送るといった操作をどこまで任せるかが、AIを仕事へ迎える際の大きな判断になると考えます。
こうした管理が身近なサービスへ広がれば、利用者がAIの仕事を画面で追い、途中で止める使い方も考えられます。旅行の手配なら、候補探しと予約を分け、家族の予定が変わった段階で予約作業を止める、といった形です。そのためには、何を実行中かが見える表示と、停止の操作が実際に働く設計が必要です。誰が止める権限を持つかも、サービス選びの基準になるでしょう。
行動の記録が残れば、誤った予約や送金が起きた後にも、利用者と事業者が同じ記録を見ながら経緯を確かめられます。AIへ任せる仕事が増える未来では、困ったときに連絡できる相手と、被害の拡大を止める手順を用意する責任が重くなります。日常の手続きを代行するAIほど、利用者が自分の意思で介入できることが、暮らしを守る具体的な条件になると考えます。
参考資料
無料会員で、もっと読む
気になる未来を、これからも。
無料会員は、ニュースを週3本まで全文で読めます。やさしい解説と本誌の考察で、日々の進歩を追いかけられます。
カード登録不要。気になる記事の保存や、新着メールの設定もできます。
