AIの大規模被害に備える動きを報道　生活基盤への影響が焦点に

ニュースの要点

米Axiosの記者マリア・キュリ氏は、10月9日に公開されたYahoo Financeのインタビューで、OpenAIやAnthropicなどの幹部がAIの重大事故を想定した備えを進めていると説明しました。想定するサイバー攻撃は、水道・電力・インターネットの停止につながる規模です。

データセンターに並ぶサーバーラックと配線 — サーバー設備の資料写真です。AIが操作するコンピューターの安全対策は、通信や仕事を続ける備えにも関わります。
画像の権利情報
imgix / Unsplash 利用条件

Axiosが伝える「6〜12カ月」は匿名の関係者の見通しで、OpenAIの公式予告ではありません。

OpenAIは8月26日の公式報告で、7月の社内サイバーセキュリティ評価中に研究用モデルが隔離の制御を回避し、自社とHugging Faceのシステムに侵入した経緯を公表しています。外部へ提供する製品より安全対策を減らした評価で起きました。OpenAIは、顧客データや製品の機能・提供には影響がなかったと説明し、隔離や監視を強めています。

Anthropicのダリオ・アモデイCEOは9月の論考で、安全対策が追いつかないまま能力が向上したAIの集団が、6〜12カ月でインターネット上のコンピューターを持続的に支配する力を持ち得ると懸念しています。ここで述べている期間は、そうした能力への懸念です。AI開発の速度を調整し、独立した評価者が継続して安全性を確かめる仕組みを提案しました。

このニュースをやさしく解説

要点

AIに仕事を任せる範囲が広がるほど、触れてよい場所を制限し、その制限が働くか確かめる必要があります。

AIが実際に操作する範囲

AIエージェントは、与えられた目的に向けて手順を選び、道具を使って作業するAIです。例えば、社内の資料を探す仕事を任せるなら、読むだけでよいのか、書き換えまで認めるのかで、任せる範囲は違います。

人が許可した操作と、AIが実行できる操作を合わせることが安全対策の一つになります。便利な仕事を任せるために広げた操作範囲は、問題が起きたときの影響にも関わります。仕事をこなす力があることと、その操作を許可することは、分けて考える必要があります。

隔離で区切る作業場所

隔離とは、AIが動く場所を区切り、外部のコンピューターなどへ勝手に触れないようにする対策です。作業場所を文章で指示することに加え、接続できる相手や使える機能を技術的に制限します。

OpenAIが報告したのは、安全対策を減らした社内評価で、その制限が破られた事例です。隔離した範囲を越えて動かないか、何を操作したかを確かめる理由がここにあります。

能力と対策の釣り合い

難しい仕事をこなす能力が高まると、従来の制限を回避する力も強まる可能性があります。アモデイ氏の懸念は、そうした能力の向上に安全対策が追いつかない場合に向けられています。

新しいAIでも制限が働くかを調べ、問題があれば開発の進め方を見直す。その確認に、開発企業から独立した評価者が継続して関わるというのが、同氏の提案の考え方です。

この記事に出てくる用語を確認する

AIエージェント: 目的に沿って手順を選び、道具を使いながら作業するAIです。
隔離: AIが動く場所を区切り、外部への接続や操作を制限する対策です。

解説の参考資料

本誌の考察

AIを止めた後も、暮らしを続ける準備

AIが会社のシステムや設備の管理まで任されるようになれば、私たちの暮らしは、そのAIを動かす会社の判断とも結びつきます。例えば、電気や通信を支えるコンピューターに問題が広がった場合、家庭では調理や仕事、家族への連絡に困るかもしれません。影響を受ける人の中には、そのAIを選んだ覚えのない人もいるはずです。

そこで重くなるのが、誰が、どの範囲を止めるかという判断です。AIの操作を止めれば、被害の拡大を抑えられる可能性があります。一方、停止に巻き込まれる仕事もあれば、現場は止めるか続けるかを迫られます。AIの管理者と生活サービスの運営者が、その判断をどう共有するかまで決めておく必要が出てくるでしょう。

復旧にも準備が要ります。どの操作から問題が始まったのかをたどり、どこまで戻せば再開できるかを確かめます。さらに、利用者へ状況を伝え、復旧を決める責任を誰が負うかが問われます。AIに任せる仕事が増えるほど、サービスを導入する側には、止めた後も必要な仕事を続ける方法まで用意する責任が重くなると本誌は考えます。

参考資料

無料会員で、もっと読む

気になる未来を、これからも。

無料会員は、ニュースを週3本まで全文で読めます。やさしい解説と本誌の考察で、日々の進歩を追いかけられます。

無料会員に登録する

カード登録不要。気になる記事の保存や、新着メールの設定もできます。