Anthropic、Claudeの推論の不正抽出を抑える対策 抽出量90〜99％減と推定
ニュースの要点
Anthropicは10月12日、Claudeの推論過程を不正に取り出す攻撃への対策を公表しました。同社は、自社サービス上で取り出された推論データの量が、対策前より約90〜99％減ったと推定しています。
画像の権利情報
Anthropicは10月12日、Claudeの能力を別のAIへ無断で移すための、大規模なデータ抽出への対策を説明しました。対象は、偽のアカウントなどを使って推論過程を取り出す攻撃です。同社は、自社プラットフォームから抽出された推論データの量を推定し、新しい検知システムの導入後は従来の10分の1〜100分の1に減ったとしています。
AIの回答を別のモデルの学習に使う手法は「蒸留」と呼ばれます。Anthropicが今回扱うのは、開発者の許可を得ずに大量のデータを取り出す行為です。同社によると、最終的な回答に加えて、回答に至る推論過程を入手すると、別のモデルへ能力を移しやすくなります。
対策の一つは、推論データが移る範囲の制限です。Claude Fable 5.1とOpus 5.5では、8月31日以降に作られたAPIアカウントについて、以前の会話内容を編集できる範囲を制限しました。保護の弱い旧モデルへ推論を渡すことも防ぎ、Sonnet 5.5では推論を生成した組織だけがその記録へアクセスできるようにしています。
さらに、推論の抽出を狙う要求を2段階の分類器で検知します。分類器は、入力が特定の目的に当たるかを判定する仕組みです。同社は、内部と外部の検証で対策を改善し、通常の要求を誤って遮断する割合は0.1％未満だったと説明しています。これはAnthropicによる評価値です。
不正抽出を繰り返す利用者には厳しい利用制限をかけ、継続的な試みを検知するとアカウントを停止します。9月24日からは、誤検知率が0.1％未満という条件を満たす特定の領域で、応答前に遮断した要求への課金も再開しました。通常の利用者にも誤遮断や、システムの接続方法を変更する負担が生じるとしています。
同社は、対策後も新しい抽出方法を監視し、防御を更新していく方針です。AIを提供する企業だけでなく、クラウドや外部の提供基盤にも、不正なアカウントや利用の検知への協力を求めています。
このニュースをやさしく解説
要点
AIの回答や推論の記録は、別のAIを育てる教材にもなります。Anthropicは、Claudeからその教材を無断で大量に取り出す行為への対策を説明しました。
別のAIの回答を教材にする「蒸留」
あるAIが出した回答を、別のAIの学習に使う方法を「蒸留」と呼びます。最終的な答えに加え、答えを導く途中の推論も手に入ると、能力を移しやすくなるとAnthropicは説明しています。
今回の対策は、偽のアカウントなどを使う無断の大量抽出を対象にしています。AIの提供者から許可を得て回答を学習に使う場合とは、利用の条件が異なります。
推論を渡せる範囲と要求の内容を確認
Anthropicは、推論の記録を持ち出せる範囲を制限しました。例えばSonnet 5.5では、推論を生成した組織だけがその記録にアクセスできます。保護の弱い旧モデルを経由して取り出す方法にも対処しています。
同時に、送られてきた要求が推論の抽出を狙うものかを判定します。データの移動を制限する対策と、要求の内容を調べる対策を組み合わせ、繰り返す利用者には利用制限やアカウント停止で対応します。
90〜99％減が表す量
同社が約90〜99％減ったと推定したのは、自社サービスから抽出された推論の文章量です。文章を処理する単位の「トークン」で量を見積もり、対策の前後を比べています。通常の要求を誤って遮断する割合も、同社の評価では0.1％未満だったとしています。
Claudeを使うアプリへの影響
外部のアプリからClaudeへ要求を送る窓口をAPIと呼びます。今回の変更に伴い、一部の開発者はアプリとClaudeの接続方法を調整する必要があります。
また、誤検知率が0.1％未満という条件を満たす特定の領域では、応答前に遮断された要求にも課金されます。同社は、通常の利用者にも誤遮断や接続方法を変える負担が生じると説明しています。
この記事に出てくる用語を確認する
- 蒸留
- あるAIの出力を教材にして、別のAIへ能力を学ばせる手法です。
- 推論
- AIが答えを導くまでの処理です。この記事では、その過程を記したデータが抽出の対象になっています。
- トークン
- AIが文章を処理するときに使う単位です。文字や単語の一部などに区切って数えます。
解説の参考資料
本誌の考察
AIがAIに教える時代の利用許可
Anthropicが守ろうとしている推論の記録には、別のAIを育てる教材としての価値があります。今回、同社はその記録を渡せる相手や、利用できる組織を制限しました。本誌では、AIに質問するサービスの中で、回答を学習に使う権限まで細かく管理する動きに注目しています。
この変化は、AIを組み込むアプリの開発にも関わります。会話の記録を別のモデルへ渡す設計なら、新しい制限に合わせた調整が必要になります。通常の要求を誤って止める場合や、一部の遮断した要求への課金もあるため、開発者は使えるデータの範囲と、止まったときの扱いを確かめる必要があります。
ここから先は、許可を得てAI同士が学ぶ仕組みが整った未来を想像してみます。提供企業と学習の範囲を合意し、特定の仕事に必要な回答や推論を教材にできれば、その仕事に詳しいAIを育てやすくなるかもしれません。誰が何を学ばせたかを記録できるようになれば、教材を提供する側も、利用先を確かめながら教える範囲を広げられます。
例えば、小さな工場が見積もりに詳しいAIを用意する場面です。許可を得た教材から、寸法や材料、納期をどんな順番で確認すればよいかを学ばせます。そこに工場が持つ設備の情報と過去の見積もりを合わせられれば、朝届いた依頼について、不足する寸法や確認すべき納期を担当者へ示す道具になりそうです。
さらに、学んだ内容を用途ごとにまとめて提供できるようになれば、工場は板金、塗装、配送といった仕事ごとにAIの得意分野を選べます。新しい加工を始めるときには、その仕事を学んだAIを加える。少人数の工場でも、注文に応じて相談相手を増やせる暮らしが考えられます。AIの学習を許可する契約が、町の仕事道具を選ぶ際の身近な選択になるかもしれません。
参考資料
無料会員で、もっと読む
気になる未来を、これからも。
無料会員は、ニュースを週3本まで全文で読めます。やさしい解説と本誌の考察で、日々の進歩を追いかけられます。
カード登録不要。気になる記事の保存や、新着メールの設定もできます。
