AIで特許文書の質向上、3カ月の実験 若手とベテランで学びに差
ニュースの要点
特許を扱う弁護士133人の実験で、AIを使える群は文書作成の評価が上がりました。3カ月後にAIを使わず文書を直す課題では、経験7年以上の弁護士で改善が見られ、若手は平均で改善しませんでした。
Google ResearchのDavid Autor氏とTanya Rodchenko氏は10月7日、特許を扱う弁護士の仕事と学習にAIが与える影響を報告しました。米国の知的財産分野の法律事務所11社に所属する133人を、AIの特許文書作成支援を使える群と比較群に分け、3カ月追いました。論文は9月に全米経済研究所（NBER）のワーキングペーパーとして公開されています。
架空の発明について特許文書を作る課題では、AIを使える群の評価が、比較群に対して10日後に0.34標準偏差、90日後に0.38標準偏差上がりました。標準偏差は、得点のばらつきを物差しにした数字です。採点は別の特許専門家が、法的な権利の守りやすさ、正確さ、明瞭さなど5項目で行いました。
90日後には、全員がAIを使わず、誤りを含む架空の特許文書を直す課題にも取り組みました。AIを使える群全体の評価は比較群より0.32標準偏差高く、経験7年以上の弁護士では0.45標準偏差高くなりました。経験7年未満の若手には平均の改善が見られず、良い評価と低い評価の双方が増えました。
研究者が修正内容を調べると、ベテランは権利を定める文書の中心部分を組み直し、修正の理由も説明していました。若手には冒頭の表現や単語の置き換えに時間を使う傾向がありました。成果物の質と、道具を離れて判断する力を別々に測ることで、経験による違いが浮かびました。
実験はGoogleが資金を提供し、同社の研究者らが参加しています。対象は特許実務の専門家で、通常の仕事でAIを使う期間を3カ月に区切り、共通の課題で変化を確かめました。
このニュースをやさしく解説
要点
AIで仕上がる書類の質と、本人が身につける判断力を分けて調べた実験です。特許を扱う弁護士では、経験によって学びの結果に差が表れました。
書類の出来と本人の力
特許の文書は、発明のどこを権利として守るかを説明します。文章が読みやすいかに加え、守りたい内容を正確に書けているかが大切です。今回の研究では、特許を扱う弁護士133人を、AIを使える群と比較群に分け、3カ月間の変化を調べました。比較群の成績を基準に、AI支援による違いを確かめました。
出来上がった文書は、別の特許専門家が5つの観点で採点しました。AIを使える群の文書は高く評価され、仕事を助ける効果が表れました。
AIを閉じて確かめる
本人に残った力を調べるため、90日後の課題では全員がAIを使わずに取り組みました。架空の特許文書の誤りを見つけ、直す課題です。AIを使える群で過ごした人は、全体で比較群より高く評価されました。
改善幅の「標準偏差」は、得点のばらつきを物差しにした数字です。今回の0.32標準偏差は、参加者の得点がどの程度ばらついたかを基準に、両群の差を表しています。
経験で分かれた変化
経験7年以上の弁護士は、AIを使わない課題でも評価が上がりました。7年未満の若手は平均で改善せず、良い評価と低い評価の双方が増えました。若手の中でも結果が分かれています。
研究者が修正内容を調べると、ベテランは権利を決める文書の中心部分に手を入れ、理由も説明していました。若手には言葉や表現を整える作業へ向かう傾向がありました。
仕事の評価と学びの評価
本誌では、納品した書類と、本人が判断できる範囲を別々に確かめる方法に注目しています。AIと仕上げた文書がよくなっても、若手の学び方には工夫の余地があります。
例えば新人の研修なら、完成品を見る時間に加えて、直した理由を本人に説明してもらう時間を設けられます。仕事の成果と、自分で考える力の両方を育てるための手がかりになります。
この記事に出てくる用語を確認する
- 特許文書
- 発明の内容と、そのうち権利として守る範囲などを記す文書です。今回の課題では架空の発明を扱いました。
- 比較群
- ある道具や方法による違いを確かめるため、比べる相手として設ける集団です。
- 標準偏差
- 得点などの数値がどの程度ばらついているかを表す尺度です。今回の改善幅は、そのばらつきを基準に示しています。
本誌の考察
仕事をしながら、次の専門を育てる
今回の実験では、AIで文書の出来がよくなっても、若手がAIなしで文書を直す課題では平均の改善が見られませんでした。一方、ベテランは権利を守る中心部分を直し、その理由も説明していました。この差を踏まえ、本誌ではAIとの仕事に「何を直し、なぜ直したか」を考える時間を組み込む必要があると考えています。
ここからは、仕事を進めながら一人ずつ練習問題を出すAIを想像してみます。新人が特許文書の案を開くと、AIが「この一文で、発明のどこを守るつもりか」と尋ねます。本人が答えた後、専門家が確認した修正例と比べます。言葉を置き換える作業にも、発明をどう守るかを考える時間が加わります。
こうした道具を作るには、ベテランが修正の理由を残し、教材の正しさを確かめる準備が必要です。説明を読んだ後は別の例を自力で直し、できるようになった内容を確かめます。問題を本人の弱点に合わせられれば、隣の先輩の手が空くのを待つ時間にも学べます。教える側は、新人がどこで迷ったかを見ながら相談に乗れるでしょう。
この仕組みを他の専門分野向けにも作れれば、転職後の学びは大きく変わるでしょう。例えば、工場で長年働いた人が設計の仕事を学び直します。現場で見てきた故障を手がかりに、AIが出す設計案の直し方を練習します。新しい職種でも、以前の経験を使いながら判断を重ねられます。生活のために働く時間が、次に挑戦したい仕事を学ぶ時間にもなります。
仕事を選ぶとき、給与や勤務地と並んで「ここで働けば、何を自分で判断できるようになるか」を確かめる日も考えられます。会社は完成した仕事と、社員が新たにできるようになった仕事を示します。ベテランが残す修正の理由は、次の人の教材になります。教える仕事に価値がつき、その蓄積を使って新人も別の職種へ進めるなら、一生のうちに育てられる専門は増えていくでしょう。
参考資料
無料会員で、もっと読む
気になる未来を、これからも。
無料会員は、ニュースを週3本まで全文で読めます。やさしい解説と本誌の考察で、日々の進歩を追いかけられます。
カード登録不要。気になる記事の保存や、新着メールの設定もできます。
