AIが古い業務ソフトを読み解く力が向上　OpenAI、COBOLなどの新評価を公開

ニュースの要点

学習用のコードや文書が少ないプログラミング言語で、AIが新しいソフトを作る力と、既存ソフトの動作を保って移し替える力を調べました。

COBOLの1行を記録したパンチカード。1981年頃のカードを2006年に撮影した資料写真です。 — 画像の権利情報
Rainer Gerhards／Wikimedia Commons／CC BY-SA 3.0。2006年7月5日撮影。原画角を保持して縮小。画像の改変物も同ライセンス。 CC BY-SA 3.0

OpenAIは10月19日、COBOL、Fortran、Visual Basicなど、学習に使えるコードや文書が比較的少ない言語でのAIの能力を調べた結果を公開しました。銀行や行政、科学計算などで長く使われてきたソフトを保守し、新しい環境へ移し替える仕事につながる評価です。

一つ目のMultiLangBenchでは、AIが20種類の言語で、SQLiteと互換性のあるデータベースを一から作ります。OpenAIによると、GPT-6 Astraの平均テスト通過率は87.4％で、比較対象のGPT-5.6 Solは26.8％でした。各言語で書いたプログラムに同じ形式のデータを渡し、処理後の結果を本来のSQLiteと照合します。

公開された公式GitHubによると、評価はSQLite 3.40.1のテストをもとにしています。約5万1000件から約2万4000件を共通形式へ変換し、通常の評価には、そのうち272件を使う設計です。新しいソフトを作る力を、複数の言語で同じ条件で比べられます。

二つ目は、既存のCOBOLプログラムを別の言語へ移し、外から見える出力がバイト単位で一致するかを調べる評価です。GPT-6.1 Solの正解率は、低い推論設定で86.6％、高い推論設定では97.9％でした。OpenAIは、計算で端数を切り捨てるか丸めるかといった細部も、元の業務の決まりとして保つ必要があると説明しています。

今回はOpenAI自身による二つの評価の発表です。日々の業務への適用では、それぞれのシステムの決まりや接続先に合わせた専門家の確認とテストを組み合わせます。

このニュースをやさしく解説

要点

AIがプログラムを学ぶ材料には、言語ごとに差があります。今回の「低リソース」は、Pythonなどに比べて学習用のコードや説明文が少ない言語を指します。銀行や行政、科学計算などで使うソフトを、AIがどこまで扱えるかを調べる評価です。

「低リソース」は学習材料の少なさ

評価には二つの課題があります。MultiLangBenchでは、データを保存して取り出すSQLiteというソフトと互換性のあるものを、指定された言語で一から作ります。別のCOBOL移行評価では、既存のプログラムを別の言語へ書き直し、同じ入力に対して同じ出力になるかを確かめます。

二つの評価で何を確かめるのか

公開されたMultiLangBenchの説明によると、SQLite 3.40.1の約5万1,000件のテストから約2万4,000件を変換し、通常はそのうち272件を使います。テストは、さまざまな条件でプログラムの振る舞いを確かめるためのものです。通過率は、このように用意された試験で得られた結果として読みます。

動くことと、同じ答えを出すこと

移行の難しさを、架空の支払い計算で考えてみます。元のソフトが端数を切り捨てているのに、新しいソフトが違う方法で丸めると、支払額が変わります。画面に数字が出るところまで作れても、同じ計算を受け継げたかは別に確かめる必要があります。今回のCOBOL評価は、書き直した後も出力が一致するかを細かく調べます。

この記事に出てくる用語を確認する

COBOL: 銀行や行政などの業務用ソフトで長く使われてきたプログラミング言語です。
SQLite: データを保存し、条件を指定して取り出せるデータベースソフトです。今回の評価では、同じ形式でデータを扱うソフトをAIが作ります。

解説の参考資料

本誌の考察

同じ結果を守りながら、サービスを育てる

古いプログラムの書き換えが進む未来を想像すると、使い慣れた業務の決まりを保ったまま、サービスの使い方を変える道が見えてきます。その入口になるのは、AIが書き直した結果を元の結果と照らし合わせられることです。

例えば銀行のシステムで、計算方法や例外の扱いを一つずつ確かめながら新しいソフトへ移せるようになったとします。開発者は、守るべき計算と、改められる画面や操作を分けて検討しやすくなります。さらにスマートフォンのサービスとつなぐ部分まで整えられれば、長く使われてきた仕組みに新しい相談の入口を作れるでしょう。

休日の夜、利用者が「来月は引っ越し費用がかかる」と伝えると、アプリが今後の支払い予定を並べて見せます。利用者は金額の見通しを確かめ、そのまま必要な手続きへ進みます。こうした仕組みには、予定を扱う機能や本人の確認も必要です。計算を支える古い部分まで改修しやすくなれば、画面の便利さを実際の処理につなげる余地が広がります。

さらに、制度やサービスを改めるたびに、AIが影響する箇所を探し、変更前後の結果を比べる仕事を支えられるかもしれません。すると利用者の困りごとを小さな改修へ反映する回数も増やせます。長年積み上げた計算や手続きの知識を引き継ぎながら、暮らしの変化に合わせて育てていくソフトが身近になりそうです。