研究加速:ギザギザのフロンティア
概要
OpenAIは研究加速に関する最新報告を発表し、コーディングエージェントがAI開発をどのように変えているかを測定した。報告は入力(エージェント使用量、支出、研究者の時間配分)、プロセス(モデルに委任されたタスク、成功率、調査とインタビューによるワークフローの変化)、出力(コード行数、実験数、OpenAI Epoch Capabilities Index)の3側面を追跡している。エージェント使用量は指数関数的に増加し、中央値の研究者は1日あたり約2,400ドルをエージェントツールに費やし、エージェント作業日数は11倍に増加した。成功率はタスクカテゴリにより異なり、コミュニケーションや分析タスクは構築タスクより成功率が高い。研究者はコーディングエージェントから大きな価値を得ていると報告する一方、研究のセンス、コード品質、データ品質における限界も指摘した。Safety & Alignment研究は研究者時間の絶対増加が最大で、一部はHugging Face事件後の取り組みによるものである。出力ではコード変更と実験数が急増し、OpenAI ECIは年間16.4ポイント上昇した。報告は再帰的自己改善指標の透明性と、AI能力の進歩に伴う人間の監督維持の必要性を強調している。
(出典:OpenAI)