論文『Competitive Programming with Large Reasoning Models』を読む。
論文
概要（単に論文の概要のChat日本語訳）
Weshowthat reinforcement learning applied to large language models (LLMs) significantly boosts performance on complex coding and reasoning tasks. Additionally, we compare two general-purpose reasoning models — OpenAI o1 and an early checkpoint of o3 — with a domain-specific system, o1 ioi, which uses hand-engineered inference strategies designed for competing in the 2024 International Olympiad in Informatics (IOI). We competed live at IOI 2024 with o1-ioi and, using hand-crafted test-time strategies, placed in the 49th percentile. Under relaxed competition constraints, o1-ioi achieved a gold medal. However, when evaluating later models such as o3, we find that o3 achieves gold without hand-crafted domain-specific strategies or relaxed constraints. Our findings show that although specialized pipelines such as o1-ioi yield solid improvements, the scaled-up, general-purpose o3 model surpasses those results without relying on hand-crafted inference heuristics. Notably, o3 achieves a gold medal at the 2024 IOI and obtains a CodeForces rating on par with elite human competitors. Overall, these results indicate that scaling general-purpose reinforcement learning, rather than relying on domain-specific techniques, offers a robust path toward state-of-the-art AI in reasoning domains, such as competitive programming
ChatGPT訳：
我々は、強化学習を大規模言語モデル（LLMs）に適用することで、複雑なコーディングおよび推論タスクにおける性能が著しく向上することを示す。さらに、我々は2つの汎用推論モデル — OpenAI o1 と o3 の初期チェックポイント — を、2024年の国際情報オリンピック（IOI）での競技を目的として設計された手作業による推論戦略を用いるドメイン特化型システム o1-ioi と比較する。 我々は IOI 2024 において o1-ioi で実際に競技に参加し、手作業で設計されたテスト時の戦略を用いて、49パーセンタイルの成績を収めた。競技の制約を緩和した条件下では、o1-ioi は金メダルを獲得した。 しかし、より後のモデルである o3 を評価したところ、o3 は手作業によるドメイン特化型の戦略や緩和された制約を用いることなく金メダルを獲得することが分かった。 我々の発見は、o1-ioi のような特化型のパイプラインが確かな性能向上をもたらす一方で、スケールアップされた汎用モデルである o3 が、手作業の推論ヒューリスティクスに依存せずにそれらの成果を上回ることを示している。 特に注目すべきは、o3 が 2024年の IOI において金メダルを獲得し、CodeForces においても人間のトップ競技者に匹敵するレーティングを得ている点である。 総じて、これらの結果は、ドメイン特化型技術に依存するよりも、汎用の強化学習をスケーリングすることが、競技プログラミングのような推論分野において最先端のAIを実現するための強力な道筋であることを示している。
