Claude 3 OpusがMLLU、GPQA、GSM8K、およびほぼすべてのフロンティア評価ベンチマークでGPT-4を上回ったとき、興味深い質問はAnthropicが単にスケールを大きくしたかどうかではなく、何がトレーニング時間のシークレットソースが実際に彼らをそこに導いたかでした。このレビューはOpus、Sonnet、Haikuをカバーする Claude 3テックレポートを分解し、さらに重要なことに、Anthropicのアライメントスタックの背後にあるコアアルゴリズムを掘り下げます：Constitutional AIとそれを駆動するRLAIFトレーニングループ。

ウォークスルーは、Claude 3が3つの能力層全体で何を動かすかをカバーしており、ファミリーが単一の旗艦モデルではなく意図的にインテリジェンス-速度-コストのトレードオフの周りに設計されている理由、およびRLAIF（書かれた憲法によって導かれたAIフィードバックからの強化学習）が人間のラベル付けに依存する純粋なRLHFのスケーリングボトルネックのいくつかを回避する方法をカバーしています。憲法的なアプローチがなぜ異なる方法でスケーリングするか、それが分析、予測、コード生成、非英語言語の改善をどのように駆動するか、および同様にアラインされたモデルを構築しようとしている人にとって何を意味するかについてのより明確な画像を得ることを期待してください。ベンチマークチャートを超えてフロンティアLLMレースを追跡している場合、これは確実な5分です。