當Claude 3 Opus在MMLU、GPQA、GSM8K和大多數前沿評估基準上勝過GPT-4時，有趣的問題不是Anthropic是否只是進行了更大規模的擴展——而是什麼訓練時間的秘密醬料實際上讓他們達到了那裡。這份評論詳細解說了涵蓋Opus、Sonnet和Haiku的Claude 3技術報告，更重要的是深入探討了Anthropic對齐堆棧背後的核心算法：Constitutional AI和驅動它的RLAIF訓練迴圈。

演練涵蓋了使Claude 3在三個能力層級中運作的原因，為什麼該家族被刻意設計為圍繞智能-速度-成本權衡而不是單一旗艦模型，以及RLAIF——由書面憲法指導的來自AI反饋的強化學習——如何規避依賴人類標籤者的純RLHF的一些擴展瓶頸。您應該會獲得關於為什麼Constitutional方法的擴展方式不同、它如何推動分析、預測、代碼生成和非英語語言的改進，以及它對任何試圖構建類似對齐模型的人意味著什麼的更清晰的圖景。如果您正在跟蹤超越基準圖表的前沿LLM競賽，這值得花費五分鐘。