OpenAI는 GPT-4의 아키텍처, 파라미터 수, 학습 데이터 또는 컴퓨팅 예산을 공개하지 않기로 악명높으며, 이는 기술 보고서를 ML 커뮤니티를 위한 로르샤흐 테스트로 바꾸었습니다. 이 비디오는 반대의 접근을 취합니다: 공개 유출, 이전 GPT-3 및 ChatGPT 스케일링 법칙, 그리고 보고서에 흩어져 있는 비전-플러스-텍스트 힌트에서 그럴듯한 답변을 조합합니다. 이는 명확하게 레이블이 붙은 추측이지만, 대규모 모델로 작업하는 모든 사람이 추론할 수 있는 숫자에 근거합니다.

가능한 모델 크기 범위, 혼합 전문가 가설, 멀티모달 학습 데이터 구성, GPU-시간 추정 및 이 규모의 학습 실행에 붙은 엄청난 금액을 기대하세요. 멀티모달 음성-플러스-텍스트 시스템을 노리고 있거나 CFO에게 자신의 컴퓨팅 예산을 정당화하려는 음성-AI 팀의 경우, 정확한 수치가 변하더라도 여기의 프레이밍이 유용합니다. 이를 유출이 아닌 구조화된 가설로 취급하고, 추측이 그 이후로 흘러나온 것과 비교하여 얼마나 가까운지 확인하세요. 최첨단 학습의 경제학에 대한 정신 모델을 원하면 15분의 가치가 있습니다.