この CLIP レビューの最後の部分は結果セクションにあります。ここでは、OpenAI の対照的な画像テキスト モデルが、興味深いアイデアからマルチモーダル スタック全体の基礎層プリミティブに移行しました。 Web から収集した 4 億の画像とテキストのペアでトレーニングされた CLIP は、画像にキャプションを一致させることを学習します。その単純な目的により、OCR、動作認識、地理位置情報、および詳細な分類を含む 30 を超える下流のコンピューター ビジョン ベンチマークにわたってゼロショット転送が可能になることがわかりました。

このウォークスルーでは、ImageNet 上の完全に監視された ResNet-50 とラベル付けされていない ImageNet サンプルのマッチングや、CLIP が一般化できる場所と一般化していない場所の多くを含む、見出しのベンチマークを詳しく掘り下げています。音声 AI 担当者にとって、引き継がれる教訓は、音声テキスト検索用の CLAP、Whisper スタイルのマルチタスク トレーニング、およびマルチモーダル アシスタントを強化する共同埋め込みスペースの基礎となっている CLIP スタイルの対照的な事前トレーニング レシピです。 3 部構成のシリーズを、自然言語による監視が今後の進むべき道であると現場が確信した数字で締めくくります。検索、タグ付け、またはクロスモーダル システムに触れることがある場合は、時間をかけてみる価値があります。