OpenAIのアプリケーション研究責任者：80％から90％の研究がGPT-7およびそれ以降に焦点を当てている

X ユーザー choblin29 が投稿した内容によると、OpenAI のアプリケーション研究責任者 Boris Power は、同社の研究の 80% から 90% が GPT-7、GPT-8 およびその後のモデルに焦点を当てていると述べています。Power は、同世代のモデル内での改善は内部で非常に短期的な投資と見なされ、現在の学習を加速するために使用されるが、長期的な戦略ではないと考えています。

この投稿によると、関連する道筋はまず大規模な最前線モデルを構築し、それを教師モデルとして使用し、より小さく、より安価なモデルに蒸留することです。Power は、GPT-6 Astra は Luna などのモデルに蒸留できると述べ、より強力な汎用モデルを先に訓練することが、小型専用モデルを構築するための良い方法である可能性があると考えています。彼はまた、現在の最大の問題はモデルの性能ではなく、ほとんどのユーザーが既存の AI がすでに達成できる作業を理解していないことだと述べています。