マスクのAI会社xAIがGrok-1のソースコードを正式に公開しました。

ChainCatcher のメッセージ、マスクの人工知能会社 xAI が 3140 億パラメータの混合専門家モデル Grok-1 の重みとアーキテクチャを公開したと発表しました。Grok-1 は xAI によってゼロからトレーニングされた大規模言語モデルで、混合専門家モデルアーキテクチャを採用しており、25% の重みが与えられたトークンでアクティブな状態にあります。このモデルの基本モデルの重みとネットワークアーキテクチャは、Apache 2.0 ライセンスに基づいて公開されました。

報告によると、Grok-1 の事前トレーニング段階は 2023 年 10 月に終了しており、現在公開されているのは原始的な基本モデルのチェックポイントで、特定のアプリケーションに対して微調整は行われていません。