文心

IT之家の報道によると、百度の文心大モデルがERNIE 5.5 Flash Previewを発表しました。これは、以前に発表されたBaseモデルに基づく最初の後トレーニングバージョンです。このモデルの総パラメータは280B、活性化パラメータは14Bで、1Mのコンテキストをサポートし、公式によればプログラミング、3Dモデリング、知識作業、コンテンツ制作などの分野で優れたパフォーマンスを示しています。ERNIE 5.5 Flash Previewは、知能レベルと推論効率の両方を兼ね備えており、複数のベンチマークテストで競争力のあるスコアを取得しながら、比較的速いデコード速度を維持しています。モデルAPIは千帆プラットフォームでオンラインになっており、重みは11月25日までにオープンソース化される予定です。百度は、このモデルが後トレーニングプロセスの中間バージョンであり、同サイズのモデルの中で比較的競争力のあるパフォーマンスを達成しているものの、トレーニングが不十分なために能力に欠陥がある可能性があると述べています。後トレーニングはまだ進行中であり、今後の正式バージョンで最適化される予定です。

百度は、文心 ERNIE-5.5-Flash-Base モデルの重みをオープンソース化しました。2025年6月の文心4.5シリーズ以来、約16か月ぶりに百度は千億パラメータ級の大モデルを再びオープンソース化しました。その間にリリースされた文心5.0と5.1はオープンソース化されていません。文心5.5 Flashは推論効率を重視しており、総パラメータは2800億で、1つのトークンを生成するごとに140億パラメータのみが活性化され、33.5兆トークンを使用してゼロから事前トレーニングされています。このモデルは最大100万トークンの推論コンテキストをサポートしています。百度は長文処理メカニズムを再設計し、43層のネットワークのうち37層が128個の履歴トークンを1つのキャッシュレコードに圧縮し、残りの6層は元の内容に対する精密な検索能力を保持して、長文処理のメモリと計算コストを削減しています。公式はこれをDeepSeek-V4-Flash-Base、Tencent Hy3-preview-Base、小米 MiMo-V2.5-Baseと統一評価し、30のベンチマークテストのうち24項目で1位を獲得しました。今回オープンされるのは、未訓練および後訓練の純テキストベースモデルで、主に開発者が分野の微調整、指示トレーニング、強化学習を続けるためのものです。百度は、後訓練された文心5.5 Flashが後にリリースされると述べています。ライセンスは前世代よりも厳格で、文心4.5はApache 2.0ライセンスを採用していましたが、5.5 Flashはカスタムライセンスに変更され、EU、英国、韓国での使用は許可されていません。関連製品またはサービスが過去12か月間に5000万ドル以上の収益を上げた場合、商用前に百度の書面による許可を別途取得する必要があります。

ChainCatcher メッセージ、百度の人工知能アシスタント「小度小度」が5月27日に世界初の百度文心大モデル学習機を発表します。