tilelang

人工知能会社 DeepSeek は、Huawei Ascend プラットフォーム向けの基盤コンポーネントを正式にオープンソース化しました。これには、TileLang 高級言語コンパイラ、計算ライブラリ、分散通信ライブラリが含まれ、以前の NVIDIA プラットフォーム向けのオープンソースコンポーネントと一対一で対応しています。TileLang は、汎用性が高く、プログラミングが簡単で、ハードウェア性能の上限に達する高級言語を提供することを目的としており、CUDA に比べて開発効率を向上させ、ロジックを簡素化します。また、そのプログラミングモデルはチップの特性を活かすことができます。TileLang のルートは最初に NVIDIA プラットフォームで検証され、DeepSeek V4 シリーズモデルのトレーニングにおける大部分のオペレーターの実装を担っています。今回オープンソース化された Ascend バージョンは、Ascend C の低レベル命令をラップし、ハードウェア性能を損なうことなく高級言語プログラミング方式を提供します。現在、DeepSeek のトレーニングで使用されているすべての TileLang オペレーターは、Ascend 上で対応する高性能実装があります。同時にオープンソース化されたコンポーネントには、DeepGEMM、DeepEP、TileKernels、FlashMLA、DeepSelect が含まれ、それぞれ汎用行列演算、大規模なデバイス間通信、通常のベクトル計算とメモリアクセス、長いコンテキストのスパースアテンション、データフィルタリングに使用されます。DeepSeek は、複数の重要なテストにおいて関連する計算と通信性能がハードウェアの上限に近づいていると述べています。研究開発プロセスにおいて、Huawei チームがサポートを提供し、両者は Ascend 950 に基づく 128 カードのスーパー ノードソリューションを推進し、計算と通信の深い最適化を行いました。