Variant 投資パートナー：オープンソースAIのジレンマと突破、なぜ暗号技術が最後のピースなのか？

著者：Daniel Barabander

翻訳：深潮 TechFlow

概要

• 現在の基盤AIの開発は、少数のテクノロジー企業によって主導されており、閉鎖性と競争の欠如が特徴です。

• オープンソースソフトウェアの開発は潜在的な解決策ですが、基盤AIは従来のオープンソースプロジェクト（例えばLinux）のようには機能しません。なぜなら、オープンソースの貢献者は時間を費やすだけでなく、個人の能力を超える計算とデータコストを負担する必要がある「リソース問題」に直面しているからです。

• 暗号技術は、リソース提供者を基盤オープンソースAIプロジェクトに参加させることで、このリソース問題を解決する可能性があります。

• オープンソースAIと暗号技術を組み合わせることで、より大規模なモデルの開発を支援し、さらなる革新を促進し、より高度なAIシステムを創出することができます。

はじめに

ピュー研究所（Pew Research Center）が2024年に実施した調査によると、アメリカ人の64%がソーシャルメディアが国に与える影響は害の方が大きいと考えており、78%がソーシャルメディア企業が政治において過度の権力と影響力を持っていると感じています。83%は、これらのプラットフォームが異なる政治的見解を意図的に検閲する可能性が高いと考えています。ソーシャルメディアに対する不満は、アメリカ社会における数少ない共通の合意の一つとなっています。

過去20年のソーシャルメディアの発展を振り返ると、この状況は早くから予見されていたようです。物語は複雑ではありません。少数の大手テクノロジー企業がユーザーの注意を引き、さらに重要なことにユーザーデータを掌握しました。初めはデータのオープン性に期待が寄せられましたが、これらの企業はすぐに戦略を変更し、データを利用して破壊不可能なネットワーク効果を構築し、外部からのアクセスを遮断しました。最終的に、今日の状況が形成されました。10社未満の大手テクノロジー企業がソーシャルメディア業界を支配し、「寡占」の構図が生まれました。この現状は彼らにとって非常に有利であるため、これらの企業は変化する動機をほとんど持っていません。このモデルは閉鎖的であり、競争が欠如しています。

現在、AI技術の発展の軌跡はこの幕を再演しているようですが、今回はその影響がより深遠です。少数のテクノロジー企業がGPUとデータリソースを掌握し、基盤AIモデルを構築し、これらのモデルへのアクセスを外部に閉じています。数十億ドルの資金を持たない新規参入者が競争力のあるモデルを開発することはほぼ不可能です。基盤モデルのトレーニングコストだけで数十億ドルが必要であり、前回の技術ブームから利益を得たソーシャルメディア企業は、独自のユーザーデータに対する制御を利用して、競争者が到達できないモデルを開発しています。私たちはソーシャルメディアの轍を踏み、閉鎖的で競争のないAIの世界に向かっています。この傾向が続けば、少数のテクノロジー企業が情報と機会の獲得に対して無制限の制御権を持つことになります。

オープンソースAIと「リソース問題」

もし私たちが閉鎖的なAIの世界を望まないのであれば、私たちの選択肢は何でしょうか？明白な答えは、基盤モデルを オープンソースソフトウェア プロジェクトとして開発することです。歴史的に見ても、私たちは日常的に依存する基盤ソフトウェアを成功裏に構築してきた無数のオープンソースプロジェクトがあります。例えば、Linuxの成功は、オペレーティングシステムのようなコアソフトウェアでさえ、オープンソース方式で開発できることを証明しています。それでは、なぜLLMs（大規模言語モデル）はそうできないのでしょうか？

しかし、基盤AIモデルが直面する特有の制約は、従来のソフトウェアとは異なり、これを従来のオープンソースプロジェクトとしての実行可能性を大きく削弱しています。具体的には、基盤AIモデルは膨大な計算とデータリソースを必要とし、これらのリソースは個人の能力を大きく超えています。従来のオープンソースプロジェクトが人々の時間の寄付に依存するのとは異なり、オープンソースAIは人々に計算能力とデータリソースを寄付することを求めます。これがいわゆる「リソース問題」です。

MetaのLLaMaモデルを例にとると、このリソース問題をよりよく理解できます。OpenAIやGoogleなどの競合他社とは異なり、Metaはモデルを有料APIの背後に隠さず、LLaMaの重みを公開し、誰でも無料で使用できるようにしています（一定の制限があります）。これらの重みは、Metaがトレーニングプロセスで学んだ知識を含んでおり、モデルを実行するために必要です。これらの重みを持つことで、ユーザーはモデルを微調整したり、モデルの出力を新しいモデルの入力として使用したりできます。

MetaがLLaMaの重みを公開したことは評価されるべきですが、これは真のオープンソースソフトウェアプロジェクトとは言えません。Metaは裏でモデルのトレーニングプロセスを掌握し、自社の計算リソース、データ、意思決定に依存し、一方的にモデルを一般に公開するタイミングを決定しています。Metaは独立した研究者や開発者をコミュニティの協力に招待しておらず、モデルのトレーニングや再トレーニングに必要なリソースは普通の個人の能力を大きく超えています。これらのリソースには、数万台の高性能GPU、これらのGPUを格納するデータセンター、複雑な冷却施設、トレーニングに必要な数兆トークン（モデルのトレーニングに必要なテキストデータの単位）が含まれます。スタンフォード大学の2024年人工知能指数レポートによれば、 「トレーニングコストの急激な上昇は、実際にはAI研究の中心地である大学をトップレベルの基盤モデル開発から排除しています。」 例えば、Sam AltmanはGPT-4のトレーニングコストが1億ドルに達したと述べています、これはハードウェア施設の資本支出を含んでいません。さらに、Metaの資本支出は2024年第2四半期に2023年同期比で21億ドル増加しました、主にAIモデルのトレーニングに関連するサーバー、データセンター、ネットワークインフラに使用されます。したがって、LLaMaのコミュニティ貢献者はモデルアーキテクチャを改善する技術的能力を持っているかもしれませんが、これらの改善を実現するための十分なリソースを持っていません。

要するに、従来のオープンソースソフトウェアプロジェクトとは異なり、オープンソース AI プロジェクトは、貢献者が時間を投入することを求めるだけでなく、高額な計算とデータコストを負担することを求めます。 善意とボランティア精神だけで十分なリソース提供者を動機づけるのは現実的ではありません。彼らにはさらなるインセンティブメカニズムが必要です。 オープンソース大規模言語モデルBLOOMを例にとると、このモデルは1760億パラメータを持ち、70カ国以上、250以上の機関からの1000人のボランティア研究者の努力を集約しています。BLOOMの成功は称賛に値します（私はこれを全面的に支持します）が、トレーニングの調整には1年を要し、フランスの研究機関から提供された300万ユーロの資金に依存しています（これはトレーニングモデルに使用されたスーパーコンピュータの資本支出を含んでいません）。新たな資金調達に依存してBLOOMのプロセスを調整し、反復するのはあまりにも煩雑で、大手テクノロジーラボの開発速度には対抗できません。BLOOMが公開されてから2年以上が経過しましたが、現在までにそのチームが何らかの後続モデルを開発したという話は聞いていません。

オープンソースAIを可能にするためには、リソース提供者が計算能力とデータリソースを提供するように動機づける方法を見つける必要があります。 これは、オープンソース貢献者がこれらのコストを自ら負担するのではなく、リソース提供者が負担することになります。

なぜ暗号技術が基盤オープンソースAIの「リソース問題」を解決できるのか

暗号技術の核心的な突破口は、「所有権」メカニズムを通じて、高リソースコストのオープンソースソフトウェアプロジェクトを可能にすることです。これは、オープンソースAIのリソース問題を解決するために、潜在的なリソース提供者をネットワークに参加させることによって、オープンソース貢献者に事前にこれらのリソースコストを負担させるのではなく、解決します。

ビットコインは良い例です。最初の暗号プロジェクトとして、ビットコインは完全にオープンソースのソフトウェアプロジェクトであり、そのコードは最初から公開されています。しかし、コード自体がビットコインの鍵ではありません。ビットコインノードソフトウェアをダウンロードして実行し、ローカルでブロックチェーンを作成するだけでは実際には意味がありません。マイニングブロックの計算量がいかなる単一の貢献者の計算能力を超えるときにのみ、このソフトウェアの真の価値が現れます：分散型で誰も制御しない帳簿を維持することです。基盤オープンソースAIと同様に、ビットコインも個人の能力を超えるリソースを必要とするオープンソースプロジェクトです。両者の計算リソースの必要性は異なりますが、ビットコインはネットワークの改ざん防止のために計算リソースを必要とし、基盤AIはモデルを最適化し、反復するために計算リソースを必要としますが、共通点は個人の能力を超えたリソースに依存していることです。

ビットコインや他の暗号ネットワークが、オープンソースソフトウェアプロジェクトにリソースを提供する参加者を動機づける「秘訣」は、トークンを通じてネットワークの所有権を提供することにあります。2020年にJesseがVariantの設立理念で述べたように、所有権はリソース提供者に強力な動機を与え、彼らがネットワーク内の潜在的な利益と引き換えにリソースを提供することを望むようにします。このメカニズムは、スタートアップが「汗の株式」（Sweat Equity）を通じて初期資金不足の問題を解決する方法に似ています。会社の所有権の形で初期の従業員（例えば創業者）に支払うことで、スタートアップは本来負担できない労働力を引き付けることができます。暗号技術は、「汗の株式」の概念を時間の貢献者に焦点を当てるのではなく、リソース提供者に拡張しました。したがって、Variantは所有権メカニズムを利用してネットワーク効果を構築するプロジェクトへの投資に注力しています。例えば、Uniswap、Morpho、Worldなどです。

もし私たちがオープンソースAIを現実のものにしたいのであれば、暗号技術によって実現される所有権メカニズムがリソース問題を解決するための重要なソリューションです。このメカニズムにより、研究者は自分のモデル設計のアイデアをオープンソースプロジェクトに自由に提供できるようになります。なぜなら、これらのアイデアを実現するために必要な計算とデータリソースはリソース提供者が負担し、リソース提供者はプロジェクトの一部の所有権を得ることで報われるからです。オープンソースAIにおける所有権はさまざまな形を取ることができますが、最も期待されるのはモデルそのものに対する所有権であり、これはPluralisが提案する解決策です。

Pluralisが提案するこの方法はプロトコルモデルと呼ばれています。このモデルでは、計算リソース提供者が計算能力を提供することで特定のオープンソースモデルをトレーニングし、その結果としてそのモデルの将来の推論収入の一部の所有権を得ることができます。この所有権は具体的なモデルに結びついており、その価値はモデルの推論収入に基づいているため、計算リソース提供者は最適なモデルを選択してトレーニングするインセンティブを持ち、トレーニングデータを偽造することはありません（無駄なトレーニングを提供することは将来の推論収入の期待価値を直接低下させるからです）。しかし、重要な問題は、トレーニングプロセスでモデルの重みを計算提供者に送信する必要がある場合、Pluralisはどのように所有権の安全性を確保するのかということです。答えは、「モデル並列化」（Model Parallelism）技術を使用してモデルを異なるワーカーに分割して配布することにあります。神経ネットワークの重要な特性は、モデルの重みのごく一部を理解するだけでも、計算者がトレーニングに参加できることです。これにより、完全な重みの集合が抽出されることはありません。さらに、Pluralisプラットフォームでは多くの異なるモデルが同時にトレーニングされるため、トレーナーは大量の異なる重みの集合に直面し、完全なモデルを再構築することが極めて困難になります。

プロトコルモデルの核心的な理念は、これらのモデルはトレーニングされ、使用されることができるが、プロトコルから完全に抽出されることはできない（ゼロからモデルをトレーニングするために必要なリソースを超えない限り）ということです。このメカニズムは、閉鎖的なAI競争者がオープンソースプロジェクトの労働成果を盗む可能性があるという、オープンソースAIの批評者がしばしば提起する問題を解決します。

なぜ暗号技術 + オープンソース = より良いAIなのか

記事の冒頭で、私は大手テクノロジー企業によるAIの制御を分析し、閉鎖的なAIの倫理的および規範的な問題を説明しました。しかし、無力感に満ちたネットワーク時代において、このような論点が大多数の読者に共鳴するのは難しいのではないかと懸念しています。そこで、実際の効果に基づいて、暗号技術に支えられたオープンソースAIが本当により良いAIをもたらす理由を2つ提案したいと思います。

まず第一に、暗号技術とオープンソース AI の組み合わせは、より多くのリソースを調整し、次世代の基盤モデル（Foundation Models）の発展を促進します。 研究によれば、計算能力やデータリソースの増加は、モデルの性能向上に寄与することが示されています。これが、基盤モデルの規模が常に拡大している理由です。ビットコインは、オープンソースソフトウェアと暗号技術の組み合わせが計算能力において持つ潜在能力を示しています。ビットコインは、世界最大かつ最強の計算ネットワークとなり、その規模は大手テクノロジー企業が持つクラウドコンピューティングリソースをはるかに超えています。暗号技術の独自性は、孤立した競争を協力的な競争に変えることができることです。リソース提供者が共同の問題を解決するためにリソースを提供するように動機づけることで、各自が戦い、労力を重複させるのではなく、暗号ネットワークはリソースの効率的な利用を実現します。暗号技術を活用したオープンソースAIは、世界中の計算とデータリソースを利用して、閉鎖的なAIを超える規模のモデルを構築できるでしょう。例えば、Hyperbolic社はこのモデルの潜在能力を示しています。彼らはオープンな市場を通じて、誰でも低コストでGPUをレンタルできるようにし、分散型計算リソースを最大限に活用しています。

次に、暗号技術とオープンソース AI の組み合わせは、革新の加速を促進します。 これは、リソース問題が解決されると、機械学習研究がその高度に反復的で革新的なオープンソースの本質に戻ることができるからです。基盤大規模言語モデル（LLM）が登場する前、機械学習分野の研究者は通常、自分のモデルとその再現可能な設計図を公開していました。これらのモデルは通常、オープンソースデータセットを使用し、計算要求も比較的低いため、研究者はこれらを基にして継続的に最適化と革新を行うことができました。このオープンな反復プロセスが、リカレントニューラルネットワーク（RNN）、長短期記憶ネットワーク（LSTM）、注意メカニズム（Attention Mechanisms）など、シーケンスモデリング分野の多くの突破口を生み出し、最終的にトランスフォーマーモデルアーキテクチャを可能にしました。しかし、このオープンな研究方法は、GPT-3が登場した後に変化しました。OpenAIは、GPT-3とChatGPTの成功を通じて、十分な計算リソースとデータを投入すれば、言語理解能力を持つ大規模言語モデルをトレーニングできることを証明しました。この傾向は、リソースのハードルを急激に引き上げ、学術界が排除される一方で、大手テクノロジー企業は競争優位を維持するために、自社のモデルアーキテクチャを公開しなくなりました。この状況は、AIの最前線技術を推進する能力を制限しています。

暗号技術によって実現されるオープンソースAIは、この状況を変えることができます。研究者は再び最前線のモデルを反復し、「次のトランスフォーマー」を発見することができるのです。この組み合わせは、リソース問題を解決するだけでなく、機械学習分野の革新の活力を再活性化し、AIの未来の発展に向けてより広い道を開くことができます。