ニューロAIはデータフローコンピュータに乗ってくる時代になるか
半導��チップからコンピュータラック、基盤モデルまでフルスタックでAIを提供するスタートアップ、SambaNova（サンバノバ）が日本オフィスを開設、そのチップアーキテクチャにデータフローコンピューティングを採��していることがわかった。AIの基本的なモデルであるニューラルネットワークもデータフロー�擬阿任△襪燭�、AIとは相性が良い。古くて新しいデータフローコンピュータ時代がやってくるかもしれない。
図1 SambaNovaのCEOであるRodrigo Liang��
データフローコンピューティングは、アイデアこそ1980�Qごろにブームがあったものの、これまで実��化されてこなかった。データフローのロジックを作ることが�Mしく、しかもアプリケーションもなかったからだ。データフローコンピュータは、ノイマン型コンピューティングとは異なり、データの流れに�pって処理を進めていく�擬亜�ニューロンからニューロンへの流れに�pって積和演�Qを進めていくニューラルネットワークの処理と�瑤討い�。
�k�機Å�来のノイマン型コンピュータは、何番地の命令を�Dってきて、何番地のデータなどを演�Qせよなどのプログラムに�pって演�Qするため、絶えず演�Q�_とメモリ（レジスタなど）とのやり�Dりが�Lかせない。
ところが、ここにきてデータフローコンピュータが��きょ浮�屬靴討�た。1月に開��されたRISC-V Day Tokyo 2024で、カナダのスタートアップTenstorrent社がRISC-VのCPUコアを使い、データフローアーキテクチャを次世代チップ設��に採��することを��らかにした。TenstorrentはAIと相性の良いデータフローアーキテクチャのチップを設��しており、今�Q中にはテープアウトを�`指している。狙いは、性�Δ魄欸eしたまま、消�J電��を下げられるとの思いからだ。
そして、シリコンバレーを拠点とするSambaNovaがデータフロー�擬阿�AIチップを最適に設��すると、消�J電��が約1/28に����することがわかった（図2）。現在、AIチップでトップのNvidiaの最新GPUであるH100を使ったAIコンピュータ「DGX」がほぼ28��分と同じ1兆パラメータのAIソフトウエアを扱えることになる。
図2 SambaNovaのコンピュータ1ラック分で、NvidiaのH100搭載DGXコンピュータ24��とネットワークスイッチ12��や電源などの分を合わせた分と同じTCO（総運��コスト）になる。ほぼ消�J電��も1/28になるという。
NvidiaのH200「Grace Hopper」では、CPUとGPUを1パッケージに搭載し、CPUで�娣�`の���Qを、GPUで密行�`の���Qをさせている。ニューラルネットワークの���Qには�娣�`となるa×0=0という演�Qが極めて�Hい。これをGPUだけで���Qするとひたすら無�Gな消�J電��を食わすだけにある。そこで�T果が0と分かり切っている���Qはソフト的にCPUで行い、本来の���QはGPUで行う�気�電��効率は高い。しかし、あくまでもフォンノイマン型の���Q機アーキテクチャを踏��しているだけであり、神経細胞（ニューロン演�Q�_）から神経細胞へと次々と進んでいくニューラルネットワークのモデルとはやはり不�O��になる。
データフローコンピューティングなら、データからデータへと流れていき、データがCPUとメモリが�k��化されており、CPUから長い�Oのりのパスを経てメモリをアクセスしないため、ニューラルネットワークの流れと同じ仕組みになる。Nvidiaの研�|�vによると、64ビットの倍�@度の積和演�Qでは20pJ（ピコジュール）のエネルギーを消�Jするが、チップ内をデータが1mm動くのに26pJもかかるという。CPUからメモリを�Dりに行くのにその�{�`が1cmもあればその10倍の無�Gなエネルギーを消�Jすることになる。これでは��来のアーキテクチャの限�cになる。
SambaNovaのもう�kつの売りは、��来の�收�AIのようにクラウドを�W��するのではなく、セキュアなコンピュータユニットを企業向けに提供することだ。コンピュータを顧客企業にオンプレミスで設��し、SambaNovaが完��な遠隔管理を行う。企業はサブスクリプション料金を��払う。
��来の�收�AIと違ってクラウドを使わなくて済むようになるのは、次のような理�yによるとLiang CEOは述べている。まずオープンソースの言語モデルLlama2を企業内の�Q�靆腓繭t開し、それをベースに�靆腓瓦箸離┘�スパート��識を学�{させ、さらにファインチューニングを行うだけで済むからだ。ゼロから学�{させる��要はない。このデータを基に推�bするため、コストは�Wくなる。これまでクラウドベースの�收�AIから�{加学�{などのコストが20%、推�bが80%を��めていたという。SambaNovaの�擬阿世反��bコストを8%に下げることができるという。
図3 SambaNovaのデータフロー�擬阿�AIチップ 出�Z：SambaNova
演�Qするコンピュータ1ユニットは、10UサイズのコンピュータでCPU2基とRDU（AI専��チップ）を8基（12TBのメモリ含む）搭載したもので、チップ「SN40L」（図3）は、再構成可�Δ淵如璽織侫蹇��擬阿�AIチップである。AIチップの周りに�_みメモリとしてDDR5、キャッシュのようなHBMを配��しており、AI処理する�iに外�陬瓮皀蠅�らデータをロードしておく。
SambaNovaの経営陣はかつてのSun Microsystems出身�vが�Hく、コンピュータ業�cのプロだ。�\術的な考え�気�しっかりしており、これまで適切な応��がなかったデータフローコンピュータを�}開かせる企業になる可��性はある。現在シリーズD段階で11億ドルを�@金調達しており、この段階でソフトバンクグループも6億ドルを出�@した。ちなみにシリーズAでGoogle Venture、シリーズBでIntel Capital、シリーズCで最�jベンチャーのBlacklockが出�@している。
