スタートアップSambaNova、次世代AIのエージェンティックAIを実現
Nvidia同様、データセンターやオンプレミスなど企業向けAIチップの中でデータフローコンピューティングを積極的に�W(w┌ng)��するSambaNova社が次世代AIというべき、�H数の専��モデルを�O��的に実行できるエージェンティックAIを�`指していることがわかった。�kつのAIチップで�H数のモデルを実行できる。消�J電��は�j(lu┛)幅に下がることになる。
図1 SambaNovaのAIチップ「SN40L RDU」 出�Z：筆�v撮影
SambaNovaの�`指すAIシステムは、AIチップ「SN40L RDU」からデータフローコンパイラ、システム、学�{済みの基盤モデルからなる。SambaNovaは、単なるファブレス半導��メーカーではなくハードウエアからソフトウエアまでをカバーするAI総合メーカーである。
これまでのAIシステムは、単機�Δ涼吋皀妊襪靴�実行できないもので、モデルごとにAIシステムを���Tしなければならなかった。つまり、専��AIだった。�j(lu┛)��模言語モデル（LLM）を使う�收�AIが登場したことで、いろいろなことを聞いても答えられるようになった。とはいえ、何でも答えられるという�@��AIではない。テキストや画�気覆匹��收�が可�Δ砲覆辰燭世韻任△襦�
では、次のAIは何か。その答えの�kつが、SambaNovaの提供するエージェンティック（Agentic）AIである。これは��来のAIシステムとは違い、複数のモデルを�kつのチップだけでモデルを切り��えながら、求める作業を実行する。例えば、�kつの企業がある����を開発する際、同様な�\術的な����がないか、法的に�C理�屬量筱�はないか、見込める�x場とその����の売�嶽`�Y�Yはどのくらいか、など�\術、法��、�x場などそれぞれを調べる場合にそれぞれに��化したモデルの�收�AIが��要となる。しかし、エージェンティックAIは、�kつの�收�AIチップで複数のモデルを�O��的に切り��え、それぞれのモデルで推�bを実行する。いわば複数の�收�AIを�Jねて、�kつずつ切り��えて推�bしていくようなものだ。
同社のAIチップ「SN40L RDU」は、データフローコンピュータアーキテクチャに基づいており（参考�@料1）、ニューラルネットワークの流れもデータフローアーキテクチャであるからAIチップとしてはなじみが良い。さらにデータフローの流れが終わり推�b出��できると、瞬時に次のモデルへと�O動的に切り��え、その新モデルで推�bを実行する。�����@についているRDUとはReconfigurable Dataflow Unitの�Sである。このためモデルを格納するためのメモリを�j(lu┛)量に�eっており、それも3階層構成を採っている（図2）。
図2 オンチップSRAMからキャッシュのHBM3、そして12TBのDDR5 メモリの3階層構成を採る 出�Z：SambaNova
この����には1パッケージ内に�j(lu┛)量のメモリを搭載しており、L1キャッシュのような役割をAIチップ�屬縫皀離螢轡奪�に集積しているSRAMの容量は520MBで、アクセス�]度は数PB/sクラスと高�]。さらにこれまでは�k般のメモリとして使われるHBM3を64GBのキャッシュとして使い、�]度は12.8TB/sと��高�]だ。さらにモデルなどを格納しておく、いわゆる�j(lu┛)容量メモリは1.5TBで�]度が800GB/sの�j(lu┛)容量DDR5 DRAMである。
このAIチップ����を、8��を�k組として推�b��のコンピュータとして構成する。�j(lu┛)容量メモリには最�j(lu┛)5兆パラメータに相当するデータを格納でき、例えばLlama V2 7B（70億パラメータ）モデルを動作中に切り��える場合のスイッチ�]度（レイテンシ）は20ms以下であり、瞬時に切り��えられている。
AIチップそのものはTSMCの5nmプロセスで���]されており、1040個のRDUコアを集積している。トランジスタ数は1026億個。16ビットの単�@度でAIの推�b性�Δ蓮�638 TFLOPS（Tera Floating point Operations Per Second ）と高い。
���i学�{済みの基盤モデルとしてLlamaやMistral、Bloom、Falconを提供でき、日本語モデルも充実しつつある。現在、スーパーコンピュータ「富�t」を使って学�{させた、Fugaku-LLMとSwallow、Elyza LLM KARAKURI LMを�W(w┌ng)��できる。顧客のデータをファインチューニングするサービスもあり、銀行や法��、ヘルスケアの�Q�官�モデルを提供できるとしている。
SambaNovaは�盜颪離好拭璽肇▲奪廚任△襪�、すでにソフトバンクが�收�AI向けの���Q機プラットフォームとして使っており、日本のAIスタートアップElyzaの日本語Llama 2-7Bも組み込んでいる。日本でも��々とビジネスを広げ始めている。
参考�@料
1. 「ニューロAIはデータフローコンピュータに乗ってくる時代になるか」、セミコンポータル、(2024/02/08)
