図1　SambaNovaのAIチップ「SN40L RDU」　出�Z：筆�v撮影

SambaNovaの�`指すAIシステムは、AIチップ「SN40L RDU」からデータフローコンパイラ、システム、学�{済みの基盤モデルからなる。SambaNovaは、単なるファブレス半導��メーカーではなくハードウエアからソフトウエアまでをカバーするAI総合メーカーである。

これまでのAIシステムは、単機�Δ涼吋皀妊襪靴�実行できないもので、モデルごとにAIシステムを���Tしなければならなかった。つまり、専��AIだった。�j��模言語モデル（LLM）を使う�收�AIが登場したことで、いろいろなことを聞いても答えられるようになった。とはいえ、何でも答えられるという�@��AIではない。テキストや画�気覆匹��收�が可�Δ砲覆辰燭世韻任△襦�

では、次のAIは何か。その答えの�kつが、SambaNovaの提供するエージェンティック（Agentic）AIである。これは��来のAIシステムとは違い、複数のモデルを�kつのチップだけでモデルを切り��えながら、求める作業を実行する。例えば、�kつの企業がある����を開発する際、同様な�\術的な����がないか、法的に�C理�屬量筱�はないか、見込める�x場とその����の売�嶽`�Y�Yはどのくらいか、など�\術、法��、�x場などそれぞれを調べる場合にそれぞれに��化したモデルの�收�AIが��要となる。しかし、エージェンティックAIは、�kつの�收�AIチップで複数のモデルを�O��的に切り��え、それぞれのモデルで推�bを実行する。いわば複数の�收�AIを�Jねて、�kつずつ切り��えて推�bしていくようなものだ。

同社のAIチップ「SN40L RDU」は、データフローコンピュータアーキテクチャに基づいており（参考�@料1）、ニューラルネットワークの流れもデータフローアーキテクチャであるからAIチップとしてはなじみが良い。さらにデータフローの流れが終わり推�b出��できると、瞬時に次のモデルへと�O動的に切り��え、その新モデルで推�bを実行する。�����@についているRDUとはReconfigurable Dataflow Unitの�Sである。このためモデルを格納するためのメモリを�j量に�eっており、それも3階層構成を採っている（図2）。

図2　オンチップSRAMからキャッシュのHBM3、そして12TBのDDR5 メモリの3階層構成を採る　出�Z：SambaNova

この����には1パッケージ内に�j量のメモリを搭載しており、L1キャッシュのような役割をAIチップ�屬縫皀離螢轡奪�に集積しているSRAMの容量は520MBで、アクセス�]度は数PB/sクラスと高�]。さらにこれまでは�k般のメモリとして使われるHBM3を64GBのキャッシュとして使い、�]度は12.8TB/sと��高�]だ。さらにモデルなどを格納しておく、いわゆる�j容量メモリは1.5TBで�]度が800GB/sの�j容量DDR5 DRAMである。

このAIチップ����を、8��を�k組として推�b��のコンピュータとして構成する。�j容量メモリには最�j5兆パラメータに相当するデータを格納でき、例えばLlama V2 7B（70億パラメータ）モデルを動作中に切り��える場合のスイッチ�]度（レイテンシ）は20ms以下であり、瞬時に切り��えられている。

AIチップそのものはTSMCの5nmプロセスで���]されており、1040個のRDUコアを集積している。トランジスタ数は1026億個。16ビットの単�@度でAIの推�b性�Δ蓮�638 TFLOPS（Tera Floating point Operations Per Second ）と高い。

���i学�{済みの基盤モデルとしてLlamaやMistral、Bloom、Falconを提供でき、日本語モデルも充実しつつある。現在、スーパーコンピュータ「富�t」を使って学�{させた、Fugaku-LLMとSwallow、Elyza LLM KARAKURI LMを�W��できる。顧客のデータをファインチューニングするサービスもあり、銀行や法��、ヘルスケアの�Q�官�モデルを提供できるとしている。

SambaNovaは�盜颪離好拭璽肇▲奪廚任△襪�、すでにソフトバンクが�收�AI向けの���Q機プラットフォームとして使っており、日本のAIスタートアップElyzaの日本語Llama 2-7Bも組み込んでいる。日本でも��々とビジネスを広げ始めている。

参考�@料
1. 「ニューロAIはデータフローコンピュータに乗ってくる時代になるか」、セミコンポータル、(2024/02/08)