トークン性�Α⊂嫡J電��でGPUを圧倒するSambaNovaのAIプロセッサ
高効率で消�J電��当たりのAI処理性�Δ�高いAIチップの中で、NvidiaのGPUと張り合えるチップはそう�Hくない。データフローコンピューティングアキテクチャであり、さらにダイナミックにエージェントがジョブを切り��えられる�擬阿�SambaNovaのチップはその�t��の�kつ��推�b性�Δ蚤昭劼魄掬櫃垢鞫T果をこのほど発表している。
![量子化なし・�^�里覆靴農つc最�]！ / SambaNova Systems](/archive/editorial/technology/img/20250327-SambaNova_1.png)
図1 Artificial Analytics社のベンチマークでの比較 SambaNovaのコンピュータ（左端）が最も高�]だった 出�Z：SambaNova Systems
SambaNova Systemsが��したのは、今をときめくDeepSeek-R1-671B（6710億パラメータ）を使ってMixture of ExpertsモデルのベンチマークをArtificial Analytics社がさまざまなコンピュータと比較したもの。その�T果、SambaNovaのコンピュータが最も�]い出���]度（198トークン/秒）だった（図1）という。このベンチマークではDeepSeekのコンピュータより7.6倍、Microsoft Azureより9.9倍�]い。SambaNova以外のコンピュータは、NvidiaのGPUを使っていると見なせる。
SambaNovaのシステムは、これまで報告してきたように（参考�@料1、2）、1026億トランジスタを集積したデータフロー型プロセッサであるRDU（Reconfigurable Dataflow Unit）コアを1040個集積している。基本的に16ビット�w定で推�bするシステムであるため、�收�AIのような巨�jなパラメータのモデルを推�bする場合には効率の高い�jきな���Q�ξ�が��要になるが、SambaNovaのシステムSN40L-16ではRDUを16��搭載した1ラックのシステム。プロセスはTSMCの5nm�\術を�W��した。
RDUではニューラルネットワークと同様、ニューロンが無数に並んだレイヤーを���Qした後、次のレイヤーにある無数のニューロンを演�Qし、さらに次のレイヤーに行く、といったデータフロー�擬阿納��Qする。���Q処理��のメモリ（データと�_み）はオンチップであるため、チップ外の長い演�Qパスを通らない。このため効率が良く、消�J電��が少ない。
�kつのRDUでは、メモリを3層構成にして、オンチップのSRAMは、データフロー処理するためのメモリで、容量は520MB。2番�`には64GBのHBM（High Bandwidth Memory）メモリで、高�]で推�bするためモデルをキャッシングしておく。3層�`が1.5TBの外�陲�DDRメモリである。
1��のRDUを16��搭載し、それをラックに納め、今�v性�Δ鮗他擇靴�。このためメモリの階層構成は、オンチップの��1層が8.3GB、プロセッサの周囲に配��されている��2層が1TBでその�]度は25.6TB/s、最�j12兆パラメータを扱える3層�`が24TBの要�襪�、その�]度は1.6TB/sとなっている（図2）。
図2 AI専��チップのSN40L RDUを16��搭載したコンピュータラック 出�Z：SambaNova Systems
この1ラック構成のAIコンピュータで4�|類のLLM（�j��模言語モデル）のトークン処理を、最�]のGPUを搭載したコンピュータと比較した。その�T果、10億パラメータでは約8.1倍の2477トークン/秒/ユーザー、80億パラメータでは11.4倍の1066トークン/秒/ユーザーとなった。��模が�jきくなるにつれその差は広がり、700億パラメータでは14.4倍の460トークン/秒/ユーザー、4050億パラメータでは14.3倍の200トークン/秒/ユーザーとなった。
SambaNovaのコンピュータの��長はこれだけではない。1クエリ（問い合わせ）当たりの仕様モデル数は、��来のコンピュータなら1モデルだったが、SambaNovaのコンピュータではAIエージントを導入しており、AIエージェントが5〜10モデルをダイナミックに切り��えることができる。いわばさまざまなマルチのジョブを切り��えながらAI処理してくれるという�l（図3）だ。��来、例えば、経理処理した後に財��管理処理へとエージェントが�O動的にAI処理することになる。
図3 1チップ内にジョブをAIエージェントが次々と切り��えられる仕組みを作った 出�Z：SambaNova Systems
同社の創業�vは、CEOの��湾�URodrigo Liang��と共同創業�vでチーフテクノロジストのKunle Olukotunスタンフォード�j学教�b、共同創業�vのChristopher Re��スタンフォード�j学教�bの3�@で、エグゼクティブ会長にLip-Bu Tan��（新Intel CEO）という、しっかりしたメンバーが��いている。RDUのReconfigurableという�T味のエージェントがダイナミックにモデルを切り��えるという�\術はスタンフォード�j学が開発したものだという。
日本オフィスでも、アジア�諒人涼楼菽甘�副社長の���K俊����は、NEC、サン・マイクロシステムズ、Arm社を経�xしてきたコンピュータの専門家であり、アジア�諒人涼楼茱沺璽吋謄�ング・ディレクターの林憲�k��は、Nvidiaをはじめとして日�歟罎�AI関連企業、さらに信���j学��任教�bを経�xしてきたAIの専門家だ。テクノロジーはしっかりしていると言えそうだ。出�@企業には、ソフトバンクグループやIntel Capitalに加え、メモリのトップ3社も加わっている。
参考�@料
1. 「ニューロAIはデータフローコンピュータに乗ってくる時代になるか」、セミコンポータル、(2024/02/08)
2. 「スタートアップSambaNova、次世代AIのエージェンティックAIを実現」、セミコンポータル、(2024/07/26)
