ニュ〖ロAIはデ〖タフロ〖コンピュ〖タに捐ってくる箕洛になるか
染瞥攣チップからコンピュ〖タラック、答茸モデルまでフルスタックでAIを捏丁するスタ〖トアップ、SambaNova∈サンバノバ∷が泣塑オフィスを倡肋、そのチップア〖キテクチャにデ〖タフロ〖コンピュ〖ティングを何脫していることがわかった。AIの答塑弄なモデルであるニュ〖ラルネットワ〖クもデ〖タフロ〖數及であるため、AIとは陵拉が紊い。概くて糠しいデ〖タフロ〖コンピュ〖タ箕洛がやってくるかもしれない。
哭1 SambaNovaのCEOであるRodrigo Liang會
デ〖タフロ〖コンピュ〖ティングは、アイデアこそ1980鉗ごろにブ〖ムがあったものの、これまで悸脫步されてこなかった。デ〖タフロ〖のロジックを侯ることが豈しく、しかもアプリケ〖ションもなかったからだ。デ〖タフロ〖コンピュ〖タは、ノイマン房コンピュ〖ティングとは佰なり、デ〖タの萎れに辮って借妄を渴めていく數及。ニュ〖ロンからニュ〖ロンへの萎れに辮って姥下遍換を渴めていくニュ〖ラルネットワ〖クの借妄と擊ている。
辦數、驕丸のノイマン房コンピュ〖タは、部戎孟の炭吾を艱ってきて、部戎孟のデ〖タなどを遍換せよなどのプログラムに辮って遍換するため、冷えず遍換達とメモリ∈レジスタなど∷とのやり艱りが風かせない。
ところが、ここにきてデ〖タフロ〖コンピュ〖タが締きょ赦懼してきた。1奉に倡號されたRISC-V Day Tokyo 2024で、カナダのスタ〖トアップTenstorrent家がRISC-VのCPUコアを蝗い、デ〖タフロ〖ア〖キテクチャを肌坤洛チップ肋紛に何脫することを湯らかにした。TenstorrentはAIと陵拉の紊いデ〖タフロ〖ア〖キテクチャのチップを肋紛しており、海鉗面にはテ〖プアウトを謄回している。晾いは、拉墻を拜積したまま、久銳排蝸を布げられるとの蛔いからだ。
そして、シリコンバレ〖を凋爬とするSambaNovaがデ〖タフロ〖數及のAIチップを呵努に肋紛すると、久銳排蝸が腆1/28に楓負することがわかった∈哭2∷。附哼、AIチップでトップのNvidiaの呵糠GPUであるH100を蝗ったAIコンピュ〖タ≈DGX∽がほぼ28駱尸と票じ1名パラメ〖タのAIソフトウエアを胺えることになる。
哭2 SambaNovaのコンピュ〖タ1ラック尸で、NvidiaのH100烹很DGXコンピュ〖タ24駱とネットワ〖クスイッチ12駱や排富などの尸を圭わせた尸と票じTCO∈另笨脫コスト∷になる。ほぼ久銳排蝸も1/28になるという。
NvidiaのH200≈Grace Hopper∽では、CPUとGPUを1パッケ〖ジに烹很し、CPUで諒乖誤の紛換を、GPUで泰乖誤の紛換をさせている。ニュ〖ラルネットワ〖クの紛換には諒乖誤となるa∵0=0という遍換が端めて驢い。これをGPUだけで紛換するとひたすら痰綠な久銳排蝸を咯わすだけにある。そこで馮蔡が0と尸かり磊っている紛換はソフト弄にCPUで乖い、塑丸の紛換はGPUで乖う數が排蝸跟唯は光い。しかし、あくまでもフォンノイマン房の紛換怠ア〖キテクチャを僻獎しているだけであり、坷沸嘿甩∈ニュ〖ロン遍換達∷から坷沸嘿甩へと肌」と渴んでいくニュ〖ラルネットワ〖クのモデルとはやはり稍極臉になる。
デ〖タフロ〖コンピュ〖ティングなら、デ〖タからデ〖タへと萎れていき、デ〖タがCPUとメモリが辦攣步されており、CPUから墓い蘋のりのパスを沸てメモリをアクセスしないため、ニュ〖ラルネットワ〖クの萎れと票じ慌寥みになる。Nvidiaの甫墊莢によると、64ビットの擒籃刨の姥下遍換では20pJ∈ピコジュ〖ル∷のエネルギ〖を久銳するが、チップ柒をデ〖タが1mm瓢くのに26pJもかかるという。CPUからメモリを艱りに乖くのにその調違が1cmもあればその10擒の痰綠なエネルギ〖を久銳することになる。これでは驕丸のア〖キテクチャの嘎腸になる。
SambaNovaのもう辦つの卿りは、驕丸の欄喇AIのようにクラウドを網脫するのではなく、セキュアなコンピュ〖タユニットを措度羹けに捏丁することだ。コンピュ〖タを杠狄措度にオンプレミスで肋彌し、SambaNovaが窗鏈な斌持瓷妄を乖う。措度はサブスクリプション瘟垛を毀失う。
驕丸の欄喇AIと般ってクラウドを蝗わなくて貉むようになるのは、肌のような妄統によるとLiang CEOは揭べている。まずオ〖プンソ〖スの咐胳モデルLlama2を措度柒の稱嬸嚏に鷗倡し、それをベ〖スに嬸嚏ごとのエキスパ〖ト夢急を池漿させ、さらにファインチュ〖ニングを乖うだけで貉むからだ。ゼロから池漿させる澀妥はない。このデ〖タを答に夸俠するため、コストは奧くなる。これまでクラウドベ〖スの欄喇AIから納裁池漿などのコストが20%、夸俠が80%を貍めていたという。SambaNovaの數及だと夸俠コストを8%に布げることができるという。
哭3 SambaNovaのデ〖タフロ〖數及のAIチップ 叫諾¨SambaNova
遍換するコンピュ〖タ1ユニットは、10Uサイズのコンピュ〖タでCPU2答とRDU∈AI漓脫チップ∷を8答∈12TBのメモリ崔む∷烹很したもので、チップ≈SN40L∽∈哭3∷は、浩菇喇材墻なデ〖タフロ〖數及のAIチップである。AIチップの件りに腳みメモリとしてDDR5、キャッシュのようなHBMを芹彌しており、AI借妄する漣に嘲嬸メモリからデ〖タをロ〖ドしておく。
SambaNovaの沸蹦控はかつてのSun Microsystems叫咳莢が驢く、コンピュ〖タ度腸のプロだ。禱窖弄な雇え數がしっかりしており、これまで努磊な炳脫がなかったデ〖タフロ〖コンピュ〖タを倉倡かせる措度になる材墻拉はある。附哼シリ〖ズD檬超で11帛ドルを獲垛拇茫しており、この檬超でソフトバンクグル〖プも6帛ドルを叫獲した。ちなみにシリ〖ズAでGoogle Venture、シリ〖ズBでIntel Capital、シリ〖ズCで呵絡ベンチャ〖のBlacklockが叫獲している。
