Cerebras、4兆トランジスタの��3世代ウェーハスケールAIチップを開発
Cerebras Systems社は、4兆トランジスタを集積したウェーハスケールのAIアクセラレータチップ「WSE-3」を開発した。300mmウェーハから21cm角に切り�Dった半導��で、�i�vのWSE-2（参考�@料1）での7nmから5nmプロセスを�W��して集積度を�屬欧拭�このウェーハスケールICを組み込んだAIコンピュータ「CS-3」を64��組み込む「Condor Galaxy 3」を戦�S的パートナーであるG42と共同で開発中である。
図1 ��3世代のウェーハスケールIC「WSE-3」を開発 出�Z：Cerebras Systems
ウェーハスケールIC「WSE-3」を搭載したAIコンピュータCS-3の性�Δ蓮△海譴泙悩嚢發�CS-2と同じ消�J電��、同じ価格で比べると性�Δ�2倍になっているという。このコンピュータCS-3は、最も巨�jなAIモデルを学�{させることを�`的としたマシンで、最�j24兆パラメータのAIモデルを学�{させることを狙っている。同社のウェーハスケールAIチップは、��1世代が16nm（参考�@料2）、��2世代7nm、��3世代が5nmとやってきた。5nmプロセスのICファウンドリはTSMCだと、このAIチップを搭載したコンピュータを��作しているG42がニュースリリースで述べている（参考�@料3）。
ウェーハスケールICのチップ�C積は46,225mm2と巨�jで、スパース線形代数（ゼロの�Hい�娣�`）に最適化された90万コアが集積されている。AIコンピュータとしての性�Δ�125 Peta FLOPS（1Petaは10の15乗）、オンチップメモリの容量は44 GB、外�陬瓮皀蝓�HBM）は1200 GBで、メモリのバンド幅は21 Peta Bytes/sとなっている。
Cerebrasはまた、AIアクセラレータCS-3を学�{��に使い、QualcommのクラウドAI 100 Ultraを推�b��にAIを使えば、約10倍のコスト・パフォーマンスが�uられたとしている。
アブダビを拠点とするAIコンピュータ企業のG42社は、CerebrasのAIチップWSE-3を搭載したAIアクセラレータ「CS-3」を64��並べたAIコンピュータ「Condor Galaxy 3」を試作した。CG 3には約5800万個のAIに最適化したコアを�△─�16 Exa FLOPS（Floating Operations Per Second）という��高性�Δ鯣�ｧすると見積もっている。Exaは10の18乗を�T味する単位。
2023�Q11月現在における世�cのスーパーコンピュータランキングTOP500で最も高�]のスパコンは、��Oakridge 国立研�|所の1.1 Exa FLOPSであるから、CS-3はその1桁�屬寮��Δ箸覆襦�ちなみに日本の富�tは昨�Qに��き��4位の0.44 Exa FLOPSとなっている。
「Condor Galaxy 3」を使えば�j��模言語モデルLlama-70B（700億パラメータ）を学�{させるのにわずか数日で済むという。1750億パラメータのLLMであるGPT-3をNvidiaのGPUであるA100では学�{するのに300日かかったと言われている。
これまでのCondor Galaxy 1と2は、�盜颯�リフォルニア�Δ棒���されているが、Condor Galaxy 3はテキサス�Ε瀬薀垢棒���される予定だという。
CerebrasのCS-1とCS-2のAIアーキテクチャは、��来のフォンノイマン型コンピューティングではなく、ニューラルネットワークのワークフローと同様、データフローコンピューティングである。CS-3もそのアーキテクチャを採��していると思われるが、��らかにしていない。
参考�@料
1. 「7nmプロセスで���]したウェーハ��模の巨�jなAIチップ」、セミコンポータル (2021/04/28)
2. 「Cerebras社、ウェーハ��模のAIチップを実�△靴織灰鵐團紂璽燭鯣�売」、セミコンポータル (2019/12/20)
3. "G42 and Cerebras Break Ground on Condor Galaxy 3, an 8 exaFLOPs AI Supercomputer", G42 (2024/03/13)
