図1　7nmプロセスで���]したウェーハスケールAIチップ　出�Z：Cerebras Systems

今�vのAIプロセッサWSE-2は、��1世代のウェーハスケールAIプロセッサ（参考�@料1、2）と同様、300mmウェーハ1��から1チップを�Dるという文�C(j┤)通りウェーハスケールICである。TSMCの7nmプロセスで���]されており、コア数、メモリ容量、メモリ帯域幅、ファブリック帯域幅の��性は��て��1世代のそれの2倍以�屬箸覆辰討い襦�

AIプロセッサを巨�j(lu┛)に拡�j(lu┛)することによって、例えば演�Qするのに数カ月もかかるような巨�j(lu┛)な学�{モデルだと、これまでは研�|�vが実��的ではないと��めてきたが、これでも数週間、あるいは数日間で解けるようになる。��1世代のウェースケールチップと比べ2倍の2.6兆トランジスタはこれまでにない最�j(lu┛)の半導��チップとなる。現在の最�j(lu┛)レベルのAIチップ（GPU）は、NvidiaのA100が集積する542億トランジスタだが、これよりも50倍�j(lu┛)きい。その性�Δ蓮△呂襪�にA100を凌ぐ（図2）。

図2　最高性�Δ�GPUチップA100（Nvidia��）と比較　出�Z：Cerebras Systems

チップが�j(lu┛)きい分、演�Qするコア数や、演�Q�T果を�k時的に�Qめるメモリが圧倒的に�Hいため、性�Δ呂韻唇磴い暴j(lu┛)きい。コア数はA100の123倍、メモリ容量は1000倍、メモリバンド幅は12,862倍、ファブリックバンド幅は45,833倍とけた違いである。チップ�C積は4万6225mm2という巨�j(lu┛)なシリコンの�修砲覆辰討い襦�このため、表�C�屬魯好謄奪僂離譽船�ルサイズに合わせた��?chu┐ng)�的なパターンとなっている�?/p>

ウェーハ1��に１チップというウェーハスケールICは、実は1980�Q代にもあった。しかしロジックICやメモリICであったため、配線が1本でも切れていると不良��となり、廃棄するしかなかった。このため歩�里泙蠅聾造蠅覆�ゼロに�Zかった。しかし、ニューラルネットワークで表現されるAIチップだと、配線が1本や2本切れていても学�{する�ξ�にさほど差はない。つまり不良��にはならないため、歩�里泙蠅呂い弔�100%なのである。

ニューラルネットワークでは、��な線形代数演�Qが��要で、それに合わせた最適で柔軟なコアの設��が求められる。線形代数演�Qは、行�`演�Qそのものだが、ニューラルネットワーク���~の��である（Sparse）とは、行�`成分の�j(lu┛)�霾�が0（ゼロ）だという�T味である。0×数�C(j┤)は0であるから、そういった�霾�の�Xけ�Qは省�Sすることで演�Qスピードを�屬欧襪海箸�AIチップの高�]化に�_要になる。

ニューラルネットワークでは、演�Qとメモリを何度となく繰り返す。このため、演�Q（MAC：積和演�Q）とメモリをセットにしたアーキテクチャは高�]に学�{と推�bができる。しかも��模をウェーハサイズに�`�k�J拡�j(lu┛)することでGPUを数�押⊃���並べるよりも1チップ�屬捻��Q・記憶する��(sh┫)が使いやすくシンプルになるという。

これまでの演�Qでは、�j(lu┛)きな推�bモデルを量子化して小さくすることによって、���Qを�]めてきた。そうすると、もちろん�@度が犠牲になる。このCS-2を使って演�Qすれば�@度を犠牲にすることなく、しかも�]度を落とさずに済む。チップ�屬砲△�85万コアはオンチップメッシュで接��されており、220P（ペタ）ビット/秒と�]い。しかも演�Q�T果を格納するメモリ容量は40G バイトの高�]SRAMが配��されており、メモリの帯域幅は20Pバイト/秒と極めて高�]である。

同社は半導��チップを設��するだけではなく、これを実�△靴�AIコンピュータCS-2も販売する。チップの冷却やパッケージも�Oら設��しており、電源の供給は��来とは違い、�Qコアに��(k┫)直に供給するという。最�j(lu┛)のシステム電��は23kWにもなるため、水冷��(sh┫)式を採��している。

チップのソフトウエアプラットフォームには、�k般的なTensorFlowやPyTorchなどの機械学�{のフレームワークが含まれているため、AIモデルの研�|�vは使い慣れたツールを使ってCS-2にプログラムできる。

さらに、同社はニューラルネットワークをCS-2の実行ファイルに�O動的に変換するコンパイラCGC（Cerbras Graph Compiler）も提供しており、�Qニューラルネットワークに�w�~の配��と配線接��を�收�する。この�T果、�u接するレイヤー間の通信のレイテンシを小さくできるという。

参考�@料
1. ディープラーニング学�{にはウェーハ��模の巨�j(lu┛)なチップが��要 (2019/08/27)
2. Cerebras社、ウェーハ��模のAIチップを実�△靴織灰鵐團紂璽燭鯣�売 (2019/12/20)