図1　Nvidiaの創業�v兼CEOのJensen Huang��　出�Z：Nvidiaの講演スライド

GTCはかつてGPU Technology Conferenceと�}ばれていたが、基調講演に立ったNvidia社の創業�v兼CEOであるJensen Huang��（図1）は、GPU（グラフィックプロセッサユニット）という�@称はもはや�垉遒里發里砲覆蠅弔弔△襦△判劼戮拭�GPUは、もともとCG（コンピュータグラフィックス）で絵を�Wくためのチップであったが、ニューラルネットワークモデルが実��化されて以来、単なる小さな積和演�Q�_(d│)を�j(lu┛)量に�eつAIチップとしても使えた。GPUでは、デッサンにせよ、色塗りにせよ、1��の絵を、小さなブロックに分割して、�Qブロックを同時に並�`動作させて�W画するが、その�Qブロックの演�Qがまさに積和演�Qであった。ニューラルネットワークのモデルと��く同様な線形代数の行�`演�Q動作であったから、GPUがAIチップとしてそのまま使われてきた。

AIは�收�AIに発�tし、学�{させるべきパラメータ数は、チャットGTPのベースとなるGPT-3で1750億パラメータにもなり、巨�j(lu┛)な学�{ソフトウエアとなった。GPT-3.5やGPT-4のように、さらなるパラメータ数の�\加は、これまでのGPUではとても間に合わない。GPT-3の学�{にはA100のGPUで300日かかったと言われている。さらに�j(lu┛)きなGPT-4は1兆パラメータになるという。これでは学�{に何�Qもかかってしまう。GPUの性�Δ�もっと高くなければ処理できない。Nvidiaが昨�Q最高性�Δ�AIチップ「Grace Hopper」を出したが、今�QのGTC 2024では、さらに高性�Δ淵船奪廚�登場した。

高性�Δ�AIチップでは、ニューラルネットワークモデルに適した���Q�}法が求められている。GPUだけだと無�Gな���Qが�Hく、消�J電��が�j(lu┛)きすぎた。��に、ニューラルネットワークの積和演�Qではa×0という���Qが極めて�Hい。答えは0（ゼロ）に��まっているのにもかかわらずGPUでは��ての演�Qを「�[鹿��直に」行ってきた。そこで、Nvidiaは、昨�Q発表したH200（コード�@Grace Hopper）というAIチップでは、a×0という���Qが�Hい�娣�`はCPU（Grace）で0という��まった数�C(j┤)に変換し、0ではない���Qの密行�`をGPUで行う��(sh┫)式をとった。

今�vのAIチップ「GB200」(図2)に2個のGPU「Blackwell」とCPUを搭載したのは、�娣�`と密行�`をそれぞれが担当するためだと思われる。GB200の推�bにおけるAI性�Δ蓮△海譴泙悩嚢發世辰�H100 の30倍にも�屬襦�

図2　新しいGPUの「Blackwell」チップを2個と、Neoverse V2 CPUコアベースのCPUチップ1個で構成されるGB200　出�Z：Nvidiaの講演スライド

この新型GPUの「Blackwell」（図2の�屬�2個のチップ）に集積されたトランジスタ数は、これまで最�j(lu┛)の2080億個にも�屬襦�しかも�QBlackwellは、さらに二つのダイに分かれており、2個のダイを�kつのGPU����と構成している。それぞれのダイはHBM3Eメモリを4個ずつ�eち、合��8個で384GBのメモリを�eっている。CPUはArmの64ビットのデータセンター向けのNeoverse V2コアを72個集積したもの。最�ZArmはさらに高性�Δ�Neoverse V3を発表している（参考�@料1）。

AIスーパーコンピュータも提案
Nvidiaは1兆パラメータを処理するためのAIコンピュータも提案した。「Grace Blackwell スーパーチップ」と�}ぶGB200を2個、�kつのコンピュータボード（コンピュートトレイと�}ぶ）に収め、このボードを18��コンピュータラックに実�△靴拭�つまり、1��のコンピュータラックに72個のBlackwell GPUが搭載されている。それをNVLinkという高�]インターフェイスで��てのGPUを接��する。この場合のメモリは��てのGPUがデータを共�~するコヒーレント�X��にしている。すべてのGPUをつなぐNVLinkでのチップ間のデータレートは900GB/sと極めて高�]だ。コンピュートトレイのAI性�Δ�80PetaFLOPSと高く、メモリ容量は1.7TB。

このコンピュータ「GB200 NVL72」はラックスケールになっており、80Peta FLOPSのコンピュートトレイが18��で構成されているため、1.4Exa FLOPSというスーパーコンピュータになる。この性�Δ蓮�日本のスパコン「富�t」のおよそ3倍の性�Δ任△蝓�現在TOP500で紹介されている最高性�Δ離好僖灰鵝�Frontier」の1.2Exa FLOPS を��えることになる。1兆パラメータの�收�AIにはこの��度の性�Δ�求められるとしている。さらにこのコンピュータラックを�j(lu┛)量に並べると、新時代のスーパーコンピュータのデータセンターが出来�屬�ると見積もっている。このデータセンターのAI性�Δ�645 Exa FLOPSととてつもなく巨�j(lu┛)になる。

GPUやCPUを�j(lu┛)量に並�`動作させる場合には、もはやバス��(sh┫)式は使えないため、スイッチ��(sh┫)式でデータの流れを�D理する��要がある。そこで、スイッチ��のNVLink��のICも開発している。NVLinkは最�j(lu┛)576個のGPUを接��でき、総合的なバンド幅は1Peta B/sで、高�]メモリ容量は240TBと�j(lu┛)きい。

参考�@料
1. 「Arm、クルマのデータセンター化に向けIPコアを充実」、セミコンポータル (2024/03/19)