図1　800億トランジスタを集積したGPU　出�Z：Nvidia

ブランド�@「Hopper」と�}ぶH100チップの最�jの��長は、拡張性を�eたせ、そのまま��数を�\やせるようにクラウドやデータセンターなどのITインフラに合わせて設��していることだ。��に、80GBのメモリ容量、メモリバンド幅、チップ内・チップ間を接��するネットワーキング、NVLinkチップ同士のデータレートが低下しないように設��したという。

図1で見えるように��色に��くチップの�峅爾�6個のHBM（High Bandwidth Memory）3メモリが配��されており、このH100が最新��格のHBM3を初めて採��する����となる。6個1組のメモリのI/O帯域幅は40 Tera-bits/sと極めて広い。ちなみに現在世�cのインターネットウェブのトラフィックは、H100チップ20個分に相当する、とHuang��は述べている。この広いバンド幅で��5世代のPCIeを採��した最初のGPUでもあるという。

このチップはAI（機械学�{やデ��ープラーニング）動作には最�j限の考慮をしている。今�v、8ビット浮動小数点演�QFP8にも�官�、4 PetaFLOPS（Floating point Operations per Second）の性�Δ鰓uている。PetaはTeraの1000倍で、Gigaの100万倍である。これまでのA100同様、FP16、FP32、FP64にも�官�、性�Δ呂修譴召�2 PetaFLOPS、60 TeraFLOPSとなっている。今�vのHopper H100チップの性�Δ�、��来同社のAmpere A100のFP16と比べて、FP8で6倍高い。

加えて、AIのデ��ープラーニングモデルTransformerも開発、実行するための専��エンジンTransformerエンジンも集積した。このエンジンは新たに�{加したFP8とFP16の数値演�Q形式を使い、高度なソフトウエアアルゴリズムを組み合わせると、これまで数週間もかかっていたような膨�jなパラメータのAIモデルを数日で演�Qできるようになる。カスタム仕様のHopper Tensor コアは、AIの演�QをFP8とFP16をダイナミックに切り��えられる。FP8は�@度が��いものの演�Qは�]い。FP16は�@度が2倍高いが��い。モデルのパラメータ演�Qでそれらをダイナミックに切り��えることで、�@度と演�Q�]度の両立を図ることができたとしている。

図2　GPUチップH100をボードに実�△靴織皀献紂璽襦―儘Z：Nvidia

800億トランジスタのH 100 GPUチップは、TSMCがCoWoS（Chip on Wafer on Substrate）と�}ぶ 2.5DパッケージとHBM3メモリ、さらに定電圧レギュレータをSXMと�}ぶスーパーチップモジュールに集積されている（図2）。CoWoS�\術は�i世代のA100でも使われた。

Nvidiaはファブレス半導��メーカーでありながら、コンピュータまで作り�屬欧討い�。今�vはDGX H100というAIコンピュータを��した。8個のH100 SXMモジュールがHGXボード�屬謀觝椶気譟�4個のNVLink スイッチチップでGPUを接��している。�QNVLinkスイッチ チップには3.6TFLOPSのSharpインネットワークコンピューティングが内�鼎気譴討い�。これは�A収したMellanoxのInfiniBand スイッチをベースに発��されたもの。Sharpはバンド幅を効率よく3倍まで広げることができるという。

図3　 Grace CPU Superchipと�}ばれるGPUを�U御するためのCPU　出�Z：Nvidia

DGX H100には8個のGPU����を�U御するためのCPUが��要となる。Huang��はCPU����としてGrace CPU Superchipと�@��けたCPUを開発（図3）、2チップ構成でDGX H100を�U御する。拡張性も�eたせているため、2チップ構成で最�j8個のH100 GPUを�U御したのがサーバーDGX H100である。2個のCPUは、900GB/sのNVLinkでつながっており、メモリバンド幅1Terabyte/sを実現している。このCPUには144個のコアが集積されている。

GPUチップ間を接��するのは、2個のネットワークモジュール。これは、それぞれ4つの400Gbps CX7 IBか、400Gbpsイーサネットワークチップを�△┐討い�。Connect X-7はネットワークスイッチであり、400 Gbit/sでGPUチップ間を接��する。CX-7チップはTSMCの7nmプロセスで作られた80億トランジスタを集積している。

AIコンピュータ、DGX H100には8個のGPUボードが接��されており、それらはNVLinkスイッチで接��されている。AI性�Δ箸靴�、32Peta FLOPSと驚異的な高さであり、搭載されたHBM3メモリは640GBにも及ぶ。そのメモリバンド幅は24 TeraBytes/sと広い。

このDGX H100コンピュータには拡張性があり、NVLinkでは最�j32��のDGXを接��できる。ここにNVLink スイッチシステムを�W��すると、�kつの巨�jな32ノードの256 GPU DGX PODにスケールアップできる。20.5 Tera バイトメモリのHBM3と、768 Terabyte/sのメモリバンド幅というとてつもない巨�jなシステムになる。ちなみにインターネット����のバンド幅が100Terabyte/s だという。こうしてできたDGX PODのAI性�Δ�、1 Exa FLOPSにもなる。

さらに、このDGX PODを18��接��したスーパーコンピュータEos（イオス）を�h価してみると、AI性�Δ蓮�18.4ExaFLOPSとなり、日本のスパコン「富�t」の4倍の性�Δ砲覆�。Eosでは、576��のDGX、4608個のH100 GPUが搭載されている。

参考�@料
1. "NVIDIA H100 Tensor Core GPU Architecture", Nvidia Whitepaper