AIの池漿ˇ夸俠に動いNvidiaが欄喇AIでも動い妄統
Nvidiaが染瞥攣メ〖カ〖の面で停辦、箕擦另馳1名ドルを畝えた。票家の2024鉗刨媽1煌染袋∈2023鉗2×4奉袋∷の卿懼馳はまだ漣鉗の垛馳にも茫しなかったにもかかわらず、肌の煌染袋卿懼馳を漣煌染袋孺53%籠の110帛ドルとの斧奶しを券山したためだ。その付瓢蝸は欄喇AI羹けのGPUだ。潑に呵光拉墻のH100というGPUの丁惦が顱りないため、欄喇AI度莢はチップを瀾隴するTSMCから界戎略ちを動いられている。
哭1 矢坍を妄豺して糠しいコンテンツを欄喇する欄喇AIの疤彌づけ 叫諾¨ Nvidia
これほどまでなぜNvidiaフィ〖バ〖が彈きているのか。Nvidiaの動さはGPU∈グラフィックスプロセッサ∷だけではない。GPU烹很コンピュ〖タシステムとAIに炳脫するためのソフトウエアも捏丁する。また、H100は帽なるGPUではない。欄喇AI∈哭1∷に澀妥な絡憚滔咐胳モデルを菇蜜するためのトランスフォ〖マ〖エンジンを礁姥しているという。すなわち、欄喇AIに羹いた漓脫攙烯を礁姥している。
24鉗刨媽1煌染袋のNvidiaの度烙は、卿懼馳だけを斧るとさほど謄惟ったものではなかった。漣煌染袋孺で19%籠とは咐っても漣鉗票袋孺では13%負というマイナスの71.9帛ドルにすぎなかった。ただ、卿懼馳のボトムであった2023鉗刨媽3煌染袋∈2022鉗8~10奉袋∷からは靳」に懼競してきてはいる。それが肌の煌染袋斧奶しが53%籠∞2%という睹佰弄な斧奶しを績したため、度烙券山稿の臭擦は締騙し、箕擦另馳が1名ドルに趨り、その稿畝えた。
バンクˇオブˇアメリカのアナリストは、ITメジャ〖をもはやGAFAMでは山附できず、Google、Amazon、Facebook ∈Meta∷、Apple、MicrosoftにTeslaとNvidiaを裁え、Magnificent Seven∈拔絡な7家∷と山附した。悸は、Magnificent Sevenという嘆疚は、1960鉗洛の鼻茶≈褂填の擠客∽の付瑪である。搶癱のためにならず莢たちと里った挺丹ある7客をたたえた、輥叻湯雌頗の≈擠客の圾∽をモデルとしている。
Nvidiaは謄の漣のH100というGPUの欄緩だけに礁面しているのではない。H100の肌坤洛惹とでもいうべき、GH200というCPUとGPUを1パッケ〖ジに烹很しSuperchipと山附された≈Grace Hopper∽∈哭2∷の活侯も券山し、肌のレベルの欄喇AIにも灤炳していることを呵奪のComputex-Taipeiで券山している。この呵糠チップ≈Grace Hopper∽では1名パラメ〖タの絡憚滔咐胳モデルにも灤炳できるという。ChatGPTに蝗われたGPT-3では1750帛パラメ〖タというとてつもないと蛔われた絡憚滔咐胳モデルのさらに辦峰絡きな叼絡なモデルの池漿も材墻にするチップである。
哭2 呵光拉墻を灑えた糠しいSuperchipの≈Grace Hopper∽ Computex Taipeiで券山され海鉗鉗瑣までに叫操される徒年 叫諾¨Nvidia
Grace HopperはCPU∈Grace∷とGPU∈H100∷を辦つのパッケ〖ジに烹很した叼絡なチップであるが、チップサイズをNvidiaは給倡していない。CPUにはArm Neoverse V2コアを72改礁姥しており、GPUとはPCIe 5.0よりも7擒光廬のNVLink-C2Cでつながっており、900GB/sというバンド升を悸附している。GPUのメモリとCPUのメモリ柒推が票じというメモリコヒ〖レンスも悸附している。
トランスフォ〖マ〖エンジンとは、欄喇AIを悸附するためのトランスフォ〖マ〖モデル漓脫攙烯で、掐蝸される咐胳を妄豺するエンコ〖ダ攙烯と、咐胳を欄喇するデコ〖ダ攙烯からできている∈哭3∷。いずれの攙烯とも掐蝸デ〖タを稱嬸尸に尸豺しそれぞれの腳妥刨に炳じて腳み燒けされるアテンションメカニズムを瞥掐したディ〖プニュ〖ラルネットワ〖クモデルである。
哭3 トランスフォ〖マ〖エンジン 掐蝸される咐胳を妄豺するエンコ〖ダ攙烯と、咐胳を欄喇するデコ〖ダ攙烯で叫丸ている 叫諾¨Nvidia
デコ〖ダ、エンコ〖ダ柒嬸の稱レイヤ〖の借妄を部ビットで遍換するのか、FP16∈16ビットの赦瓢井眶爬∷かFP8∈8ビットの赦瓢井眶爬∷か、を努磊に磊り侖えることで、借妄廬刨と籃刨のバランスをとりながら、絡憚滔咐胳モデルに灤炳しているという。ここにNvidiaのノウハウがあるようだ。
Nvidiaは、クラウドを奶じてAIトレ〖ニングサ〖ビスを捏丁しており、拉墻羹懼を毀辯する票家のAIエキスパ〖トの毀辯も減けられる。Microsoft AzureやGoogle Cloudなどを奶じて捏丁される。デ〖タ箭礁から幌めて欄喇AIモデルを菇蜜し、池漿やモデルのカスタマイズ、夸俠の光廬步に裁え、稍努磊な攫鼠∈市りと魄拉∷を怯近し罷哭に辮った攫鼠だけを奸るガ〖ドレ〖ルまで乖うNeMoフレ〖ムワ〖クもクラウドベ〖スで捏丁している。
Nvidiaは、もはやファブレスチップ肋紛措度から、モジュ〖ルやサ〖バ〖も肋紛し、それらをつなげて橙磨するネットワ〖クチップやインタ〖フェイスも捏丁し、ス〖パ〖コンピュ〖タを悸附するための毀辯も乖うコンピュ〖タメ〖カ〖になったといえそうだ。
