Semiconductor Portal

» 寄M » 寄M(半導応)

ニューロチップ?y│n)癲 舛い茲い菷焼の出?1-1)

クラウドW(w┌ng)のIoTシステムの進tと、ビッグデータ解析、Google検索などから人工(m┬ng)ΑArtificial Intelligence)やコグニティブコンピューティングがR`されるようになってきた。学{機Δ魴eつ人工(m┬ng)Δ任魯縫紂璽薀襯優奪肇錙璽のモデルで学{機Α淵妊ープラーニング)を実現している。AIのカギとなるニューラルネットワークのアーキテクチャはもちろん、シリコン半導屬房存修垢襦この寄Mでは、元半導理工学研|センター(STARC)/東の半導エンジニアであった瀬啓(hu━)がニューロチップについて解説する。(セミコンポータル集室)

著v: 元半導理工学研|センター(STARC)/元東 瀬 啓

はじめに
ここ1〜2Qのディープラーニングの進tはすばらしく、押し寄せるSはまさに「ディープインパクト」である。認識(映機音m、データ)でも運動でもエンドツーエンドで処理を行うようになる。入(エンド)と出(エンド)の間には「邸廚離▲襯乾螢坤爐癲⊃Q来世cを配した運動(sh┫)式も見えなくなり、蜂や鳥の様にドローン(進化型)が}(c─ng)畑や林の中を飛びvるようになる。あっという間の進化のスピードによって「びっくりポン」X(ju└)になる。さらにこれからはO慢の鼎龍\も不要となり、このままでは噞・\術・個人レベルでのイノベーションジレンマが発據⊇j(lu┛)きなディープインパクトに飲まれてしまいそうだ。

より素]く(2桁以屬硫)、より詳細で(コンテンツ認識)、魅的な(合成、色彩け等)、Uの深さがある(H入)、しかも動きを捉えO化可Δ箸垢襦淵泪襯船癲璽瀬襦剖砲瓩噸l(shu┴)かな認識\術が確立されている。さらにこの成功が引き金となり、よりO性を(d┛ng)化する学{(sh┫)法((d┛ng)化学{)が加わり、新しい運動法А淵┘鵐疋帖璽┘鵐鼻Ε蕁璽縫鵐亜砲デビュー(完成)する。人間の(m┬ng)識・(m┬ng)Lを{u(p┴ng)するまでに至っておらず人工(m┬ng)Δ猟困から見ると2〜3合`でしかないが、j(lu┛)きなビジネスチャンスをeつベースキャンプの入口に立っているX(ju└)だといえる。

さらにJTの半導関連\術に瓦垢霾的かつ包括的な見直しも魅的である。例えば映気任離┘鵐魁璽鼻▲妊魁璽鼻▲肇薀鵐好魁璽鼻合成、トランスフォーム(Morphing)、検索、ノイズ除去等々を、ディープラーニングで再構築することも楽しいかもしれない(Jにやられている?)。音m、データでも同様で、また長Qの課も解できるかもしれない。センシングから認識の霾を包括的に見直すことも興味ある課である。ニューロモルフィック/ニューロインフォマティクスや、骰n虫まで野に入れたバイオミメティクスへのRがキーとなる。

本報告の主張はサブタイトルにあるように「いよいよ満をeしての半導の出番」である。サーバーUはもとより、エッジUへのt開が始まる。O運動UやモバイルユビキタスU、さらには環境U(IoT・・・)とHくの分野にS及しよう。また今後の半導の戦術・戦S策定の作業のM(j━n)bとなればmいだと考えている(R(ji─n)1)。その策定スコープはQ々のx場覦茲砲ける群「メモリ、メモリ混載、b理LSI(CPU・GPU・FPGA・カスタム)、IP、センサとの融合等」、および\術(材料、デバイス、v路、パッケージ/組み立て等)、さらにはx場・動向に及ぶ。

この記は、Hくの関係vに直接的、間接的にご教bいただいた内容をベースとしている。に2つの流派「N型機械学{ハードウェア(すなわちディープラーニング)とニューロモルフィック工学」のT在の認識は、半導\術vとして把(┐i)のための基礎(m┬ng)識として_要である(参考@料1)。以下のように分けて報告を予定している。

1章・・・ニューロチップをDり巻く況〜いよいよ半導の出番(1-1)
    ニューロチップをDり巻く況〜いよいよ半導の出番(1-2)
2章・・・ディープ・ニューラルネットワークのニューロチップへの実◆舛修隆所は!!〜
3章・・・v路アーキテクチャ、デバイス、そして(j┤ng)来動向(仮)

1章では、ディープラーイング、ニューロチップの昨今のX(ju└)況に関して?y│n)發垢襦?章は、今v~単に紹介するニューロチップからみたアプリケーションの的な機Α及び実△気譴討い襯▲襯乾螢坤爐亡悗靴堂Δ辺J(r┬n)囲でまとめて報告予定である。3章では、より半導にZいスタンスで報告する。なお、_要な語に関して、(語解説)をつけたので予めごk読いただきたい。

語解説
ニューラルネットワーク、ディープラーニング: ニューラルネットワークに関しては、ニューロモルフィック(主にスパイキングニューラルネットワーク)も含めて広いJ(r┬n)囲に適可Δ蔽語だが、昨今はディープラーニングとTびつけて語られる関係からかなり狭IなT味として使われているようだ。りのない限りディープラーニングとニューラルネットワークは同じ仲間の言として使する。
学{(learning)と実行(inference):英語に関して学{はtraining/learningである。実行は主にinference(他にExecution/running)が使われる。この関係から、実行の代わりにまれに推b(inference)が日本語で使われることもある。実行は瞬間的に終わるが、学{は106〜1010倍ほど時間がXかる。パラメータ数×学{v数(収Jまで)×(学{のサンプル)×α(|々の](m└i)縮テクニック)。
教師~り学{(supervised)と教師無し学{(unsupervised):今vの解説記では、りのない限り「教師~り学{」を扱う。国が教師を育成し、学鬚任修龍技佞学擇(d┛ng)をさせて覚え込ませるが、その学擇実社会にでて働く(実行)わけである(実際は教師の代わりに教師パターンを使して学{する)。脱線するが、2012Q(今振り返るとW下分け`のQ)以T下?x━)になっている「教師無し学{」を見直そうという機運がこっている様である。
サーバーとエッジ:サーバーでは、学{(実行も)を如何に高]に行えるか! が唯k最j(lu┛)の関心である。エッジ笋任蓮⊆孫圓主で、高]性よりも低消Jなり、要なv路模が関心となる。(R:エッジリッチ/分g学{の考え(sh┫)もある:参考@料2)

1章:ニューロチップをDり巻く況 〜いよいよ半導の出番
1.1 アルゴリズム進化/システム応の広がりは指数関数的
1.2 満をeして半導登場
1.3 エッジUでのビジネスt開が加] 〜Z、ドローン、ロボット OUのDり込みも〜
1.4 低消J電化
1.5 2つの流派があることを常に認識しておく要がある
1.6 まだ2合`、3合`に到達した段階

1.1 アルゴリズム進化/システム応の広がりは指数関数的
繰り返しになるが、アルゴリズムの進歩とその応実証t開の]さは、ディープラーニングの最i線の\術vの(sh┫)さえ驚くほど、加]度的に進歩しているのではないかと思う。課解までの]さ、学会(含むariXiv)b文のP数や進化の度合い、世c・日本Q地でぽんぽんと発信されるAI関連の研|所の動、そういった情報も含んだウェブ屬任隆慙記の遭遇の頻度の\加等、まさしく肌(頭で)で進化の度合い(イメージとしては世cで何万、何暇のディープラーニング\術vが寝食を忘れてうごめいているX(ju└)況)を感じる。その勢いは2016Qに入りますますしくなっている。うごめきは万人模のような、いわゆる指数関数的である。
その感覚を定量的に(j┤)しているものが、Googleが2015Q頃より紹介している「Growing use of deep learning at Google」なる図である。オリジナルはGoogleの講演@料(参考@料3)、NIPS2015のキーノートスピーチ(参考@料4)を参照していただきたい。ディープラーニングのモデルを含むディレクトリー数の2012Qからの\加をグラフにしたものだ。その値を転載したグラフが図1(a)の嵜泙峺(j━ng)線(白線)となる。2015Qから2016QにXけて指数関数的に\加、見ようによっては今が異点にも見える(ただし、白文C(j┤)の機ΡはずしもGoogleとは関係していない?zh┳n)舛盍泙鵑任い襦法?

図1: (a) 2012Q以Tのディープラーニングのt開のトレンドおよびフレームワークの普及/(b)2012Q以TのILSVRCでのエラー率 改の推
図1: (a) 2012Q以Tのディープラーニングのt開のトレンドおよびフレームワークの普及
  (b) 2012Q以TのILSVRCでのエラー率 改の推

この異点を考えるときに、要因はよく言われているように(参考@料7)以下になる。
1.Imagenetの貢献・・・R越した組E(ラベルきイメージ約1400万を擁する\会)
2.CNNアルゴリズム等・・・良きアルゴリズム
3.GPGPUの貢献・・・良きハード
4.フレームワークの貢献・・・良きソフト
   -CNN:主に画鞠Ъ叡に使われるQ込みニューラルネットワーク(Convolutional Neural Network)
   -Imagenet:ImageNet Large Scale Visual Recognition Competition ILSVRC 画鞠Ъ韻離リンピック。
いくつもの\があり、今vデータとして使っているのは100m\にも匹發垢k般認識

図1(b)に、ImagenetでのCNNをベースとしたネットワークでのk般認識のエラー率(1000クラスの仕分け、Top-5 Error)の2012QのAlex Net以Tの推,鮨(j┤)す。Alex NetのNIPS2012での会場の雰囲気に関しては(参考@料5)が詳しい。またHくの\術著書/\術情報等がある(参考@料6、7)。この記念碑的ネットワークを原点として、エラー率は改、2015Qには人間のエラー率5.1%を越えた。ディープラーニングの基本的な\術革新(図中のuC(j┤):ReLu、Dropout・・・)にQ機関の改努(VGG Net/GoogLeNet等々)がもたらしたためである。今後はM易度が高くなるのでないかという気がする(R(ji─n)2)。

この画鞠Ъ韻CNNが磨かれて来ると同時に、もうkつのアルゴリズムの進化の軸として機性の向屬ある。その機性の向屬髻⊃1(b)の曲線の笋傍している。にCNNの脇をwめる高機Σ修鰆`指したアルゴリズムの進化(Hくは1980Q代の発がその元)が、応のJ(r┬n)囲をk層広げている。

この進化の(c┬)で_要な点に、アルゴリズムを実世c屬縫┘潺絅譟璽箸垢襯愁侫肇ΕД▲帖璽襪任△襯侫譟璽爛錙璽のT在がある。図1(a)の笋8つほどのフレームワークを点在、また実際にツールを実△靴真佑凌与瑤廉[定トレンドを(j┤)した。去Qより、日本のPFN 社(株式会社Preferred Network)のChainer、GoogleのTensorFlow、MSのCNTK、さらに5月のAmazonのDSSTNEとこぞってオープン化されている。これらフレームワークにはJTのネットワークがライブラリーとして入っているものもHくPythonに関して(m┬ng)識のある\術vなら今日からでも、著@なネットワーク(例えばAlexNet)をO分のパソコン屬房△任る(参考@料8)。このT果、ディープラーニングにタッチした\術vは世cで万人(参考@料9)を軽く越えたと予[している。

を茲垢襪肇妊ープラーニングの仕様と(sh┫)向性は以下の様にwまってきている。
- フェーズ1 (2012Q)・・・CNN 画鞠Ъ韻砲いてAlexNetがImagenetでiQを?j┼n)vる解率を達成
- フェーズ2 (2014Q)・・・CNNの}法改良と、CNNの脇をwめるアルゴリズムの進化とOUの適
           RNN (Recurrent neural network)・・・再帰型ニューラルネット(時U`データ処理)
           RL (Reinforcement learning)・・・(d┛ng)化学{(行動パターンの(d┛ng)化)
- フェーズ3 (2015Q〜) フレームワークのオープン化 Chainer、Tesorflow、CNTKなど

これらをQステップとして、現在の2016Qが異点を迎えていると考えることができる。

さて、この流れでハードウェア、半導のポジションはどうなのかがポイントとなる。 - フェーズ4 (201xQ) ハードウェア(・・・)

この分野は現時点NVIDIAのGPGPU/FPGAが使われている。この点に関しては次Iで説する。

1.2 満をeして半導登場
図2にニューロチップ関連(含:GPU/FPGA)の最Zの動向を(j┤)す。`的別に3|類に分けられる。

  1. N神経科学理解のためのニューロモルフィック(様)チップ:神経ネットワークモデルを集積v路屬忘胴獣曚靴撞佞頬N機Δ魏しようとすることを`的としたシミュレータ・エミュレータチップ(参考@料1および 次v1.5I)。Nの高性Α高機性の実可性を秘めた分野である。にIBMのTrueNorthはエッジ応(とりあえずは)をターゲットとしたフラッグチップとしての性格もeち合わせている(R(ji─n)3)。なお、デバイス開発は発で昨Q12月のIEDMでは2つのセッションがこの分野関連となっていた。
  2. エッジチップ:実行が主で低消J電性が要である。今Qに入り発表がに\えている。次v少し詳しく述べる。学{が1チップある(KAIST2015 ISSCC)。
  3. サーバーチップ:学{で高]性がk。データセンターで、来のCPUからGPGPUもしくはFPGAに切りわりつつある。メモリバンド幅を拡j(lu┛)した(sh┫)式(HBM2→P100、Xilinx)が\術の`玉である。それ以外は、中国科学院(CAS)のDaDianNaoで、2014Q12月(MICRO47)に発表されたDRAM混載の学{チップ(Machine Learning Super Computer: CADベース、チップ化は画のみ)である。最新のTeslaベースのGPU(P100)よりも10倍度の高]性があり、パワーもk桁以崗さい。また5月18日のGoogle I/O 2016にてGoogleのカスタムチップTPU (Tensor Processing Unit:Tesorflowに官)に関しての発表(チップは1Qi)があったが詳細は次v以Tに報告する予定。

図2: ニューロチップ関連の最Zのトレンド
図2: ニューロチップ関連の最Zのトレンド

(2016/06/08)


R(ji─n)1:[定x場、機Δ犯焼関連の項との関連図。 ◎・・・~り、○・・・可性~り、空白・・・不
R(ji─n)1:[定x場、機Δ犯焼関連の項との関連図。

R(ji─n)2:人間の画気離ラス分けの認識(例えば、この^真は野良猫ではなくシャム猫だ!と当てる。実際は1000クラスの仕分け、Top-5 Error)ξがエラー率5.1%のようだが(参考@料7)、そもそも解(Ground Truth)も人間(1@のT果?)が与えているので5.1%以下は解にも確率(ガウス分布)がXかっているはず。ということでj(lu┛)雑把に1σ位の3.4%を異点としてグラフはプロットしている。ZづけばM易度がぐっと高くなるはず。今後は他の\|`が豸を浴びるのかもしれない。

R(ji─n)3:ニューロモルフィックチップの工学的実化をめざし、別の流派であるディープラーニングの\法の適を`指す動きがある。その際に2つの課がある。誤差逆伝鯔 BP法:Back Propagation」の適実証とバイナリー値の定量的解(ji─n)である。ここ数ヵ月(2015Q11月〜16Q4月)、IBM Oらまた、モントリオールj(lu┛)学(Bengio教bのグループ:Binary Connect/Binarized network)等の研|でi進が見られ、二つの流派に架け橋ができそうな雰囲気がある。なお、ディープラーニングとの架け橋が要かどうかも議bの余地のある点である。

参考@料

  1. 浅井哲也, 「ニューロモルフィック工学・N型機械学{ハードウェアの行(sh┫)」, 日本神経v路学会誌, Vol. 22 (2015) No. 4 p. 162-169. 2015Q12月
  2. K野原j(lu┛)輔, 「今後10Qの情報処理アーキテクチャーを探る」, 日経エレクトロニクス, 95〜105頁, 2015Q5月(gu┤)。
  3. 佐藤k憲, “Machine Intelligence at Google Scale: Vision/Speech API, TensorFlow and Cloud Machine Learning”, 2016Q4月4日
  4. Jeff Dean and Oriol Vinyals, “Large Scale Distributed Systems for Training Neural Networks”, NIPS 2015 Tutorial
  5. 佐藤育r, 「ディープラーニングのZ載応にむけて」, 2016Q1月8日
  6. K谷Q之, 「深層学{」 (機械学{プロフェッショナルシリーズ)、講i社、2015Q4月8日。
  7. 中儕凛`, 「深層Qみ込みニューラルネットワークによる画徴抽出と転ヽ{」, 電子情報通信学会音m研|会7月研|会, 2015. http://www.nlab.ci.i.u-tokyo.ac.jp/pdf/CNN_survey.pdf 2015Q7月。
  8. 儔捨官I, 「イラストで学ぶディープラーニング」, KS情報科学専門書, 講i社, 2016Q2月22日。
  9. ITmediaニュース, 「GoogleとUDACITY、「TensorFlow」で学ぶディープラーニング講座を開設」, UDACITYp講vは100万人を越えた, 2016Q1月22日。
ごT見・ご感[
麼嫋岌幃学庁医 牽旋篇撞及匯匈| 槻溺xx00強蓑夕120昼| 涙鷹繁曇娼瞳匯曝屈曝眉曝消消| 冉巖忽恢撹繁娼瞳消消| 娼瞳匯曝屈曝消消消消消消利嫋| 涙鷹a雫谷頭晩昆娼瞳| 繁曇涙鷹a▲音触嶄猟忖鳥| 冉巖弼夕励埖爺| 壓瀾盃淅乏謬舐依嫋弼www| 叫奨犯紗責曳涙鷹富絃| 晩云怜匚窒継牽旋篇撞| 冉巖av互賠匯曝屈曝眉曝| 天胆嶷笥駄単video| 窒継岱尖戴壓濂シ| 忽恢來匚匚匚敢匚匚訪| 忽恢秉97当当篇撞VA当当心| yellow篇撞窒継心| 奄狭勧箪壓瀏訖| 消消繁繁訪繁繁訪繁繁頭dvd| 牽旋篇撞及匯曝| 覯娼瞳匯瞳屈曝眉曝| 97消消娼瞳繁曇繁繁滲繁繁螺 | 叫奨犯匯娼瞳涙鷹av| 晩云音触匯屈眉| 消消娼瞳晩晩夊匚匚夊天胆| 天胆匯雫互賠頭壓| 冉巖晩昆天胆忝栽| 卅繁窒継壓濆杰| 3d涙孳飢h扉強只壓濂シ| 晩昆娼瞳繁曇狼双涙鷹廨曝| 冉巖晩昆嶄猟忖鳥爺銘音触| 囁苫妖2岻囁溺伉将| 忽恢溺繁訪議送邦谷頭| 及匯牽旋壓濆杰| 忽恢娼瞳胆溺岱徨戴互| 99忽恢娼瞳涙鷹| 爺銘仟井彿坿嶄猟恷仟井和墮仇峽| 匯曝屈曝壓瀛啼宜杰| 撹繁窒継匯雫頭| 戟諾富絃瓜値倉序秘涙鷹 | 忽恢忝栽弼壓瀛啼|