ニュ〖ロチップ車棱 ×いよいよ染瞥攣の叫戎(3-3)
媽3鞠の3.3では、これまで倡券されたチップを、CNNとDNN/鏈馮圭霖に尸け尸梧している。それぞれのチップがどのような疤彌づけにあるのかも妄豺できるようにグラフ步している。媽3鞠のこれまでの徊雇獲瘟をまとめている。∈セミコンポ〖タル試礁技∷
螟莢¨ 傅染瞥攣妄供池甫墊センタ〖∈STARC∷/傅澎記 紗昆 芳
3.3チップ拉墻辦枉と禱窖弄ポジショニング
塑淚では、媽4鞠で棱湯する10改のチップを許庾できるように拉墻辦枉山を脫いて棱湯する。またグラフを脫いて稱チップの禱窖弄なポジションを績す。
山6 洛山弄ニュ〖ロチップ 慌屯辦枉
(1) 慌屯辦枉の柒推
山6の慌屯は孺秤弄そろいのよい灌謄を聯(lián)買した。チップコ〖ド嘆のなかで、IoE、DL/DI(Deep Learning/Deep Inference¨徊雇獲瘟86)、およびUI/UX(徊雇獲瘟87)は俠矢のタイトルから苞脫して炭嘆した。ほとんどのチップがASICである∈警し苞脫に市りがあった∷。まず鏈攣をCNNとDNN∈豆盜のDNN∷のカテゴリ〖に尸けている。霖菇喇∈C房とかCF房∷のタイプから冉們して企尸している。CNNのカテゴリ〖では霖菇喇C0房が3チップ、CF房が2チップである。
スタンフォ〖ド絡池のEIE(Energy Efficient Inference Engine¨徊雇獲瘟46)は、暗教禱窖∈Deep Compression 徊雇獲瘟45)脫の潑檢攙烯コア浮沮をモチ〖フとしたエンジンである。CF房ˇF房を灤據(jù)としているが肩に鏈馮圭霖を浮皮の灤據(jù)としている。このことからDNNのカテゴリ〖に掐れた。
DL/DIをどちらに掐れるかかなり搪ったが、DNN/鏈馮圭 池漿のグル〖プに掐れた。このチップはRBMを池漿の答塑とするDBN (Deep Brief Network)のネットモデルに決哈み∈Convolutional∷の緘恕を艱り掐れている。塑丸なら焊婁のCNNに掐れるべきだが、DBNを動拇するために春えて寶に掐れている。
山では謄惟つよう淡很していないが、TrueNorth(徊雇獲瘟84, 85)はこの山で停辦のクロスバ〖數(shù)及∈悸狠は簿鱗クロスバ〖數(shù)及もしくは簿鱗ニュ〖ロン數(shù)及¨箕尸充驢腳を脫いる¨5.1淚で棱湯∷であり、かつニュ〖ロモルフィックチップである。掐蝸と叫蝸がアレイ覺∈クロス覺∷に芹彌されその蛤爬が儡魯と腳みを山附する。
これに灤して戮はバス數(shù)及である。バスに遍換脫のコア∈PE¨Processing Engine/Element∷を事誤、もしくはアレイ覺∈澀妥に炳じてNoC¨Network on chipの烹很される∷に芹彌しデ〖タおよびパラメ〖タ∈フィルタ猛、腳み∷をバスから丁惦する。瓢侯クロックに孺毋して遍換廬刨は籠絡する。
メモリ寒很は腳妥なファクタ〖だ。DaDianNaoはバス數(shù)及であるが、オンチップのDRAMにパラメ〖タを呈羌することにより、パラメ〖タアクセス箕粗の沒教、さらにスケ〖ラビリティ〖の羹懼、そしてその馮蔡として決哈み霖はもとより鏈馮圭霖の遍換拉墻羹懼を納滇する。それだけに偽まらず瓢弄浩菇喇怠墻ˇ池漿怠墻をも烹很した填看弄なチップだ∈悸狠にはCAD悸劉まで∷。なおKAISTのDL/DIおよびUI/UXは鼎に池漿怠墻を烹很したチップである∈荒前ながら妄豺できるレベルの拒嘿攫鼠は給山されていない∷。
その戮、山として腳妥なポイントを懼げると、呵絡掐蝸肌傅眶に攙烯の憚滔が孺毋する。ShiDianNaoの掐蝸肌傅眶は1kであり、MNISTの32x32の掐蝸を胺う井憚滔なものだ。慌屯、毋えば久銳排蝸を孺秤する狠には呵絡の掐蝸肌傅眶にも廟罷が澀妥である。荒前ながら掐蝸の肌傅眶の淡很のないものもある。
暗教禱窖の烹很覺斗をビット眶と努脫刨のレベルで績した。毋えば↓はかなり絡がかりに暗教禱窖を努脫しているものを績す。EIEとIoEが尉禿である。暗教の拒嘿柒推に簇しては稿揭する∈4.3淚∷。なおEIE/IoEの悸跟ビット眶は淡很猛より傣尸絡きい。またTrueNorthは1bit(バイナリ¨呵奪はタ〖ナリ)と疚されているが、悸跟弄には箋闖驢い。
LSIとしての傣つかの拉墻を布檬にまとめた。拉墻を玻事びに孺秤するのは端めて錯副な眷圭がある。慌屯により絡きく恃わる。まずメモリ寒很の銅痰、池漿怠墻の銅痰、肌にネットの菇喇房∈C0/C1、第びCF/F房)、そして憚滔∈掐蝸肌傅眶∷により絡きく佰なるので偽罷が澀妥だ。
(2)稱チップのポジション
稱チップのポジションをわかりやすくするために、霖菇喇∈CONV霖/FC霖¨Fully Connected∷と暗教の銅痰で尸けマッピングした∈哭23∷。チップのコ〖ド嘆の玻にエネルギ〖跟唯∈GOPS/s/W∷を藕えた。その猛によりマ〖クの絡きさを恃えた。1TOPS/s/W笆懼だと絡きなマ〖クを蝗脫した。
また、山6にはないGoogleのTPU∈徊雇獲瘟、88∷をデ〖タとして裁えた。墊端の妨として、CNNのC0房のモデルであるSqueezeNet (Deep Compressionを努脫¨徊雇獲瘟50)、またNMT∈Neural Machine Translation¨ニュ〖ラル怠常溯條¨RNNモデルベ〖ス、徊雇獲瘟72、73∷にPruning禱窖を燒裁した馮蔡も裁えてある。さらにTrueNorthも芹彌した。暗教の渾爬から斧ると、スパイキングをPruning∈極瓢で乖っている∷、儡魯をバイナリ翁灰步、さらに腳みをクラスタ尸梧していると梧擊できると雇えた∈驢警痰妄があるが∷。
介袋(1×2鉗漣)のCNN、池漿怠墻を銅するもの、呵糠のCNN、さらにスタンフォ〖ド絡池捏晶のDeep Compression∈DC∷を努脫したものがわかるように、グル〖ピングした。
哭23 稱チップのポジショニング
媽3鞠では3.1淚×3.3淚にて、答塑弄な攙烯菇喇の答塑∈潑に決哈み霖∷に簇して棱湯を乖い、また呵奪∈2016鉗漣染∷までのニュ〖ロチップの車妥を討灣弄に棱湯した。肌鞠∈媽4鞠∷笆慣では、チップの拒嘿をCNN脫(4.1淚)、DNN脫(4.2淚)、そして暗教禱窖(4.3淚)を脫いたチップに尸けて棱湯する。
徊雇獲瘟 (1×55までは媽1鞠と媽2鞠を徊救)
- Jiantao Qiu, Jie Wang, Song Yao, Kaiyuan Guo, Boxun Li, Erjin Zhou, Jincheng Yu, Tianqi Tang, Ningyi Xu, Sen Song, Yu Wang and Huazhong Yang, "Going Deeper with Embedded FPGA Platform for Convolutional Neural Network",2016ACM pp.26-, FPGA'16, 藍糙絡池、Angel Eye, 2016222
- Jeff Gehlhaar, "Neuromorphic Processing: A New Frontier in Scaling Computer Architecture", ASPLOS'14:Architectural Support for Programming Languages and Operating Systems, http://www.cs.utah.edu/asplos14/files/Jeff_Gehlhaar_ASPLOS_Keynote.pdf, https://dl.acm.org/purchase.cfm?id=2564710&CFID=687971028&CFTOKEN=91213122、Qualcomm, Neuromorphic禱窖, 20140304.
- Qualcomm Snapdragon Blog, "Snapdragon 820 Automotive processors debut at CES 2016", Qualcomm, SD820A, 20160106.
- Qualcomm 慌屯今, "Qualcomm Snapdragon 820A: Industry's first automotive grade SoC with integrated X12 LTE modem", Qualcomm, SD820A慌屯今, 2016鉗.
- EETimes, Junko Yoshida, 排灰攫鼠、2016鉗1奉27泣, "Google's Deep Learning Comes to Movidius/ Moving machine vision from data centers to devices", MovidiousのGoogleとの鼎票倡券 券山 (インテル傾箭稿も極家ホ〖ムペ〖ジは恃わらず、DJIとのプロジェクト柒推も淡されている), 20160127.
- Product Brief, "Myriad 2 Vision Processor", Myriad2の車妥慌屯, 2014鉗7奉.
- Movidius家のHP, "Embedded Neural Network Compute Framework: Fathom", FathomおよびFathom USB Stick攫鼠, Movidius家, 2016鉗.
- TechCrunch Japan(泣塑胳)排灰攫鼠, "Movidius、海刨はFathomを券山-どんなデバイスもUSBスティックでニュ〖ラルネットワ〖クが網(wǎng)脫材墻", Fathom, Movidius家, 2016鉗4奉29泣.
- Movidius家ホ〖ムペ〖ジDJI, "DJI Unveils Mavic Pro Drone, Powered by Movidius", MA2155をDJI Droneに蝗脫、2016鉗9奉27泣.
- Movidius家ホ〖ムペ〖ジ, "Movidius + Intel = Vision for the Future of Autonomous Devices", VPU≤Intel RealSense, 20160905.
- Mike Demler, "Mobileye Increases Car EyeQ Computer-Vision Processors Will Enable Autonomous Vehicles", Microprocessor Report Insight Analysis of Processor Technologies, Mobileye, EyeQ4, 20150720.
- Press Release Details, "The Road to Full Autonomous Driving: Mobileye and STMicroelectronics to Develop EyeQ(R)5 System-on-Chip, Targeting Sensor Fusion Central Computer for Autonomous Vehicles", Mobileye, EyeQ5, 20160517.
- Nervana家のホ〖ムペ〖ジ, "NERVANA HAS JOINED INTEL", Nervana家、Intel圭駛、20160823(圭駛).
- Synopsys家ホ〖ムペ〖ジ, "DesignWare EV5x Vision Processors", EV5シリ〖ズ, Synopsys, 2015鉗3奉.
- Synopsys家Web, "Design Ware EV6x Embedded Vision Processors", もしくはhttp://www.synopsys.com/Japan/press-releases/Pages/20160601.aspx EV6シリ〖ズ、20160602.
- Jaehyeong Sim; Jun-Seok Park; Minhye Kim; Dongmyung Bae; Yeongjae Choi; Lee-Sup Kim, "A 1.42TOPS/W deep convolutional neural network recognition processor for intelligent IoE systems", 2016 IEEE International Solid-State Circuits Conference (ISSCC), Pages: 264 - 265, IoE, KAIST, 20160131.
- Abigail See, Minh-Thang Luong, and Christopher D. Manning, "Compression of Neural Machine Translation Models via Pruning", Stanford絡, NMT (Neural Machine Translation)へのPruning努脫, 20160629.
- Abigail See, "CS224N Final Project: Exploiting the Redundancy in Neural Machine Translation", Stanford絡, NMT (Neural Machine Translation)へのPruning呵介のアプリケ〖ションへの努脫, 2015鉗10奉孩.
- Danny Shapiro, "Automotive Innovators Motoring to NVIDIA DRIVE", NVIDIA Official Blog, NVIDIA DRIVE PX2, 20160104(CES).
- Wikipedia Multilayer perceptron (MLP)
- Geoffrey Hinton, A Practical Guide to Training Restricted Boltzmann Machines, トロント絡池の兜亨, RBM, 20100802.
- Ruslan Salakhutdinov, Geoffrey Hinton, "An Efficient Learning Procedure for Deep Boltzmann Machines", Neural Computation 24, 1967-2006 (2012), RBM, 2006鉗8奉24泣.
- Geoffrey E. Hinton, Simon Osindero, and Yee-Whye Teh, "A fast learning algorithm for deep belief nets", Journal Neural Computation archive, Volume 18 Issue 7, July 2006, Pages 1527 - 1554 MIT Press, DBN, 2017鉗7奉.
- Geoffrey E. Hinton; Ruslan R. Salakhutdinov, "Reducing the Dimensionality of Data with Neural Networks". Science 313 (5786): 504-507, Auto Encoder, 20060728.
- Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng, "Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations", Proceeding of the 26th Annual International Conference on Machine Learning ICML 2009, Pages 609-616, CDBN, 20090614.
- Zidong Du, Robert Fasthuber, Tianshi Chen, Paoio Ienne, Ling Li, Tao Luo, Xiaobing Feng, Yunji Chen, Olivier Temam, "ShiDianNao: Shifting Vision Processing Closer to the Sensor", CAS, University of CAS, EPFL, Inria∈フランス柜惟攫鼠池極瓢擴告甫墊疥∷, The 42nd International Symposium on Computer Architecture (ISCA42/2015∷, ShiDianNao, 2015鉗6奉13泣.
- Bernard Bosi, Guy Bois, and Yvon Savaria, "Reconfigurable pipelined 2D convolvers for fast digital signal processing", IEEE Trans. on Very Large Scale Integration (VLSI) Systems, 1999 Sep ;vol. 7 (no. 3): page 299-308, 浩菇喇材墻2Dのコンボルバ-.
- Vinayak Gokhale, Jonghoon Jin, Aysegul Dundar, Berin Martini, and Eugenio Culurciello, "A 240 G-ops/s Mobile Coprocessor for Deep Neural Networks (Invited Paper)", Computer Vision and Pattern Recognition Workshops (CVPRW 2014), 23 June 2014, Teradeep/nn-X, 2014623.
- Paul A. Merolla, John Arthur, Rodrigo Alvarez-Icaza, Andrew S. Cassidy, Jun Sawada, Nabil Imam, Steven K. Esser, Myron D. Flickner, Dharmendra S. Modha, "A million spiking-neuron integrated circuit with a scalable communication network and interface", Science 8 August 2014: Vol. 345 no. 6197 pp. 668-673, 花伙Scienceに很ったIBM, TrueNorth、20140808.
- TrueNorthの輸顱禱窖獲瘟, 2014鉗8奉8泣, http://www.sciencemag.org/content/suppl/2014/08/06/345.6197.668.DC1/Merolla.SM.rev1.pdf.
- Seong-Wook Park, Junyoung Park, Kyeongryeol Bong, Dongjoo Shin, Jinmook Lee, Sungpill Choi, Hoi-Jun Yoo, "An Energy-Efficient and Scalable Deep Learning/Inference Processor With Tetra-Parallel MIMD Architecture for Big Data Applications", IEEE Trans Biomedical Circuits Systems, vol.9, No.6 Dec 2015, PP.838-48, KAIST, DL/DI, ISSCC2015 4.6のFull Paper惹)、 2015鉗12奉9泣.
- Seongwook Park, Sungpill Choi, Jinmook Lee, Minseo Kim, Junyoung Park and Hoi-Jun Yoo, "A 126.1mW real-time natural UI/UX processor with embedded deep-learning core for low-power smart glasses Purchase", Solid-State Circuits Conference (ISSCC), 2016 IEEE International, 14.1, KAIST, UI/UX, 2016鉗1奉31泣.
- Norm Jouppi, "Google supercharges machine learning tasks with TPU custom chip", Google Cloud Platform Blog, May 18, 2016, Google, TPU, 2016鉗5奉18泣.
