客供夢墻への蘋∈1∷¨ニュ〖ラルネットワ〖クとCAMの梧擊拉
僧莢は、4奉瑣に、1客で井さな柴家を彈こした。2019鉗瑣に40鉗奪く緞めていた措度を鑼家して笆丸、嘆混も疥擄もない覺輪の≈稍旁圭∽を肌」と悸炊し瘋們した。家嘆は、≈攫鼠琵圭禱窖甫墊圭票柴家∽とした。肋惟謄弄は、≈郟隨浮瑚攙烯をスケ〖ルアップする禱窖∽をまとめ、坤に啼うためである。塑ブログでは、その禱窖にこだわりを積つに魂った沸稗を淡很したい。
CAMと息鱗メモリとAssociative Memory
僧莢は、1990鉗洛瑣に、浮瑚攙烯の浮皮を渴めた沸賦を積つ。メモリの肋紛嬸嚏への疥擄が墓かったが、DRAM禍度の乖き低まりの逼讀を減け、糠肋のロジック睛墑羹けのDRAM寒很ASICの倡券に佰瓢となり、グラフィックスやネットワ〖クˇアプリで澀妥とされる絡(luò)推翁メモリとロジックの寒很禱窖の么碰となった。DRAM房のCAM∈Content Addressable Memory∷も、そのタ〖ゲットの辦つであった∈徊雇獲瘟1∷。
碰箕のCAMは湯らかに券鷗龐懼の禱窖であった。その瓢侯は、RAMの瓢侯の嫡である。 RAMが、アドレスを掐蝸しデ〖タを叫蝸するのに灤し、CAMは、デ〖タを掐蝸しアドレスを叫蝸する。 その瓢侯のことを浮瑚∈Search∷と鈣ぶ。 徒め、CAMに判峽しておくデ〖タは、毋えば、MACアドレスやIPアドレス霹である、浮瑚してみて踏だ判峽されていないことが冉湯した眷圭には、極瓢弄にそのアドレスを判峽するという≈極圍池漿∽する怠墻を積っており、僧莢には潤撅に胎蝸弄な禱窖と蛔えた∈廟1∷。 CAMの極圍池漿怠墻はFeed-Forward房であり、ヘブ∈Hebb∷池漿∈廟2∷を山附する數(shù)及へと橙磨させうる。
CAMは、泣塑胳では息鱗メモリと鈣ばれることが驢い。 しかし稍蛔的なことに、≈息鱗メモリ∽を浩刨毖條すると、∪Associative Memory∩となり、眶妄琵紛薔彩池や攫鼠傣部池の料幌莢である磁網(wǎng)接辦黎欄、ネオコグニトロンの省噴水騷黎欄や、アソシアトロンの面填塵黎欄の嘆漣が附れるニュ〖ラルネットワ〖クの坤腸である。僧莢は、CAMからスタ〖トし、ニュ〖ラルネットワ〖クの坤腸を忱粗斧ることとなった。
CAMとニュ〖ラルネットワ〖ク攙烯
僧莢は、CAMとニュ〖ラルネットワ〖クは、答塑瓢侯としては霹擦な攙烯であると蛔っているが、尉莢の粗には稍蛔的なほどにすれ般いがある。捶毋によると、ニュ〖ラルネットワ〖クを山附する攙烯は、哭1Aのように、焊收婁から垮士數(shù)羹に漣檬ニュ〖ロンの即瑚をモデル步した芹俐を苞き、その即瑚とシナプス儡圭する肌檬ニュ〖ロンのソ〖マ∈嘿甩攣柒で乖われる潤俐妨瓢侯をモデル步した攙烯∷を布收に芹彌するのが辦忍弄である。
辦數(shù)、CAMでは、これらの芹彌を瓤箕紛件りに90刨攙啪させて山淡する。漣檬の即瑚に鱗年する芹俐が浮瑚俐∈サ〖チ俐∷であり、布收に芹彌し、辦米冉年脫のセンス攙烯を?qū)毷栅饲蹚洡工搿士?B∷。
哭1 ニュ〖ラルネットワ〖クモデルとCAM攙烯。 A∈焊∷のニュ〖ラルネットワ〖クモデルを瓤箕紛件りに90刨攙啪させると、B∈寶∷のCAM攙烯と霹擦な攙烯となる。
フィンランドのTeuvo Kohonenは、銅嘆な螟侯∈徊雇獲瘟2∷の面で、≈ニュ〖ラルネットワ〖ク甫墊莢は、コンピュ〖タに蝗われるCAMという攙烯を夢らなかった∽と淡しているが、そのような罷嘲な沸稗で、尉莢の攙烯淡揭が般ってきたのだろうと蛔う。CAM禱窖を徊雇としなかったばかりに、ニュ〖ラルネットワ〖クの排灰攙烯步の倡券プロセスは斌攙りをしてしまったとの千急があったのではないだろうか。
答塑弄なニュ〖ラルネットワ〖クでは、シナプス儡圭猛∈W∷と漣檬即瑚からの掐蝸∈X∷の粗で{Σ(wi∵Xi)}という柒姥紛換を乖い、その猛と≈バイアス猛を罷蹋するリファレンス猛∽と孺秤して、その汗尸を?qū)櫪酱乜簸莿h擦する。∈概諾弄なモデルでは、プラスの箕には券殘し、マイナスの眷圭には券殘させない∷。
CAMの眷圭には、{Σ(wi∵Xi)}の猛がゼロであればMatch∈辦米∷と胺い、賴の猛ではMis-Match∈稍辦米∷とする。もし、CAMのMatch冉年箕に、{Σ(wi∵Xi)}の猛が、≈リファレンス猛∽笆布の眷圭には券殘し、笆懼であれば券殘させないとすると、ニュ〖ラルネットワ〖クと票じとなる。そのようなCAMは、Exact-Matchではなくとも、≈鑭猛で肋年した鎳刨笆懼に辦米するか、容か∽を冉年することになり、≈郟隨浮瑚∈Approximate Search∷攙烯∽とでも鈣びうる怠墻を積つこととなる。
その眷圭、辦米の鎳刨は、掐蝸デ〖タが侯るベクトルと、判峽デ〖タが侯るベクトルの粗の≈調(diào)違∽を柒姥で年盜することになり、辦米刨が光い箕に券殘する眷圭、ニュ〖ラルネットワ〖クの瓢侯と票じとなる。
悸狠には、{Σ(wi∵Xi)}を菇喇するwiやXiという猛の脒拇をどのように山附するか、また、その猛をリファレンス猛と孺秤するにはどうすれば紊いかという嘿かな悸劉懼の啼瑪があり、附悸弄な攙烯を菇喇するには供勺が澀妥である。僧莢は、wiや Xi ≈リファレンス猛∽霹の猛を鏈てディジタルとすべきと雇え、その郟隨浮瑚攙烯の數(shù)及を2000鉗に潑釣叫搓した。
スケ〖ルアップ禱窖
ニュ〖ラルネットワ〖クを山附する排灰攙烯には、スケ〖ラブル∈Scalable∷であることが滇められる。 票じア〖キテクチャで、事誤刨を光めることによって、攙烯憚滔を橙絡(luò)させたいからである。攙烯をスケ〖ラブルとする怠墻は、ネットワ〖ク怠墻でもあるはずだ。
僧莢は、ヘブ池漿を山附する墻蝸を裁えた郟隨浮瑚攙烯は、ニュ〖ラルネットワ〖クを超霖弄に山附する攙烯數(shù)及として胎蝸弄だと雇え、糠憚に彈こした柴家の面でそのネットワ〖ク禱窖をまとめるつもりでいる。
廟
1. CAMに判峽しておくデ〖タを、≈ハッシュˇテ〖ブルである∽とか、≈靠妄猛山である∽と鈣べると蛔えるが、ここでは、そのような斧數(shù)については考掐りしない。
2. ヘブ∈Hebb∷摟の棱湯を,Teuvo Kohonenの螟侯∈徊雇獲瘟2∷より苞脫すると,≈嘿甩Aの即瑚が嘿甩Bを督食させるのに澆尸奪くにある箕,そして,帆り手しまたは含丹動くBを券殘させようとしている箕,ある喇墓冊鎳または洛頰の恃步が1つまたは尉數(shù)の嘿甩で彈こる。このようにしてBを券殘する嘿甩の辦つとしてのAの跟唯は籠裁する∽とある。 つまり、≈券殘することにより、シナプス儡圭動刨を罷蹋する馮圭パラメ〖タ猛が絡(luò)きくなる∽との坷沸欄妄池懼の沸賦摟をいう。
徊雇獲瘟
1. J.G. Delgado-Frias (State University of New York), et. al., ∪A Dynamic Content Addressable Memory Using a 4-Transistor Cell∩, International Workshop on Design of Mixed-Mode Integrated Circuits and Applications, 1999.
2. Teuvo. Kohonen螟〃≈Self-Organization Maps∈極甘寥駿步マップ∷∽、Springer穿、1995 鉗(介惹)、1997鉗(媽2惹)、2001鉗(媽3惹)。
