人工��(m┬ng)�Δ悗量O（1）：ニューラルネットワークとCAMの類��性
筆�vは、4月��に、1人で小さな会社を��こした。2019�Q��に40�Q�Zく��めていた企業を��社して以来、�@詞も所�錣發覆びX(ju└)��の「不都合」を次々と実感し����した。社�@は、「情報統合�\術研�|合同会社」とした。設立�`的は、「�P�S検索�v路をスケールアップする�\術」をまとめ、世に問うためである。本ブログでは、その�\術にこだわりを�eつに至った経緯を記載したい。
CAMと連�[メモリとAssociative Memory
筆�vは、1990�Q代��に、検索�v路の検討を進めた経�xを�eつ。メモリの設���靆腓悗僚��錣�長かったが、DRAM��業の行き詰まりの影�xを�pけ、新設のロジック商��向けのDRAM混載ASICの開発に異動となり、グラフィックスやネットワーク・アプリで��要とされる�j(lu┛)容量メモリとロジックの混載�\術の担当となった。DRAM型のCAM（Content Addressable Memory）も、そのターゲットの�kつであった（参考�@料1）。
当時のCAMは��らかに発�t���屬龍\術であった。その動作は、RAMの動作の逆である。 RAMが、アドレスを入��しデータを出��するのに�瓦掘�CAMは、データを入��しアドレスを出��する。 その動作のことを検索（Search）と�}ぶ。 予め、CAMに登�{しておくデータは、例えば、MACアドレスやIPアドレス等である、検索してみて未だ登�{されていないことが判��した場合には、�O動的にそのアドレスを登�{するという「�O��学�{」する機�Δ魴eっており、筆�vには��(r┫n)常に魅��的な�\術と思えた（�R1）。 CAMの�O��学�{機�Δ�Feed-Forward型であり、ヘブ（Hebb）学�{（�R2）を表現する��(sh┫)式へと拡張させうる。
CAMは、日本語では連�[メモリと�}ばれることが�Hい。 しかし不思議なことに、「連�[メモリ」を再度英�lすると、“Associative Memory”となり、数理統���N科学や情報幾何学の創始�vである甘�W(w┌ng)俊�k先�據▲優�コグニトロンの福��邦�}先�擇筺▲▲愁轡▲肇蹈鵑涼飜��m先�擇��@�iが現れるニューラルネットワークの世�cである。筆�vは、CAMからスタートし、ニューラルネットワークの世�cを垣間見ることとなった。
CAMとニューラルネットワーク�v路
筆�vは、CAMとニューラルネットワークは、基本動作としては等価な�v路であると思っているが、両�vの間には不思議なほどにすれ違いがある。慣例によると、ニューラルネットワークを表現する�v路は、図1Aのように、左辺�笋�ら水平��(sh┫)向に�i段ニューロンの軸索をモデル化した配線を引き、その軸索とシナプス接合する次段ニューロンのソーマ（細胞��内で行われる��(r┫n)線形動作をモデル化した�v路）を下辺に配��するのが�k般的である。
�k��(sh┫)、CAMでは、これらの配��を反時��周りに90度�v転させて表記する。�i段の軸索に�[定する配線が検索線（サーチ線）であり、下辺に配��し、�k致判定��のセンス�v路を?q┗)�辺に配��する（�?B）。
図1 ニューラルネットワークモデルとCAM�v路。 A（左）のニューラルネットワークモデルを反時��周りに90度�v転させると、B（��）のCAM�v路と等価な�v路となる。
フィンランドのTeuvo Kohonenは、�~�@な著作（参考�@料2）の中で、「ニューラルネットワーク研�|�vは、コンピュータに使われるCAMという�v路を��(m┬ng)らなかった」と記しているが、そのような�T外な経緯で、両�vの�v路記述が違ってきたのだろうと思う。CAM�\術を参考としなかったばかりに、ニューラルネットワークの電子�v路化の開発プロセスは遠�vりをしてしまったとの認識があったのではないだろうか。
基本的なニューラルネットワークでは、シナプス接合値（W）と�i段軸索からの入��（X）の間で{Σ(wi×Xi)}という内積���Qを行い、その値と「バイアス値を�T味するリファレンス値」と比較して、その差分を?q┗)�性化関数で�h価する。（古�Z的なモデルでは、プラスの時には発��し、マイナスの場合には発��させない）。
CAMの場合には、{Σ(wi×Xi)}の値がゼロであればMatch（�k致）と扱い、��の値ではMis-Match（不�k致）とする。もし、CAMのMatch判定時に、{Σ(wi×Xi)}の値が、「リファレンス値」以下の場合には発��し、以�屬任△譴佝���させないとすると、ニューラルネットワークと同じとなる。そのようなCAMは、Exact-Matchではなくとも、「�|値で設定した��度以�屬凡k致するか、否か」を判定することになり、「�P�S検索（Approximate Search）�v路」とでも�}びうる機�Δ魴eつこととなる。
その場合、�k致の��度は、入��データが作るベクトルと、登�{データが作るベクトルの間の「�{(di┐o)�`」を内積で定�Iすることになり、�k致度が高い時に発��する場合、ニューラルネットワークの動作と同じとなる。
実際には、{Σ(wi×Xi)}を構成するwiやXiという値の諧調をどのように表現するか、また、その値をリファレンス値と比較するにはどうすれば良いかという細かな実���屬量筱�があり、現実的な�v路を構成するには工夫が��要である。筆�vは、wiや Xi 「リファレンス値」等の値を��てディジタルとすべきと考え、その�P�S検索�v路の��(sh┫)式を2000�Qに����出願した。
スケールアップ�\術
ニューラルネットワークを表現する電子�v路には、スケーラブル（Scalable）であることが求められる。 同じアーキテクチャで、並�`度を高めることによって、�v路��模を拡�j(lu┛)させたいからである。�v路をスケーラブルとする機�Δ蓮▲優奪肇錙璽�機�Δ任發△襪呂困澄�
筆�vは、ヘブ学�{を表現する�ξ�を加えた�P�S検索�v路は、ニューラルネットワークを階層的に表現する�v路��(sh┫)式として魅��的だと考え、新��に��こした会社の中でそのネットワーク�\術をまとめるつもりでいる。
�R
1. CAMに登�{しておくデータを、「ハッシュ・テーブルである」とか、「真理値表である」と�}べると思えるが、ここでは、そのような見��(sh┫)については深入りしない。
2. ヘブ（Hebb）�Г寮���を,Teuvo Kohonenの著作（参考�@料2）より引��すると,「細胞Aの軸索が細胞Bを興奮させるのに�科��Zくにある時,そして,繰り返しまたは根気��(d┛ng)くBを発��させようとしている時,ある成長��(c┬)��または代�aの変化が1つまたは両��(sh┫)の細胞で��こる。このようにしてBを発��する細胞の�kつとしてのAの効率は�\加する」とある。 つまり、「発��することにより、シナプス接合��(d┛ng)度を�T味する�T合パラメータ値が�j(lu┛)きくなる」との神経�斃�学�屬侶俎x�Г鬚いΑ�
参考�@料
1. J.G. Delgado-Frias (State University of New York), et. al., “A Dynamic Content Addressable Memory Using a 4-Transistor Cell”, International Workshop on Design of Mixed-Mode Integrated Circuits and Applications, 1999.
2. Teuvo. Kohonen著；「Self-Organization Maps（�O己組�E化マップ）」、Springer刊、1995 �Q(初版)、1997�Q(��2版)、2001�Q(��3版)。
