Semiconductor Portal

» ブログ » インサイダーズ » KI憲の集積v路の日に向けて

人工Δ悗量O(7);確率的b理の登場経緯

集積v路は、CMOS\術をいて、比較的入本数の少ないANDやNORなどを基本v路とし、v路模を積み屬欧訐濕}法を当として来たが、半導\術が見いだされるiの段階では、「人工Δ鮃柔するには、確率的b理を表現する演Q子が要」と考えられていた。 そこで、改めて、「確率的b理」の_要性と要性を考えてみた。

確率的b理の表現桔

「人工Δ亮存修砲蓮愕猟蠹なb理』を『確率的なb理』に拡張する要がある」と、初めて指~したのは、1986Qにb文(Probabilistic Logic)を発表したニルス・ネルソン(Nils J. Nilsson、当時スタンフォードj学のコンピュータサイエンスの教b)だったといわれている。(参考@料1)。

1986Qというと、100万素子をえるチップが量され始めた時代である。 j型コンピュータのダインサイジングが始まり、様々な集積v路設のEDAツールのソフトウエアが革新され、ICOT(新世代コンピュータ\術開発機構)によるエキスパートシステム開発が真っ最中だった時代でもあった。

「確率的なb理が要」とのニルス・ネルソンの主張が、そのディジタル革命の黎期にてどのように扱われたのか筆vは調べ切れていない。 しかしながら、「的なマシンの設には、確率的なb理がいられるはずだ」との見解は、集積v路開発が始まるiの段階では、むしろ、普通だったのではないだろうか? 

例えば、歴史崕蕕瓩禿纏v路をいたコンピュータの開発を行ったフォン・ノイマンは、1952Qにカリフォルニア工科j学で行った講演("Probabilistic Logics and the Synthesis of Reliable Organisms from Unreliable Components"、参考@料2)を進めるにあたって、基本v路を確率的b理モデル(図1)としていた。 その基本b理v路モデルは、1943Qのマカロック&ピッツ(MacCulloch&Pitts)の人工ニューロンモデルであった(参考@料3、4)。

半導集積v路が見いだされるiの段階では、なぜ人工Δ鮃柔するには確率的b理を表現する演Q子が要と見ていたのだろうか?

図1 フォン・ノイマンが1952Qの講演でしたオートマタ (Automata) を合成するためのの基本モデル
図1 フォン・ノイマンが1952Qの講演でしたオートマタ (Automata) を合成するためのの基本モデル このモデルを、基本_官 (Basic organ) 、もしくは、単出オートマトン (Automaton) と}んでいた(参考@料2)。 このモデルは、1943Qに提されたとされているマカロック&ピッツ(MacCulloch&Pitts)の人工ニューロン(もしくは、形式ニューロン)のモデルと基本的には同じである(参考@料3と4)。 出Z:Automata Studies, Princeton University Press(参考@料2)


マカロック&ピッツの人工ニューロンモデルは、ニューロンの出をQする時に、まず、シナプスT合の_みを表すベクトル{ wi }と、入信、表すベクトル{ xi }の内積値を求める(R1)。 内積値は、ベクトル{ wi }とベクトル{ xi }の向きが同じである時に最jとなるので、両ベクトル間の「向き」のk致の度を表す尺度となる。もし、ベクトルの長さが格化されているとすると、内積値は、ベクトルの終点間の「{`」でもある。

筆vは、人工ニューロンが、二つの情報(学{によって耀uしたベクトルと入ベクトル)の「完k致」ではなく、両ベクトルの「向きのk致の度」や「{`のZさ」をいてb理演Qを行っていることOが、「確率的b理」の_要性を主張するものだと思う。 「向きのk致の度」や「{`のZさ」は、不確定さを容する立場だからだ。 誤差を容して進めるb理は、に「確率的b理」である。

そこで、以下に、「人工ニューロンの動作が、確率的b理のt開である」と見做す理yを、v路がいる素子や信、菘世らと、v路が処理する情報のCからまとめてみた。


素子や信、菘世ら見る「確率的処理」

人工ニューロンがモデル化しようとする神経細胞の発動作が、そもそも確率的だったことを思い出していただきたい。 実際の神経細胞における「発現」は、「神経細胞膜の脱分極にて峺する膜電位が|値以屬箸覆辰浸にる(図2)」とされていたが、その|値電位は、W定したw定電位ではなかった(R2)。


神経細胞の細胞膜の動電位と|値の関係
図2 神経細胞の細胞膜の動電位(Action Potential)と|値の関係 細胞内に流入したイオンによる膜電位の分極が「|値」を越えると、「脱分極」というポジティブフィードバック現がこり、パルスXの動電位(掘砲発擇垢襦廚箸垢襦 出Z:Web屬遼N科学Z(2012Q4月3日版)


「細胞膜の両Cの電位差(膜電位)が|値をえると、ポジティブフィードバック(帰押砲かかり、出電位がに峺する」という神経細胞の発動作は、半導トランジスタを使った差動v路の動作と瑤襦 差動v路の動作が|値Zfでは確率的になる以屐⊃牲从挧Δ糧する/しないの判定も|値Zfでは確率的となるのは不思議ではない(参考@料5)。

しかも、神経細胞の入信、凌ソ局は100mV度しかない。あるT味では、神経細胞への入信、蓮⊂錣毎|値Zfに漂っているとも言える。 実際の神経細胞では、時折、ランダムな発現(O発)が見られるが、それは、半導設を経xした人間であれば、「入レベルを|値のグレーゾーン内に設定しているのだから、誤動作もあるだろう」と言ってしまいそうな現である(参考@料6)。

マカロック&ピッツの人工ニューロンも、フォン・ノイマンの単出オートマトンも、神経細胞の動作を素直にそのままモデル化したため、基本v路モデルの動作を確率的としたとは考えられる。 神経v路のb理t開を素直に荵,垢襪函△修譴蓮◆屮離ぅ哉擇鯣爾Τ領壻」と見えるのだろう。


神経細胞が処理する入情報(入信キ押砲僚jきさが「確率的処理」を要する

神経細胞への信ニの本数は常にHく完k致しづらいため、「ほぼk致したX」をいてb理を進める気~だったといえるのではないだろうか?

そもそも、人工ニューロンも、現実の神経細胞も、k般に、シナプスT合の個数は常にHい。 Hい場合には、1000を優にえるシナプスがT合によって、i段ニューロンからの信、pけている。 つまり、入情報を模式化するベクトル{ xi }と学{により耀uした耀uした情報を模式化するベクトル{ wi }の次元数は共に常にjきい。 って、両ベクトルがく同じ妓を向く可性は常に低いといえる。 文章、音楽、絵画、風景等の人間がとする情報も、二度と同じ表現に出会うことが無いと思えるに複数の情報がk致する確率は低いものだ。

純粋な数学世cにて、等。=)がT味する「厳格なk致」が_要であり、数学世cでの等。=)の_要性は当としても、しかし、人間のNが行うデータ処理においては、等。=)が成立することはほとんどないのである。 そのT味で、文章、音楽、絵画、風景、等の情報処理においては、等。=)の_要度は低いともいえる。 現実世cの情報は、も荵‥世睚儔修靴討い襪里通常であり、に、信、砲魯離ぅ困盍泙泙譴襦 現実的には、Z堯腹癲砲砲董Xを判別して、b理をt開するしかないとも言える。

ということは、等。=)動作を中心に組み立てられた現在のロジック集積v路は、Z堯腹癲砲中心となる文章、音楽、絵画、風景、等の高度な情報処理には向いていないということにならないか?

ロジック集積v路は、k般に、図3のような真理値表の動作をいて設される。 比較的入本数の少ないANDやNORなどの基本v路である。基本v路は、真理値表の入(X1)と入(X2)の組み合わせが完k致(=)した行の「出(Y)の欄の値」を出する。


真理値表の例
図3 コンピュータで使われる基本演Qv路の真理値表の例 2入の真理値表のk般形は(C)のようになるが、確率的b理の場合は、Q数値が確率値となりうる。 出Z:筆v作成

k機現実世cのH次元情報の処理に最適化された人工ニューロン(群)の真理値表は、図4のような常に入本数のjきな表となるだろう。 に、Q行の出の欄の値を、「0〜1の間の値をDる確率値」として、「値1が出される確率」をすのが実帋~となる。


ニューロンモデル真理値表の例
図4 ニューロンモデルを表現する真理値表の例 常にH入であり、入や出の欄の値に「確率値」が登場するような本表のような表となる。 確率的b理には、背景として、「何の集合にて確率を問にするか」や、「サンプル数(合)」を確にし、に、「Z堯腹癲砲成り立つと見做す時の『要なk致度』、もしくは、『容誤差』、等を確化する要があるため、そのような項`を記載する欄を{加している。なお、この表は、1個のニューロンの入出b理を定Iしうるだけではなく、類瑤竜の情報を処理する複数個(n個の)ニューロン集合の入出b理を定Iする真理値表とすることもできる。 出Z:筆v作成


そのような図4の真理値表を、図3の真理値表をeつ基本v路をj量に組み合わせて表現し直すことは可Δ世蹐Α 現に、現在提供されているAIサービスを提供しているサーバの集積v路は、2入では無いかもしれないが、比較的少数の入のNANDやNORをj量に組み合わせたv路から構成されている。

しかし、少なくとも、フォン・ノイマンや、マカロック&ピッツの頃は、「人工頭N開発には、図4のような常に入本数のHい確率的b理をいるのが素直だ」と考えられていた。

ということは、ニューロンが行う演Qを模した図4の真理値表の動作を行う基本b理v路をいた気、AIv路の設に向くのではないか?H入の確率的b理をいると、Nのように、S的に少ない消J電で的情報処理を行えるということなのだろうか?

現代の集積v路は、CMOS\術をいて、比較的入本数の少ないANDやNORなどを基本v路とし、v路模を積み屬欧訃}法を当として来たが、今k度、常にH入の確率的b理の~性を考えてみるべきではなのではないだろうかと思えるT果となった。

R
1. マカロック&ピッツのモデルでは、人工ニューロンの演Q動作を、シナプスT合の_みを表すベクトル量 { wi; i=1,2,3,・・・N }と、入信、表すベクトル量 { xi; i=1,2,3,・・・N }の内積値を先ず求め、その内積値と|値(b)の差に、性化関数 (φ) を作させて出値を求める(参考@料 2)。
y=φ(i=1N wixi) -b

現在では、関数 (φ) として、下図のように様々な関数タイプが試されており、に応じてIされる。
関数タイプ
2. その|値(|膜電位)は、「細胞膜にT在するチャネル穴から流入するナトリウムイオン(+)量と、流出するカルシウムイオン(+)量、流入するe素イオン(-)量が釣り合う電位」とされるものの、厳密には、「それらのイオンの流入量によって。電位の峺現がこる確率が変わる」ため、動作がグレーなJ囲があるとされている(参考@料5)。

参考@料
1. Nilsson, N. J., "Probabilistic Logic" Artificial Intelligence, vol.28, pp. 71-87, 1986
2. Neumann, J. V., "Probabilistic logics and the synthesis of reliable organisms from unreliable components", Automata Studies (ed. by C. E. Shannon and J. McCarthy), Princeton University Press, Princeton, N.J., 1956.
3. McCulloch W. S. & Pitts, W., "A logical calculus of the ideas immanent on nervous activity." Bulletin of mathematical biophysics, vol. 5, pp. 115–133, 1943.
4. McCulloch W. S.; "What is a Number, That a Man May Know it, And a Man, That He May Know a Number?" General Semantics Bulletin, vol. 26/27, pp.7–18, 1960.
5. Web屬遼N科学Z (2012Q4月3日版)の「|値」の項
6. 寺i順之\、「NとΔ駘学」、饑研|・電子版 Vol.8, No.1, 2020Q2月

情報統合\術研|合同会社 KI憲

ごT見・ご感[
麼嫋岌幃学庁医 撹繁玉篇撞頼屁井壓濂シ| 天胆尖胎壓濆杰| 忽恢忽囂斤易其然屎壓殴慧| 69涙繁曝触匯触屈触| 壷課唹垪壓瀏訖| 消消99忽恢娼瞳消消99弌傍| 嗤短嗤谷頭利嫋| 冉巖天胆晩昆娼瞳消消冉巖曝弼殴 | 壓濆杰感曝眉曝怜匚| 匯雫蒙仔aaa寄頭壓| 晩云眉雫昆忽眉雫眉雫a雫殴慧| 冉巖av怜匚忽恢娼瞳涙鷹嶄猟忖| 天胆晩昆忝栽壓瀛啼誼盞竸| 卅繁利忝栽壓瀛啼| 娼瞳富絃繁曇av匯曝屈曝| 忽恢繁劑ts壓濆杰翰嫋| 晩云弼夕壓濆杰| 忽恢娼瞳徭恢田壓濆杰柑熱心 | 臼訳醍纎壓瀛啼宜杰| 稼小腎圈虎寄媾値槻120蛍嶝| 忽恢晩昆胆忽撹繁| 裕椙天胆wc将灸tv| 忽恢秉巾繁壓濆杰簡啼 | 天胆繁嚥z0xxx総窃| 冉巖天胆晩昆及匯匈| 握握吸忽冉巖匯曝屈曝眉曝| 怜匚dj壓濆杰潅盞儻瀁縱斛 | 窒継鉱心匯雫撹繁谷頭| 胆溺仔撞篇撞寄畠窒継議| 忽恢岱徨戴滴翫XXXX| 秉曲啼詰嫋壓濆杰| 晩昆天胆卅繁消消寄穗濬 | 99犯壓濆杰款瞳| 翆翆鎗埖消消忝栽供76| 嶄猟忖鳥皮娩皮通邦窮唹弌傍 | 嶄忽speakingathome塩鋼僥伏| 晩晩玻際際玻爺爺玻av| 消消爺爺夊際際夊匚匚炸| 垰答篇撞窒継40蛍嶝編心爺爺| 冉巖繁撹77777壓濂シ斗嫋| 天胆涙繁曝鷹触屈眉触膨触 |