Semiconductor Portal

» ブログ » インサイダーズ » KI憲の集積v路の日に向けて

AIリスク(その1): AI\術実△砲茲O化するシステムの課

トップ研|v達のAIリスクへの言及が、約1Qiより\えて来ている(参考@料1〜5)。その内容は、雇少を気にした旧来のb調からエスカレートしており、人類を脅かす問、核兵_並みとされている。 本ブログでは、その要を数vに分けて報告したい。問を確に認識することが、敢\術の価値を理解する屬任猟_要なステップと思うからである。

トップ研|v達の警笛

トロントj学のHinton教b(R1)は、2023Q5月にGoogle社から`れ、複数のメディアを通してAIリスクを警告した。その中には、以下の指~が含まれていた。

  • AIはU御を失い、人類にとって害をもたらすT在になる可性がある。
    (AI等の先端\術により人類が絶滅する確率は、今後20Q間に10%度ある)
  • ネットワークにつながるAI群は、k|の集団T識(Hive-Mind)を形成し、人間に瓦垢詬グ明を}に入れる可性がある。
  • 敢は分からないが、アナログコンピュータ(R2)の気、人間にとっては好ましいだろう。

また、現在の收AI\術の先導役であるモントリオールj学のBengio教bは、2023Q12月に、以下のように盜餤腸岷,砲AIリスクへの理解を証言し、敢が要だと訴えた(参考@料3)。

  • 環境とO的に相互作するAIシステムは、不可逆的にU御喪失する可性がある
  • その敢は見い出せていない。また、その敢にどの位の期間を要するか分からない。
  • 不良化したAI(Rouge AI)の出現に△─∨標翕AIを開発する国際的な研|ネットワークを構築し、防ナ的 AIの\術をそのネットワーク内に秘匿化するべきだ。
  • j模 AI システムは、寡化する(jきな権を少数個人に与える)可性がある。

両教b共に、j}テック企業との関係が密だったからであろうか、これらの問を予[する理yについてはHくを語っていない。また、社会の笋癲行Bを除き、日本国の中では未だjきな反応を見せているようには思えない。反応が少ない理yは、AIが人類の發箸覆餮譴蓮▲汽ぅ┘鵐后Ε侫クション(SF)のRみのテーマとして定してしまったからであろうか?

実は、工学研|v達のAIリスクに関する学術b文の発表や書籍の刊行は、2017Qを境に、\している(図1)。それらは、

  • AI\術に遒狎伴綫問
  • AI\術のK問(マルウエア收やサイバー撃)
  • AIの動作がブラックボックス的であり、推bT果を説しない問
    (AIのb理は確率的であり、人間が理解可Δ弊をAIに行わせることができない)
  • AIの動作を開発vのT図にわせることのMしいこと
  • 高度なAIをインターネット等で環境と相互作(O動作)させることはe険なこと
    (AIが、O的に人間が望まない動作を行うという現が見つかっている)
  • 社会や噞cに、独や寡が発擇垢觀念があること
  • 兵_のO動作にはe険であること

に関する内容がHい(参考@料45)。

工学研|v達のAIリスクに関する学術b文の発表や書籍の刊行は2017Qを境に\している

図1 左の(A)は、Abstract欄に"AI"と"Defensive"を含むb文・文献数の推(2024Q2月13日集)、の(B)は、 Abstract欄に"AI"と"Risk"を含むb文・文献数の推(2024Q2月15日集)
2017Qは、收AIに関する基盤\術が見いだされ、AIの言語インターフェースが革新され、IoTに関する連合学{\術が見いだされ、j量のAI(Oエージェント)群を通信ネットワークによって統合するという妓が現実的となった_要なQであった。


常に、H岐にわたるテーマが含まれているが、筆vは、これらは、AIをIoT(Internet of Things)システムに実△気擦浸に発擇垢詭筱であると見る。そこで、以下に、2017Q以T、顕著となったAI-IoT統合での_要\術2点を改めて振り返ってみる。

IoTシステムのマルチエージェント化と連合学{\術

IoT\術は、実饑つcでn働するセンサ等の端機_を通して収集するj量のデータを、インターネットを通してデータセンターのサーバに蓄積し、統処理を行った屬巴蒔機_にU御信、箸靴v帰させるというネットワークベースの複合システム(System of Systems)アーキテクチャである。 j量に収集されたデータを元に、サーバがデータを確率的な推bb理として集約し、高度運転мq/O動運転/]U御/攵U御/インフラ管理から金融/管理に関する端をO的にサポートする社会実△現在進められている。

そのIoT端を、ネットワークが絶した孤立環境でもO動作することを可Δ箸垢戮、ZQは、端やエッジサーバにもAI\術を実△垢妓(Edge-AI)が試されて来ている。 そのようにO動作ξが高い端は、コンピュータサイエンスや認科学で言われる「エージェント」とみなされうる(R3)。 端をAIエージェントに進化させ、IoTシステムを、O性が高いマルチエージェントシステムに変容させる研|は、にドローン等の兵_開発にて嗄に進められて来た(図2)。


\術におけるAIエージェントの統合化の動向

図2 \術におけるAIエージェントの統合化の動向 出Z : @人工Ω|会での筆vらの発表b文でいた図


但し、複数のエージェントが連携し、共通の`Yや`的を実現すべく協調するには、Qエージェントの学{がローカルに孤立し分g的であっては不科であり、Qエージェントの学{T果を、システムを管理するサーバに集約・統合し、協調的な経x瑤箸靴萄胴柔して再配信しなくてはいけない。

そのような協調的学{(Collaborative Learning)を、より少ないデータ交信量にて効率的に行う}法が、2017Qに、Google社より見い出され連合学{(Federated Learning)との@称で発表された。連合学{は、IoTシステムをO性が高いマルチエージェントシステムに進化させる屬任猟_要なブレイクスルーであった。

端やEdgeサーバへのAIv路の実△砲茲襦IoTシステムのマルチエージェント化は、システムをj々的に革新しつつあるが、そこでTされている\術は、噞cやB・OEが進めているDX(デジタルトランスフォーメーション)でいられる\術と共通する。 そのX況の調hは、昨Q、筆vらが「AIによってO化が進む盜\術の動向」とした研|会b文にまとめた(参考@料78)。

收AIによるマルチエージェントシステムの管理

Google社は、2017Qに、トランスフォーマアーキテクチャと}ぶ、入テキスト文を元に、文章や画気覆匹離灰鵐謄鵐弔O動收する收AI\術(j模言語モデル)を発表した。收AIは、プログラムコードを出させることもできるため、Q|の内のプログラムとBし、新されるソフトウエアをO的に配信することも可Δ任△襦つまり、收AIは、チャットボットとして人間とBするように、IoTシステムのQAIエージェントと会Bし、QAIエージェントに指令を出すデータセンター笋龍\術であった。

T果、IoTシステムは、環境からの情報を元にO的にX況を認識し、O的に環境中に働きかけることが可ΔU御UAIシステムへの進化を開始した。しかし、このことが、先進の研|v達も不Wとさせている点である。Internetには様々なAI搭載が参加しているため、收され送信されるデータやコードが個々のに及ぼす影xのてを予[することなど不可Δ世らである。ましてや、AI\術には、様々な脆弱性やU御のMしさが報告されている。

カリフォルニアj学バークレイ髻UC Berkeley)のDan Hendrycksは、「これ(AI開発)は^びのようなものだ」と言い、「今日のシステムをよりWにする桔,慮‘い要」と、工学\術のCから「W設の原А廚要であることを喞瓦靴拭参考@料4)。

また、イリノイj学アーバナ・シャンペーン髻University of Illinois Urbana-Champaign、UIUC)のR. Fangら研|v達は、「j模言語モデル(LLM)が、iにサーバやPC等の脆弱性を学{させていなくても、O的にウェブサイトをハッキングし、複雑なタスクを人間のフィードバックなしで実行すること」をした(参考@料9)。インターネットに接され、世c中にサービスを行っているGPT-4のような收AIも、「そのようなハッキングが可Α廚任△襪海箸確認され、報告した研|v達は、「Mたちの調hT果は、LLM の広Jなt開について疑問を引きこす」との見解を記した(参考@料9)。

今、この問の気鰺解し、敢を進めることが要となっている。当ながら、敢\術には、jきなx場価値があるはずである。

筆vR
1. Hinton教bは、深層学{(Deep-Learning)\術を見出し、Auto-Encoderや深層学{を始めとして、2次AIブーム以TのAI\術開発の先導vであった。
2. Hinton教bは、Google社で「アナログコンピュータ」の開発にDり組んでいた。Wired-Onlineの記によると、「アナログのハードウェアはそれぞれ少しずつ異なるため、あるアナログのモデルから別のアナログのモデルにパラメータの_みを,垢海箸呂任ない」ことがメリットとなると語っている(参考@料1011)。
3. エージェントとは、元々は、「設定された`Yや`的を実現すべくO的に動する代理人」をT味する法語であったが、コンピュータサイエンスでは、1990Q頃より、「定タスクをO的に実行するプログラム」のT味で使われて来た。T果、「エージェント」は、サーバAIのмqが無くてもO的に学{し応答することが可Δ福定タスク向けの的機Ε皀献紂璽襦廚料T味で使われて来ている(参考@料6)。

参考@料
1. Y. Bengio, et al., "Managing AI Risks in an Era of Rapid Progress", (2023).
2. Y. Bengio, "AI and Catastrophic Risk", in Journal of Democracy", (2023/09)
3. Y. Bengio, "Presented before the U.S. Senate Forum on AI Insight Regarding Risk, Alignment, and Guarding Against Doomsday Scenarios", presentation before the U.S. Senate Forum, (2023/12/06)
4. Dan Hendrycks & Mantas Mazeika, "X-Risk Analysis for AI Research", Submitted on 13 Jun 2022.
5. 兩鍄、江間~沙、j妬`;「(耕b)AIとMたち 人工ΑU御できるか」、朝日新聞デジタル、(2023/09/16)
6. M. Wooldridge & N. R. Jennings; "Intelligent agents: theory and practice", The Knowledge Engineering Review , Volume 10 , Issue 2 , June 1995 , pp. 115 - 152.
7. K&兩遏◆AIによってO化が進む盜\術の動向」、@人工Ω|会、(2023/10/27)
8. K&兩遏◆AIによってO化が進む盜\術の動向(スライド)」、@人工Ω|会、(2023/10/27)
9. R. Fang, "LLM Agents can Autonomously Hack Websites", 2024
10. Steven Levy, 「AIのゴッドファーザーが提案する、未来のAIを友好的に保つ桔」、Wired, (2023/08/11)
11. Charles Platt,「アナログコンピューターの逆─複雑な現実を扱う新世代アナログチップは実現するか」、Wired, (2023/06/23)

情報統合\術研|合同会社 代表 KI憲
ごT見・ご感[
麼嫋岌幃学庁医 仔弼喟消窒継利嫋| 匯曝屈曝眉曝晩云窮唹| 天胆爾秤xxxx來bbbb| 匳伏挫寄挫啣挫訪挫諸| 昆忽槻槻遣転GV扉篇撞| 忽恢娼僉怜鋒紐窟狼双999| 匯曝屈曝眉曝膨曝娼瞳篇撞| 晩云匯a篇撞窒継鉱心| 冉巖眉雫嶄猟忖鳥| 天胆互賠篇撞www匚弼彿坿| 窒継心天胆匯雫蒙仔a寄頭| 課課唹垪忽恢及匯匈| 忽恢撹繁忝栽天胆娼瞳消消| 717唹垪尖戴怜匚胎伊巡| 爺爺訪匚匚訪匚匚訪娼瞳篇撞| 嶄猟忖鳥岱鷹嶄猟岱鷹51娼瞳| 晩昆壓瀛啼詰嫋| 冉巖嶄猟涙鷹a‥壓濆杰| 谷頭槻繁18溺繁19| 窒継h篇撞壓濆杰| 忝栽爾秤利励埖| 忽恢戟諾岱徨戴涙鷹廨曝| 忽恢h篇撞壓| 忽恢娼瞳冉巖αv爺銘涙鷹| 97弼娼瞳篇撞壓濆杰| 溺繁瓜曾功匯軟序3p壓濆杰| 嶄忽匯雫谷頭篇撞窒継心| 晩云zzzzwww寄頭窒継| 消消娼瞳忽恢冉巖AV爺今呱| 天胆冉巖総窃忝栽| 冉巖晩昆a▲壓瀛啼| 襖謹勸潤丗擬砂| 裕裕際際議晩晩互賠頼屁篇撞| 娼瞳天巖videos| 膨拶喟消壓濔瞳唹垪| 瓜郭通効耶和中篇撞| 忽恢窒継鉱心利嫋| 醍狭忽恢互賠娼瞳忽壓| 忽恢晩昆天胆嶄猟忖鳥| 及匯牽旋篇撞擬砂| 忽恢娼瞳冉巖天胆寄頭壓濘|