Udemyで「脳科学とAI」のコースを制作予定なのですが、それに先立ち脳の模型を購入しました。
素敵な、実物大の脳模型がやって来ました。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) 2019年4月8日
ワクワクが止まりません。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) 2019年4月8日
人体模型で有名な、ドイツの3Bサイエンティフィック社製です。
色までリアルにしてしまうと脳の模型は生々しすぎるのですが、カラフルに色分けがされていて見栄えもいい感じです。
8つに分解できて脳の各部位を確認できるので、暗記の苦手な私でも脳の各部位を覚えられそうです。
ニューラルネットワークに学習させるための手法として、もっとも代表的なものは誤差逆伝播法（バックプロパゲーション）です。
しかしながら、バックプロパゲーションは動物の神経系とはかけはなれています。
正直、ニューラルネットワークは神経系をとても上手く抽象化てきているように思える。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) 2019年3月14日
しかしながら、バックプロパゲーションはそうではない。
今のところ、脳で一層ずつ情報の逆伝播が起きている証拠は見つかっていないのだ。
また、時系列データを扱う際は、時間を遡ってパラメータを修正する必要があるため、以前の時刻のデータを保持する必要がある、という問題点もあります。
以下に、これまでに提唱されているバックプロパゲーションに代わるアルゴリズムをいくつかリストアップします。
T. Lillicrap et al.,“Random synaptic feedback weights support error backpropagation for deep learning”, Nature Communication 7, 2016.
A. Nokland et al.,“Direct Feedback Alignment Provides Learning in Deep Neural Networks”
M. Jaderberg et al.,“Decoupled Neural Interfaces using Synthetic Gradients”
Y. Bengio,“How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation”
D. Lee et al.,“Difference Target Propagation”
この中でも、特にDirect Feedback Alignmentは誤差から直接各層のパラメータを修正するため、小脳のモデルとしても有望に思えます。
バックプロパゲーションが高機能すぎるため現在の人工知能の主流となっていますが、今後より汎用的な人工知能を目指すのであれば、それに頼りすぎずより動物らしい知能を追求するのも大事に思えます。
「意識」について考察した一連のツイートです。
人工知能の究極の目的は、「人工意識」なのかもしれません。
進化は最適なルートを通らない（そもそも最適なルートを定義できない）。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 22, 2019
増築を繰り返した建物のようなものなので、ヒトの神経系は技術的負債が貯まっているはず。
人工知能が脳よりも有利なのはその点かも。
生物の神経系は複雑すぎるのでコンピュータで再現するのは難しい、という考えかたもありますが、逆に無駄が多いので複雑そうに見えるだけなのかもしれません。
大事なのは、知能の本質を捉えることですね。
コッホとトノーニの意識に対する考察は大変興味深い。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 23, 2019
神経科学の立場から、意識を持つ機械の判定基準を明らかにしようとしている。
「意識を持つ機械」が本当に意識を持っていることを、どのように判定したら良いのでしょうか。
チューリングテストなどは候補かと思いますが、それでもまだ不十分に思えます。
統合情報理論はリーズナブルに思える。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 23, 2019
ただ、現行のコンピュータには意識は宿らない、というトニーノとコッホの考えには納得がいかない。
現行のコンピュータに意識が宿せない、と断言するのは悪魔の証明なのではないでしょうか。
ヒトには可能だけど現行のコンピュータにはできない例として挙げている、”違和感”の検知は、既にディープラーニングで可能なように思える。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 23, 2019
異常検知は、まさにディープラーニングが得意としている分野です。
画像に対しても、それは適応可能なのではないでしょうか。
線虫のような原始的な生物の知能や意識は、極めて限られた環境にのみ適応している。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 23, 2019
これは、現行のAIが極めて限られたタスクしかこなせないのと同じではないのか？
現状のAIは極めて限られたタスクにしか対処できない、とはよく聞きますが、それは原始的な神経系を持つ動物に関しても同じです。
AIの進化次第で、汎用性を持つようになる可能性は否定できないかと思います。
脳のような並列処理とその統合は、CPUとGPUの組み合わせで実現できるのだろうか？
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 23, 2019
GPUは並列処理が得意で、CPUは直列処理が得意です。
これらを組み合わせれば、まさに脳のような処理ができるのではないでしょうか。
個人的に、神経系のある動物に死が存在するのは過学習のためと考えている。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) March 23, 2019
ある特定の環境、時代に過剰適応してしまった個体は、別の環境や時代では有害となる。
老害となった個体がのさばり新陳代謝が行えないグループは、淘汰される運命に。
ネットワークが過剰に学習してしまうと、汎用性を失います。
環境が変化すると、そのような個体は有害となるため、淘汰する仕組みが必要です。
ジョブズも言っていましたが、「死」はとても有用なツールです。
神経学者、精神科医であるトッド・E. ファインバーグの著書、「意識の進化的起源: カンブリア爆発で心は生まれた」を読みました。
意識がどのようにして生まれたのか、なぜ意識がある必然性があるのか、その進化的な起源が知りたくて読んだ本です。
少々断定的過ぎるようにも思えますが、この本によると意識は全ての脊椎動物と頭足類、節足動物に存在するとのことです。
以前に読んだ「意識はいつ生まれるのか」では巨大なネットワークにおける複雑な因果関係が意識の源泉であることを示唆していました。
このような意識は突然出現したわけではなく、5億4000万年前から始まったカンブリア紀を起源とし、環境において生き残るために徐々に進化していったものと考えられます。
個人的にも、著者の「意識」とは自然現象であり、膨大な無意識を監視するために進化の過程で生まれた高度な脳機能、というスタンスには同意です。
弊社代表の著書「はじめてのディープラーニング」が、日本ディープラーニング協会（JDLA）の推薦図書に選ばれました。
「G検定合格者が選ぶディープラーニングおすすめ書籍ランキング」では、5位に選ばれています。
「はじめてのディープラーニング」は、ゼロからPythonを使ってディプラーニングをフルスクラッチで実装する本です。
数学やPythonの基礎から初めて、少しずつ丁寧に、ディープラーニングを手を動かしながら学んでいきます。
今後も、多くの方に読んでいただければ嬉しく思います。
