ニューラルネットワークに学習させるための手法として、もっとも代表的なものは誤差逆伝播法（バックプロパゲーション）です。
しかしながら、バックプロパゲーションは動物の神経系とはかけはなれています。
正直、ニューラルネットワークは神経系をとても上手く抽象化てきているように思える。
— 我妻幸長@著書「はじめてのディープラーニング」発売中 (@yuky_az) 2019年3月14日
しかしながら、バックプロパゲーションはそうではない。
今のところ、脳で一層ずつ情報の逆伝播が起きている証拠は見つかっていないのだ。
また、時系列データを扱う際は、時間を遡ってパラメータを修正する必要があるため、以前の時刻のデータを保持する必要がある、という問題点もあります。
以下に、これまでに提唱されているバックプロパゲーションに代わるアルゴリズムをいくつかリストアップします。
Feedback Alignment
T. Lillicrap et al.,“Random synaptic feedback weights support error backpropagation for deep learning”, Nature Communication 7, 2016.
Direct Feedback Alignment
A. Nokland et al.,“Direct Feedback Alignment Provides Learning in Deep Neural Networks”
Synthetic Gradient
M. Jaderberg et al.,“Decoupled Neural Interfaces using Synthetic Gradients”
Target Prop
Y. Bengio,“How Auto-Encoders Could Provide Credit Assignment in Deep Networks via Target Propagation”
Difference Target Prop
D. Lee et al.,“Difference Target Propagation”
この中でも、特にDirect Feedback Alignmentは誤差から直接各層のパラメータを修正するため、小脳のモデルとしても有望に思えます。
バックプロパゲーションが高機能すぎるため現在の人工知能の主流となっていますが、今後より汎用的な人工知能を目指すのであれば、それに頼りすぎずより動物らしい知能を追求するのも大事に思えます。
