多層構造の問題点・ディープラーニングのインパクト
みなさん。こんにちは、今日も張り切って行きます。
前回はフランク・ローゼンブラットさんにより形式ニューロンを二つ組み合わせたパー
セプトロンが提案されて、教師あり学習にも対応することが可能になり、
さらにジェフリー・ヒントン、デビット・ラメルハートらによってパーセプトロンを組
み合わせたバックプロパゲーションが発明されてより複雑な処理を行えるようになりま
した。しかし・・
中間層の数が4層以上になるとうまくいかなくなってしまった。
さあ困ったもんだ・・というところまでお話ししてきたと思います。
今回はその続きで
- なぜうまくいかなくなるのか？
これについてOutPutしていきたいと思います。
[ライン作業で考えてみる]
ニューラルネットワークを工場のライン作業で例えてみるとします。
つまり最初に素材が入力層に送られて最終的に製品が出力層で完成
すると言うことです。
パーセプトロン場合、最初は各工程の作業者はランダムに動くので
めちゃめちゃな製品が出来上がります。
しかし「欲しいものはこんなやつだよー」というように
教師データをあげると次第に適切な作業をしてくれてそれなりに
欲しい結果に似たものに近づくことが可能になります。
ニューラルネットワークにおいて多層にするということは、つまり
工程の数を増やすということです。
工程の数を増やせばより複雑なものを作ることができそうですが・・・
出来上がったものと実際の欲しいものを比べて修正するか、となったときに
作業する工程が少ないと、ここを見直そうと検討がついて修正しやすいのですが
多くの工程を踏んでしまうとどこの工程を検討すればいいのかなかなか検討が
立ちにくくなってしまいます。
簡単にいうとその出力に大きく影響する要因を特定しにくくなるのです。
出来上がりに近い工程を見直しがちになり、出来上がりに近い工程だけが優秀になってしまい、たくさんの工程を増やす意味が薄れてしまうのです・・
できることなら一つ一つの工程がしっかりと役割をもち分担して作業してもらいたいですよね。。
そこで！！
ディープラーニングの登場です。まず一層だけ学習して、それが終わったら二層目を追加して二層目の学習。というように一つずつ層を増やして改めて一つのネットワークとして学習させることにしたのです。
層のそれぞれに意味・役割を持った層を自動的に可能になりました。
特徴抽出を自動的できるようになりました
[特徴抽出とは？]
特徴抽出とは簡単に言えば（今後OutPutしていく予定です・・)
何かを認識・識別する場合にその対象が持つ特徴を見つけ出してそこから
対象を識別していくことです。
以前までは例えば数字の6を認識するための特徴抽出を人間がプログラミングして教えてコンピューターがそのプログラム通りに認識していました。
しかし！
ディープラーニングではこの特徴抽出を全て自動的に行い対象を識別することができるようになりました！！
[主な応用例]
- CNN
- LSTM
などが挙げられます。
今後詳しくOutPutさせてください
「結局ディープラーニングは特徴抽出が得意なだけなのか？」
それだけじゃないのです！！
[マルチモーダルな特徴が扱いやすくなった]
マルチモーダルというのは要するに「音」と「画像」
「文章」と「音声」といったように異なる情報を同時に扱うことです。
ディープラーニングによりより人間らしい処理が次第にできるようになり、
汎用AIに近づいてきているなと感じることができますよね。
しかし、まだ実現には至っていません・・
次回は脳研究と機械学習の融合でいかに汎用AIを実現するか？
それを考えてみたいと思います。
今日も見ていただきありがとうございました。
参考文献
anazonの商品紹介のやり方覚えました！笑
