ディープラーニング~ハーセプトロンからのバックプロパゲーション~

みなさんこんにちは！！

今日も張り切ってきます！！

前回からディープラーニングについてまとめていて

今に至るまでの歴史をちょっとずつOutPutしているところでした。

マカロックさんとピッツさんは脳に存在するニューロンを

コンピューターで再現する形式ニューロンという概念を考えて、

そこから単純にニューロンの処理を単純にモデル化した人工ニューロンが生まれました

今回はその続きからです。ぜひまだ見てないよという方は後ろにリンク貼っておきますのでよかったら見てください！

形式ニューロンはかなり単純な構造ですが、実際にコンピューターに落とし込むとなかなかうまく処理ができることがわかりました。

そこで！！

1958年にフランク・ローゼンプラットさんがパーセプトロンを考案しました！！

パーセプトロンとはこんな感じです。。

　N=ニューロン　　　　　　第一層　　　　　　　　第二層

形式ニューロン2層に並べて入力と出力の間に中間層を設けたのです。

さらに形式ニューロンとの違いは0と1だけではなく実数も扱うように改良しました。

たったこれだけで教師あり学習をすることができるようになったのです！！

「これは脳の再現が可能なんじゃないか？」と思われた矢先、実はこれではある特定の問題には対応が全く効かないということが判明してしまい研究は滞ってしまいます・・

そのまま月日は過ぎていって・・

パーセプトロンが発表されてから30年後、デビット・ラメルハート、

ジェフリー・ヒントンらがバックプロパゲーションを発表いたします！！

バックプロパゲーションとはどんなものなのか・・

今は本当にめっちゃ簡単にOutPutさせてください・・

そのうち詳しく説明しますので許してください・・

                                       第一層　　　第二層　　　　第三層

構造上ではパーセプトロンにまたパーセプトロンをくっつけた形になります。

この構造にすることで中間層が増えたのでパーセプトロンで不可能であった問題

も解けるようになりました。

このことをモデルの表現が高くなると言います。

(いつかもっと深くバックプロパゲーションについてOutPutしていきます。

表面をさらっとしか触れておらず申し訳ございません。)

「じゃあもっとたくさん繋げれば終わりじゃんww」と思った方・・

違うのです！！

増やせばいいというものではなかったのですね・・

4層以上のバックプロパゲーションはうまくいかなかったのです・・

ではどうしてうまくいかなかったのでしょうか・・

これは次回にOutPutさせてください.

今日も見ていただきありがとうございました！！

リンク貼っときますね 。

zawapython.hatenablog.com

最近、ブログへの画像の投稿方法をやっと覚えました・・笑

もっといいブログを書けるように努力していきます。。

また次回お会いしましょう