AlexNet
AlexNetはの名前である畳み込みニューラルネットワークによって設計（CNN）アーキテクチャ、アレックスKrizhevskyと共同でイリヤSutskeverとジェフリー・ヒントンKrizhevskyの博士でした、アドバイザー。
LeNetとAlexNetの畳み込み、プーリング、高密度レイヤーの比較
AlexNetは、2012年9月30日にImageNet大規模視覚認識チャレンジに参加しました。ネットワークは15.3％のトップ5エラーを達成し、次点のエラーより10.8パーセントポイント以上低くなりました。元の論文の主な結果は、モデルの深さがその高性能に不可欠であり、計算コストが高いが、トレーニング中にグラフィックスプロセッシングユニット（GPU）を利用することで実現可能になったというものでした。
コンテンツ
1 歴史的背景
2 ネットワーク設計
3 影響
4 参考文献
歴史的背景
AlexNetは、画像認識コンテストで優勝したCNNの最初の高速GPU実装ではありませんでした。K.Chellapilla他によるGPU上のCNN。（2006）は、CPUでの同等の実装よりも4倍高速でした。 DanCireșanらの深いCNN 。（2011）IDSIAではすでに60倍速く、2011年8月に超人的なパフォーマンスを達成しました。 2011年5月15日から2012年9月10日まで、CNNは4回以上の画像コンテストで優勝しました。 また、複数の画像データベースの文献で最高のパフォーマンスを大幅に改善しました。
AlexNetの論文によると、 Cireșanの以前のネットは「やや似ている」。どちらも元々、GPUサポートで実行するためにCUDAで作成されました。実際、どちらも実際にはYann LeCun etalによって導入されたCNN設計の単なる変形です。（1989） は、「ネオコグニトロン」と呼ばれる福島邦彦の元のCNNアーキテクチャの変形にバックプロパゲーションアルゴリズムを適用しました。 アーキテクチャは、max-poolingと呼ばれるJ.Wengの方法によって後で変更されました。
2015年、AlexNetは、100層を超えるMicrosoft Research Asiaの非常に深いCNNを上回り、ImageNet2015コンテストで優勝しました。
ネットワーク設計
AlexNetには8つのレイヤーが含まれていました。最初の5つは畳み込み層であり、そのうちのいくつかは最大プーリング層が続き、最後の3つは完全に接続された層でした。非飽和ReLU活性化関数を使用しました。これは、tanhおよびsigmoidよりもトレーニングパフォーマンスが向上していることを示しています。
影響
AlexNetは、コンピュータービジョンで公開された最も影響力のある論文のひとつと見なされており、ディープラーニングを加速するためにCNNとGPUを使用して公開された論文がさらに増えています。 Google Scholarによると、2021年の時点で、AlexNetの論文は80，000回以上引用されています。
参考文献
^ 「AI研究を、そしておそらく世界を変えたデータ」。
^ Krizhevsky、Alex; Sutskever、Ilya; ヒントン、ジェフリーE.（2017-05-24）。「深い畳み込みニューラルネットワークを使用したImageNet分類」（PDF）。ACMの通信。60（6）：84–90。土井：10.1145 / 3065386。ISSN 0001から0782まで。S2CID 195908774。
^ 「ILSVRC2012の結果」。
^ Kumar Chellapilla; シドプリ; パトリスシマール（2006）。「ドキュメント処理のための高性能畳み込みニューラルネットワーク」。ロレットでは、ガイ（編）。手書き認識のフロンティアに関する第10回国際ワークショップ。Suvisoft。
^ Cireșan、Dan; ウエリ・マイヤー; ジョナサン・マスシ; ルカM.ガンバルデラ; ユルゲンシュミットフーバー（2011）。「画像分類のための柔軟で高性能な畳み込みニューラルネットワーク」（PDF）。人工知能に関する第22回国際合同会議の議事録-第2巻。2：1237–1242 。
^ 「IJCNN2011大会結果表」。公式IJCNN2011コンペティション。2010 。
^ シュミットフーバー、ユルゲン「GPU上のディープCNNが勝ったコンピュータービジョンコンテストの歴史」。
^ シュミットフーバー、ユルゲン（2015）。「ディープラーニング」。スカラーペディア。10（11）：1527–54。CiteSeerX 10.1.1.76.1541。土井：10.1162 /neco.2006.18.7.1527。PMID 16764513。S2CID 2309950。 ^ Cireșan、Dan; マイヤー、ウエリ; シュミットフーバー、ユルゲン。画像分類のための複数列のディープニューラルネットワーク。コンピュータビジョンとパターン認識に関する2012年IEEE会議。ニューヨーク、ニューヨーク：電気電子技術者協会（IEEE）。pp。3642–3649。arXiv：1202.2745。CiteSeerX 10.1.1.300.3283。土井：10.1109 /CVPR.2012.6248110。ISBN 978-1-4673-1226-4。OCLC 812295155。S2CID 2161592。
^ LeCun、Y。; Boser、B。; デンカー、JS; ヘンダーソン、D。; ハワード、RE; ハバード、W。; ジャッケル、LD（1989）。「手書きの郵便番号認識に適用されるバックプロパゲーション」（PDF）。ニューラル計算。MITプレス-ジャーナル。1（4）：541–551。土井：10.1162 /neco.1989.1.4.541。ISSN 0899から7667まで。OCLC 364746139。
^ LeCun、Yann; レオン・ボトゥー; ヨシュアベンジオ; パトリックハフナー（1998）。「ドキュメント認識に適用される勾配ベースの学習」（PDF）。IEEEの議事録。86（11）：2278–2324。CiteSeerX 10.1.1.32.9552。土井：10.1109 /5.726791 。
^ 福島健一（2007）。「ネオコグニトロン」。スカラーペディア。2（1）：1717 Bibcode：2007SchpJ … 2.1717F。土井：10.4249 /scholarpedia.1717。
^ 福島邦彦（1980）。「ネオコグニトロン：位置のシフトの影響を受けないパターン認識のメカニズムのための自己組織化ニューラルネットワークモデル」（PDF）。生物学的サイバネティックス。36（4）：193–202。土井：10.1007 / BF00344251。PMID 7370364。S2CID 206775608 。
^ ウェング、J; アフジャ、N; 黄、TS（1993）。「2D画像からの3Dオブジェクトの認識とセグメンテーションの学習」。手順 第4回国際会議 コンピュータビジョン：121–128。
^ 彼、カイミング; 張、Xiangyu; レン、Shaoqing; 孫堅（2016）。「画像認識のための深い残余学習」。2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）：770–778。arXiv：1512.03385。土井：10.1109 /CVPR.2016.90。ISBN 978-1-4673-8851-1。S2CID 206594692。
^ shpande、Adit。「知っておく必要のある9つのディープラーニングペーパー（CNNの理解パート3）」。adeshpande3.github.io 。
このプログラミングツール関連
“