黄の法則


Huang’s_law
Huangの法則は、グラフィックスプロセッシングユニット(GPU)の進歩が、従来の中央処理装置(CPU)よりもはるかに速い速度で成長しているというコンピューターサイエンスとエンジニアリングの観察です。この観察結果は、高密度集積回路(IC)内のトランジスタの数が約2年ごとに2倍になると予測したムーアの法則とは対照的です。 Huangの法則によれば、GPUのパフォーマンスは2年ごとに2倍以上になります。仮説は、その妥当性についての質問の対象となります。
GPUの例(NVIDIA NF-430-N-A3)

コンテンツ
1 歴史
2 も参照してください
3 ノート
4 参考文献
5 外部リンク

歴史
観察は、カリフォルニア州サンノゼで開催された2018 GPU Technology Conference(GTC)で、Nvidiaの最高経営責任者であるJensenHuangによって行われました。彼は、NvidiaのGPUが「5年前の25倍高速」であったのに対し、ムーアの法則は10倍の増加しか期待していなかったことを観察しました。マイクロチップの部品が小さくなるにつれて、チップの進歩がムーアの法則の速度に対応することが難しくなりました。
2006年、 NvidiaのGPUは、他のCPUに比べて4倍のパフォーマンス上の利点がありました。2018年、Nvidia GPUは同等のCPUノードよりも20倍高速でした。つまり、GPUは毎年1.7倍高速でした。ムーアの法則では2年ごとに倍増すると予測されていましたが、NvidiaのGPUパフォーマンスは2年ごとに3倍以上になり、黄の法則を満たしていました。
黄の法則は、ハードウェア、ソフトウェア、人工知能の間の相乗効果が新しい「法則」を可能にすると主張しています。 Huang氏は、「イノベーションはチップだけではありません。スタック全体についてです」と述べました。彼は、グラフィックプロセッサは新しいパラダイムにとって特に重要であると述べました。ボトルネックを排除することで、プロセスをスピードアップし、目標を達成する上で利点を生み出すことができます。「Nvidiaはワントリックポニーです」とHuang氏は述べています。 Huang氏によると、「加速コンピューティングは解放されています。…荷物を配達しなければならない飛行機があるとします。配達には12時間かかります。飛行機を速くする代わりに、配達方法に集中してパッケージをより速く、目的地での3D印刷を見て」目的は「…目標をより早く達成することです。」
人工知能タスクの場合、Huang氏は、AlexNetがトレーニングプロセスを完了するのに2つのNvidiaのGTX 580プロセッサで6日かかったが、最新のDGX-2 AIサーバーではわずか18分で、500のスピードアップ係数をもたらしたと述べました。ムーアの法則と比較しては、純粋にCPUトランジスタに焦点を当てており、Huangの法則は、アーキテクチャ、相互接続、メモリテクノロジー、およびアルゴリズムの進歩の組み合わせを説明しています。
Bharath Ramsundarは、ディープラーニングは「カスタムアーキテクチャの改善」と結びついていると書いています。たとえば、機械学習システムはブロックチェーンの世界で実装されており、 Bitmainは、元に戻せないと想定されていた「カスタムマイニングASIC(特定用途向け集積回路)を設計することで多くの暗号通貨」を攻撃しました。「しかし、Nvidiaの大きな成果は、アーキテクチャのこれらの改善が、特定のアプリケーションの孤立した勝利であるだけでなく、おそらくすべてのコンピュータサイエンスに広く適用できることを証明することです。」彼らは、GPUとGPUスタック( CPUスタックを参照)を幅広く活用することで、「ディープラーニングアーキテクチャの劇的な成長」を実現できることを示唆しています。Huangの法則の約束の「魔法」は、初期の深層学習を利用したソフトウェアが利用できるようになるにつれて、GPUスケーリング、より一般的にはアーキテクチャの改善による改善が具体的に「最新のソフトウェアスタックのパフォーマンスと動作」を改善することです。
批判がありました。2020年にExtremeTechで書いたジャーナリストのJoelHruskaは、「黄の法則のようなものはない」と述べ、ムーアの法則によって可能になった利益に基づく「幻想」と呼んでいます。そして、法律が存在するかどうかを判断するのは時期尚早です。

も参照してください
変化の加速
名を冠した法律のリスト

ノート
^ 他の報告とは異なり、「黄の法則」は…ウォールストリートジャーナルのジャーナリスト、クリストファーミムズによって造られた用語であると言われています。」

参考文献
^ ドラム、ケビン。「ムーアの法則は死んでいる。長生きする黄の法則」。
^ Mims、クリストファー(2020年9月19日)。「黄の法則は新しいムーアの法則であり、Nvidiaが武器を望んでいる理由を説明しています」。ウォールストリートジャーナル–www.wsj.com経由。 (サブスクリプションが必要です)「黄の法則は新ムーアの法則であり、Nvidiaが腕を望んでいる理由を説明しています」に転載
。Yahoo! 。2020年9月29日。
^ Perry、Tekla S.。「ムーアの法則、ムーアの法則:黄の法則に道を譲る」。IEEEスペクトラム。IEEE 。グラフィックプロセッサは、ムーアの法則を凌駕する過給された開発パスに… GPUは、並列アーキテクチャに依存しているため、CPUよりも急速に進歩しています。NvidiaのシニアマネージャーであるJesse Claytonは、別のセッションで指摘しました。」
^ Tibken、Shara(2019年1月9日)。「CES2019:ムーアの法則は廃止されました」とNvidiaのCEOは述べています。CBSインタラクティブ。CNet 。
^ ウッディー、アレックス(2018年3月27日)。「GPUのワークロードと機能が急上昇するにつれてNvidiaが高く評価される」。HPCwire 。
^ ゲッティング、ブルターニュ(2020年9月20日)。「AIと「黄の法則」の進歩は、NVIDIAがArmを買収するために動いた理由である可能性があります」。HotHardware。
^ ヘイズ、キャロライン(2018年10月11日)。「ジェンスンファン:ムーアの法則は死んでいる–長生きするAI」。エレクトロニクスウィークリー。メトロポリスインターナショナル。…今日のコンピューティング業界を制御する2つのダイナミクスがムーアの法則の終わりと、それ自体を記述できるソフトウェア、人工知能、またはAIです。…ボトルネックがどこにあるかを調べることができます。新しいソフトウェアシステムは、チップだけでなく、アプリケーションをより高速にします。
^ Ramsundar、Bharath(2018年4月7日)。「黄の法則の到来」。
^ Hruska、Joel(2020年9月22日)。「NvidiaのAIリードにもかかわらず、「黄の法則」のようなものはありません」。エクストリームテック。

外部リンク
「黄の法則とは何ですか?ムーアの法則とは何ですか?GPUとは何ですか?CPUとは何ですか?違いは何ですか?」 (ビデオ)–YouTube経由。