ZPEG
ZPEGは、人間の視力モデルを非相関の変換ドメイン空間に適用するモーションビデオテクノロジーです。これにより、主観的に知覚できないものを取り除くことで、モーションビデオの冗長性を最適に削減します。このテクノロジーは、ビデオの最適化、リアルタイムのモーションビデオ圧縮、主観的な品質監視、フォーマット変換など、さまざまなビデオ処理の問題に適用できます。 ZPEG ファイル名拡張子 zpeg タイプコード zpg1 によって開発されました ZPEG、Inc 初回リリース 2020 フォーマットの種類
ビデオ圧縮形式
Webサイト
www .zpeg .com
ZPEG社は、ZPEG Engineという名前でx264、x265、AV1、およびFFmpegの修正バージョンを作成しています（§ビデオの最適化を参照）。
コンテンツ
1 装飾関連の変換スペース
2 人間の視覚モデル
2.1 visiBelsの知覚力
3 ビデオの最適化
3.1 圧縮ブースト強度 3.2 デブロッキング
4 リアルタイムのビデオ圧縮
4.1 量子化 4.2 コンテキスト駆動型エントロピーコーディング 4.3 サブバンド分解
5 主観的な品質メトリクス
6 フォーマット変換
7 参考文献
装飾関連の変換スペース
ピクセル分布は確率過程として適切にモデル化されており、理想的な非相関表現への変換は、カルーネン・レーベ定理によって定義されたカルーネン・レーベ変換（KLT）によって実現されます。離散コサイン変換（DCT）は、多くの場合、それは密接カルーネン・レーベが原因で強い相関するビデオデータに対して変換近似変換計算効率として使用される画素…..ビデオフレームの典型的な空間における相関として時間方向は空間方向と同じくらい高いので、3次元DCTを使用してモーションビデオを非相関化することができます。
人間の視覚モデル
人間の視覚モデルは、視覚システムのコントラスト感度に基づいて定式化することができます。時変コントラスト感度モデルを指定でき、3次元離散コサイン変換（DCT）に適用できます。 3次元コントラスト感度モデルを使用して、3次元基底ベクトルごとに量子化器を生成し、知覚できないモーションビデオアーティファクトのほぼ最適な視覚的ロスレス除去を実現します。
visiBelsの知覚力
ヒューマンビジュアルモデル量子化器生成プロセスの知覚強度は、画面の高さで測定された知覚にほぼ対応する対数スケールであるvisiBels（vB）で較正されます。目が画面から離れるにつれて、画像の細部を認識できなくなります。ZPEGモデルには時間成分も含まれているため、距離を表示しても完全には説明されません。視距離に関しては、画面の距離が半分になると、visiBelの強度が6増加します。標準画質テレビの標準視聴距離（約7画面の高さ）は0vBと定義されています。高解像度ビデオの通常の視聴距離である約4画面の高さは、約-6 vB（3.5画面の高さ）として定義されます。
ビデオの最適化
ZPEGプリプロセッサは、Advanced Video Coding（AVC）（H.264）やHigh Efficiency Video Coding（HEVC）（H.265）などの既存のモーション推定ベースのビデオコンプレッサーによる圧縮用にモーションビデオシーケンスを最適化します。人間の視力モデルは、モーションビデオシーケンスの3次元変換ブロックに直接適用するために量子化器に変換され、その後、同じ量子化器による逆量子化（信号処理）ステップが続きます。このプロセスから返されたモーションビデオシーケンスは、既存のコンプレッサーへの入力として使用されます。
圧縮ブースト強度
ヒューマンビジュアルシステムで生成された量子化器をブロックベースの離散コサイン変換に適用すると、ストリームから知覚できないコンテンツが削除されるため、モーションビデオストリームの圧縮率が向上します。その結果、コンプレッサーが再現する必要がある詳細な空間的および時間的詳細が削除されたキュレーションされたストリームが作成されます。ストリームはまた、モーション推定アルゴリズムのより良い一致を生成します。量子化器は、visiBelsで指定された指定された表示距離で知覚できないように生成されます。一般的に使用される一般的な前処理の表示条件は次のとおりです。
標準画質ビデオは-6vBで処理されます
高解像度ビデオは-12vBで処理されます
超高精細ビデオ（UHD、4K）は-12vBで処理されます
没入型超高精細ビデオ（バーチャルリアリティ）は-18vBで処理されます-12vBで処理した場合のx.264コーデックを使用した6MbsHDビデオの平均圧縮節約率は21.88％です。-12vBで処理されたx.264コーデックを使用した16MbsNetflix 4Kテストスイートビデオの平均圧縮節約率は29.81％です。同じNetflixテストスイートを没入型表示（-18vB）用に圧縮すると、25.72％の節約になります。これらの結果は、公的にアクセス可能なテストベッドを使用することで再現可能です。
デブロッキング
ZPEG前処理の効果は、指定された表示距離で平均的な視聴者には認識されませんが、ブロックベースの変換処理によって導入されたエッジ効果は、ビデオ最適化プロセスのパフォーマンス上の利点に影響を与えます。このパフォーマンスを向上させるために既存の非ブロック化フィルターを適用することもできますが、マルチプレーン非ブロック化アルゴリズムを使用することで最適な結果が得られます。各平面は、平面のオフセットが（0，0）、（0，4）、（4、0）、および（4，4）のいずれかになるように、4つの方向のそれぞれでブロックサイズの半分だけオフセットされます。 ）8×8ブロックと4つの平面の場合。次に、ブロックエッジまでの距離に応じてピクセル値が選択され、境界ピクセル値よりも内部ピクセル値が優先されます。結果として得られるブロック解除されたビデオは、幅広い前処理強度にわたって大幅に優れた最適化を生成します。
リアルタイムのビデオ圧縮
従来のモーション圧縮ソリューションは、モーション推定技術に基づいています。いくつかの変換ドメインビデオコーデックテクノロジーが存在しますが、ZPEGは3次元離散コサイン変換（DCT）に基づいており、3次元はライン内のピクセル、フレーム内のライン、およびフレームの時間シーケンスです。冗長な視覚データの抽出は、ブロック間のオブジェクトの一致を検索するはるかに計算コストの高いプロセスではなく、ビデオの変換ドメイン表現の量子化の計算効率の高いプロセスによって実行されます。量子化値は、人間の視覚モデルを、事前に決定された知覚処理強度でDCT係数の基底関数系に適用することによって導出されます。これにより、知覚的に冗長なすべての情報が、ビデオの変換ドメイン表現から削除されます。次に、エントロピー除去プロセスによって圧縮が実行されます。
量子化
圧縮されたコンテンツを表示する表示条件が選択されると、Human Visual Modelは、3次元離散コサイン変換（DCT）に適用するための量子化器を生成します。これらの量子化器は、モーションビデオストリームからすべての知覚できないコンテンツを削除するように調整されており、表現のエントロピーを大幅に削減します。visiBelsで表される表示条件と、変換前のピクセルの相関は、エントロピー符号化による参照用に生成されます。
コンテキスト駆動型エントロピーコーディング
量子化DCT係数は、伝統的としてモデル化されているがラプラス分布、より最近の研究は示唆しているコーシー分布に優れたモデル量子化係数の分布を。 ZPEGエントロピーエンコーダーは、量子化マトリックスとピクセル相関によって完全に特徴付けられる分布に従って、量子化された3次元DCT値をエンコードします。圧縮されたストリームで運ばれるこのサイドバンド情報により、デコーダーはその内部状態をエンコーダーに同期させることができます。
サブバンド分解
各DCTバンドは、他のすべてのバンドに個別にエントロピーコード化されます。これらの係数は、ウェーブレットパケット分解と同様に、DC成分から始まり、低解像度から高解像度の順に連続する帯域が続く帯域ごとの順序で送信されます。この規則に従うことで、受信機は常に任意のバンドパスパイプに対して可能な最大の解像度を受信し、バッファリングなしの送信プロトコルを有効にすることが保証されます。
主観的な品質メトリクス
参照ビデオとその劣化した表現との間の知覚される品質の違いのゴールドメジャーは、ITU-R勧告BT-500で定義されています。二重刺激連続品質スケール（DSCQS）法は、参照ビデオと歪んだビデオの間の知覚された差異を評価して、-3から3の範囲の個々のスコアから導出された全体的な差異スコアを作成します。-3：障害のあるビデオははるかに悪い-2：障害のあるビデオはより悪い-1：障害のあるビデオはわずかに悪い
0：ビデオは同じです
1：障害のあるビデオはわずかに優れています
2：障害のあるビデオの方が良い
3：障害のあるビデオの方がはるかに優れています
単一刺激連続品質スケール（SSCQS）で正規化されたメトリック平均オピニオン評点（MOS）と同様に、全体的なDSCQSスコアは範囲（-100、100）に正規化され、微分平均オピニオン評点と呼ばれます。 （DMOS）、主観的なビデオ品質の尺度。理想的な客観的尺度は、参照/障害のあるビデオペアに適用された場合、DMOSスコアと強く相関します。既存の技術とその全体的なメリットの調査は、Netflixブログで見つけることができます。 ZPEGは、さまざまな知覚強度（visiBels）で前処理した後、参照ビデオと障害のあるビデオの差の平均二乗誤差メトリックを比較することによって生成される主観的な品質メトリックを提供することにより、利用可能な手法のリストを拡張します。減損の違いが認識できなくなった有効視距離は、減損メトリックとして報告されます。
フォーマット変換
統計的に理想的なフォーマット変換は、離散コサイン変換空間のビデオコンテンツの補間によって行われます。変換プロセスは、特にアップサンプリングの場合、再サンプリングされる一連のピクセルで突然の連続性が発生したときに発生するリンギングアーティファクトを考慮する必要が結果として得られるアルゴリズムは、フレームサイズ、ピクセル アスペクト比、およびフレームレートを変更することにより、ビデオ形式をダウンサンプリングまたはアップサンプリングできます。
参考文献
^ ラオ、カミセティ; Yip、P（1990）。離散コサイン変換：アルゴリズム、利点、アプリケーション。アカデミックプレス。ISBN 0080925340。
^ ウェストウォーター、レイモンド; Fuhrt、Borko（1997）。リアルタイムビデオ圧縮–テクニックとアルゴリズム。スプリンガー。ISBN 978-0-585-32313-8。
^ グレン、ウィリアム（1993）。視覚に基づくデジタル画像圧縮。MITプレス。pp。63–71。ISBN 0-262-23171-9。
^ Barten、Peter（1999）。人間の目の収縮感度とその画質への影響。SPIEプレス。ISBN 0-8194-3496-5。
^ ワトソン、AB（1993）。「個々の画像のDCT量子化行列の視覚的最適化のための技術」。テクニカルペーパーの情報表示ダイジェスト学会。XXIV：946–949。
^ 「ZPEGデモンストレーションページ」。ZPEG 。
^ 「なぜ8x8DCTサイズが選ばれたのですか？」。エキスパート123 。
^ ファート、ボルコ; グリーンバーグ、ジェフリー; ウェストウォーター、レイモンド（1997）。ビデオ圧縮のためのモーション推定アルゴリズム。スプリンガー。ISBN 978-1-4613-7863-1。
^ ハティム、アナス; ベルクーチ、言った; ハサニ、モハ。「リアルタイムビデオ圧縮とそのFPGA実装のための高速8x8x8RCF 3D_DCT / IDCT変換」。International Journal of Advances in Engineering＆Technology 。
^ ウェストウォーター、レイモンド。「変換ベースのビデオコーディング–3次元離散コサイン変換を使用する動機」。researchgate.net 。
^ ウェストウォーター、レイモンド。「変換ベースのビデオコーディング–3次元離散コサイン変換のための量子化器の計算」。researchgate.net 。
^ スムート、スティーブン; Rowe、Lawrence A（1996）。「DCT係数分布の研究」。電子イメージングに関するSPIEシンポジウムの議事録。2657 。
^ Kamaci、Nejat; ガッサン、アルレジブ。言った、アミール。Guleryuz、Onur G; スティーブンソン、ロバートL（編）。「H.264のようなビデオコーダーのDCT係数分布に対するビデオパラメーターの影響」（PDF）。SPIEの議事録。視覚情報処理とコミュニケーションIII。8305：3：830505. DOI：10.1117 / 12.908719 。
^ ウェストウォーター、レイモンド。「変換ベースのビデオコーディング–3次元離散コサイン変換を使用した相関ベースの圧縮」。researchgate.net 。
^ Gu、Junfeng; 江、イーミン; バラス、ジョン。「人間の知覚モデルを備えた3Dウェーブレットベースのビデオコーデック」。米国特許7006568。米国特許庁。
^ 「テレビ画像の品質の主観的評価のための方法論」（PDF）。itu.int。ITU-R 。
^ 「平均オピニオン評点（MOS）用語」。itu.int。ITU-T 。
^ 李卓吾; アーロン、アネ; Katsavounidis、Ioannis; ムーシー、アヌーシュ; 真野原、メガ。「実用的な知覚ビデオ品質メトリックに向けて」。Netflix TechBlob 。
^ ウェストウォーター、レイモンド。「離散コサイン変換を使用してビデオデータの解像度とフレームレートを変換する方法」。uspto.gov。