Hoeffding’s_lemma
確率論では、Hoeffdingの補題は、有界確率変数のモーメント母関数を制限する不等式です。フィンランド語–アメリカの数学統計家WassilyHoeffdingにちなんで名付けられました。
Hoeffdingの補題の証明は、テイラーの定理とイェンセンの不等式を使用しています。Hoeffdingの補題は、それ自体がMcDiarmidの不等式の証明に使用されます。
コンテンツ
1 見出語のステートメント
2 証拠
3 も参照してください
4 ノート
見出語のステートメント
Xを、次のような実数値の確率変数とします。a ≤X ≤ b
{ a leq X leq b}
ほぼ確実に、つまり確率1で。次に、すべての人のためにλ ∈ R
{ lambda in mathbb {R}}
、 E [ eX ]
≤ exp （（ λE + λ 2 （（ b− a
）。2 8
）。 { mathbb {E} left [e ^ { lambda X} right] leq exp { Big（} lambda mathbb {E} + { frac { lambda ^ {2 }（ba）^ {2}} {8}} { Big）}、}
または同等に、 E [ e λ （（ X− E
）。 ] ≤ exp （（ λ 2 （（ b− a
）。2 8
）。 { mathbb {E} left [e ^ { lambda（X- mathbb {E} ）} right] leq exp { Big（} { frac { lambda ^ {2 }（ba）^ {2}} {8}} { Big）}。}
証拠
一般性を失うことなく、交換することによりX
{ X}
にX− E
{ X- mathbb {E} }
、私たちは仮定することができますE = 0
{ mathbb {E} = 0}
、 となることによってa ≤ 0 ≤ b
{ a leq 0 leq b}
。
以来e λ X { e ^ { lambda x}}
の凸関数ですX
{ x}
、私たちはすべてのためにそれを持っていますX ∈ [ a b ] { x in }
、e λX ≤ b −X
b− a e λ a +X − a b− a e λ b
{ e ^ { lambda x} leq { frac {bx} {ba}} e ^ { lambda a} + { frac {xa} {ba}} e ^ { lambda b}}
それで、 E [ e
λX] ≤ b − Eb − a e λ a +
E− a b − a e λ b =b b − a e λ a+− a b − a e λ b =e L（（ λ（（ b− a ）。 ）。 { { begin {aligned} mathbb {E} left [e ^ { lambda X} right]＆ leq { frac {b- mathbb {E} } {ba}} e ^ { lambda a} + { frac { mathbb {E} -a} {ba}} e ^ { lambda b} \＆= { frac {b} {ba}} e ^ { lambda a} + { frac {-a} {ba}} e ^ { lambda b} \＆= e ^ {L（ lambda（ba））}、 end {aligned}}}
どこ L （（ h
）。= h a b − a + ln （（ 1+ a − e h
ab − a ）。 { L（h）= { frac {ha} {ba}} + ln（1+ { frac {ae ^ {h} a} {ba}}）}
。導関数を計算することにより、次のように結論付けることができます。 L （（ 0
）。= L ′ （ 0 ）。= 0
{ L（0）= L’（0）= 0}
と L ″ （ h ）。
≤1 4
{ L”（h） leq { frac {1} {4}}}
すべてのために h { h}
。
テイラーの定理から、一部の人にとっては0 ≤ θ ≤ 1
{ 0 leq theta leq 1}
L （（ h
）。= L（（ 0
）。+ h L ′ （ 0 ）。+1 2h 2 L ″（（ h θ ）。
≤1 8h 2
{ L（h）= L（0）+ hL’（0）+ { frac {1} {2}} h ^ {2} L”（h theta） leq { frac {1} {8}} h ^ {2}}
したがって、E e λX ] ≤ e1 8 λ 2 （（ b − a
）。 2 { mathbb {E} left [e ^ { lambda X} right] leq e ^ {{ frac {1} {8}} lambda ^ {2}（ba）^ {2}} }
。
も参照してください
Hoeffdingの不等式
ベネットの不平等
ノート
^ パスカルマサール（2007年4月26日）。濃度の不平等とモデル選択：Ecoled’EtédeProbabilitésdeSaint-FlourXXXIII-2003。スプリンガー。p。21. ISBN 978-3-540-48503-2。
この確率関連
“