Kovarianciamátrix

Egy $(0;0)$ központú kétdimenziós normális eloszlás, melynek kovarianzmátrixa $\mathbf {\Sigma } ={\begin{pmatrix}1&0{,}5\\0{,}5&1\end{pmatrix}}$

A valószínűségszámításban a $\operatorname {Cov} (\mathbf {X} )$ kovarianciamátrix pozitív szemidefinit vagy pozitív definit mátrix, ami több valószínűségi változóhoz vagy valószínűségi vektorváltozóhoz definiálható. Átlóján szórásnégyzetek találhatók, a többi elem a megfelelő valószínűségi változók illetve koordináták kovarianciája. Az egydimenziós szórásnégyzet általánosítása.

Definíció

Legyen $\mathbf {X}$ valószínűségi vektorváltozó,

$\mathbf {X} ={\begin{pmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{pmatrix}}$.

Legyen $\operatorname {E} (X_{i})=\mu _{i}$ az $X_{i}$ várható értéke, $\operatorname {Var} (X_{i})=\sigma _{i}^{2}$ a szórásnégyzete, $\operatorname {Cov} (X_{i},X_{j})=\sigma _{ij}\;,i\neq j$ a két koordináta, $X_{i}$ és $X_{j}$ kovarianciája. $\mathbf {X}$ várható értéke

$\operatorname {E} (\mathbf {X} )=\operatorname {E} {\begin{pmatrix}X_{1}\\X_{2}\\\vdots \\X_{n}\end{pmatrix}}={\begin{pmatrix}\mu _{1}\\\mu _{2}\\\vdots \\\mu _{n}\end{pmatrix}}={\boldsymbol {\mu }}$,

vagyis a várható értékek vektora. Az $\mathbf {X}$ kovarianciamátrixa:

${\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} \left((\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }\right)\\\\&=\operatorname {E} {\begin{pmatrix}(X_{1}-\mu _{1})^{2}&(X_{1}-\mu _{1})(X_{2}-\mu _{2})&\cdots &(X_{1}-\mu _{1})(X_{n}-\mu _{n})\\\\(X_{2}-\mu _{2})(X_{1}-\mu _{1})&(X_{2}-\mu _{2})^{2}&\cdots &(X_{2}-\mu _{2})(X_{n}-\mu _{n})\\\\\vdots &\vdots &\ddots &\vdots \\\\(X_{n}-\mu _{n})(X_{1}-\mu _{1})&(X_{n}-\mu _{n})(X_{2}-\mu _{2})&\cdots &(X_{n}-\mu _{n})^{2}\end{pmatrix}}\\\\&={\begin{pmatrix}\operatorname {Var} (X_{1})&\operatorname {Cov} (X_{1},X_{2})&\cdots &\operatorname {Cov} (X_{1},X_{n})\\\\\operatorname {Cov} (X_{2},X_{1})&\operatorname {Var} (X_{2})&\cdots &\operatorname {Cov} (X_{2},X_{n})\\\\\vdots &\vdots &\ddots &\vdots \\\\\operatorname {Cov} (X_{n},X_{1})&\operatorname {Cov} (X_{n},X_{2})&\cdots &\operatorname {Var} (X_{n})\end{pmatrix}}\\\\&={\begin{pmatrix}\sigma _{1}^{2}&\sigma _{12}&\cdots &\sigma _{1n}\\\\\sigma _{21}&\sigma _{2}^{2}&\cdots &\sigma _{2n}\\\\\vdots &\vdots &\ddots &\vdots \\\\\sigma _{n1}&\sigma _{n2}&\cdots &\sigma _{n}^{2}\end{pmatrix}}\\\\&=\mathbf {\Sigma } \end{aligned}}$

A várható értékek vektora és a kovarianciamátrix az eloszlás legfontosabb jellemzői- Megadásuk: $X\;\sim \;({\boldsymbol {\mu }},\mathbf {\Sigma } )$. A kovarianciamátrix, mint a kovarianciák mátrixa tartalmazza a koordináták szórásnégyzetét és a koordináták közötti lineáris kapcsolatot jellemző kovarianciákat.

A különböző elemek száma ${\frac {n^{2}+n}{2}}$ vagy ${\frac {n^{2}-n+2}{2}}$. Ha a $X_{1},\ldots ,X_{n}$ koordináták egyike sem degenerált, és nincs tökéletes kollinearitás, akkor a kovarianciamátrix pozitív definit.

Kapcsolat a várható értékkel

Ha ${\boldsymbol {\mu }}=\operatorname {E} (X)$ a valószínűségi vektorváltozó várható értéke, akkor

${\begin{aligned}\operatorname {Cov} (\mathbf {X} )&=\operatorname {E} {\bigl (}(\mathbf {X} -{\boldsymbol {\mu }})(\mathbf {X} -{\boldsymbol {\mu }})^{\top }{\bigr )}\\&=\operatorname {E} (\mathbf {X} \mathbf {X} ^{\top })-{\boldsymbol {\mu }}{\boldsymbol {\boldsymbol {\mu }}}^{\top }\end{aligned}}$.

Ahol a vektorok és mátrixok várható értékei koordinátánként értendők.

Egy ${\boldsymbol {\mu }}$ várható értékű és adott kovarianciamátrixú valószínűségi vektorváltozó szimulálható a következő módon: Elkészítjük a kovarianciamátrix például Choleski-felbontását:

$\operatorname {Cov} (\mathbf {X} )=\mathbf {D} \mathbf {D} ^{\top }$.

Ekkor a valószínűségi vektorváltozó:

$\mathbf {X} =\mathbf {D} \mathbf {\xi } +{\boldsymbol {\mu }}$

ahol $\mathbf {\xi }$ valószínűségi vektorváltozó, melynek koordinátái egymástól független normális eloszlásúak.

Két vektor kovarianciamátrixa

Két vektor kovarianciamátrixa

$\operatorname {Cov} (\mathbf {x} ,\mathbf {y} )=\operatorname {E} {\bigl (}(\mathbf {x} -{\boldsymbol {\mu }})(\mathbf {y} -{\boldsymbol {\nu }})^{\top }{\bigr )}$

ahol ${\boldsymbol {\mu }}$ az $\mathbf {x}$ várható értéke és ${\boldsymbol {\nu }}$ az $\mathbf {y}$ várható értéke.

Tulajdonságai

• Ha $i=j$, akkor a mátrixkoordináták számításának módja az i-edik vektorkoordináta szórásnégyzetét adja. Tehát a főátlón a szórásnégyzetek állnak, így nem lehetnek negatívok.
• Valós kovarianciamátrix szimmetrikus, mivel a kovariancia szimmetrikus.
• A kovarianciamátrix pozitív szemidefinit. Szimmetriája miatt főtengely-transzformációkkal diagonalizálható, és az így kapott mátrix szintén kovarianciamátrix. Mivel a főátlón csak szórásnégyzetek állnak, azért ez pozitív szemidefinit, ezért az eredeti is az.
• Megfordítva, minden pozitív szemidefinit $d\times d$ méretű szimmetrikus mátrix kovarianciamátrix.
• A szimmetria, pozitív szemidefinitség és diagonalizálhatóság miatt a kovarianciamátrixok ellipszoidként ábrázolhatók.
• Minden $\mathbf {A} \in \mathbb {R} ^{m\times n}$ mátrixra és $\mathbf {b} \in \mathbb {R} ^{n}$ vektorra teljesül, hogy $\operatorname {Cov} (\mathbf {A} \mathbf {X} +\mathbf {b} )=\mathbf {A} \,\operatorname {Cov} (\mathbf {X} )\mathbf {A} ^{\top }$.
• Minden $\mathbf {b} \in \mathbb {R} ^{n}$ vektorra teljesül, hogy $\operatorname {Cov} (\mathbf {X} +\mathbf {b} )=\operatorname {Cov} (\mathbf {X} )$.
• Ha $\mathbf {X}$ és $\mathbf {Y}$ korrelálatlan valószínűségi vektorváltozók, akkor

$\operatorname {Cov} (\mathbf {X} +\mathbf {Y} )=\operatorname {Cov} (\mathbf {X} )+\operatorname {Cov} (\mathbf {Y} )$.

• Standardizált valószínűségi vektorváltozók esetén a kovarianciamátrix a korrelációs együtthatókat tartalmazza.

Regresszió

Ha a regressziós modell alakja

$y_{it}={\boldsymbol {x}}_{it}^{T}{\boldsymbol {\beta }}+{\boldsymbol {e}}_{it}$,

és az ${\boldsymbol {e}}_{it}$ hibatag idioszinkratikus, akkor a kovarianciamátrix

${\begin{aligned}{\boldsymbol {\operatorname {V} }}(\mathbf {e} )=\operatorname {E} (\mathbf {e} \mathbf {e} ^{T})&={\begin{pmatrix}\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{N}^{\top })\\\\\vdots &\ddots &\vdots \\\\\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{N}^{\top })\end{pmatrix}}={\begin{pmatrix}\sigma _{11}\mathbf {I} _{T}&\cdots &\sigma _{1N}\mathbf {I} _{T}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}\mathbf {I} _{T}&\cdots &\sigma _{NN}\mathbf {I} _{T}\end{pmatrix}}={\begin{pmatrix}\sigma _{11}&\cdots &\sigma _{1N}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}&\cdots &\sigma _{NN}\end{pmatrix}}\otimes \mathbf {I} _{T}\\\\&=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } \end{aligned}}$

Hatékonysági kritérium

Egy pontbecslő hatékonysága illetve hatékonysága mérhető a kovarianciamátrixszal, mivel tartalmazza a különböző komponensek közötti kovarianciát. Általában, egy pontbecslő hatékonyságát a kovarianciamátrixszal mérik: minél kisebb a mátrix, annál jobb a becslés. Legyen ${\tilde {\boldsymbol {\theta }}}$ és ${\hat {\boldsymbol {\theta }}}$ torzítatlan $(K\times 1)$ valószínűségi vektorváltozó. Ha ${\boldsymbol {\theta }}$ $(K\times 1)$ méretű valószínűségi vektorváltozó, akkor $\operatorname {Cov} ({\hat {\boldsymbol {\theta }}})$ $(K\times K)$ méretű szimmetrikus pozitív definit mátrix. Azt mondjuk, hogy$\operatorname {Cov} ({\hat {\boldsymbol {\theta }}})$ kisebb, mint $\operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})$, ha $\operatorname {Cov} ({\tilde {\boldsymbol {\theta }}})-\operatorname {Cov} ({\hat {\boldsymbol {\theta }}})$ pozitív szemidefinit.

Forrás

• Friedrich Schmid, Mark Trede: Finanzmarktstatistik. Springer-Verlag, Berlin 2006, ISBN 3-540-27723-4 (eingeschränkte Vorschau a Google Könyvekben).

Fordítás

Ez a szócikk részben vagy egészben a Kovarianzmatrix című német Wikipédia-szócikk fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel.