Főkomponens-analízis

A főkomponens-analízis vagy főkomponens-elemzés (angolul Principal Component Analysis, rövidítve PCA) egy többváltozós statisztikai eljárás, mely az adatredukciós módszerek közé sorolható, s a faktoranalízis egy speciális esetének tekinthető. Lényege, hogy egy nagy adathalmaz ─ melynek változói kölcsönös kapcsolatban állnak egymással ─ dimenzióit lecsökkentse, miközben a jelen lévő varianciát a lehető legjobban megtartja. Ezt úgy hajtja végre, hogy egy ortogonális (merőleges) transzformáció segítségével az adathalmaz lehetségesen korreláltatható változóit lineárisan korrelálatlan változók értékkészletévé alakítja át, melyeket főkomponenseknek nevezünk. A főkomponensek száma kisebb vagy egyenlő az eredeti változók számával. A transzformáció oly módon meghatározott, hogy az első főkomponens rendelkezik a lehető legnagyobb varianciával (vagyis az adatok akkora mértékű szóródását magyarázza, amekkora lehetséges), s minden utána következő komponens a fennmaradó legnagyobb varianciával fog rendelkezni, ha megfelel annak a feltételnek, hogy merőleges (azaz korrelálatlan) az azt megelőző komponensekre. A főkomponensek merőlegesek, mivel a kovariancia mátrix – ami szimmetrikus ─ sajátvektorai. A főkomponens-analízis érzékeny az eredeti változók relatív skálázására.

A főkomponens-analízist Karl Pearson alkotta meg 1901-ben, a mechanikában használt tehetetlenségi nyomaték elmélet analógiájára; később, tőle függetlenül, Harold Hotelling is kidolgozta 1933-ban, elterjedését azonban a számítógépek megjelenésének köszönheti. Az eljárást elsősorban a feltáró adatelemzésben használják és a prediktív modellek előállításában. A főkomponens-analízis elvégezhető egy kovariáns (vagy korrelációs) adatmátrix sajátértékeinek dekompozíciójával vagy egy adatmátrix szinguláris értékeinek dekompozíciójával, azután, hogy minden jellemzőre elvégeztük az adatmátrix mintaátlag igazítását (és normalizálását vagy Z-értékek használatát). A főkomponens-analízis eredményét általában komponens pontszámban, vagy faktorszkórban (adott adatpontnak megfelelő transzformált változó érték) és töltésben (az a súly, amellyel minden eredeti, standardizált változót meg kell szorozni, ahhoz, hogy megkapjuk a komponens pontszámokat) kifejezve értelmezzük.

A főkomponens-analízis a legegyszerűbb a sajátvektor-alapú többváltozós elemzések közül. Működése felfogható úgy, mint az adat belső struktúrájának feltárása oly módon, hogy az a legjobban magyarázza az adathalmaz szóródását. Ha egy többváltozós adathalmaz egy nagy-dimenziós adattérben koordináták halmazaként ábrázolt, a főkomponens-analízis egy alacsonyabb dimenziójú képet szolgáltathat a felhasználó számára, a leginformatívabb nézőpontból nézve az objektum egy levetítése vagy „árnyéka” által. Ez az első néhány főkomponens felhasználásával történik úgy, hogy a transzformált adat dimenzióit lecsökkentjük.

A főkomponens-analízis szorosan összefügg a faktoranalízissel és a kanonikus korrelációelemzéssel. A faktoranalízis több doménium specifikus feltételt épít be a mögöttes struktúráról és egy kissé eltérő mátrix sajátvektoraival dolgozik. A kanonikus korrelációelemzés egy olyan koordináta rendszert határoz meg, mely két adathalmaz közti kereszt-kovarianciát írja le optimálisan, míg a főkomponens-analízis egy olyan, új ortogonális koordináta rendszert határoz meg, mely egyetlen adathalmaz varianciáját írja le optimálisan.

Intuíció

A főkomponens-analízis felfogható úgy is, mint ha egy n dimenziós ellipszoidot próbálnánk az adatokra illeszteni, ahol az ellipszoid mindegyik tengelye egy főkomponens lenne. Ha az ellipszoid valamelyik tengelye kicsi, akkor a tengely menti variancia is kicsi lesz, és ha elhagyjuk ezt a tengelyt és a hozzá tartozó főkomponenst az adathalmaz reprezentációjából, akkor csak egy ezzel arányosan kis adatmennyiséget veszítünk el.

Ahhoz, hogy megtaláljuk az ellipszoid tengelyeit, elsőként ki kell vonnunk minden változó átlagát az adathalmazból, hogy az adatokat az origó köré igazítsuk. Ezután kiszámítjuk az adatok kovariancia mátrixát és a sajátértékeket, illetve a kovariancia mátrixhoz tartozó sajátvektorokat. Utána merőlegesítjük (ortogonalizáljuk) és normalizáljuk a sajátvektor halmazt (a klasszikus Karteziánus koordináta rendszerek egy típusa: ortonormált=ortogonális és normált), hogy egységvektorokat kapjunk. Ezt követően a kapott, kölcsönösen merőleges egységvektorokra úgy tekinthetünk, mint az ellipszoid adatra illesztett tengelyeire. A varianciák azon hányada, melyet az egyes sajátvektorok képviselnek kiszámítható úgy, hogy a sajátvektorhoz tartozó sajátértéket elosztjuk az összes sajátérték összegével.

Fontos megjegyezni, hogy ez az eljárás érzékeny az adatok skálázására, s nem létezik konszenzus arra vonatkozólag, hogy hogyan kell az adatokat skálázni az optimális eredmények eléréséhez.

Matematikában

A főkomponens-analízis matematikailag úgy határozható meg, mint egy ortogonális lineáris transzformáció, mely az adatokat egy új koordináta rendszerbe transzformálja, ahol az adat bizonyos projekciója szerinti legnagyobb variancia az első koordinátán helyezkedik el (az első főkomponens), a második legnagyobb variancia a második koordinátán, és így tovább.

Legyen az adatmátrix (X) oszlop szerinti empirikus átlaga nulla (minden oszlop mintaátlaga eltolódott nullára), ahol minden n sor egy kísérlet eltérőképpen való megismétlése és minden p oszlop egy bizonyos adat (pl. egy résztvevő reakcióideje).

Matematikailag a transzformáció egy p dimenziós, súlyokat vagy töltéseket tartalmazó vektorok halmaza által meghatározott $\mathbf {w} _{(k)}=(w_{1},\dots ,w_{p})_{(k)}$, melyek minden sor vektort $\mathbf {x} _{(i)}$ X-ből levetítenek egy új főkomponens szkór vektorra $\mathbf {t} _{(i)}=(t_{1},\dots ,t_{p})_{(i)}$, a következő összefüggés által kifejezve ${t_{k}}_{(i)}=\mathbf {x} _{(i)}\cdot \mathbf {w} _{(k)}$, oly módon, hogy t egyes változói egymás után átöröklik a lehetséges legnagyobb varianciát x-ből úgy, hogy minden egyes w súlyvektor egységvektor legyen.

A főkomponens-analízis folyamatában használt alapvető fogalmak és eljárások

Szórás

A szóródás mérőszáma, mely „megmutatja, hogy $\mathbf {Y} _{i}$ ismérvértékek átlagosan mennyivel térnek el a számtani átlagtól” (Hunyadi-Vita, 2008, 115.o.). Kiszámítására a következő képlet használható:

$s={\sqrt {\frac {\sum _{i=1}^{n}(X_{(i)}-{\bar {X}})^{2}}{(n-1)}}}$ , ahol s a szórás, $X_{(i)}$ az adatpont, ${\bar {X}}$a minta átlaga, n az elemszám (a bevett minta nagysága).

Variancia

A variancia szintén egy szóródási mutató, a szórás négyzete. Képlete:

$s^{2}={\frac {\sum _{i=1}^{n}(X_{(i)}-{\bar {X}})^{2}}{(n-1)}}$.

Kovariancia

A kovariancia két, egymástól különböző adathalmaz $(X,Y)$ együttmozgását adja meg, tehát $C(X,Y)$ kovariancia a két változó közti kapcsolatot és annak irányát adja meg (Hunyadi-Vita, 2008, 175. o.). Vagyis, ha $C(X,Y)$ pozitív, akkor a két változó közt pozitív irányú a kapcsolat, együtt nőnek; ha $C(X,Y)$ negatív, akkor negatív irányú kapcsolat van, azaz, ha egyik változó nő, akkor a másik csökken. Ha $C(X,Y)=0$, ez a két változó közti kapcsolat hiányát jelzi. Képlete:

$C(X,Y)={\frac {\sum _{i=1}^{n}(X_{(i)}-{\bar {X}})(Y_{(i)}-{\bar {Y}})}{(n-1)}}$.

Kovariancia Mátrix

A kovariancia mátrix felfogható úgy, mint az összes kiszámított kovariancia ábrázolása, vagyis egy olyan mátrix, melyben az $(i,j)$ pozíción egy X vektor i-edik és j-edik eleme közti kovariancia található. A kovariancia mátrix a következő képlet alapján írható fel:

$C^{n\cdot n}=(c_{i,j},c_{i,j}=cov(Dim_{i},Dim_{j}))$, ahol $C^{n\cdot n}$ egy mátrix, melynek n sora és n oszlopa van és $Dim_{x}$ az x-edik dimenzió. Ennek értelmében, ha egy adathalmaz három dimenzióval rendelkezik (legyenek x, y, z), akkor a kovariáns mátrix 3x3-as mintázatot fog követni, és a következőképpen írható fel:

$C={\begin{pmatrix}cov(x,x)&cov(x,y)&cov(x,z)\\cov(y,x)&cov(y,y)&cov(y,z)\\cov(z,x)&cov(z,y)&cov(z,z)\end{pmatrix}}$.

Sajátvektor és sajátérték

A sajátvektorok a mátrixok szorzásának egy speciális esete. λ szám akkor lesz az A mátrix sajátértéke, ha létezik olyan nemnulla X vektor, amelyre igaz, hogy Ax=λx. Ez az X vektor az A mátrix λ sajátértékhez tartozó sajátvektora. Például legyen a transzformációs mátrix $A={\begin{pmatrix}4&1\\1&4\end{pmatrix}}$ és a vektor $v={\begin{pmatrix}3\\-3\end{pmatrix}}$. Ha A transzformációs mátrixszal balról megszorozzuk a v vektort, a következő sajátvektort kapjuk: ${\begin{pmatrix}9\\-9\end{pmatrix}}$, ahol a sajátérték 3.

A sajátvektorok a következő tulajdonságokkal rendelkeznek:

• csak négyzetes mátrixoknak lehetnek sajátvektorai, illetve nem minden négyzetes mátrixnak van sajátvektora; egy adott n x n-es mátrix, mely rendelkezik sajátvektorral, annak n darab sajátvektora van;
• ha egy sajátvektort növelünk, mielőtt megszoroznánk, ugyanezen vektor többszörösét kapjuk.

A főkomponens-analízis menete

• Első lépésben bevezetjük az adatokat és létrehozzuk az adathalmazt. Legyenek x és y.
• Második lépésben kivonjuk az átlagokat minden adat dimenzióból, vagyis minden x értékből kivonjuk a hozzá tartozó ${\bar {X}}$ átlagot, illetve minden y értékből a hozzá tartozó ${\bar {Y}}$ átlagot.
• Harmadik lépésben kiszámoljuk a kovariáns mátrixot a fenti képlet alapján. Ez esetben a kovariáns mátrix 2 x 2-es lesz.
• Negyedik lépésben kiszámoljuk a kovariancia mátrixhoz tartozó sajátvektorokat és sajátértékeket. A főkomponens-analízis esetében fontos, hogy a sajátvektorok egységvektorok legyenek (hosszuk 1). A sajátvektoroknak egymásra merőlegeseknek kell lenniük.
• Ötödik lépésben kiválasztjuk a komponenseket és kialakítjuk a vonás vektort. A sajátvektorokat sajátérték szerint sorrendbe állítjuk, legnagyobbtól a legkisebbig, megkapva így a komponenseket szignifikanciájuk szerint. Ha a sajátértékek kellően kicsit, akkor az adatmennyiség amit elveszítünk ezzel arányos mértékben szintén kicsi lesz. Ezt követően létrehozzuk a vonásvektort a megtartott sajátvektorokból.
• Utolsó lépésben származtatjuk az új adathalmazt. Ez úgy történik, hogy az előző lépésben kapott vonás vektort, ami oszlopvektor, transzponáljuk, vagyis átalakítjuk sorvektorrá úgy, hogy a legszignifikánsabb sajátvektor lesz az első érték. Az így kapott vektort megszorozzuk jobbról az eredeti adathalmaz transzponáltjával.

Irodalom

• Hunyadi László – Vita László: Statisztika I, Budapest: Aula Kiadó, 2008. ISBN 978-963-9698-23-9
• Jolliffe, I.T. (2002). Principal Component Analysis, second edition (Springer).

Fordítás

Ez a szócikk részben vagy egészben a Principal component analysis című angol Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel.