Pearson és Spearman korrelációs mátrix R-ben példával

Kétváltozós korreláció az R-ben

A kétváltozós kapcsolat az R két változója közötti kapcsolatot -vagy korrelációt- írja le. Ebben az oktatóanyagban a korreláció fogalmát tárgyaljuk, és bemutatjuk, hogyan használható az R-beli két változó közötti kapcsolat mérésére.

Korreláció az R programozásban

Két elsődleges módszer létezik a két változó közötti korreláció kiszámítására az R programozásban:

• Pearson: Paraméteres korreláció
• Dárdás: Nem paraméteres korreláció

Pearson korrelációs mátrix az R

A Pearson korrelációs módszert általában a két változó közötti kapcsolat elsődleges ellenőrzésére használják.

Az korrelációs együttható, r-rel írva, az erősségét méri lineáris két változó, x és y közötti kapcsolat. A következőképpen számítható ki:

ahol

• az x szórása
• az y szórása

A korreláció -1 és 1 között van.

• Ha r értéke közel van 0-hoz vagy egyenlő azzal, az x és y között kevés vagy semmilyen lineáris összefüggést nem jelent.
• Minél közelebb kerül r 1-hez vagy -1-hez, annál erősebb a lineáris kapcsolat.

Az alábbi t-statisztikával ellenőrizheted, hogy r eltér-e nullától, összehasonlítva azt az n – 2 szabadságfokú Student-eloszlással:

Spearman rangkorreláció az R-ben

A rangkorreláció rang szerint rendezi a megfigyeléseket, és kiszámítja a rangok közötti hasonlóság szintjét. A rangkorreláció előnye, hogy robusztus a kiugró értékekkel szemben, és nem kapcsolódik az adatok eloszlásához. A rangkorreláció ordinális változók esetén is a megfelelő választás.

A Spearman-féle rangkorreláció, amelyet rho-val jelölünk, szintén -1-től 1-ig terjed, és a két szélső értékhez közeli értékek erős monoton kapcsolatot jeleznek. Kiszámítása a következőképpen történik:

A számláló az x és y rangjai közötti kovariancia, a nevező pedig a szórásuk szorzata.

R-ben mindkettőt a cor() függvénnyel számítjuk ki, amely három argumentumot fogad el: x, y és metódus.

cor(x, y, method)

érvek:

• x: Első vektor
• y: Második vektor
• módszer: A korreláció kiszámításához használt képlet. Három karakterlánc érték:
  • "pearson"
  • "kendall"
  • "dárdás"

Opcionális argumentum hozzáadható, ha a vektorok hiányzó értéket tartalmaznak: use = “complete.obs”

A BudgetUK adatkészletét fogjuk használni. Ez az adatkészlet a brit háztartások költségvetési allokációját mutatja be 1980 és 1982 között. 1519 megfigyelés van tíz jellemzővel, köztük:

• wfood: ossz meg ételt osztj el
• wüzemanyag: oszd meg az üzemanyagköltést
• wcruha: költségvetési rész a ruházati kiadásokra
• walc: oszd meg az alkoholfogyasztást
• wtrans: ossza meg a szállítási kiadásokat
• anya: egyéb javakra fordított arány
• totexp: teljes háztartási kiadás fontban
• jövedelem: teljes nettó háztartási jövedelem
• kor: háztartás kora
• gyerekek: Gyermekek száma

Példa

library(dplyr)
PATH <- "https://raw.githubusercontent.com/guru99-edu/R-Programming/master/british_household.csv"
data <- read.csv(PATH) %>%
    filter(income < 500) %>%
    mutate(log_income = log(income),
           log_totexp = log(totexp),
           children_fac = factor(children, order = TRUE, labels = c("No", "Yes"))) %>%
    select(-c(X, X.1, children, totexp, income))
glimpse(data)

Code Magyarázat

• Először importáljuk az adatokat, és megnézzük a glimpse() függvényt a dplyr könyvtárból.
• Három háztartás 500 vagy annál nagyobb jövedelemről számol be, így a filter(jövedelem < 500) eltávolítja őket, és a sorok száma 1,519-ről 1,516-ra csökken.
• Általános gyakorlat, hogy egy monetáris változót logban konvertálnak. Segít csökkenteni a kiugró értékek hatását, és csökkenti az adatkészlet ferdeségét.

output:

## Observations: 1,516
## Variables: 10
## $ wfood        <dbl> 0.4272, 0.3739, 0.1941, 0.4438, 0.3331, 0.3752, 0...
## $ wfuel        <dbl> 0.1342, 0.1686, 0.4056, 0.1258, 0.0824, 0.0481, 0...
## $ wcloth       <dbl> 0.0000, 0.0091, 0.0012, 0.0539, 0.0399, 0.1170, 0...
## $ walc         <dbl> 0.0106, 0.0825, 0.0513, 0.0397, 0.1571, 0.0210, 0...
## $ wtrans       <dbl> 0.1458, 0.1215, 0.2063, 0.0652, 0.2403, 0.0955, 0...
## $ wother       <dbl> 0.2822, 0.2444, 0.1415, 0.2716, 0.1473, 0.3431, 0...
## $ age          <int> 25, 39, 47, 33, 31, 24, 46, 25, 30, 41, 48, 24, 2...
## $ log_income   <dbl> 4.867534, 5.010635, 5.438079, 4.605170, 4.605170,...
## $ log_totexp   <dbl> 3.912023, 4.499810, 5.192957, 4.382027, 4.499810,...
## $ children_fac <ord> Yes, Yes, Yes, Yes, No, No, No, No, No, No, Yes, ...

A jövedelem és a wfood változók közötti korrelációs együtthatót a „pearson” és a „spearman” módszerekkel tudjuk kiszámítani.

cor(data$log_income, data$wfood, method = "pearson")

output:

## [1] -0.2466986

cor(data$log_income, data$wfood, method = "spearman")

output:

## [1] -0.2501252

Mielőtt ezt kiterjesztenénk minden változópárra, érdemes rögzíteni, hogyan kell egyetlen együtthatót olvasni.

Hogyan értelmezzük a korrelációs együtthatót?

Egy együttható csak akkor hasznos, ha meg tudod mondani, mit jelent. Az alábbi sávok a hagyományos leolvasást jelentik, és az előjelet az erősségtől elkülönítve kell leolvasni.

A log_income és a wfood között korábban kiszámított -0.2467 érték tehát egy gyenge negatív kapcsolatot jelez: a gazdagabb háztartások költségvetésük valamivel kisebb részét költik élelmiszerre.

Három figyelmeztetés vonatkozik minden együtthatóra.

• A korreláció nem okozati összefüggés. Egy erős r azt jelenti, hogy a két változó együtt mozog, soha nem azt, hogy az egyik okozza a másikat. Egy harmadik, nem mért változó gyakran mindkettőt mozgatja.
• Pearson csak egyenes vonalakat lát. Egy tökéletes U alakú kapcsolat közel nulla r értéket ad vissza. Mindig ábrázoljuk az adatokat, mielőtt megbíznánk a számban.
• A méret fontosabb, mint a jelentőség. 1,516 megfigyelés esetén a 0.06-os együttható statisztikailag szignifikáns lehet, és gyakorlatilag még mindig értelmetlen.

Hogyan teszteljük a korreláció szignifikanciáját a cor.test() függvénnyel?

A cor() függvény visszaadja az együtthatót és semmi mást. Egyetlen értékpár esetén a cor.test() egyetlen hívásban összeadja a p-értéket és a konfidenciaintervallumot.

cor.test(data$log_income, data$wfood, method = "pearson")

A kimenet négy részből áll, amelyeket érdemes elolvasni.

1. t és df: a tesztstatisztika és szabadsági fokai, n – 2.
2. p-érték: annak a valószínűsége, hogy ekkora együtthatót látnánk, ha a valódi korreláció nulla lenne.
3. 95 százalékos konfidenciaintervallum: a valódi korreláció valószínűsíthető tartománya. Ha kizárja a nullát, akkor a kapcsolat ezen a szinten szignifikáns.
4. mintabecslés: maga az együttható, megegyezik azzal, amit a cor() visszaad.

Ugyanez a függvény egy argumentum megváltoztatásával futtatja le a rangsor alapú teszteket:

# Spearman rank correlation with a p-value
cor.test(data$log_income, data$wfood, method = "spearman")

# One-sided test: is the correlation greater than zero?
cor.test(data$log_income, data$wfood, alternative = "greater")

Mikor melyiket kell használni. Használd a cor.test() függvényt, ha egy adott párt vizsgálsz, mert ez adja meg az rcorr() által kihagyott konfidenciaintervallumot. Használd a fent látható Hmisc rcorr() függvényt, ha egy teljes mátrix p-értékeire van szükséged egyszerre. Vedd figyelembe, hogy sok pár tesztelése növeli a téves pozitív arányt, ezért a p-értékeket a p.adjust(p_value, method = “BH”) függvénnyel igazítsd be, mielőtt következtetéseket vonnál le egy nagy mátrixból.

Korrelációs mátrix az R-ben

Egy kétváltozós korreláció jó kiindulópont, de egy többváltozós nézet tágabb képet ad. korrelációs mátrix egy négyzet alakú táblázat, amely minden változó páronkénti korrelációját tartalmazza minden más változóval szemben.

A cor() függvény egy korrelációs mátrixot ad vissza. Az egyetlen különbség a kétváltozós korrelációval szemben, hogy nem kell megadnunk, mely változókat. Alapértelmezés szerint az R kiszámítja az összes változó közötti korrelációt.

Egy faktorra nem lehet korrelációt kiszámítani, ezért minden kategorikus oszlopot el kell hagyni, mielőtt átadnánk az adatkeretet a cor()-nak.

A korrelációs mátrix szimmetrikus, ami azt jelenti, hogy az átló feletti értékek megegyeznek az alábbi értékekkel. Vizuálisabb a mátrix felét megjeleníteni.

A children_fac ki van zárva, mivel a cor() nem tud faktoron műveleteket végrehajtani.

# the last column of data is a factor level. We don't include it in the code
mat_1 <-as.dist(round(cor(data[,1:9]),2))
mat_1

Code Magyarázat

• cor(adatok[, 1:9])Számítsa ki a korrelációs mátrixot a kilenc numerikus oszlop alapján
• kerek(…, 2): Minden együtthatót kerekítsen két tizedesjegyre
• as.dist()Csak az alsó háromszöget nyomtassa ki, mivel a mátrix szimmetrikus

output:

##            wfood wfuel wcloth  walc wtrans wother   age log_income
## wfuel       0.11                                                  
## wcloth     -0.33 -0.25                                            
## walc       -0.12 -0.13  -0.09                                     
## wtrans     -0.34 -0.16  -0.19 -0.22                               
## wother     -0.35 -0.14  -0.22 -0.12  -0.29                        
## age         0.02 -0.05   0.04 -0.14   0.03   0.02                 
## log_income -0.25 -0.12   0.10  0.04   0.06   0.13  0.23           
## log_totexp -0.50 -0.36   0.34  0.12   0.15   0.15  0.21       0.49

Jelentősségi szint

Egy önmagában lévő együttható nem mondja meg, hogy a kapcsolat statisztikailag megbízható-e. A Hmisc könyvtár rcorr() függvénye minden párra visszaadja a p-értéket. A könyvtárat letölthetjük innen: megye és másolja ki a kódot, hogy beillessze a terminálba:

conda install -c r r-hmisc

Az rcorr() egy adatkeretet igényel mátrixként. Adatainkat korábban mátrixmá alakíthatjuk, hogy kiszámítsuk a korrelációs mátrixot a p-értékkel.

library("Hmisc")
data_rcorr <-as.matrix(data[, 1: 9])

mat_2 <-rcorr(data_rcorr)
# mat_2 <-rcorr(as.matrix(data)) returns the same output

A mat_2 listaobjektum három elemet tartalmaz:

• r: A korrelációs mátrix kimenete
• n: Megfigyelések száma
• P: p-érték

Minket a harmadik elem, a p-érték érdekel. Gyakori, hogy a korrelációs mátrixot a p-értékkel tüntetik fel a korrelációs együttható helyett.

p_value <-round(mat_2[["P"]], 3)
p_value

Code Magyarázat

• mat_2[["P"]]: A p-értékeket a P nevű elem tárolja
• round(mat_2[["P"]], 3): Az elemek kerekítése három számjeggyel

output:

           wfood wfuel wcloth  walc wtrans wother   age log_income log_totexp
wfood         NA 0.000  0.000 0.000  0.000  0.000 0.365      0.000          0
wfuel      0.000    NA  0.000 0.000  0.000  0.000 0.076      0.000          0
wcloth     0.000 0.000     NA 0.001  0.000  0.000 0.160      0.000          0
walc       0.000 0.000  0.001    NA  0.000  0.000 0.000      0.105          0
wtrans     0.000 0.000  0.000 0.000     NA  0.000 0.259      0.020          0
wother     0.000 0.000  0.000 0.000  0.000     NA 0.355      0.000          0
age        0.365 0.076  0.160 0.000  0.259  0.355    NA      0.000          0
log_income 0.000 0.000  0.000 0.105  0.020  0.000 0.000         NA          0
log_totexp 0.000 0.000  0.000 0.000  0.000  0.000 0.000      0.000         NA

A korrelációs mátrix megjelenítése R-ben

A hőtérkép egy másik módja a korrelációs mátrixok olvasásának. A GGally könyvtár kiterjeszti a ggplot2-t, és a CRAN-ból telepíthető a conda helyett:

install.packages("GGally")

A könyvtár különböző funkciókat tartalmaz az összefoglaló statisztikák megjelenítésére, mint például az összes változó korrelációja és eloszlása. mátrix.

A ggcorr() függvénynek sok argumentuma van. Csak azokat az érveket mutatjuk be, amelyeket az oktatóanyagban használunk:

A ggcorr függvény

ggcorr(df, method = c("pairwise", "pearson"),
  nbreaks = NULL, digits = 2, low = "#3B9AB2",
  mid = "#EEEEEE", high = "#F21A00",
  geom = "tile", label = FALSE,
  label_alpha = FALSE)

érvek:

• df: Használt adatkészlet
• módszer: Képlet a korreláció kiszámításához. Alapértelmezés szerint a páronkénti és a Pearson kiszámítása történik
• nbreaks: Egy kategorikus tartományt ad vissza az együtthatók színezésére. Alapértelmezés szerint nincs törés, és a színátmenet folyamatos
• számjegy: A korrelációs együttható kerekítése. Alapértelmezés szerint állítsa 2-re
• alacsony: A színezés alsó szintjének szabályozása
• középső: A színezés középső szintjének szabályozása
• nagy: A színezés magas szintjének szabályozása
• geom: A geometriai argumentum alakjának szabályozása. Alapértelmezés szerint „mozaik”
• címke: Logikai érték. Megjeleníteni vagy sem a címkét. Alapértelmezés szerint állítsa 'HAMIS' értékre

Alap hőtérkép

A csomag legalapvetőbb rajza egy hőtérkép. A grafikon jelmagyarázata gradiens színt mutat – 1-től 1-ig, a meleg szín erős pozitív korrelációt, a hideg szín pedig a negatív korrelációt jelzi.

library(GGally)
ggcorr(data)

Code Magyarázat

• ggcorr(adat): Csak egy argumentum szükséges, ez az adatkeret neve. A faktorszintű változók nem szerepelnek a diagramban.

output:

Vezérlés hozzáadása a hőtérképhez

További vezérlőelemeket adhatunk a grafikonhoz:

ggcorr(data,
    nbreaks = 6,
    low = "steelblue",
    mid = "white",
    high = "darkred",
    geom = "circle")

Code Magyarázat

• nbreaks=6: törd meg a legendát 6 ranggal.
• alacsony = „acélkék”: Negatív korrelációhoz használjon világosabb színeket
• közép = "fehér": Használjon fehér színeket a középső tartományok korrelációjához
• magas = "sötét": Pozitív korrelációhoz használjon sötét színeket
• geom = "kör": Használja a kört az ablakok alakjaként a hőtérképen. A kör mérete arányos a korreláció abszolút értékével.

output:

Címke hozzáadása a hőtérképhez

A GGally lehetővé teszi, hogy címkét adjunk hozzá az ablakokhoz:

ggcorr(data,
    nbreaks = 6,
    label = TRUE,
    label_size = 3,
    color = "grey50")

Code Magyarázat

• címke = IGAZ: Adja hozzá a hőtérképen belüli korrelációs együtthatók értékeit.
• szín = "grey50": Válassza ki a színt, azaz a szürkét
• label_size = 3: Állítsa be a címke méretét 3-ra

output:

A ggpairs függvény

A GGally könyvtár a ggpairs() függvényt is biztosítja, amely egy diagrammátrixot ad vissza. k kiválasztott változó esetén az eredmény k ráccsal ak: az átló az egyes változók eloszlását mutatja, míg az átló feletti és alatti panelek eltérő számítást végezhetnek. A szintaxis a következő:

ggpairs(df, columns = 1:ncol(df), title = NULL,
    upper = list(continuous = "cor"),
    lower = list(continuous = "smooth"),
    mapping = NULL)		

érvek:

• df: Használt adatkészlet
• oszlopok: Válassza ki az oszlopokat a diagram rajzolásához
• cím: Adjon meg egy címet
• felső: A diagram átlója feletti mezőket kell vezérelni. Meg kell adni a visszaadandó számítások vagy grafikon típusát. Ha folytonos = „korreláció”, akkor R-t kérjük a korreláció kiszámítására. Fontos megjegyezni, hogy az argumentumnak listának kell lennie. Más argumentumok is rendelkezésre állnak; lásd a GGally dokumentáció további információért.
• alacsonyabb: Az átló alatti mezők vezérlése.
• térképping: A grafikon esztétikáját jelzi. Például kiszámíthatjuk a grafikont különböző csoportokhoz.

Kétváltozós elemzés ggpárral csoporttalping

A következő grafikon három információt ábrázol:

• A log_totexp, log_income, kor és wtrans változó közötti korrelációs mátrix, csoportosítva, hogy a háztartásnak van-e gyereke vagy sem.
• Ábrázolja az egyes változók csoportonkénti eloszlását!
• Jelenítse meg a szórásdiagramot a trenddel csoportonként

library(ggplot2)
ggpairs(data, columns = c("log_totexp", "log_income", "age", "wtrans"), title = "Bivariate analysis of revenue expenditure by the British household", upper = list(continuous = wrap("cor",
        size = 3)),
    lower = list(continuous = wrap("smooth",
        alpha = 0.3,
        size = 0.1)),
    mapping = aes(color = children_fac))

Code Magyarázat

• oszlopok = c("log_totexp", "log_income", "age", "wtrans"): Válassza ki a grafikonon megjelenítendő változókat
• title = „A brit háztartás bevételi kiadásainak kétváltozós elemzése”: Cím hozzáadása
• felső = lista(): A grafikon felső részének vezérlése. Azaz az átló felett
• folyamatos = becsomagolás ("cor", méret = 3)): Számítsa ki a korrelációs együtthatót. Az argumentumot a wrap() függvényben folytonosan becsomagoljuk, hogy ellenőrizzük a gráf esztétikáját (azaz méret = 3) -lower = list(): A gráf alsó részét szabályozzuk. Azaz az átló alatt.
• folyamatos = becsomagolás ("sima", alfa = 0.3, méret = 0.1): Lineáris trenddel rendelkező szóródiagram hozzáadása. Az argumentumot a wrap() függvényen belül folyamatosan csomagoljuk, hogy ellenőrizzük a gráf esztétikáját (azaz size=0.1, alfa=0.3).
• térképping = aes(szín = gyermek_fak): Ossza fel minden panelt a children_fac szerint, ahol a rendezett faktor „Nem”-mel van jelölve a gyermektelen háztartások, és „Igen”-nel a gyermekes háztartások esetében.

output:

Kétváltozós elemzés részleges csoportosítással rendelkező ggpárokkalping

Az alábbi grafikon egy kicsit más. Megváltoztattuk a térkép pozícióját.ping a felső argumentumon belül.

ggpairs(data, columns = c("log_totexp", "log_income", "age", "wtrans"),
    title = "Bivariate analysis of revenue expenditure by the British household",
    upper = list(continuous = wrap("cor",
            size = 3),
        mapping = aes(color = children_fac)),
    lower = list(
        continuous = wrap("smooth",
            alpha = 0.3,
            size = 0.1))
)

Code Magyarázat

• Pontosan ugyanaz a kód, mint az előző példában, kivéve:
• térképping = aes(color = children_fac): A lista áthelyezése az upper = list() függvényben. Csak a gráf felső részében szeretnénk csoportonként egymásra halmozott számításokat.

output:

Korreláció R-ben: Főbb tudnivalók és függvényhivatkozás

• A kétváltozós kapcsolat az R két változója közötti kapcsolatot - vagy korrelációt - írja le.
• Két elsődleges módszer létezik a két változó közötti korreláció kiszámítására R programozás: Pearson & Spearman.
• A Pearson korrelációs módszert általában a két változó közötti kapcsolat elsődleges ellenőrzésére használják.
• A rangkorreláció rang szerint rendezi a megfigyeléseket, és kiszámítja a rangsor közötti hasonlóság szintjét.
• A Spearman-féle rangkorreláció -1-től 1-ig terjed, és a szélső értékek közelében lévő értékek erős monoton kapcsolatot jeleznek.
• A korrelációs mátrix egy négyzet alakú táblázat, amely minden változó páronkénti korrelációját tartalmazza.
• A p-érték megmutatja, hogy egy megfigyelt korreláció statisztikailag megkülönböztethető-e a nullától.

Az oktatóanyagban használt összes korrelációs függvényt az alábbiakban soroljuk fel:

cor(dfx2, method = "pearson")

cor(dfx2, method = "spearman")

cor(df, method = "pearson")

cor(df, method = "spearman")

rcorr(as.matrix(data[,1:9]))[["P"]]

ggcorr(df)

ggpairs(df, columns = c("x1", "x2"))

GYIK