R-aggregaattifunktio: summarize() ja group_by() esimerkki

Tässä opetusohjelmassa käytetty tietojoukko

Muuttujan yhteenveto antaa sinulle alustavan käsityksen datasta, ja sen yhteenveto ryhmittäin kertoo paljon enemmän arvojen jakautumisesta. Tässä tutoriaalissa näytetään, miten datajoukko yhdistetään ryhmittäin dplyr-kirjaston avulla.

Tässä opetusohjelmassa käytetään Lahmanin lyöntitietojoukkoa. Tuomisen ja säilytyksen jälkeenping vain alla lueteltuja yhdeksää saraketta, työdatakehys sisältää 104 324 havaintoa ja 9 muuttujaa:

• PlayerID: Pelaajan tunnuskoodi. Tekijä
• vuositunnus: vuosi. Tekijä
• TeamID: Joukkue. tekijä
• lgID: Liiga. Tekijä: AA AL FL NL PL UA
• AB: Lepakoissa. Numeerinen
• G: Pelit: pelaajan pelien määrä. Numeerinen
• R: Juoksee. Numeerinen
• HR: Homeruns. Numeerinen
• SH: Sacrifice hits. Numeerinen

Ennen kuin teet yhteenvedon, teet seuraavat vaiheet tietojen valmistelemiseksi:

• Vaihe 1: Tuo tiedot
• Vaihe 2: Valitse asiaankuuluvat muuttujat
• Vaihe 3: Lajittele tiedot

library(dplyr)

# Step 1
data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") %>%

# Step 2
select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH))  %>% 

# Step 3
arrange(playerID, teamID, yearID)

Hyvä käytäntö tietojoukon tuonnissa on käyttää glimpse()-funktiota saadaksesi käsityksen tietojoukon rakenteesta.

# Structure of the data
glimpse(data)

lähtö:

Observations: 104,324
Variables: 9
$ playerID <fctr> aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a...
$ yearID   <int> 2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196...
$ AB       <int> 1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495, ...
$ teamID   <fctr> ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A...
$ lgID     <fctr> NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL, ...
$ G        <int> 33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15...
$ R        <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75...
$ HR       <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40...
$ SH       <int> 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6, ...

yhteenveto()

Summarise():n syntaksi on yksinkertainen ja yhdenmukainen muiden dplyr-kirjastoon sisältyvien verbien kanssa.

summarise(df, variable_name=condition) 
arguments: 
- `df`: Dataset used to construct the summary statistics 
- `variable_name=condition`: Formula to create the new variable

Katso alla oleva koodi:

summarise(data, mean_run =mean(R))

Code Selitys

• summarise(data, mean_run = mean(R)): Luo muuttujan nimeltä mean_run, joka on tietojoukon tiedoista ajetun sarakkeen keskiarvo.

lähtö:

##   mean_run
## 1 19.20114

Voit lisätä niin monta muuttujaa kuin haluat. Palautat keskimääräiset pelatut pelit ja keskimääräiset uhraukset.

summarise(data, mean_games = mean(G),
    mean_SH = mean(SH, na.rm = TRUE))

Code Selitys

• keskiarvo_SH = keskiarvo(SH, na.rm = TOSI): Tee yhteenveto toisesta muuttujasta. Asetat na.rm = TOSI, koska sarake SH sisältää puuttuvia havaintoja.

lähtö:

##   mean_games  mean_SH
## 1   51.98361 2.340085

group_by() vs. Ei group_by()-funktiota

Yksinään käytettynä summarize() kutistaa koko datakehyksen yhdeksi riviksi, kuten yllä olevat esimerkit osoittavat. Sen todellinen teho ilmenee, kun lisäät group_by():n: dplyr kirjasto soveltaa sitten samaa laskutoimitusta erikseen jokaiseen ryhmään ja palauttaa yhden rivin ryhmää kohden.

Huomaa, että group_by toimii täydellisesti kaikkien muiden verbien kanssa (esim. mutate(), filter(), arrange(), …).

Putkilinjan operaattoria on kätevä käyttää, kun sinulla on useampi kuin yksi askel. Voit laskea keskimääräisen homerun baseball-liigan mukaan.

data %>%
	group_by(lgID) %>%
	summarise(mean_run = mean(HR))

Code Selitys

• data: Tietojoukko, jota käytetään yhteenvetotilastojen muodostamiseen
• group_by(lgID): Jaa tiedot lgID:n arvojen mukaan ennen yhteenvetoa
• summarise(mean_run = keskiarvo(HR)): Laske keskimääräinen homerun

lähtö:

## 
# A tibble: 7 x 2
##     lgID  mean_run
##   <fctr>     <dbl>
## 1     AA 0.9166667
## 2     AL 3.1270988
## 3     FL 1.3131313
## 4     NL 2.8595953
## 5     PL 2.5789474
## 6     UA 0.6216216
## 7   <NA> 0.2867133	

Putki toimii myös ggplot():n kanssa, joten koko ketju raakadatasta valmiiseen kaavioon pysyy yhdessä lausekkeessa. Alla oleva koodi yhdistää group_by():n, summarize():n ja ggplot():n näyttääkseen keskimääräiset kotijuoksut liigaa kohden pylväsdiagrammina.

Teet seuraavan vaiheen:

• Vaihe 1: Valitse datakehys
• Vaihe 2: Ryhmittele tiedot
• Vaihe 3: Tee yhteenveto tiedoista
• Vaihe 4: Piirrä yhteenvetotilastot

library(ggplot2)
# Step 1
data %>% 
#Step 2
group_by(lgID) %>% 
#Step 3
summarise(mean_home_run = mean(HR)) %>% 
#Step 4
ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +
    geom_bar(stat = "identity") +
    theme_classic() +
    labs(
        x = "baseball league",
        y = "Average home run",
        title = paste(
            "Example group_by() with summarise()"
        )
    )

lähtö:

Funktiot, joita voit käyttää summarize()-funktion sisällä

Verbi summarise() on yhteensopiva lähes kaikkien R:n funktioiden kanssa. Tässä on lyhyt luettelo hyödyllisistä funktioista, joita voit käyttää yhdessä summarise(:n) kanssa:

Seuraavissa osioissa käsitellään esimerkkiä jokaisesta yllä olevan taulukon funktiosta. Jos olet uusi putken ja muiden verbien käyttäjä, aloita esimerkillä valitse, suodata ja järjestele opetusohjelma.

Perustoiminto

Edellisessä esimerkissä et tallentanut yhteenvetotilastoa tietokehykseen.

Voit luoda datakehyksen yhteenvedosta kahdessa vaiheessa:

• Vaihe 1: Tallenna tietokehys myöhempää käyttöä varten
• Vaihe 2: Luo viivakaavio käyttämällä tietojoukkoa

Vaihe 1) Lasketaan pelattujen pelien keskimääräinen lukumäärä vuodessa.

## Mean
ex1 <- data %>%
	group_by(yearID) %>%
	summarise(mean_game_year = mean(G))
head(ex1)

Code Selitys

• Lyöntitietojoukon yhteenvetotilasto tallennetaan tietokehykseen ex1.

lähtö:

## # A tibble: 6 x 2
##   yearID mean_game_year
##    <int>          <dbl>
## 1   1871       23.42308
## 2   1872       18.37931
## 3   1873       25.61538
## 4   1874       39.05263
## 5   1875       28.39535
## 6   1876       35.90625	

Vaihe 2) Näytät yhteenvetotilaston viivakaaviolla ja näet trendin.

# Plot the graph
ggplot(ex1, aes(x = yearID, y = mean_game_year)) +
    geom_line() +
    theme_classic() +
    labs(
        x = "Year",
        y = "Average games played",
        title = paste(
            "Average games played from 1871 to 2016"
        )
    )

lähtö:

Alijoukko

Funktio summarise() on yhteensopiva osajoukon kanssa.

## Subsetting + Median
data %>%
group_by(lgID) %>%
summarise(median_at_bat_league = median(AB), 
	#Compute the median without the zero 
	median_at_bat_league_no_zero = median(AB[AB > 0]))

Code Selitys

• mediaani_at_bat_liiga_no_zero = mediaani(AB[AB > 0]): Muuttuja AB sisältää paljon nollaa. Voit verrata bat muuttuja 0:lla ja ilman.

lähtö:

## # A tibble: 7 x 3
##     lgID median_at_bat_league median_at_bat_league_no_zero
##   <fctr>                <dbl>                        <dbl>
## 1     AA                  130                          131
## 2     AL                   38                           85
## 3     FL                   88                           97
## 4     NL                   56                           67
## 5     PL                  238                          238
## 6     UA                   35                           35
## 7   <NA>                  101                          101	

Summa

Toinen hyödyllinen funktio muuttujan aggregoimiseksi on summa().

Voit tarkistaa, missä liigoissa on enemmän homeruneja.

## Sum
data %>%
	group_by(lgID) %>%
	summarise(sum_homerun_league = sum(HR))

lähtö:

## # A tibble: 7 x 2
##     lgID sum_homerun_league
##   <fctr>              <int>
## 1     AA                341
## 2     AL              29426
## 3     FL                130
## 4     NL              29817
## 5     PL                 98
## 6     UA                 46
## 7   <NA>                 41	

Keskihajonta

Tietojen hajonta lasketaan keskihajonnalla tai sd():llä R:ssä.

# Spread
data %>%
	group_by(teamID) %>%
	summarise(sd_at_bat_league = sd(HR))

lähtö:

## # A tibble: 148 x 2
##    teamID sd_at_bat_league
##    <fctr>            <dbl>
##  1    ALT               NA
##  2    ANA        8.7816395
##  3    ARI        6.0765503
##  4    ATL        8.5363863
##  5    BAL        7.7350173
##  6    BFN        1.3645163
##  7    BFP        0.4472136
##  8    BL1        0.6992059
##  9    BL2        1.7106757
## 10    BL3        1.0000000
## # ... with 138 more rows		

Kunnarien lukumäärä vaihtelee suuresti joukkueiden välillä, ja ALT palauttaa arvon NA, koska kyseisellä joukkueella on vain yksi rivi, joten keskihajontaa ei voida laskea.

Minimi ja maksimi

Voit tarkastella vektorin minimi- ja maksimiarvoja funktioilla min() ja max().

Alla oleva koodi palauttaa pelaajan pelaaman kauden pienimmän ja suurimman pelimäärän.

# Min and max
data %>%
	group_by(playerID) %>%
	summarise(min_G = min(G),
    max_G = max(G))

lähtö:

## # A tibble: 10,395 x 3
##     playerID min_G max_G
##       <fctr>       <int>
##  1 aardsda01    53    73
##  2 aaronha01   120   156
##  3  aasedo01    24    66
##  4  abadfe01    18    18
##  5 abadijo01    11    11
##  6 abbated01     3   153
##  7 abbeybe01    11    11
##  8 abbeych01    80   132
##  9 abbotgl01     5    23
## 10 abbotji01    13    29
## # ... with 10,385 more rows

Laskea

Havaintojen laskeminen ryhmää kohden kannattaa aina tehdä. R:ssä n() palauttaa rivien lukumäärän nykyisessä ryhmässä.

Esimerkiksi alla oleva koodi laskee kunkin pelaajan pelaamien vuosien määrän.

# count observations
data %>%
	group_by(playerID) %>%
	summarise(number_year = n()) %>%
	arrange(desc(number_year))

lähtö:

## # A tibble: 10,395 x 2
##     playerID number_year
##       <fctr>       <int>
##  1 pennohe01          11
##  2 joosted01          10
##  3 mcguide01          10
##  4  rosepe01          10
##  5 davisha01           9
##  6 johnssi01           9
##  7  kaatji01           9
##  8 keelewi01           9
##  9 marshmi01           9
## 10 quirkja01           9
## # ... with 10,385 more rows

Ensimmäinen ja viimeinen

Voit valita ryhmän ensimmäisen, viimeisen tai n:nnen sijainnin.

Löydät esimerkiksi jokaisen pelaajan ensimmäisen ja viimeisen vuoden.

# first and last
data %>%
	group_by(playerID) %>%
	summarise(first_appearance = first(yearID),
		last_appearance = last(yearID))

lähtö:

## # A tibble: 10,395 x 3
##     playerID first_appearance last_appearance
##       <fctr>            <int>           <int>
##  1 aardsda01             2009            2010
##  2 aaronha01             1973            1975
##  3  aasedo01             1986            1990
##  4  abadfe01             2016            2016
##  5 abadijo01             1875            1875
##  6 abbated01             1905            1897
##  7 abbeybe01             1894            1894
##  8 abbeych01             1895            1897
##  9 abbotgl01             1973            1979
## 10 abbotji01             1992            1996
## # ... with 10,385 more rows

n:s havainto

nth()-funktio täydentää first()- ja last()-funktioita. Se palauttaa havainnon kunkin ryhmän sisällä ohitetusta indeksistä.

Voit esimerkiksi suodattaa vain toisen vuoden, jonka joukkue pelasi.

# nth
data %>%
	group_by(teamID) %>%
	summarise(second_game = nth(yearID, 2)) %>%
	arrange(second_game)

lähtö:

## # A tibble: 148 x 2
##    teamID second_game
##    <fctr>       <int>
##  1    BS1        1871
##  2    CH1        1871
##  3    FW1        1871
##  4    NY2        1871
##  5    RC1        1871
##  6    BR1        1872
##  7    BR2        1872
##  8    CL1        1872
##  9    MID        1872
## 10    TRO        1872
## # ... with 138 more rows

Erilainen määrä havaintoja

n() palauttaa rivien lukumäärän nykyisessä ryhmässä. Liittyvä n_distinct() laskee sen sijaan yksilölliset arvot.

Seuraavassa esimerkissä lasket yhteen joukkueen kaikkien kausien aikana rekrytoimien pelaajien kokonaismäärä.

# distinct values
data %>%
	group_by(teamID) %>%
	summarise(number_player = n_distinct(playerID)) %>%
	arrange(desc(number_player))

Code Selitys

• group_by(teamID): Ryhmittele tiimin mukaan
• summarise(numero_pelaaja = n_dinct(pelaajantunnus)): Laske joukkueen yksittäiset pelaajat
• arrange(desc(number_player)): Järjestä tiedot pelaajien lukumäärän mukaan

lähtö:

## # A tibble: 148 x 2
##    teamID number_player
##    <fctr>         <int>
##  1    CHN           751
##  2    SLN           729
##  3    PHI           699
##  4    PIT           683
##  5    CIN           679
##  6    BOS           647
##  7    CLE           646
##  8    CHA           636
##  9    DET           623
## 10    NYA           612
## # ... with 138 more rows

Useita ryhmiä

Yhteenvetotilasto voidaan toteuttaa useiden ryhmien kesken.

# Multiple groups
data %>%
	group_by(yearID, teamID) %>%
	summarise(mean_games = mean(G)) %>%
	arrange(desc(teamID, yearID))

Code Selitys

• group_by(yearID, teamID): Ryhmittele vuoden mukaan ja joukkue-
• summarize(mean_games = mean(G)): Laske pelattujen pelien lukumäärän keskiarvo
• arrange(desc(teamID, yearID)): Lajittele tiedot tiimin ja vuoden mukaan

lähtö:

## # A tibble: 2,829 x 3
## # Groups:   yearID [146]
##    yearID teamID mean_games
##     <int> <fctr>      <dbl>
##  1   1884    WSU   20.41667
##  2   1891    WS9   46.33333
##  3   1886    WS8   22.00000
##  4   1887    WS8   51.00000
##  5   1888    WS8   27.00000
##  6   1889    WS8   52.42857
##  7   1884    WS7    8.00000
##  8   1875    WS6   14.80000
##  9   1873    WS5   16.62500
## 10   1872    WS4    4.20000
## # ... with 2,819 more rows

Suodattaa

Ennen kuin aiot suorittaa toiminnon, voit suodattaa tietojoukon. Aineisto alkaa vuodesta 1871, eikä analyysissä tarvita vuotta 1980 edeltäviä vuosia.

# Filter
data %>%
	filter(yearID > 1980) %>%
	group_by(yearID) %>%
	summarise(mean_game_year = mean(G))

Code Selitys

• filter(yearID > 1980): Suodata tiedot näyttämään vain asiaankuuluvat vuodet (eli vuoden 1980 jälkeen)
• group_by(yearID): Ryhmittele vuoden mukaan
• summarise(mean_game_year = keskiarvo(G)): Tee yhteenveto tiedoista

lähtö:

## # A tibble: 36 x 2
##    yearID mean_game_year
##     <int>          <dbl>
##  1   1981       40.64583
##  2   1982       56.97790
##  3   1983       60.25128
##  4   1984       62.97436
##  5   1985       57.82828
##  6   1986       58.55340
##  7   1987       48.74752
##  8   1988       52.57282
##  9   1989       58.16425
## 10   1990       52.91556
## # ... with 26 more rows

Pura

Lopuksi sinun on poistettava maaperäping ennen kuin muutat tasoa, jolla laskelma suoritetaan. Ilman ungroup()-funktiota toinen summarize()-funktio toimisi edelleen pelaajakohtaisesti.

# Ungroup the data
data %>%
	filter(HR > 0) %>%
	group_by(playerID) %>%
	summarise(average_HR_game = sum(HR) / sum(G)) %>%
	ungroup() %>%
	summarise(total_average_homerun = mean(average_HR_game))

Code Selitys

• suodatin(HR >0) : Sulje pois nollan homerun
• group_by(playerID): ryhmä pelaajalta
• summarise(average_HR_game = summa(HR)/sum(G)): Laske pelaajan keskimääräinen kotijuoksu
• ungroup(): poista ryhmäping
• summarise(total_average_homerun = keskiarvo(keskimääräinen_HR_peli)): Tee yhteenveto tiedoista

lähtö:

## # A tibble: 1 x 1
##   total_average_homerun
##                   <dbl>
## 1            0.06882226	

Useiden sarakkeiden yhteenveto across()-funktiolla

Jokainen yllä oleva esimerkki nimeää yhden sarakkeen kerrallaan. Kun samaa tilastoa tarvitaan useille sarakkeille, across() soveltaa sitä kaikkiin sarakkeisiin yhdellä kutsulla.

# One function, several columns
data %>%
    group_by(lgID) %>%
    summarise(across(c(R, HR, G), mean, .names = "mean_{.col}"))

# Every numeric column at once
data %>%
    group_by(lgID) %>%
    summarise(across(where(is.numeric), mean, na.rm = TRUE))

# Several functions applied to several columns
data %>%
    group_by(teamID) %>%
    summarise(across(c(R, HR), list(avg = mean, total = sum)))

Kolme argumenttia ohjaa käyttäytymistä:

• .cols: sarakkeet, joihin toimitaan, kirjoitettuna samoilla apumetodeilla kuin select()-funktiossa, mukaan lukien where(is.numeric).
• .fns-tiedosto: yksi funktio tai nimetty luettelo funktioista, joita sovelletaan kuhunkin sarakkeeseen.
• .nimet: tulosteen nimeämismalli, jossa {.col} on sarake ja {.fn} funktion nimi.

across() korvasi vanhemmat apufunktiot summarize_all()-, summarize_at()- ja summarize_if()-funktiot dplyr 1.0.0:ssa. Nämä toimivat edelleen, mutta ne on korvattu, joten uuden koodin tulisi käyttää across()-funktiota.

Yleisiä summarize()-virheitä ja niiden korjaaminen

Neljä ongelmaa selittää useimpia epäonnistuneita aggregaatioita.

• Tulos on NA. mean() ja sum() palauttavat NA:n, jos jokin arvo puuttuu. Lisää na.rm = TRUE, kuten yllä olevassa mean_SH-esimerkissä tehdään.
• Viesti ”summarise() on ryhmitellyt tulosteen” Grouping kahden muuttujan mukaan ryhmiteltynä tulos on ensimmäisen muuttujan mukaan. Poista ryhmä syöttämällä .groups = “drop”pingtai kutsu ungroup()-funktiota sen jälkeen.
• Myöhempi laskelma antaa väärän tason. Tietokehys pysyy ryhmiteltynä, kunnes sen ryhmittely puretaan, joten toinen summarize()-funktio suoritetaan edelleen ryhmää kohden. Juuri tätä ungroup()-esimerkki osoittaa.
• Tulosteessa on odotettua enemmän rivejä. summarize() palauttaa yhden rivin ryhmää kohden, joten tahaton ryhmäping muuttuja kertoo tulosteen. Tarkista minkä tahansa taulukon yläpuolella oleva ”Groups:”-rivi.

# Drop the grouping as part of the call
data %>%
    group_by(yearID, teamID) %>%
    summarise(mean_games = mean(G), .groups = "drop")

summarize() R:ssä: Funktioviittaus

Palauttaaksesi yhteenvedon ryhmittäin, jaa tiedot ensin:

# group by X1, X2, X3
group_by(df, X1, X2, X3)

ja poista maaperäping kun laskennan taso muuttuu:

ungroup(df)

Alla olevassa taulukossa luetellaan kaikki tässä opetusohjelmassa summarize()-funktion kanssa käytetyt funktiot:

summarise(df, mean_x1 = mean(x1))

summarise(df, median_x1 = median(x1))

summarise(df, sum_x1 = sum(x1))

summarise(df, sd_x1 = sd(x1))

summarise(df, interquartile_x1 = IQR(x1))

summarise(df, minimum_x1 = min(x1))

summarise(df, maximum_x1 = max(x1))

summarise(df, quantile_x1 = quantile(x1, probs = 0.75))

summarise(df, first_x1 = first(x1))

summarise(df, last_x1 = last(x1))

summarise(df, nth_x1 = nth(x1, 2))

summarise(df, n_x1 = n())

summarise(df, n_distinct_x1 = n_distinct(x1))

UKK