R agregatna funkcija: Summarize & Group_by() primjer

Sažetak varijable važan je kako biste imali predodžbu o podacima. Iako, sažimanje varijable po skupini daje bolje informacije o distribuciji podataka.

U ovom vodiču naučit ćete kako sažeti skup podataka po grupi pomoću biblioteke dplyr.

Za ovaj vodič koristit ćete skup podataka o udaranju. Izvorni skup podataka sadrži 102816 opažanja i 22 varijable. Koristit ćete samo 20 posto ovog skupa podataka i koristiti sljedeće varijable:

• playerID: ID kod igrača. Faktor
• ID godine: Godina. Faktor
• teamID: tim. faktor
• lgID: Liga. Faktor: AA AL FL NL PL UA
• AB: Kod palica. Numerički
• G: Igre: broj igara po igraču. Numerički
• R: Trči. Numerički
• HR: Homeruns. Numerički
• SH: Žrtvovani hitovi. Numerički

Prije nego što izvršite sažetak, učinit ćete sljedeće korake za pripremu podataka:

• Korak 1: Uvezite podatke
• Korak 2: Odaberite relevantne varijable
• Korak 3: Sortirajte podatke

library(dplyr)

# Step 1
data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") % > %

# Step 2
select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH))  % > % 

# Step 3
arrange(playerID, teamID, yearID)

Dobra praksa kada uvozite skup podataka je korištenje funkcije glimpse() da biste imali ideju o strukturi skupa podataka.

# Structure of the data
glimpse(data)

Izlaz:

Observations: 104,324
Variables: 9
$ playerID <fctr> aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a...
$ yearID   <int> 2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196...
$ AB       <int> 1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495, ...
$ teamID   <fctr> ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A...
$ lgID     <fctr> NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL, ...
$ G        <int> 33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15...
$ R        <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75...
$ HR       <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40...
$ SH       <int> 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6, ...

Rezimirati()

Sintaksa summarise() je osnovna i dosljedna s drugim glagolima uključenim u biblioteku dplyr.

summarise(df, variable_name=condition) 
arguments: 
- `df`: Dataset used to construct the summary statistics 
- `variable_name=condition`: Formula to create the new variable

Pogledajte kod ispod:

summarise(data, mean_run =mean(R))

Objašnjenje koda

• summarise(data, mean_run = mean(R)): Stvara varijablu pod nazivom mean_run koja je prosjek izvođenja stupca iz podataka skupa podataka.

Izlaz:

##   mean_run
## 1 19.20114

Možete dodati onoliko varijabli koliko želite. Vraćate prosječno odigrane igre i prosječne žrtve.

summarise(data, mean_games = mean(G),
    mean_SH = mean(SH, na.rm = TRUE))

Objašnjenje koda

• mean_SH = mean(SH, na.rm = TRUE): Sažeti drugu varijablu. Postavili ste na.rm = TRUE jer stupac SH sadrži opažanja koja nedostaju.

Izlaz:

##   mean_games  mean_SH
## 1   51.98361 2.340085

Group_by naspram no group_by

Funkcija summerise() bez group_by() nema smisla. Stvara sumarnu statistiku po grupama. Knjižnica dplyr automatski primjenjuje funkciju na grupu koju ste proslijedili unutar glagola group_by.

Imajte na umu da group_by radi savršeno sa svim ostalim glagolima (npr. mutate(), filter(), arrange(), …).

Praktično je koristiti operatera cjevovoda kada imate više od jednog koraka. Možete izračunati prosječni homerun po baseball ligi.

data % > %
	group_by(lgID) % > %
	summarise(mean_run = mean(HR))

Objašnjenje koda

• podaci: Skup podataka koji se koristi za izradu sažete statistike
• group_by(lgID): Izračunajte sažetak grupiranjem varijable `lgID
• summarise(mean_run = mean(HR)): Izračunajte prosječni homerun

Izlaz:

## 
# A tibble: 7 x 2
##     lgID  mean_run
##   <fctr>     <dbl>
## 1     AA 0.9166667
## 2     AL 3.1270988
## 3     FL 1.3131313
## 4     NL 2.8595953
## 5     PL 2.5789474
## 6     UA 0.6216216
## 7   <NA> 0.2867133	

Operator cijevi radi i s ggplot(). Sumarnu statistiku možete jednostavno prikazati pomoću grafikona. Svi se koraci guraju unutar cjevovoda dok se grana ne iscrta. Čini se vizualnijim vidjeti prosječni homerun po ligi s crticom. Kôd ispod pokazuje snagu kombiniranja group_by(), summarise() i ggplot() zajedno.

Napravit ćete sljedeći korak:

• Korak 1: Odaberite podatkovni okvir
• Korak 2: Grupirajte podatke
• Korak 3: Sažmite podatke
• Korak 4: Iscrtajte sažetak statistike

library(ggplot2)
# Step 1
data % > % 
#Step 2
group_by(lgID) % > % 
#Step 3
summarise(mean_home_run = mean(HR)) % > % 
#Step 4
ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +
    geom_bar(stat = "identity") +
    theme_classic() +
    labs(
        x = "baseball league",
        y = "Average home run",
        title = paste(
            "Example group_by() with summarise()"
        )
    )

Izlaz:

Funkcija u summarise()

Glagol summarise() je kompatibilan s gotovo svim funkcijama u R. Ovdje je kratki popis korisnih funkcija koje možete koristiti zajedno sa summarise():

Vidjet ćemo primjere za svaku funkciju iz tablice 1.

Osnovna funkcija

U prethodnom primjeru niste pohranili sumarnu statistiku u podatkovni okvir.

Možete nastaviti u dva koraka za generiranje okvira datuma iz sažetka:

• Korak 1: Pohranite podatkovni okvir za daljnju upotrebu
• 2. korak: upotrijebite skup podataka za izradu linijskog dijagrama

Korak 1) Izračunavate prosječan broj odigranih utakmica po godinama.

## Mean
ex1 <- data % > %
	group_by(yearID) % > %
	summarise(mean_game_year = mean(G))
head(ex1)

Objašnjenje koda

• Sumarna statistika skupa podataka o udaranju pohranjuje se u okviru podataka ex1.

Izlaz:

## # A tibble: 6 x 2
##   yearID mean_game_year
##    <int>          <dbl>
## 1   1871       23.42308
## 2   1872       18.37931
## 3   1873       25.61538
## 4   1874       39.05263
## 5   1875       28.39535
## 6   1876       35.90625	

Korak 2) Prikazujete sažetak statistike s linijskim dijagramom i vidite trend.

# Plot the graph
ggplot(ex1, aes(x = yearID, y = mean_game_year)) +
    geom_line() +
    theme_classic() +
    labs(
        x = "Year",
        y = "Average games played",
        title = paste(
            "Average games played from 1871 to 2016"
        )
    )

Izlaz:

Podskup

Funkcija summarise() je kompatibilna s podskupom.

## Subsetting + Median
data % > %
group_by(lgID) % > %
summarise(median_at_bat_league = median(AB), 
	#Compute the median without the zero 
	median_at_bat_league_no_zero = median(AB[AB > 0]))

Objašnjenje koda

• median_at_bat_league_no_zero = median(AB[AB > 0]): varijabla AB sadrži mnogo 0. Možete usporediti medijan kod palice varijabla sa i bez 0.

Izlaz:

## # A tibble: 7 x 3
##     lgID median_at_bat_league median_at_bat_league_no_zero
##   <fctr>                <dbl>                        <dbl>
## 1     AA                  130                          131
## 2     AL                   38                           85
## 3     FL                   88                           97
## 4     NL                   56                           67
## 5     PL                  238                          238
## 6     UA                   35                           35
## 7   <NA>                  101                          101	

Suma

Još jedna korisna funkcija za agregiranje varijable je sum().

Možete provjeriti koje lige imaju više homerunova.

## Sum
data % > %
	group_by(lgID) % > %
	summarise(sum_homerun_league = sum(HR))

Izlaz:

## # A tibble: 7 x 2
##     lgID sum_homerun_league
##   <fctr>              <int>
## 1     AA                341
## 2     AL              29426
## 3     FL                130
## 4     NL              29817
## 5     PL                 98
## 6     UA                 46
## 7   <NA>                 41	

Standardna devijacija

Širenje u podacima izračunava se sa standardnom devijacijom ili sd() u R.

# Spread
data % > %
	group_by(teamID) % > %
	summarise(sd_at_bat_league = sd(HR))

Izlaz:

## # A tibble: 148 x 2
##    teamID sd_at_bat_league
##    <fctr>            <dbl>
##  1    ALT               NA
##  2    ANA        8.7816395
##  3    ARI        6.0765503
##  4    ATL        8.5363863
##  5    BAL        7.7350173
##  6    BFN        1.3645163
##  7    BFP        0.4472136
##  8    BL1        0.6992059
##  9    BL2        1.7106757
## 10    BL3        1.0000000
## # ... with 138 more rows		

Postoji mnogo nejednakosti u količini homeruna koje svaka momčad odradi.

Minimum i maksimum

Možete pristupiti minimumu i maksimumu vektora s funkcijom min() i max().

Donji kod vraća najmanji i najveći broj utakmica u sezoni koje je igrač odigrao.

# Min and max
data % > %
	group_by(playerID) % > %
	summarise(min_G = min(G),
    max_G = max(G))

Izlaz:

## # A tibble: 10,395 x 3
##     playerID min_G max_G
##       <fctr>       <int>
##  1 aardsda01    53    73
##  2 aaronha01   120   156
##  3  aasedo01    24    66
##  4  abadfe01    18    18
##  5 abadijo01    11    11
##  6 abbated01     3   153
##  7 abbeybe01    11    11
##  8 abbeych01    80   132
##  9 abbotgl01     5    23
## 10 abbotji01    13    29
## # ... with 10,385 more rows

Računati

Brojanje zapažanja po grupama uvijek je dobra ideja. Uz R, možete agregirati broj pojavljivanja pomoću n().

Na primjer, kod ispod izračunava broj godina koje je igrao svaki igrač.

# count observations
data % > %
	group_by(playerID) % > %
	summarise(number_year = n()) % > %
	arrange(desc(number_year))

Izlaz:

## # A tibble: 10,395 x 2
##     playerID number_year
##       <fctr>       <int>
##  1 pennohe01          11
##  2 joosted01          10
##  3 mcguide01          10
##  4  rosepe01          10
##  5 davisha01           9
##  6 johnssi01           9
##  7  kaatji01           9
##  8 keelewi01           9
##  9 marshmi01           9
## 10 quirkja01           9
## # ... with 10,385 more rows

Prvi i zadnji

Možete odabrati prvo, zadnje ili n-to mjesto grupe.

Na primjer, možete pronaći prvu i posljednju godinu svakog igrača.

# first and last
data % > %
	group_by(playerID) % > %
	summarise(first_appearance = first(yearID),
		last_appearance = last(yearID))

Izlaz:

## # A tibble: 10,395 x 3
##     playerID first_appearance last_appearance
##       <fctr>            <int>           <int>
##  1 aardsda01             2009            2010
##  2 aaronha01             1973            1975
##  3  aasedo01             1986            1990
##  4  abadfe01             2016            2016
##  5 abadijo01             1875            1875
##  6 abbated01             1905            1897
##  7 abbeybe01             1894            1894
##  8 abbeych01             1895            1897
##  9 abbotgl01             1973            1979
## 10 abbotji01             1992            1996
## # ... with 10,385 more rows

n-to promatranje

Funkcija nth() je komplementarna s first() i last(). Možete pristupiti n-tom opažanju unutar grupe s indeksom koji želite vratiti.

Na primjer, možete filtrirati samo drugu godinu u kojoj je tim igrao.

# nth
data % > %
	group_by(teamID) % > %
	summarise(second_game = nth(yearID, 2)) % > %
	arrange(second_game)

Izlaz:

## # A tibble: 148 x 2
##    teamID second_game
##    <fctr>       <int>
##  1    BS1        1871
##  2    CH1        1871
##  3    FW1        1871
##  4    NY2        1871
##  5    RC1        1871
##  6    BR1        1872
##  7    BR2        1872
##  8    CL1        1872
##  9    MID        1872
## 10    TRO        1872
## # ... with 138 more rows

Određeni broj opažanja

Funkcija n() vraća broj opažanja u trenutnoj grupi. Zatvorena funkcija za n() je n_distinct(), koja broji broj jedinstvenih vrijednosti.

U sljedećem primjeru zbrajate ukupan broj igrača koje je tim angažirao tijekom svih razdoblja.

# distinct values
data % > %
	group_by(teamID) % > %
	summarise(number_player = n_distinct(playerID)) % > %
	arrange(desc(number_player))

Objašnjenje koda

• group_by(teamID): Grupiraj po godini i tim
• sažeti(broj_igrača = n_različit(playerID)): Prebrojite određeni broj igrača po timu
• arrange(desc(number_player)): Poredaj podatke prema broju igrača

Izlaz:

## # A tibble: 148 x 2
##    teamID number_player
##    <fctr>         <int>
##  1    CHN           751
##  2    SLN           729
##  3    PHI           699
##  4    PIT           683
##  5    CIN           679
##  6    BOS           647
##  7    CLE           646
##  8    CHA           636
##  9    DET           623
## 10    NYA           612
## # ... with 138 more rows

Više grupa

Zbirna statistika može se ostvariti među više grupa.

# Multiple groups
data % > %
	group_by(yearID, teamID) % > %
	summarise(mean_games = mean(G)) % > %
	arrange(desc(teamID, yearID))

Objašnjenje koda

• group_by(yearID, teamID): Grupiraj po godini i tim
• summarise(mean_games = mean(G)): Sažeti broj igrača u igri
• arrange(desc(teamID, yearID)): Poredaj podatke po timu i godini

Izlaz:

## # A tibble: 2,829 x 3
## # Groups:   yearID [146]
##    yearID teamID mean_games
##     <int> <fctr>      <dbl>
##  1   1884    WSU   20.41667
##  2   1891    WS9   46.33333
##  3   1886    WS8   22.00000
##  4   1887    WS8   51.00000
##  5   1888    WS8   27.00000
##  6   1889    WS8   52.42857
##  7   1884    WS7    8.00000
##  8   1875    WS6   14.80000
##  9   1873    WS5   16.62500
## 10   1872    WS4    4.20000
## # ... with 2,819 more rows

Filter

Prije nego što namjeravate izvršiti operaciju, možete filtrirati skup podataka. Skup podataka počinje 1871., a za analizu nisu potrebne godine prije 1980.

# Filter
data % > %
	filter(yearID > 1980) % > %
	group_by(yearID) % > %
	summarise(mean_game_year = mean(G))

Objašnjenje koda

• filter(yearID > 1980): Filtrirajte podatke da biste prikazali samo relevantne godine (tj. nakon 1980.)
• group_by(yearID): Grupiraj po godini
• summarise(mean_game_year = mean(G)): Sažeti podatke

Izlaz:

## # A tibble: 36 x 2
##    yearID mean_game_year
##     <int>          <dbl>
##  1   1981       40.64583
##  2   1982       56.97790
##  3   1983       60.25128
##  4   1984       62.97436
##  5   1985       57.82828
##  6   1986       58.55340
##  7   1987       48.74752
##  8   1988       52.57282
##  9   1989       58.16425
## 10   1990       52.91556
## # ... with 26 more rows

Razgrupiraj

Posljednje, ali ne manje važno, morate ukloniti grupiranje prije nego što želite promijeniti razinu izračuna.

# Ungroup the data
data % > %
	filter(HR > 0) % > %
	group_by(playerID) % > %
	summarise(average_HR_game = sum(HR) / sum(G)) % > %
	ungroup() % > %
	summarise(total_average_homerun = mean(average_HR_game))

Objašnjenje koda

• filter(HR >0) : Isključi nulti homerun
• group_by(playerID): grupa po igraču
• summarise(average_HR_game = sum(HR)/sum(G)): Izračunajte prosječni homerun po igraču
• ungroup(): uklonite grupiranje
• summarise(total_average_homerun = mean(average_HR_game)): Sažeti podatke

Izlaz:

## # A tibble: 1 x 1
##   total_average_homerun
##                   <dbl>
## 1            0.06882226	

rezime

Kada želite vratiti sažetak po grupi, možete koristiti:

# group by X1, X2, X3
group(df, X1, X2, X3)

morate razgrupirati podatke sa:

ungroup(df)

Tablica u nastavku sažima funkciju koju ste naučili pomoću summarise()

summarise(df,mean_x1 = mean(x1))

summarise(df,median_x1 = median(x1))

summarise(df,sum_x1 = sum(x1))

summarise(df,sd_x1 = sd(x1))

summarise(df,interquartile_x1 = IQR(x1))

summarise(df,minimum_x1 = min(x1))

summarise(df,maximum_x1 = max(x1))

summarise(df,quantile_x1 = quantile(x1))

summarise(df,first_x1 = first(x1))

summarise(df,last_x1 = last(x1))

summarise(df,nth_x1 = nth(x1, 2))

summarise(df,n_x1 = n(x1))

summarise(df,n_distinct _x1 = n_distinct(x1))