Funzione aggregata R: esempio di riepilogo e Group_by()
Evelyn Clarke
Il riepilogo di una variabile è importante per avere un'idea dei dati. Tuttavia, riassumere una variabile per gruppo fornisce informazioni migliori sulla distribuzione dei dati.
In questo tutorial imparerai come riassumere un set di dati per gruppo con la libreria dplyr.
Per questo tutorial, utilizzerai il batting dataset. Il dataset originale contiene 102816 osservazioni e 22 variabili. Utilizzerai solo il 20 percento di questo dataset e utilizzerai le seguenti variabili:
- playerID: codice ID giocatore. Fattore
- ID anno: anno. Fattore
- IDsquadra: squadra. fattore
- lgID: Lega. Fattore: AA AL FL NL PL UA
- AB: Ai pipistrelli. Numerico
- G: Partite: numero di partite effettuate da un giocatore. Numerico
- R: Corre. Numerico
- HR: Homerun. Numerico
- SH: Il sacrificio colpisce. Numerico
Prima di eseguire il riepilogo, è necessario eseguire i seguenti passaggi per preparare i dati:
- Passaggio 1: importa i dati
- Passaggio 2: selezionare le variabili pertinenti
- Passaggio 3: ordinare i dati
library(dplyr)
# Step 1
data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") % > %
# Step 2
select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH)) % > %
# Step 3
arrange(playerID, teamID, yearID)
Una buona pratica quando importi un set di dati è utilizzare la funzione scorce() per avere un'idea della struttura del set di dati.
# Structure of the data glimpse(data)
Produzione:
Observations: 104,324 Variables: 9 $ playerID <fctr> aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a... $ yearID <int> 2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196... $ AB <int> 1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495, ... $ teamID <fctr> ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A... $ lgID <fctr> NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL, ... $ G <int> 33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15... $ R <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75... $ HR <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40... $ SH <int> 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6, ...
Riassumere()
La sintassi di summarise() è semplice e coerente con gli altri verbi inclusi nella libreria dplyr.
summarise(df, variable_name=condition) arguments: - `df`: Dataset used to construct the summary statistics - `variable_name=condition`: Formula to create the new variable
Guarda il codice qui sotto:
summarise(data, mean_run =mean(R))
Spiegazione del codice
- summarise(data, mean_run = mean(R)): crea una variabile denominata mean_run che è la media della colonna eseguita dai dati del set di dati.
Produzione:
## mean_run ## 1 19.20114
Puoi aggiungere quante variabili vuoi. Restituisci la media delle partite giocate e la media dei risultati dei sacrifici.
summarise(data, mean_games = mean(G),
mean_SH = mean(SH, na.rm = TRUE))
Spiegazione del codice
- mean_SH = mean(SH, na.rm = TRUE): riepiloga una seconda variabile. Hai impostato na.rm = TRUE perché la colonna SH contiene osservazioni mancanti.
Produzione:
## mean_games mean_SH ## 1 51.98361 2.340085
Group_by vs nessun group_by
La funzione summerise() senza group_by() non ha alcun senso. Crea statistiche riassuntive per gruppo. La Biblioteca dplyr applica automaticamente una funzione al gruppo passato all'interno del verbo group_by.
Tieni presente che group_by funziona perfettamente con tutti gli altri verbi (ad esempio mutate(), filter(), organizzare(), …).
È conveniente utilizzare l'operatore pipeline quando è presente più di un passaggio. Puoi calcolare l'homerun medio per campionato di baseball.
data % > % group_by(lgID) % > % summarise(mean_run = mean(HR))
Spiegazione del codice
- dati: set di dati utilizzato per costruire le statistiche riassuntive
- group_by(lgID): calcola il riepilogo raggruppando la variabile `lgID
- summarise(mean_run = mean(HR)): calcola l'homerun medio
Produzione:
## # A tibble: 7 x 2 ## lgID mean_run ## <fctr> <dbl> ## 1 AA 0.9166667 ## 2 AL 3.1270988 ## 3 FL 1.3131313 ## 4 NL 2.8595953 ## 5 PL 2.5789474 ## 6 UA 0.6216216 ## 7 <NA> 0.2867133
L'operatore pipe funziona anche con ggplot(). Puoi facilmente mostrare la statistica riepilogativa con un grafico. Tutti i passaggi vengono inseriti nella pipeline finché il grafico non viene tracciato. Sembra più visivo vedere il fuoricampo medio per campionato con un bar char. Il codice seguente dimostra la potenza della combinazione di group_by(), summarise() e ggplot() insieme.
Dovrai effettuare le seguenti operazioni:
- Passaggio 1: seleziona il frame di dati
- Passaggio 2: raggruppare i dati
- Passaggio 3: riepilogare i dati
- Passaggio 4: tracciare le statistiche di riepilogo
library(ggplot2)
# Step 1
data % > %
#Step 2
group_by(lgID) % > %
#Step 3
summarise(mean_home_run = mean(HR)) % > %
#Step 4
ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +
geom_bar(stat = "identity") +
theme_classic() +
labs(
x = "baseball league",
y = "Average home run",
title = paste(
"Example group_by() with summarise()"
)
)
Produzione:
Funzione in riepilogo()
Il verbo summarise() è compatibile con quasi tutte le funzioni in R. Ecco un breve elenco di funzioni utili che puoi utilizzare insieme a summarise():
| Obiettivo | Funzione | Descrizione |
|---|---|---|
| Basic | significare() | Media del vettore x |
| mediano() | Mediana del vettore x | |
| somma() | Somma del vettore x | |
| variazione | SD() | deviazione standard del vettore x |
| IQR() | Interquartile del vettore x | |
| Escursione | min () | Minimo del vettore x |
| max () | Massimo del vettore x | |
| quantile() | Quantile del vettore x | |
| Posizione | primo() | Da utilizzare con group_by() Prima osservazione del gruppo |
| Ultimo() | Utilizzare con group_by(). Ultima osservazione del gruppo | |
| ennesimo() | Utilizzare con group_by(). ennesima osservazione del gruppo | |
| Contare | N() | Utilizzare con group_by(). Contare il numero di righe |
| n_distinto() | Utilizzare con group_by(). Contare il numero di osservazioni distinte |
Vedremo esempi per ogni funzione della tabella 1.
Funzione di base
Nell'esempio precedente, non hai memorizzato la statistica riepilogativa in un frame di dati.
Puoi procedere in due passaggi per generare un periodo di data da un riepilogo:
- Passaggio 1: archiviare il frame di dati per un ulteriore utilizzo
- Passaggio 2: utilizzare il set di dati per creare un grafico a linee
Passo 1) Si calcola il numero medio di partite giocate per anno.
## Mean ex1 <- data % > % group_by(yearID) % > % summarise(mean_game_year = mean(G)) head(ex1)
Spiegazione del codice
- La statistica riassuntiva del set di dati di battuta è memorizzata nel frame dati ex1.
Produzione:
## # A tibble: 6 x 2 ## yearID mean_game_year ## <int> <dbl> ## 1 1871 23.42308 ## 2 1872 18.37931 ## 3 1873 25.61538 ## 4 1874 39.05263 ## 5 1875 28.39535 ## 6 1876 35.90625
Passo 2) Mostri la statistica riepilogativa con un grafico a linee e vedi la tendenza.
# Plot the graph
ggplot(ex1, aes(x = yearID, y = mean_game_year)) +
geom_line() +
theme_classic() +
labs(
x = "Year",
y = "Average games played",
title = paste(
"Average games played from 1871 to 2016"
)
)
Produzione:
sottoinsiemi
La funzione summarise() è compatibile con il sottoinsieme.
## Subsetting + Median data % > % group_by(lgID) % > % summarise(median_at_bat_league = median(AB), #Compute the median without the zero median_at_bat_league_no_zero = median(AB[AB > 0]))
Spiegazione del codice
- median_at_bat_league_no_zero = median(AB[AB > 0]): la variabile AB contiene lotti di 0. Puoi confrontare la mediana di alla battuta variabile con e senza 0.
Produzione:
## # A tibble: 7 x 3 ## lgID median_at_bat_league median_at_bat_league_no_zero ## <fctr> <dbl> <dbl> ## 1 AA 130 131 ## 2 AL 38 85 ## 3 FL 88 97 ## 4 NL 56 67 ## 5 PL 238 238 ## 6 UA 35 35 ## 7 <NA> 101 101
Somma
Un'altra funzione utile per aggregare la variabile è sum().
Puoi controllare quali campionati hanno più fuoricampo.
## Sum data % > % group_by(lgID) % > % summarise(sum_homerun_league = sum(HR))
Produzione:
## # A tibble: 7 x 2 ## lgID sum_homerun_league ## <fctr> <int> ## 1 AA 341 ## 2 AL 29426 ## 3 FL 130 ## 4 NL 29817 ## 5 PL 98 ## 6 UA 46 ## 7 <NA> 41
Deviazione standard
La diffusione nei dati viene calcolata con la deviazione standard o sd() in R.
# Spread data % > % group_by(teamID) % > % summarise(sd_at_bat_league = sd(HR))
Produzione:
## # A tibble: 148 x 2 ## teamID sd_at_bat_league ## <fctr> <dbl> ## 1 ALT NA ## 2 ANA 8.7816395 ## 3 ARI 6.0765503 ## 4 ATL 8.5363863 ## 5 BAL 7.7350173 ## 6 BFN 1.3645163 ## 7 BFP 0.4472136 ## 8 BL1 0.6992059 ## 9 BL2 1.7106757 ## 10 BL3 1.0000000 ## # ... with 138 more rows
Ci sono molte disuguaglianze nella quantità di fuoricampo eseguiti da ciascuna squadra.
Minimo e massimo
Puoi accedere al minimo e al massimo di un vettore con le funzioni min() e max().
Il codice seguente restituisce il numero più basso e quello più alto di partite in una stagione giocate da un giocatore.
# Min and max
data % > %
group_by(playerID) % > %
summarise(min_G = min(G),
max_G = max(G))
Produzione:
## # A tibble: 10,395 x 3 ## playerID min_G max_G ## <fctr> <int> ## 1 aardsda01 53 73 ## 2 aaronha01 120 156 ## 3 aasedo01 24 66 ## 4 abadfe01 18 18 ## 5 abadijo01 11 11 ## 6 abbated01 3 153 ## 7 abbeybe01 11 11 ## 8 abbeych01 80 132 ## 9 abbotgl01 5 23 ## 10 abbotji01 13 29 ## # ... with 10,385 more rows
Contare
Contare le osservazioni per gruppo è sempre una buona idea. Con R, puoi aggregare il numero di occorrenze con n().
Ad esempio, il codice seguente calcola il numero di anni giocati da ciascun giocatore.
# count observations data % > % group_by(playerID) % > % summarise(number_year = n()) % > % arrange(desc(number_year))
Produzione:
## # A tibble: 10,395 x 2 ## playerID number_year ## <fctr> <int> ## 1 pennohe01 11 ## 2 joosted01 10 ## 3 mcguide01 10 ## 4 rosepe01 10 ## 5 davisha01 9 ## 6 johnssi01 9 ## 7 kaatji01 9 ## 8 keelewi01 9 ## 9 marshmi01 9 ## 10 quirkja01 9 ## # ... with 10,385 more rows
Primo e ultimo
È possibile selezionare la prima, l'ultima o l'ennesima posizione di un gruppo.
Ad esempio, puoi trovare il primo e l'ultimo anno di ciascun giocatore.
# first and last data % > % group_by(playerID) % > % summarise(first_appearance = first(yearID), last_appearance = last(yearID))
Produzione:
## # A tibble: 10,395 x 3 ## playerID first_appearance last_appearance ## <fctr> <int> <int> ## 1 aardsda01 2009 2010 ## 2 aaronha01 1973 1975 ## 3 aasedo01 1986 1990 ## 4 abadfe01 2016 2016 ## 5 abadijo01 1875 1875 ## 6 abbated01 1905 1897 ## 7 abbeybe01 1894 1894 ## 8 abbeych01 1895 1897 ## 9 abbotgl01 1973 1979 ## 10 abbotji01 1992 1996 ## # ... with 10,385 more rows
ennesima osservazione
La funzione nth() è complementare a first() e last(). È possibile accedere all'ennesima osservazione all'interno di un gruppo con l'indice da restituire.
Ad esempio, puoi filtrare solo il secondo anno in cui una squadra ha giocato.
# nth data % > % group_by(teamID) % > % summarise(second_game = nth(yearID, 2)) % > % arrange(second_game)
Produzione:
## # A tibble: 148 x 2 ## teamID second_game ## <fctr> <int> ## 1 BS1 1871 ## 2 CH1 1871 ## 3 FW1 1871 ## 4 NY2 1871 ## 5 RC1 1871 ## 6 BR1 1872 ## 7 BR2 1872 ## 8 CL1 1872 ## 9 MID 1872 ## 10 TRO 1872 ## # ... with 138 more rows
Numero distinto di osservazione
La funzione n() restituisce il numero di osservazioni in un gruppo corrente. Una funzione chiusa per n() è n_distinct(), che conta il numero di valori univoci.
Nell'esempio successivo, sommi il totale dei giocatori reclutati da una squadra durante tutti i periodi.
# distinct values data % > % group_by(teamID) % > % summarise(number_player = n_distinct(playerID)) % > % arrange(desc(number_player))
Spiegazione del codice
- group_by(teamID): raggruppa per anno e di team
- riepiloga(numero_giocatore = n_distinto(playerID)): conta il numero distinto di giocatori per squadra
- organizzare(desc(number_player)): Ordina i dati in base al numero del giocatore
Produzione:
## # A tibble: 148 x 2 ## teamID number_player ## <fctr> <int> ## 1 CHN 751 ## 2 SLN 729 ## 3 PHI 699 ## 4 PIT 683 ## 5 CIN 679 ## 6 BOS 647 ## 7 CLE 646 ## 8 CHA 636 ## 9 DET 623 ## 10 NYA 612 ## # ... with 138 more rows
Gruppi multipli
Una statistica riassuntiva può essere realizzata tra più gruppi.
# Multiple groups data % > % group_by(yearID, teamID) % > % summarise(mean_games = mean(G)) % > % arrange(desc(teamID, yearID))
Spiegazione del codice
- group_by(yearID, teamID): raggruppa per anno e di team
- summarise(mean_games = mean(G)): riepiloga il numero di giocatori
- organizzare(desc(teamID, yearID)): ordina i dati per squadra e anno
Produzione:
## # A tibble: 2,829 x 3 ## # Groups: yearID [146] ## yearID teamID mean_games ## <int> <fctr> <dbl> ## 1 1884 WSU 20.41667 ## 2 1891 WS9 46.33333 ## 3 1886 WS8 22.00000 ## 4 1887 WS8 51.00000 ## 5 1888 WS8 27.00000 ## 6 1889 WS8 52.42857 ## 7 1884 WS7 8.00000 ## 8 1875 WS6 14.80000 ## 9 1873 WS5 16.62500 ## 10 1872 WS4 4.20000 ## # ... with 2,819 more rows
Filtro
Prima di eseguire un'operazione, è possibile filtrare il set di dati. Il set di dati inizia nel 1871 e l'analisi non necessita degli anni precedenti al 1980.
# Filter data % > % filter(yearID > 1980) % > % group_by(yearID) % > % summarise(mean_game_year = mean(G))
Spiegazione del codice
- filter(yearID > 1980): filtra i dati per mostrare solo gli anni rilevanti (ovvero dopo il 1980)
- group_by(yearID): raggruppa per anno
- summarise(mean_game_year = mean(G)): riepiloga i dati
Produzione:
## # A tibble: 36 x 2 ## yearID mean_game_year ## <int> <dbl> ## 1 1981 40.64583 ## 2 1982 56.97790 ## 3 1983 60.25128 ## 4 1984 62.97436 ## 5 1985 57.82828 ## 6 1986 58.55340 ## 7 1987 48.74752 ## 8 1988 52.57282 ## 9 1989 58.16425 ## 10 1990 52.91556 ## # ... with 26 more rows
Separa
Ultimo ma non meno importante, è necessario rimuovere il raggruppamento prima di modificare il livello del calcolo.
# Ungroup the data data % > % filter(HR > 0) % > % group_by(playerID) % > % summarise(average_HR_game = sum(HR) / sum(G)) % > % ungroup() % > % summarise(total_average_homerun = mean(average_HR_game))
Spiegazione del codice
- filter(HR >0): esclude zero homerun
- group_by(playerID): raggruppa per giocatore
- summarise(average_HR_game = sum(HR)/sum(G)): calcola il fuoricampo medio per giocatore
- ungroup(): rimuove il raggruppamento
- summarise(total_average_homerun = mean(average_HR_game)): riepiloga i dati
Produzione:
## # A tibble: 1 x 1 ## total_average_homerun ## <dbl> ## 1 0.06882226
Sommario
Quando vuoi restituire un riepilogo per gruppo, puoi utilizzare:
# group by X1, X2, X3 group(df, X1, X2, X3)
devi separare i dati con:
ungroup(df)
La tabella seguente riassume la funzione appresa con summarise()
| Metodo | Funzione | Code |
|---|---|---|
| significare | significare |
summarise(df,mean_x1 = mean(x1)) |
| mediano | mediano |
summarise(df,median_x1 = median(x1)) |
| somma | somma |
summarise(df,sum_x1 = sum(x1)) |
| deviazione standard | sd |
summarise(df,sd_x1 = sd(x1)) |
| interquartile | IQR |
summarise(df,interquartile_x1 = IQR(x1)) |
| ordine | verbale |
summarise(df,minimum_x1 = min(x1)) |
| massimo | max |
summarise(df,maximum_x1 = max(x1)) |
| quantile | quantile |
summarise(df,quantile_x1 = quantile(x1)) |
| prima osservazione | prima di tutto |
summarise(df,first_x1 = first(x1)) |
| ultima osservazione | ultimo |
summarise(df,last_x1 = last(x1)) |
| ennesima osservazione | ennesimo |
summarise(df,nth_x1 = nth(x1, 2)) |
| numero di occorrenze | n |
summarise(df,n_x1 = n(x1)) |
| numero di occorrenze distinte | n_distinto |
summarise(df,n_distinct _x1 = n_distinct(x1)) |
