Funzione di aggregazione in R: summarise() e group_by() Esempio

Set di dati utilizzato in questo tutorial

Riassumere una variabile fornisce una prima idea dei dati, mentre riassumerli per gruppo permette di ottenere molte più informazioni sulla distribuzione dei valori. Questo tutorial mostra come aggregare un set di dati per gruppo utilizzando la libreria dplyr.

Questo tutorial utilizza il dataset di battuta di Lahman. Dopo averlo importato e mantenutoping Considerando solo le nove colonne elencate di seguito, il dataframe di lavoro contiene 104,324 osservazioni e 9 variabili:

• playerID: codice ID giocatore. Fattore
• ID anno: anno. Fattore
• IDsquadra: squadra. fattore
• lgID: Lega. Fattore: AA AL FL NL PL UA
• AB: Ai pipistrelli. Numerico
• G: Partite: numero di partite effettuate da un giocatore. Numerico
• R: Corre. Numerico
• HR: Homerun. Numerico
• SH: Il sacrificio colpisce. Numerico

Prima di eseguire il riepilogo, è necessario eseguire i seguenti passaggi per preparare i dati:

• Passaggio 1: importa i dati
• Passaggio 2: selezionare le variabili pertinenti
• Passaggio 3: ordinare i dati

library(dplyr)

# Step 1
data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") %>%

# Step 2
select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH))  %>% 

# Step 3
arrange(playerID, teamID, yearID)

Una buona pratica quando importi un set di dati è utilizzare la funzione scorce() per avere un'idea della struttura del set di dati.

# Structure of the data
glimpse(data)

Produzione:

Observations: 104,324
Variables: 9
$ playerID <fctr> aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a...
$ yearID   <int> 2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196...
$ AB       <int> 1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495, ...
$ teamID   <fctr> ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A...
$ lgID     <fctr> NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL, ...
$ G        <int> 33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15...
$ R        <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75...
$ HR       <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40...
$ SH       <int> 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6, ...

riassumere()

La sintassi di summarise() è semplice e coerente con gli altri verbi inclusi nella libreria dplyr.

summarise(df, variable_name=condition) 
arguments: 
- `df`: Dataset used to construct the summary statistics 
- `variable_name=condition`: Formula to create the new variable

Guarda il codice qui sotto:

summarise(data, mean_run =mean(R))

Code Spiegazione

• summarise(data, mean_run = mean(R)): crea una variabile denominata mean_run che è la media della colonna eseguita dai dati del set di dati.

Produzione:

##   mean_run
## 1 19.20114

Puoi aggiungere quante variabili vuoi. Restituisci la media delle partite giocate e la media dei risultati dei sacrifici.

summarise(data, mean_games = mean(G),
    mean_SH = mean(SH, na.rm = TRUE))

Code Spiegazione

• mean_SH = mean(SH, na.rm = TRUE): riepiloga una seconda variabile. Hai impostato na.rm = TRUE perché la colonna SH contiene osservazioni mancanti.

Produzione:

##   mean_games  mean_SH
## 1   51.98361 2.340085

group_by() vs No group_by()

Usata da sola, summarise() comprime l'intero data frame in una singola riga, come mostrano gli esempi precedenti. La sua vera potenza appare quando si aggiunge group_by(): dplyr La libreria applica quindi lo stesso calcolo separatamente a ciascun gruppo e restituisce una riga per gruppo.

Tieni presente che group_by funziona perfettamente con tutti gli altri verbi (ad esempio mutate(), filter(), organizzare(), …).

È conveniente utilizzare l'operatore pipeline quando è presente più di un passaggio. Puoi calcolare l'homerun medio per campionato di baseball.

data %>%
	group_by(lgID) %>%
	summarise(mean_run = mean(HR))

Code Spiegazione

• dati: set di dati utilizzato per costruire le statistiche riassuntive
• group_by(lgID): Dividi i dati in base ai valori di lgID prima di riassumerli
• summarise(mean_run = mean(HR)): calcola l'homerun medio

Produzione:

## 
# A tibble: 7 x 2
##     lgID  mean_run
##   <fctr>     <dbl>
## 1     AA 0.9166667
## 2     AL 3.1270988
## 3     FL 1.3131313
## 4     NL 2.8595953
## 5     PL 2.5789474
## 6     UA 0.6216216
## 7   <NA> 0.2867133	

La pipe funziona anche con ggplot(), quindi l'intera catena, dai dati grezzi al grafico finale, rimane in un'unica istruzione. Il codice seguente combina group_by(), summarise() e ggplot() per mostrare la media dei fuoricampo per lega sotto forma di grafico a barre.

Dovrai effettuare le seguenti operazioni:

• Passaggio 1: seleziona il frame di dati
• Passaggio 2: raggruppare i dati
• Passaggio 3: riepilogare i dati
• Passaggio 4: tracciare le statistiche di riepilogo

library(ggplot2)
# Step 1
data %>% 
#Step 2
group_by(lgID) %>% 
#Step 3
summarise(mean_home_run = mean(HR)) %>% 
#Step 4
ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +
    geom_bar(stat = "identity") +
    theme_classic() +
    labs(
        x = "baseball league",
        y = "Average home run",
        title = paste(
            "Example group_by() with summarise()"
        )
    )

Produzione:

Funzioni che puoi utilizzare all'interno di summarise()

Il verbo summarise() è compatibile con quasi tutte le funzioni in R. Ecco un breve elenco di funzioni utili che puoi utilizzare insieme a summarise():

Le sezioni seguenti illustrano un esempio per ciascuna funzione nella tabella sopra. Se non hai familiarità con la pipe e gli altri verbi, inizia con la Tutorial su come selezionare, filtrare e organizzare.

Funzione di base

Nell'esempio precedente, non hai memorizzato la statistica riepilogativa in un frame di dati.

È possibile generare un data frame da un riepilogo in due passaggi:

• Passaggio 1: archiviare il frame di dati per un ulteriore utilizzo
• Passaggio 2: utilizzare il set di dati per creare un grafico a linee

Passo 1) Si calcola il numero medio di partite giocate per anno.

## Mean
ex1 <- data %>%
	group_by(yearID) %>%
	summarise(mean_game_year = mean(G))
head(ex1)

Code Spiegazione

• La statistica riassuntiva del set di dati di battuta è memorizzata nel frame dati ex1.

Produzione:

## # A tibble: 6 x 2
##   yearID mean_game_year
##    <int>          <dbl>
## 1   1871       23.42308
## 2   1872       18.37931
## 3   1873       25.61538
## 4   1874       39.05263
## 5   1875       28.39535
## 6   1876       35.90625	

Passo 2) Mostri la statistica riepilogativa con un grafico a linee e vedi la tendenza.

# Plot the graph
ggplot(ex1, aes(x = yearID, y = mean_game_year)) +
    geom_line() +
    theme_classic() +
    labs(
        x = "Year",
        y = "Average games played",
        title = paste(
            "Average games played from 1871 to 2016"
        )
    )

Produzione:

sottoinsiemi

La funzione summarise() è compatibile con il sottoinsieme.

## Subsetting + Median
data %>%
group_by(lgID) %>%
summarise(median_at_bat_league = median(AB), 
	#Compute the median without the zero 
	median_at_bat_league_no_zero = median(AB[AB > 0]))

Code Spiegazione

• median_at_bat_league_no_zero = median(AB[AB > 0]): la variabile AB contiene lotti di 0. Puoi confrontare la mediana di alla battuta variabile con e senza 0.

Produzione:

## # A tibble: 7 x 3
##     lgID median_at_bat_league median_at_bat_league_no_zero
##   <fctr>                <dbl>                        <dbl>
## 1     AA                  130                          131
## 2     AL                   38                           85
## 3     FL                   88                           97
## 4     NL                   56                           67
## 5     PL                  238                          238
## 6     UA                   35                           35
## 7   <NA>                  101                          101	

Somma

Un'altra funzione utile per aggregare la variabile è sum().

Puoi controllare quali campionati hanno più fuoricampo.

## Sum
data %>%
	group_by(lgID) %>%
	summarise(sum_homerun_league = sum(HR))

Produzione:

## # A tibble: 7 x 2
##     lgID sum_homerun_league
##   <fctr>              <int>
## 1     AA                341
## 2     AL              29426
## 3     FL                130
## 4     NL              29817
## 5     PL                 98
## 6     UA                 46
## 7   <NA>                 41	

Deviazione standard

La diffusione nei dati viene calcolata con la deviazione standard o sd() in R.

# Spread
data %>%
	group_by(teamID) %>%
	summarise(sd_at_bat_league = sd(HR))

Produzione:

## # A tibble: 148 x 2
##    teamID sd_at_bat_league
##    <fctr>            <dbl>
##  1    ALT               NA
##  2    ANA        8.7816395
##  3    ARI        6.0765503
##  4    ATL        8.5363863
##  5    BAL        7.7350173
##  6    BFN        1.3645163
##  7    BFP        0.4472136
##  8    BL1        0.6992059
##  9    BL2        1.7106757
## 10    BL3        1.0000000
## # ... with 138 more rows		

La distribuzione dei fuoricampo varia notevolmente tra le squadre e ALT restituisce NA perché quella squadra ha una sola riga, quindi non è possibile calcolare la deviazione standard.

Minimo e massimo

Puoi accedere al minimo e al massimo di un vettore con le funzioni min() e max().

Il codice seguente restituisce il numero più basso e quello più alto di partite in una stagione giocate da un giocatore.

# Min and max
data %>%
	group_by(playerID) %>%
	summarise(min_G = min(G),
    max_G = max(G))

Produzione:

## # A tibble: 10,395 x 3
##     playerID min_G max_G
##       <fctr>       <int>
##  1 aardsda01    53    73
##  2 aaronha01   120   156
##  3  aasedo01    24    66
##  4  abadfe01    18    18
##  5 abadijo01    11    11
##  6 abbated01     3   153
##  7 abbeybe01    11    11
##  8 abbeych01    80   132
##  9 abbotgl01     5    23
## 10 abbotji01    13    29
## # ... with 10,385 more rows

Contare

Vale sempre la pena contare le osservazioni per gruppo. In R, la funzione n() restituisce il numero di righe nel gruppo corrente.

Ad esempio, il codice seguente calcola il numero di anni giocati da ciascun giocatore.

# count observations
data %>%
	group_by(playerID) %>%
	summarise(number_year = n()) %>%
	arrange(desc(number_year))

Produzione:

## # A tibble: 10,395 x 2
##     playerID number_year
##       <fctr>       <int>
##  1 pennohe01          11
##  2 joosted01          10
##  3 mcguide01          10
##  4  rosepe01          10
##  5 davisha01           9
##  6 johnssi01           9
##  7  kaatji01           9
##  8 keelewi01           9
##  9 marshmi01           9
## 10 quirkja01           9
## # ... with 10,385 more rows

Primo e ultimo

È possibile selezionare la prima, l'ultima o l'ennesima posizione di un gruppo.

Ad esempio, puoi trovare il primo e l'ultimo anno di ciascun giocatore.

# first and last
data %>%
	group_by(playerID) %>%
	summarise(first_appearance = first(yearID),
		last_appearance = last(yearID))

Produzione:

## # A tibble: 10,395 x 3
##     playerID first_appearance last_appearance
##       <fctr>            <int>           <int>
##  1 aardsda01             2009            2010
##  2 aaronha01             1973            1975
##  3  aasedo01             1986            1990
##  4  abadfe01             2016            2016
##  5 abadijo01             1875            1875
##  6 abbated01             1905            1897
##  7 abbeybe01             1894            1894
##  8 abbeych01             1895            1897
##  9 abbotgl01             1973            1979
## 10 abbotji01             1992            1996
## # ... with 10,385 more rows

ennesima osservazione

La funzione nth() completa first() e last(). Restituisce l'osservazione all'indice specificato all'interno di ciascun gruppo.

Ad esempio, puoi filtrare solo il secondo anno in cui una squadra ha giocato.

# nth
data %>%
	group_by(teamID) %>%
	summarise(second_game = nth(yearID, 2)) %>%
	arrange(second_game)

Produzione:

## # A tibble: 148 x 2
##    teamID second_game
##    <fctr>       <int>
##  1    BS1        1871
##  2    CH1        1871
##  3    FW1        1871
##  4    NY2        1871
##  5    RC1        1871
##  6    BR1        1872
##  7    BR2        1872
##  8    CL1        1872
##  9    MID        1872
## 10    TRO        1872
## # ... with 138 more rows

Numero distinto di osservazioni

La funzione n() restituisce il numero di righe nel gruppo corrente. La funzione correlata n_distinct() conta invece i valori univoci.

Nell'esempio successivo, sommi il totale dei giocatori reclutati da una squadra durante tutti i periodi.

# distinct values
data %>%
	group_by(teamID) %>%
	summarise(number_player = n_distinct(playerID)) %>%
	arrange(desc(number_player))

Code Spiegazione

• group_by(teamID): Raggruppa per squadra
• riepiloga(numero_giocatore = n_distinto(playerID)): Conta i giocatori distinti per squadra
• organizzare(desc(number_player)): Ordina i dati in base al numero del giocatore

Produzione:

## # A tibble: 148 x 2
##    teamID number_player
##    <fctr>         <int>
##  1    CHN           751
##  2    SLN           729
##  3    PHI           699
##  4    PIT           683
##  5    CIN           679
##  6    BOS           647
##  7    CLE           646
##  8    CHA           636
##  9    DET           623
## 10    NYA           612
## # ... with 138 more rows

Gruppi multipli

Una statistica riassuntiva può essere realizzata tra più gruppi.

# Multiple groups
data %>%
	group_by(yearID, teamID) %>%
	summarise(mean_games = mean(G)) %>%
	arrange(desc(teamID, yearID))

Code Spiegazione

• group_by(yearID, teamID): raggruppa per anno and team
• riassumi(mean_games = mean(G)): Calcola la media del numero di partite giocate
• organizzare(desc(teamID, yearID)): ordina i dati per squadra e anno

Produzione:

## # A tibble: 2,829 x 3
## # Groups:   yearID [146]
##    yearID teamID mean_games
##     <int> <fctr>      <dbl>
##  1   1884    WSU   20.41667
##  2   1891    WS9   46.33333
##  3   1886    WS8   22.00000
##  4   1887    WS8   51.00000
##  5   1888    WS8   27.00000
##  6   1889    WS8   52.42857
##  7   1884    WS7    8.00000
##  8   1875    WS6   14.80000
##  9   1873    WS5   16.62500
## 10   1872    WS4    4.20000
## # ... with 2,819 more rows

Filtra

Prima di eseguire un'operazione, è possibile filtrare il set di dati. Il set di dati inizia nel 1871 e l'analisi non necessita degli anni precedenti al 1980.

# Filter
data %>%
	filter(yearID > 1980) %>%
	group_by(yearID) %>%
	summarise(mean_game_year = mean(G))

Code Spiegazione

• filter(yearID > 1980): filtra i dati per mostrare solo gli anni rilevanti (ovvero dopo il 1980)
• group_by(yearID): raggruppa per anno
• summarise(mean_game_year = mean(G)): riepiloga i dati

Produzione:

## # A tibble: 36 x 2
##    yearID mean_game_year
##     <int>          <dbl>
##  1   1981       40.64583
##  2   1982       56.97790
##  3   1983       60.25128
##  4   1984       62.97436
##  5   1985       57.82828
##  6   1986       58.55340
##  7   1987       48.74752
##  8   1988       52.57282
##  9   1989       58.16425
## 10   1990       52.91556
## # ... with 26 more rows

Separa

Infine, è necessario rimuovere il gruppoping prima di modificare il livello a cui viene eseguito un calcolo. Senza ungroup(), il secondo summarise() verrebbe comunque eseguito per giocatore.

# Ungroup the data
data %>%
	filter(HR > 0) %>%
	group_by(playerID) %>%
	summarise(average_HR_game = sum(HR) / sum(G)) %>%
	ungroup() %>%
	summarise(total_average_homerun = mean(average_HR_game))

Code Spiegazione

• filter(HR >0): esclude zero homerun
• group_by(playerID): raggruppa per giocatore
• summarise(average_HR_game = sum(HR)/sum(G)): calcola il fuoricampo medio per giocatore
• ungroup(): rimuove il gruppoping
• summarise(total_average_homerun = mean(average_HR_game)): riepiloga i dati

Produzione:

## # A tibble: 1 x 1
##   total_average_homerun
##                   <dbl>
## 1            0.06882226	

Come riepilogare più colonne con across()

Ciascuno degli esempi precedenti fa riferimento a una colonna alla volta. Quando è necessaria la stessa statistica per più colonne, il metodo across() la applica a tutte con una singola chiamata.

# One function, several columns
data %>%
    group_by(lgID) %>%
    summarise(across(c(R, HR, G), mean, .names = "mean_{.col}"))

# Every numeric column at once
data %>%
    group_by(lgID) %>%
    summarise(across(where(is.numeric), mean, na.rm = TRUE))

# Several functions applied to several columns
data %>%
    group_by(teamID) %>%
    summarise(across(c(R, HR), list(avg = mean, total = sum)))

Tre argomenti controllano il comportamento:

• .cols: le colonne su cui operare, scritte con le stesse funzioni di supporto di select(), incluso where(is.numeric).
• .fns: una funzione, o un elenco denominato di funzioni da applicare a ciascuna colonna.
• .nomi: il modello di denominazione per l'output, dove {.col} è la colonna e {.fn} il nome della funzione.

La funzione across() ha sostituito le vecchie funzioni di supporto summarise_all(), summarise_at() e summarise_if() in dplyr 1.0.0. Queste ultime sono ancora funzionanti, ma sono state sostituite, quindi il nuovo codice dovrebbe utilizzare across().

Errori comuni di summarise() e come risolverli

Quattro problemi sono responsabili della maggior parte delle aggregazioni fallite.

• Il risultato è NA. Le funzioni mean() e sum() restituiscono NA se manca un valore. Aggiungere na.rm = TRUE, come nell'esempio mean_SH riportato sopra.
• Il messaggio "summarise() ha un output raggruppato". Grouping da due variabili lascia il risultato raggruppato per la prima. Passa .groups = “drop” per rimuovere il gruppoping, oppure chiamare ungroup() in seguito.
• Un calcolo successivo fornisce un livello errato. Un data frame rimane raggruppato finché non lo si separa, quindi una seconda chiamata a summarise() viene comunque eseguita per ogni gruppo. Questo è esattamente ciò che dimostra l'esempio di ungroup().
• L'output presenta un numero di righe superiore a quello previsto. summarise() restituisce una riga per gruppo, quindi un gruppo non intenzionaleping La variabile moltiplica l'output. Controlla la riga "Gruppi:" stampata sopra ogni tibble.

# Drop the grouping as part of the call
data %>%
    group_by(yearID, teamID) %>%
    summarise(mean_games = mean(G), .groups = "drop")

summarise() in R: Riferimento alla funzione

Per ottenere un riepilogo per gruppo, suddividi prima i dati:

# group by X1, X2, X3
group_by(df, X1, X2, X3)

e rimuovere il fangoping quando il calcolo cambia livello:

ungroup(df)

La tabella seguente elenca tutte le funzioni utilizzate con summarise() in questo tutorial:

summarise(df, mean_x1 = mean(x1))

summarise(df, median_x1 = median(x1))

summarise(df, sum_x1 = sum(x1))

summarise(df, sd_x1 = sd(x1))

summarise(df, interquartile_x1 = IQR(x1))

summarise(df, minimum_x1 = min(x1))

summarise(df, maximum_x1 = max(x1))

summarise(df, quantile_x1 = quantile(x1, probs = 0.75))

summarise(df, first_x1 = first(x1))

summarise(df, last_x1 = last(x1))

summarise(df, nth_x1 = nth(x1, 2))

summarise(df, n_x1 = n())

summarise(df, n_distinct_x1 = n_distinct(x1))

DOMANDE FREQUENTI