Função agregada R: exemplo de resumo e Group_by()

O resumo de uma variável é importante para se ter uma ideia sobre os dados. Porém, resumir uma variável por grupo fornece melhores informações sobre a distribuição dos dados.

Neste tutorial, você aprenderá como resumir um conjunto de dados por grupo com a biblioteca dplyr.

Para este tutorial, você usará o conjunto de dados de rebatidas. O conjunto de dados original contém 102816 observações e 22 variáveis. Você usará apenas 20% deste conjunto de dados e as seguintes variáveis:

• playerID: código de identificação do jogador. Fator
• ID do ano: Ano. Fator
• ID da equipe: Equipe. fator
• LGID: Liga. Fator: AA AL FL NL PL UA
• AB: Nos morcegos. Numérico
• G: Jogos: número de jogos realizados por um jogador. Numérico
• R: Corre. Numérico
• RH: Homeruns. Numérico
• SH: Sacrifique golpes. Numérico

Antes de realizar o resumo, você executará as seguintes etapas para preparar os dados:

• Etapa 1: importe os dados
• Passo 2: Selecione as variáveis ​​relevantes
• Etapa 3: classifique os dados

library(dplyr)

# Step 1
data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") % > %

# Step 2
select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH))  % > % 

# Step 3
arrange(playerID, teamID, yearID)

Uma boa prática ao importar um conjunto de dados é usar a função vislumbre() para ter uma ideia sobre a estrutura do conjunto de dados.

# Structure of the data
glimpse(data)

Saída:

Observations: 104,324
Variables: 9
$ playerID <fctr> aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a...
$ yearID   <int> 2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196...
$ AB       <int> 1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495, ...
$ teamID   <fctr> ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A...
$ lgID     <fctr> NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL, ...
$ G        <int> 33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15...
$ R        <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75...
$ HR       <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40...
$ SH       <int> 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6, ...

Resumir()

A sintaxe de summarise() é básica e consistente com os outros verbos incluídos na biblioteca dplyr.

summarise(df, variable_name=condition) 
arguments: 
- `df`: Dataset used to construct the summary statistics 
- `variable_name=condition`: Formula to create the new variable

Observe o código abaixo:

summarise(data, mean_run =mean(R))

Explicação do código

• summarise(data, mean_run = mean(R)): Cria uma variável chamada mean_run que é a média da coluna executada a partir dos dados do conjunto de dados.

Saída:

##   mean_run
## 1 19.20114

Você pode adicionar quantas variáveis ​​desejar. Você retorna a média de jogos disputados e a média de acertos de sacrifício.

summarise(data, mean_games = mean(G),
    mean_SH = mean(SH, na.rm = TRUE))

Explicação do código

• média_SH = média (SH, na.rm = TRUE): Resuma uma segunda variável. Você define na.rm = TRUE porque a coluna SH contém observações ausentes.

Saída:

##   mean_games  mean_SH
## 1   51.98361 2.340085

Group_by vs sem group_by

A função summerise() sem group_by() não faz sentido. Ele cria estatísticas resumidas por grupo. A biblioteca dplyr aplica uma função automaticamente ao grupo que você passou dentro do verbo group_by.

Observe que group_by funciona perfeitamente com todos os outros verbos (ou seja, mutate(), filter(), organize(),…).

É conveniente usar o operador pipeline quando você tem mais de uma etapa. Você pode calcular o homerun médio por liga de beisebol.

data % > %
	group_by(lgID) % > %
	summarise(mean_run = mean(HR))

Explicação do código

• dados: conjunto de dados usado para construir as estatísticas resumidas
• group_by(lgID): Calcula o resumo agrupando a variável `lgID
• summarise(mean_run = mean(HR)): Calcula o homerun médio

Saída:

## 
# A tibble: 7 x 2
##     lgID  mean_run
##   <fctr>     <dbl>
## 1     AA 0.9166667
## 2     AL 3.1270988
## 3     FL 1.3131313
## 4     NL 2.8595953
## 5     PL 2.5789474
## 6     UA 0.6216216
## 7   <NA> 0.2867133	

O operador pipe também funciona com ggplot(). Você pode mostrar facilmente a estatística resumida com um gráfico. Todas as etapas são empurradas para dentro do pipeline até que o grap seja plotado. Parece mais visual ver o homerun médio por liga com um bar char. O código abaixo demonstra o poder de combinar group_by(), summarise() e ggplot() juntos.

Você fará o seguinte passo:

• Etapa 1: selecione o quadro de dados
• Etapa 2: agrupar dados
• Etapa 3: resumir os dados
• Etapa 4: traçar as estatísticas resumidas

library(ggplot2)
# Step 1
data % > % 
#Step 2
group_by(lgID) % > % 
#Step 3
summarise(mean_home_run = mean(HR)) % > % 
#Step 4
ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +
    geom_bar(stat = "identity") +
    theme_classic() +
    labs(
        x = "baseball league",
        y = "Average home run",
        title = paste(
            "Example group_by() with summarise()"
        )
    )

Saída:

Função em resumo()

O verbo summarise() é compatível com quase todas as funções em R. Aqui está uma pequena lista de funções úteis que você pode usar junto com summarise():

Veremos exemplos para todas as funções da tabela 1.

Função básica

No exemplo anterior, você não armazenou a estatística resumida em um quadro de dados.

Você pode prosseguir em duas etapas para gerar um período a partir de um resumo:

• Etapa 1: armazene o quadro de dados para uso posterior
• Etapa 2: use o conjunto de dados para criar um gráfico de linhas

Passo 1) Você calcula o número médio de jogos disputados por ano.

## Mean
ex1 <- data % > %
	group_by(yearID) % > %
	summarise(mean_game_year = mean(G))
head(ex1)

Explicação do código

• A estatística resumida do conjunto de dados de rebatidas é armazenada no quadro de dados ex1.

Saída:

## # A tibble: 6 x 2
##   yearID mean_game_year
##    <int>          <dbl>
## 1   1871       23.42308
## 2   1872       18.37931
## 3   1873       25.61538
## 4   1874       39.05263
## 5   1875       28.39535
## 6   1876       35.90625	

Passo 2) Você mostra a estatística resumida com um gráfico de linhas e vê a tendência.

# Plot the graph
ggplot(ex1, aes(x = yearID, y = mean_game_year)) +
    geom_line() +
    theme_classic() +
    labs(
        x = "Year",
        y = "Average games played",
        title = paste(
            "Average games played from 1871 to 2016"
        )
    )

Saída:

Subconjunto

A função summarise() é compatível com subconjuntos.

## Subsetting + Median
data % > %
group_by(lgID) % > %
summarise(median_at_bat_league = median(AB), 
	#Compute the median without the zero 
	median_at_bat_league_no_zero = median(AB[AB > 0]))

Explicação do código

• median_at_bat_league_no_zero = median(AB[AB > 0]): A variável AB contém muitos 0. Você pode comparar a mediana do no morcego variável com e sem 0.

Saída:

## # A tibble: 7 x 3
##     lgID median_at_bat_league median_at_bat_league_no_zero
##   <fctr>                <dbl>                        <dbl>
## 1     AA                  130                          131
## 2     AL                   38                           85
## 3     FL                   88                           97
## 4     NL                   56                           67
## 5     PL                  238                          238
## 6     UA                   35                           35
## 7   <NA>                  101                          101	

Soma

Outra função útil para agregar a variável é sum().

Você pode verificar quais ligas têm mais homeruns.

## Sum
data % > %
	group_by(lgID) % > %
	summarise(sum_homerun_league = sum(HR))

Saída:

## # A tibble: 7 x 2
##     lgID sum_homerun_league
##   <fctr>              <int>
## 1     AA                341
## 2     AL              29426
## 3     FL                130
## 4     NL              29817
## 5     PL                 98
## 6     UA                 46
## 7   <NA>                 41	

Desvio padrão

A dispersão nos dados é calculada com o desvio padrão ou sd() em R.

# Spread
data % > %
	group_by(teamID) % > %
	summarise(sd_at_bat_league = sd(HR))

Saída:

## # A tibble: 148 x 2
##    teamID sd_at_bat_league
##    <fctr>            <dbl>
##  1    ALT               NA
##  2    ANA        8.7816395
##  3    ARI        6.0765503
##  4    ATL        8.5363863
##  5    BAL        7.7350173
##  6    BFN        1.3645163
##  7    BFP        0.4472136
##  8    BL1        0.6992059
##  9    BL2        1.7106757
## 10    BL3        1.0000000
## # ... with 138 more rows		

Há muita desigualdade na quantidade de homeruns realizados por cada equipe.

mínimo e máximo

Você pode acessar o mínimo e o máximo de um vetor com as funções min() e max().

O código abaixo retorna o menor e o maior número de jogos em uma temporada disputados por um jogador.

# Min and max
data % > %
	group_by(playerID) % > %
	summarise(min_G = min(G),
    max_G = max(G))

Saída:

## # A tibble: 10,395 x 3
##     playerID min_G max_G
##       <fctr>       <int>
##  1 aardsda01    53    73
##  2 aaronha01   120   156
##  3  aasedo01    24    66
##  4  abadfe01    18    18
##  5 abadijo01    11    11
##  6 abbated01     3   153
##  7 abbeybe01    11    11
##  8 abbeych01    80   132
##  9 abbotgl01     5    23
## 10 abbotji01    13    29
## # ... with 10,385 more rows

Contar

Contar as observações por grupo é sempre uma boa ideia. Com R, você pode agregar o número de ocorrências com n().

Por exemplo, o código abaixo calcula o número de anos jogados por cada jogador.

# count observations
data % > %
	group_by(playerID) % > %
	summarise(number_year = n()) % > %
	arrange(desc(number_year))

Saída:

## # A tibble: 10,395 x 2
##     playerID number_year
##       <fctr>       <int>
##  1 pennohe01          11
##  2 joosted01          10
##  3 mcguide01          10
##  4  rosepe01          10
##  5 davisha01           9
##  6 johnssi01           9
##  7  kaatji01           9
##  8 keelewi01           9
##  9 marshmi01           9
## 10 quirkja01           9
## # ... with 10,385 more rows

Primeiro e último

Você pode selecionar a primeira, a última ou a enésima posição de um grupo.

Por exemplo, você pode encontrar o primeiro e o último ano de cada jogador.

# first and last
data % > %
	group_by(playerID) % > %
	summarise(first_appearance = first(yearID),
		last_appearance = last(yearID))

Saída:

## # A tibble: 10,395 x 3
##     playerID first_appearance last_appearance
##       <fctr>            <int>           <int>
##  1 aardsda01             2009            2010
##  2 aaronha01             1973            1975
##  3  aasedo01             1986            1990
##  4  abadfe01             2016            2016
##  5 abadijo01             1875            1875
##  6 abbated01             1905            1897
##  7 abbeybe01             1894            1894
##  8 abbeych01             1895            1897
##  9 abbotgl01             1973            1979
## 10 abbotji01             1992            1996
## # ... with 10,385 more rows

enésima observação

A função nth() é complementar a first() e last(). Você pode acessar a enésima observação dentro de um grupo com o índice a ser retornado.

Por exemplo, você pode filtrar apenas o segundo ano em que um time jogou.

# nth
data % > %
	group_by(teamID) % > %
	summarise(second_game = nth(yearID, 2)) % > %
	arrange(second_game)

Saída:

## # A tibble: 148 x 2
##    teamID second_game
##    <fctr>       <int>
##  1    BS1        1871
##  2    CH1        1871
##  3    FW1        1871
##  4    NY2        1871
##  5    RC1        1871
##  6    BR1        1872
##  7    BR2        1872
##  8    CL1        1872
##  9    MID        1872
## 10    TRO        1872
## # ... with 138 more rows

Número distinto de observação

A função n() retorna o número de observações em um grupo atual. Uma função fechada para n() é n_distinct(), que conta o número de valores únicos.

No próximo exemplo, você soma o total de jogadores que uma equipe recrutou durante todos os períodos.

# distinct values
data % > %
	group_by(teamID) % > %
	summarise(number_player = n_distinct(playerID)) % > %
	arrange(desc(number_player))

Explicação do código

• group_by(teamID): Agrupar por ano e Profissionais
• resumir(número_jogador = n_distinto(playerID)): Conte o número distinto de jogadores por equipe
• organize(desc(number_player)): Classifique os dados pelo número do jogador

Saída:

## # A tibble: 148 x 2
##    teamID number_player
##    <fctr>         <int>
##  1    CHN           751
##  2    SLN           729
##  3    PHI           699
##  4    PIT           683
##  5    CIN           679
##  6    BOS           647
##  7    CLE           646
##  8    CHA           636
##  9    DET           623
## 10    NYA           612
## # ... with 138 more rows

Vários grupos

Uma estatística resumida pode ser realizada entre vários grupos.

# Multiple groups
data % > %
	group_by(yearID, teamID) % > %
	summarise(mean_games = mean(G)) % > %
	arrange(desc(teamID, yearID))

Explicação do código

• group_by(yearID, teamID): Agrupar por ano e Profissionais
• summarise(mean_games = mean(G)): Resuma o número de jogadores do jogo
• organize(desc(teamID, yearID)): Classifique os dados por equipe e ano

Saída:

## # A tibble: 2,829 x 3
## # Groups:   yearID [146]
##    yearID teamID mean_games
##     <int> <fctr>      <dbl>
##  1   1884    WSU   20.41667
##  2   1891    WS9   46.33333
##  3   1886    WS8   22.00000
##  4   1887    WS8   51.00000
##  5   1888    WS8   27.00000
##  6   1889    WS8   52.42857
##  7   1884    WS7    8.00000
##  8   1875    WS6   14.80000
##  9   1873    WS5   16.62500
## 10   1872    WS4    4.20000
## # ... with 2,819 more rows

Filtrar

Antes de pretender realizar uma operação, você pode filtrar o conjunto de dados. O conjunto de dados começa em 1871 e a análise não precisa dos anos anteriores a 1980.

# Filter
data % > %
	filter(yearID > 1980) % > %
	group_by(yearID) % > %
	summarise(mean_game_year = mean(G))

Explicação do código

• filter(yearID > 1980): Filtre os dados para mostrar apenas os anos relevantes (ou seja, após 1980)
• group_by(yearID): agrupar por ano
• summarise(mean_game_year = mean(G)): Resuma os dados

Saída:

## # A tibble: 36 x 2
##    yearID mean_game_year
##     <int>          <dbl>
##  1   1981       40.64583
##  2   1982       56.97790
##  3   1983       60.25128
##  4   1984       62.97436
##  5   1985       57.82828
##  6   1986       58.55340
##  7   1987       48.74752
##  8   1988       52.57282
##  9   1989       58.16425
## 10   1990       52.91556
## # ... with 26 more rows

Desagrupar

Por último, mas não menos importante, você precisa remover o agrupamento antes de alterar o nível do cálculo.

# Ungroup the data
data % > %
	filter(HR > 0) % > %
	group_by(playerID) % > %
	summarise(average_HR_game = sum(HR) / sum(G)) % > %
	ungroup() % > %
	summarise(total_average_homerun = mean(average_HR_game))

Explicação do código

• filter(HR >0): Exclui zero homerun
• group_by(playerID): agrupar por jogador
• summarise(average_HR_game = sum(HR)/sum(G)): Calcula a média de homerun por jogador
• ungroup(): remove o agrupamento
• summarise(total_average_homerun = mean(average_HR_game)): Resuma os dados

Saída:

## # A tibble: 1 x 1
##   total_average_homerun
##                   <dbl>
## 1            0.06882226	

Resumo

Quando quiser retornar um resumo por grupo, você pode usar:

# group by X1, X2, X3
group(df, X1, X2, X3)

você precisa desagrupar os dados com:

ungroup(df)

A tabela abaixo resume a função que você aprendeu com summarise()

summarise(df,mean_x1 = mean(x1))

summarise(df,median_x1 = median(x1))

summarise(df,sum_x1 = sum(x1))

summarise(df,sd_x1 = sd(x1))

summarise(df,interquartile_x1 = IQR(x1))

summarise(df,minimum_x1 = min(x1))

summarise(df,maximum_x1 = max(x1))

summarise(df,quantile_x1 = quantile(x1))

summarise(df,first_x1 = first(x1))

summarise(df,last_x1 = last(x1))

summarise(df,nth_x1 = nth(x1, 2))

summarise(df,n_x1 = n(x1))

summarise(df,n_distinct _x1 = n_distinct(x1))