R Агрегатна функція: приклад Summarize & Group_by().

Підсумок змінної важливий, щоб мати уявлення про дані. Хоча узагальнення змінної за групами дає кращу інформацію про розподіл даних.

У цьому підручнику ви дізнаєтеся, як узагальнювати набір даних за групами за допомогою бібліотеки dplyr.

У цьому посібнику ви будете використовувати набір даних про ватин. Оригінальний набір даних містить 102816 спостережень і 22 змінні. Ви використовуватимете лише 20 відсотків цього набору даних і використовуватимете такі змінні:

• playerID: ідентифікаційний код гравця. Фактор
• yearID: рік. Фактор
• teamID: Команда. фактор
• lgID: Ліга. Фактор: AA AL FL NL PL UA
• АБ: У кажанів. Числовий
• G: Ігри: кількість ігор гравцем. Числовий
• Р: Біжить. Числовий
• HR: Homeruns. Числовий
• SH: Жертовні удари. Числовий

Перш ніж виконувати зведення, виконайте такі дії, щоб підготувати дані:

• Крок 1. Імпортуйте дані
• Крок 2: Виберіть відповідні змінні
• Крок 3: відсортуйте дані

library(dplyr)

# Step 1
data <- read.csv("https://raw.githubusercontent.com/guru99-edu/R-Programming/master/lahman-batting.csv") % > %

# Step 2
select(c(playerID, yearID, AB, teamID, lgID, G, R, HR, SH))  % > % 

# Step 3
arrange(playerID, teamID, yearID)

Хорошою практикою під час імпорту набору даних є використання функції glimpse(), щоб мати уявлення про структуру набору даних.

# Structure of the data
glimpse(data)

вихід:

Observations: 104,324
Variables: 9
$ playerID <fctr> aardsda01, aardsda01, aardsda01, aardsda01, aardsda01, a...
$ yearID   <int> 2015, 2008, 2007, 2006, 2012, 2013, 2009, 2010, 2004, 196...
$ AB       <int> 1, 1, 0, 2, 0, 0, 0, 0, 0, 603, 600, 606, 547, 516, 495, ...
$ teamID   <fctr> ATL, BOS, CHA, CHN, NYA, NYN, SEA, SEA, SFN, ATL, ATL, A...
$ lgID     <fctr> NL, AL, AL, NL, AL, NL, AL, AL, NL, NL, NL, NL, NL, NL, ...
$ G        <int> 33, 47, 25, 45, 1, 43, 73, 53, 11, 158, 155, 160, 147, 15...
$ R        <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 117, 113, 84, 100, 103, 95, 75...
$ HR       <int> 0, 0, 0, 0, 0, 0, 0, 0, 0, 44, 39, 29, 44, 38, 47, 34, 40...
$ SH       <int> 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 6, ...

Підсумувати()

Синтаксис summarise() є базовим і узгоджується з іншими дієсловами, включеними до бібліотеки dplyr.

summarise(df, variable_name=condition) 
arguments: 
- `df`: Dataset used to construct the summary statistics 
- `variable_name=condition`: Formula to create the new variable

Подивіться на код нижче:

summarise(data, mean_run =mean(R))

Пояснення коду

• summarise(data, mean_run = mean(R)): створює змінну з іменем mean_run, яка є середнім значенням прогону стовпця з даних набору даних.

вихід:

##   mean_run
## 1 19.20114

Ви можете додати скільки завгодно змінних. Ви повертаєте середню кількість зіграних ігор і середню кількість жертв.

summarise(data, mean_games = mean(G),
    mean_SH = mean(SH, na.rm = TRUE))

Пояснення коду

• mean_SH = mean(SH, na.rm = TRUE): Підсумуйте другу змінну. Ви встановили na.rm = TRUE, оскільки стовпець SH містить відсутні спостереження.

вихід:

##   mean_games  mean_SH
## 1   51.98361 2.340085

Group_by проти відсутності group_by

Функція summerise() без group_by() не має жодного сенсу. Він створює зведену статистику по групах. Бібліотека dplyr автоматично застосовує функцію до групи, яку ви передали всередині дієслова group_by.

Зверніть увагу, що group_by ідеально працює з усіма іншими дієсловами (тобто mutate(), filter(), arrange(), …).

Зручно використовувати оператор конвеєра, коли у вас є більше одного кроку. Ви можете обчислити середній хоумран за бейсбольною лігою.

data % > %
	group_by(lgID) % > %
	summarise(mean_run = mean(HR))

Пояснення коду

• дані: набір даних, який використовується для створення підсумкової статистики
• group_by(lgID): обчисліть підсумок шляхом групування змінної lgID
• summarise(mean_run = mean(HR)): обчислити середній хоумран

вихід:

## 
# A tibble: 7 x 2
##     lgID  mean_run
##   <fctr>     <dbl>
## 1     AA 0.9166667
## 2     AL 3.1270988
## 3     FL 1.3131313
## 4     NL 2.8595953
## 5     PL 2.5789474
## 6     UA 0.6216216
## 7   <NA> 0.2867133	

Оператор каналу також працює з ggplot(). Ви можете легко показати підсумкову статистику за допомогою графіка. Усі кроки проштовхуються всередину конвеєра, доки захоплення не буде намальовано. Здається більш наочним побачити середній хоумран за лігами зі стовпчиком. Наведений нижче код демонструє потужність поєднання group_by(), summarise() і ggplot().

Ви зробите наступний крок:

• Крок 1: Виберіть кадр даних
• Крок 2: Згрупуйте дані
• Крок 3: Узагальніть дані
• Крок 4: Побудуйте підсумкову статистику

library(ggplot2)
# Step 1
data % > % 
#Step 2
group_by(lgID) % > % 
#Step 3
summarise(mean_home_run = mean(HR)) % > % 
#Step 4
ggplot(aes(x = lgID, y = mean_home_run, fill = lgID)) +
    geom_bar(stat = "identity") +
    theme_classic() +
    labs(
        x = "baseball league",
        y = "Average home run",
        title = paste(
            "Example group_by() with summarise()"
        )
    )

вихід:

Функція в summise()

Дієслово summarise() сумісно майже з усіма функціями в R. Ось короткий список корисних функцій, які можна використовувати разом із summarise():

Ми побачимо приклади для кожної функції таблиці 1.

Основна функція

У попередньому прикладі ви не зберегли підсумкову статистику у фреймі даних.

Ви можете виконати два кроки, щоб створити рамку дат із підсумку:

• Крок 1: Збережіть кадр даних для подальшого використання
• Крок 2. Використовуйте набір даних для створення лінійної діаграми

Крок 1) Ви обчислюєте середню кількість ігор, зіграних за рік.

## Mean
ex1 <- data % > %
	group_by(yearID) % > %
	summarise(mean_game_year = mean(G))
head(ex1)

Пояснення коду

• Підсумкова статистика набору даних про ватин зберігається у кадрі даних ex1.

вихід:

## # A tibble: 6 x 2
##   yearID mean_game_year
##    <int>          <dbl>
## 1   1871       23.42308
## 2   1872       18.37931
## 3   1873       25.61538
## 4   1874       39.05263
## 5   1875       28.39535
## 6   1876       35.90625	

Крок 2) Ви показуєте підсумкову статистику з лінійним графіком і бачите тенденцію.

# Plot the graph
ggplot(ex1, aes(x = yearID, y = mean_game_year)) +
    geom_line() +
    theme_classic() +
    labs(
        x = "Year",
        y = "Average games played",
        title = paste(
            "Average games played from 1871 to 2016"
        )
    )

вихід:

Піднабір

Функція summarise() сумісна з subsetting.

## Subsetting + Median
data % > %
group_by(lgID) % > %
summarise(median_at_bat_league = median(AB), 
	#Compute the median without the zero 
	median_at_bat_league_no_zero = median(AB[AB > 0]))

Пояснення коду

• median_at_bat_league_no_zero = median(AB[AB > 0]): змінна AB містить багато 0. Ви можете порівняти медіану при биті змінна з 0 і без нього.

вихід:

## # A tibble: 7 x 3
##     lgID median_at_bat_league median_at_bat_league_no_zero
##   <fctr>                <dbl>                        <dbl>
## 1     AA                  130                          131
## 2     AL                   38                           85
## 3     FL                   88                           97
## 4     NL                   56                           67
## 5     PL                  238                          238
## 6     UA                   35                           35
## 7   <NA>                  101                          101	

Сума

Ще одна корисна функція для агрегування змінної — sum().

Ви можете перевірити, які ліги мають більше хоумранів.

## Sum
data % > %
	group_by(lgID) % > %
	summarise(sum_homerun_league = sum(HR))

вихід:

## # A tibble: 7 x 2
##     lgID sum_homerun_league
##   <fctr>              <int>
## 1     AA                341
## 2     AL              29426
## 3     FL                130
## 4     NL              29817
## 5     PL                 98
## 6     UA                 46
## 7   <NA>                 41	

Standard deviation

Розкид даних обчислюється за стандартним відхиленням або sd() у R.

# Spread
data % > %
	group_by(teamID) % > %
	summarise(sd_at_bat_league = sd(HR))

вихід:

## # A tibble: 148 x 2
##    teamID sd_at_bat_league
##    <fctr>            <dbl>
##  1    ALT               NA
##  2    ANA        8.7816395
##  3    ARI        6.0765503
##  4    ATL        8.5363863
##  5    BAL        7.7350173
##  6    BFN        1.3645163
##  7    BFP        0.4472136
##  8    BL1        0.6992059
##  9    BL2        1.7106757
## 10    BL3        1.0000000
## # ... with 138 more rows		

Існує велика нерівність у кількості хоумранів, виконаних кожною командою.

Мінімум і максимум

Ви можете отримати доступ до мінімуму та максимуму вектора за допомогою функції min() і max().

Наведений нижче код повертає найменшу та найбільшу кількість ігор, зіграних гравцем за сезон.

# Min and max
data % > %
	group_by(playerID) % > %
	summarise(min_G = min(G),
    max_G = max(G))

вихід:

## # A tibble: 10,395 x 3
##     playerID min_G max_G
##       <fctr>       <int>
##  1 aardsda01    53    73
##  2 aaronha01   120   156
##  3  aasedo01    24    66
##  4  abadfe01    18    18
##  5 abadijo01    11    11
##  6 abbated01     3   153
##  7 abbeybe01    11    11
##  8 abbeych01    80   132
##  9 abbotgl01     5    23
## 10 abbotji01    13    29
## # ... with 10,385 more rows

Рахувати

Підрахунок спостережень за групами завжди є гарною ідеєю. За допомогою R ви можете агрегувати кількість входжень за допомогою n().

Наприклад, наведений нижче код обчислює кількість років, проведених кожним гравцем.

# count observations
data % > %
	group_by(playerID) % > %
	summarise(number_year = n()) % > %
	arrange(desc(number_year))

вихід:

## # A tibble: 10,395 x 2
##     playerID number_year
##       <fctr>       <int>
##  1 pennohe01          11
##  2 joosted01          10
##  3 mcguide01          10
##  4  rosepe01          10
##  5 davisha01           9
##  6 johnssi01           9
##  7  kaatji01           9
##  8 keelewi01           9
##  9 marshmi01           9
## 10 quirkja01           9
## # ... with 10,385 more rows

Перший і останній

Ви можете вибрати першу, останню або n-ту позицію групи.

Наприклад, ви можете знайти перший і останній рік кожного гравця.

# first and last
data % > %
	group_by(playerID) % > %
	summarise(first_appearance = first(yearID),
		last_appearance = last(yearID))

вихід:

## # A tibble: 10,395 x 3
##     playerID first_appearance last_appearance
##       <fctr>            <int>           <int>
##  1 aardsda01             2009            2010
##  2 aaronha01             1973            1975
##  3  aasedo01             1986            1990
##  4  abadfe01             2016            2016
##  5 abadijo01             1875            1875
##  6 abbated01             1905            1897
##  7 abbeybe01             1894            1894
##  8 abbeych01             1895            1897
##  9 abbotgl01             1973            1979
## 10 abbotji01             1992            1996
## # ... with 10,385 more rows

n-е спостереження

Функція nth() доповнює first() і last(). Ви можете отримати доступ до n-го спостереження в групі за допомогою індексу, який потрібно повернути.

Наприклад, ви можете відфільтрувати лише другий рік гри команди.

# nth
data % > %
	group_by(teamID) % > %
	summarise(second_game = nth(yearID, 2)) % > %
	arrange(second_game)

вихід:

## # A tibble: 148 x 2
##    teamID second_game
##    <fctr>       <int>
##  1    BS1        1871
##  2    CH1        1871
##  3    FW1        1871
##  4    NY2        1871
##  5    RC1        1871
##  6    BR1        1872
##  7    BR2        1872
##  8    CL1        1872
##  9    MID        1872
## 10    TRO        1872
## # ... with 138 more rows

Чітка кількість спостережень

Функція n() повертає кількість спостережень у поточній групі. Закритою функцією для n() є n_distinct(), яка підраховує кількість унікальних значень.

У наступному прикладі ви додаєте загальну кількість гравців, набраних командою протягом усіх періодів.

# distinct values
data % > %
	group_by(teamID) % > %
	summarise(number_player = n_distinct(playerID)) % > %
	arrange(desc(number_player))

Пояснення коду

• group_by(teamID): Групувати за роками та команда
• підсумувати (номер_гравця = n_distinct(ідентифікатор гравця)): підрахуйте певну кількість гравців у команді
• arrange(desc(number_player)): Сортувати дані за кількістю гравців

вихід:

## # A tibble: 148 x 2
##    teamID number_player
##    <fctr>         <int>
##  1    CHN           751
##  2    SLN           729
##  3    PHI           699
##  4    PIT           683
##  5    CIN           679
##  6    BOS           647
##  7    CLE           646
##  8    CHA           636
##  9    DET           623
## 10    NYA           612
## # ... with 138 more rows

Кілька груп

Підсумкова статистика може бути реалізована серед кількох груп.

# Multiple groups
data % > %
	group_by(yearID, teamID) % > %
	summarise(mean_games = mean(G)) % > %
	arrange(desc(teamID, yearID))

Пояснення коду

• group_by(yearID, teamID): Групувати за роком та команда
• summarise(mean_games = mean(G)): підсумовує кількість гравців у грі
• arrange(desc(teamID, yearID)): Сортування даних за командою та роком

вихід:

## # A tibble: 2,829 x 3
## # Groups:   yearID [146]
##    yearID teamID mean_games
##     <int> <fctr>      <dbl>
##  1   1884    WSU   20.41667
##  2   1891    WS9   46.33333
##  3   1886    WS8   22.00000
##  4   1887    WS8   51.00000
##  5   1888    WS8   27.00000
##  6   1889    WS8   52.42857
##  7   1884    WS7    8.00000
##  8   1875    WS6   14.80000
##  9   1873    WS5   16.62500
## 10   1872    WS4    4.20000
## # ... with 2,819 more rows

Фільтр

Перш ніж ви плануєте виконати операцію, ви можете відфільтрувати набір даних. Набір даних починається з 1871 року, і для аналізу не потрібні роки до 1980 року.

# Filter
data % > %
	filter(yearID > 1980) % > %
	group_by(yearID) % > %
	summarise(mean_game_year = mean(G))

Пояснення коду

• filter(yearID > 1980): відфільтрувати дані, щоб показати лише відповідні роки (тобто після 1980)
• group_by(yearID): Групувати за роком
• summarise(mean_game_year = mean(G)): підсумуйте дані

вихід:

## # A tibble: 36 x 2
##    yearID mean_game_year
##     <int>          <dbl>
##  1   1981       40.64583
##  2   1982       56.97790
##  3   1983       60.25128
##  4   1984       62.97436
##  5   1985       57.82828
##  6   1986       58.55340
##  7   1987       48.74752
##  8   1988       52.57282
##  9   1989       58.16425
## 10   1990       52.91556
## # ... with 26 more rows

Ungroup

І останнє, але не менш важливе: вам потрібно видалити групування, перш ніж ви захочете змінити рівень обчислень.

# Ungroup the data
data % > %
	filter(HR > 0) % > %
	group_by(playerID) % > %
	summarise(average_HR_game = sum(HR) / sum(G)) % > %
	ungroup() % > %
	summarise(total_average_homerun = mean(average_HR_game))

Пояснення коду

• filter(HR >0) : Виключити нульовий хоумран
• group_by(playerID): група за гравцем
• summarise(average_HR_game = sum(HR)/sum(G)): обчислити середній хоумран гравцем
• ungroup(): видалити групування
• summarise(total_average_homerun = mean(average_HR_game)): узагальнення даних

вихід:

## # A tibble: 1 x 1
##   total_average_homerun
##                   <dbl>
## 1            0.06882226	

Підсумки

Якщо ви хочете повернути підсумок за групою, ви можете використовувати:

# group by X1, X2, X3
group(df, X1, X2, X3)

вам потрібно розгрупувати дані за допомогою:

ungroup(df)

У наведеній нижче таблиці підсумовано функцію, яку ви вивчили за допомогою summarise()

summarise(df,mean_x1 = mean(x1))

summarise(df,median_x1 = median(x1))

summarise(df,sum_x1 = sum(x1))

summarise(df,sd_x1 = sd(x1))

summarise(df,interquartile_x1 = IQR(x1))

summarise(df,minimum_x1 = min(x1))

summarise(df,maximum_x1 = max(x1))

summarise(df,quantile_x1 = quantile(x1))

summarise(df,first_x1 = first(x1))

summarise(df,last_x1 = last(x1))

summarise(df,nth_x1 = nth(x1, 2))

summarise(df,n_x1 = n(x1))

summarise(df,n_distinct _x1 = n_distinct(x1))