R Select(), Filter(), Arrange(), Pipeline with Example

Що таке dplyr в R?

dplyr — це пакет маніпулювання даними tidyverse. Він замінює дужкову нотацію base R з невеликим набором дієслів, кожне з яких названо на честь дії, яку воно виконує, і кожне з яких приймає фрейм даних як свій перший аргумент. Саме ця узгоджена форма дозволяє об'єднувати дієслова разом.

Цей посібник охоплює перші три дієслова, а також верстат. навчальний посібник з агрегатних функцій детально розглядає group_by() та summarize().

Набір даних, що використовується в цьому посібнику

Бібліотека під назвою dplyr містить цінні дієслова для навігації в наборі даних. У цьому посібнику ви будете використовувати набір даних Travel Time (час подорожі). Набір даних записує поїздки, які водій здійснює між домом і роботою. У наборі даних є чотирнадцять змінних, зокрема:

• DayOfWeek: визначте день тижня, коли водій використовує свій автомобіль
• Відстань: загальна відстань шляху
• MaxSpeed: максимальна швидкість подорожі
• Загальний час: тривалість шляху в хвилинах

Набір даних містить 205 спостережень, а поїздки відбувалися з Monday до п'ятниці.

Перш за все, вам необхідно:

• завантажити набір даних
• перевірити структуру даних.

Одна зручна функція dplyr — це glimpse(). Вона відіграє ту саму роль, що й str() у базовому R, але друкує один рядок для кожної змінної з типом та першими кількома значеннями, що набагато легше сканувати на великому наборі даних.

library(dplyr) 
PATH <- "https://raw.githubusercontent.com/guru99-edu/R-Programming/master/travel_times.csv"
df <- read.csv(PATH)
glimpse(df)

вихід:

## Observations: 205
## Variables: 14
## $ X              <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ...
## $ Date           <fctr> 1/6/2012, 1/6/2012, 1/4/2012, 1/4/2012, 1/3/20...
## $ StartTime      <fctr> 16:37, 08:20, 16:17, 07:53, 18:57, 07:57, 17:3...
## $ DayOfWeek      <fctr> Friday, Friday, Wednesday, Wednesday, Tuesday,...
## $ GoingTo        <fctr> Home, GSK, Home, GSK, Home, GSK, Home, GSK, GS...
## $ Distance       <dbl> 51.29, 51.63, 51.27, 49.17, 51.15, 51.80, 51.37...
## $ MaxSpeed       <dbl> 127.4, 130.3, 127.4, 132.3, 136.2, 135.8, 123.2...
## $ AvgSpeed       <dbl> 78.3, 81.8, 82.0, 74.2, 83.4, 84.5, 82.9, 77.5,...
## $ AvgMovingSpeed <dbl> 84.8, 88.9, 85.8, 82.9, 88.1, 88.8, 87.3, 85.9,...
## $ FuelEconomy    <fctr> , , , , , , -, -, 8.89, 8.89, 8.89, 8.89, 8.89...
## $ TotalTime      <dbl> 39.3, 37.9, 37.5, 39.8, 36.8, 36.8, 37.2, 37.9,...
## $ MovingTime     <dbl> 36.3, 34.9, 35.9, 35.6, 34.8, 35.0, 35.3, 34.3,...
## $ Take407All     <fctr> No, No, No, No, No, No, No, No, No, No, No, No...
## $ Comments       <fctr> , , , , , , , , , , , , , , , Put snow tires o...	

Змінна Comments явно потребує детальнішого розгляду: перші спостереження всі порожні.

sum(df$Comments =="")

Code Пояснення

• sum(df$Comments == “”): Підраховує кількість спостережень, що дорівнює порожньому рядку у стовпці коментарів df

вихід:

## [1] 181

Після завантаження даних почніть з дієслова, яке обрізає стовпці.

вибрати ()

Ми почнемо з дієслова select(). Нам не обов’язково потрібні всі змінні, і добре вибирати лише ті змінні, які ви вважаєте релевантними.

У нас відсутні 181 спостереження, майже 90 відсотків набору даних. Якщо ви вирішите їх виключити, ви не зможете продовжити аналіз.

Інша можливість — відкинути змінну Comment за допомогою дієслова select().

Ми можемо вибирати змінні різними способами за допомогою select(). Зауважте, що першим аргументом є набір даних.

- `select(df, A, B ,C)`: Select the variables A, B and C from df dataset.
- `select(df, A:C)`: Select all variables from A to C from df dataset.
- `select(df, -C)`: Exclude C from the dataset from df dataset.	

Ви можете скористатися третім способом виключення змінної Comments.

step_1_df <- select(df, -Comments)
dim(df)

вихід:

## [1] 205  14

dim(step_1_df)

вихід:

## [1] 205  13

Оригінальний набір даних містить 14 функцій, а step_1_df — 13.

Допоміжні функції select() в R

Іменування кожного стовпця стає непрактичним, коли набір даних містить десятки змінних. dplyr постачається з помічниками, які вибирають стовпці за шаблоном або за типом.

# Keep only the timing columns
df %>% select(ends_with("Time"))

# Keep every numeric column
df %>% select(where(is.numeric))

# Move TotalTime to the front, keep the rest in place
df %>% select(TotalTime, everything())

Ще два дієслова природно поєднуються з select(). Використовуйте rename(new_name = old_name) для переміщення стовпця без видалення.ping інші, а relocate() – для переміщення стовпців без перерахування їх усіх.

filter ()

Дієслово filter() зберігає спостереження, які задовольняють умову. filter() працює точно так само, як select(), спочатку ви передаєте фрейм даних, а потім умову, розділену комою:

filter(df, condition)
arguments:
- df: dataset used to filter the data
- condition:  Condition used to filter the data	

Один критерій

Перш за все, ви можете підрахувати кількість спостережень на кожному рівні факторної змінної.

table(step_1_df$GoingTo)

Code Пояснення

• table(): Підраховує кількість спостережень на рівні. Очікується фактор або символьна змінна
• table(step_1_df$GoingTo): Підрахувати кількість поїздок до кожного пункту призначення

вихід:

## 
##  GSK Home 
##  105  100	

Функціональна таблиця() вказує, що 105 поїздок йдуть до GSK і 100 до Дому.

Ми можемо відфільтрувати дані, щоб повернути один набір даних із 105 спостереженнями та інший із 100 спостереженнями.

# Select observations where GoingTo == Home
select_home <- filter(df, GoingTo == "Home")
dim(select_home)

вихід:

## [1] 100  14

# Select observations where GoingTo == GSK (work)
select_work <- filter(df, GoingTo == "GSK")
dim(select_work)

вихід:

## [1] 105  14

Кілька критеріїв

Ми можемо фільтрувати набір даних за кількома критеріями. Наприклад, ви можете extracспостереження, де пунктом призначення є Дім, а поїздка відбулася в середу.

select_home_wed <- filter(df, GoingTo == "Home" & DayOfWeek == "Wednesday")
dim(select_home_wed)

вихід:

## [1] 23 14

23 спостереження відповідали цьому критерію.

Загальні умови фільтра() та Operaтори в Р

filter() зберігає кожен рядок, для якого умова має значення TRUE. Рядки, які мають значення NA, відкидаються, що дивує більшість новачків.

Три звички запобігають більшості помилок filter().

• Використовуйте %in% замість ланцюгового АБО. фільтр(df, ДеньТижня %в% c(“Monday«», «П’ятниця»)) коротше і його набагато важче помилитися, ніж два порівняння ==, з’єднані вертикальною рискою.
• Ніколи не перевіряйте відсутнє значення за допомогою ==. Вираз x == NA повертає NA, а не TRUE, тому рядок автоматично видаляється. Натомість використовуйте is.na(x).
• Коми означають І. filter(df, a, b) ідентичний filter(df, a & b), тому наведений раніше приклад у цьому посібнику працює в будь-якому випадку.

Труба Operaтор у dplyr

Створення набору даних вимагає багатьох операцій, таких як:

• імпорт
• злиття
• вибирає
• фільтрація
• і так далі

Бібліотека dplyr постачається з практичним оператором %>%, який називається the трубаЦе робить маніпулювання даними чистішим, швидшим та менш схильним до помилок.

Цей оператор є кодом, який виконує кроки без збереження проміжних кроків на жорсткому диску. Якщо ви повернетесь до нашого прикладу вище, ви можете вибрати цікаві змінні та відфільтрувати їх. У нас є три кроки:

• Крок 1. Імпортуйте дані: імпортуйте дані GPS
• Крок 2: Виберіть дані: виберіть GoingTo та DayOfWeek
• Крок 3: Фільтруйте дані: повертайтеся лише додому та в середу

Ми можемо використати важкий спосіб зробити це:

# Step 1
step_1 <- read.csv(PATH)

# Step 2 
step_2 <- select(step_1, GoingTo, DayOfWeek)

# Step 3 
step_3 <- filter(step_2, GoingTo == "Home", DayOfWeek == "Wednesday")

head(step_3)

вихід:

##   GoingTo DayOfWeek
## 1    Home Wednesday
## 2    Home Wednesday
## 3    Home Wednesday
## 4    Home Wednesday
## 5    Home Wednesday
## 6    Home Wednesday	

Це незручний спосіб ланцюгового з'єднання багатьох операцій. Кожен проміжний результат залишається в середовищі, а назви швидко втрачають будь-яке значення.

Використовуйте замість цього оператор каналу %>%. Ви даєте ім'я фрейму даних один раз на початку, і кожен крок випливає з нього.

Основний синтаксис конвеєра

New_df <- df %>%
step 1 %>%
step 2 %>%
...
arguments
- New_df: Name of the new data frame 
- df: Data frame used to compute the step
- step: Instruction for each step
- Note: the last instruction does not need a trailing `%>%`, because nothing follows it
- Note: assigning the result to a new object is optional. Without it, the output prints in the console.

Ви можете створити свою першу трубу, дотримуючись кроків, перерахованих вище.

# Create the data frame filter_home_wed.It will be the object return at the end of the pipeline
filter_home_wed <- 

#Step 1
read.csv(PATH) %>% 

#Step 2
select(GoingTo, DayOfWeek) %>% 

#Step 3
filter(GoingTo == "Home",DayOfWeek == "Wednesday")
identical(step_3, filter_home_wed)

вихід:

## [1] TRUE

Два об'єкти ідентичні, тому труба видала абсолютно однаковий результат в одному читабельному операторі.

упорядкувати()

Перейдіть на вкладку попередній навчальний посібник, ви дізнаєтесь, як сортувати значення за допомогою функції sort(). Бібліотека dplyr має функцію сортування. Це чудово працює з конвеєром. Дієслово arrange() може змінити порядок одного або багатьох рядків, або за зростанням (за замовчуванням), або за спаданням.

- `arrange(A)`: Ascending sort of variable A
- `arrange(A, B)`: Ascending sort of variable A and B
- `arrange(desc(A), B)`: Descending sort of variable A and ascending sort of B

Ми можемо сортувати відстань за пунктом призначення.

# Sort by destination and distance
step_2_df <- step_1_df %>%
    arrange(GoingTo, Distance)
head(step_2_df)

вихід:

##     X       Date StartTime DayOfWeek GoingTo Distance MaxSpeed AvgSpeed
## 1 193  7/25/2011     08:06    Monday     GSK    48.32    121.2     63.4
## 2 196  7/21/2011     07:59  Thursday     GSK    48.35    129.3     81.5
## 3 198  7/20/2011     08:24 Wednesday     GSK    48.50    125.8     75.7
## 4 189  7/27/2011     08:15 Wednesday     GSK    48.82    124.5     70.4
## 5  95 10/11/2011     08:25   Tuesday     GSK    48.94    130.8     85.7
## 6 171  8/10/2011     08:13 Wednesday     GSK    48.98    124.8     72.8
##   AvgMovingSpeed FuelEconomy TotalTime MovingTime Take407All
## 1           78.4        8.45      45.7       37.0         No
## 2           89.0        8.28      35.6       32.6        Yes
## 3           87.3        7.89      38.5       33.3        Yes
## 4           77.8        8.45      41.6       37.6         No
## 5           93.2        7.81      34.3       31.5        Yes
## 6           78.8        8.54      40.4       37.3         No

Дієслова dplyr в R: Короткий довідник

У таблиці нижче перелічено всі дієслова, що використовуються в цьому посібнику, з синтаксисом та тим, що повертає кожен виклик:

glimpse(df)

select(df, A, B ,C)

select(df, A:C)

select(df, -C)

filter(df, condition1)

filter(df, condition1 & condition2)

arrange(A)

arrange(A, B)

arrange(desc(A), B)

step 1 %>% step 2 %>% step 3

Поширені запитання