R Select(), Filter(), Arrange(), Pipeline with Example

Библиотеката, наречена dplyr, съдържа ценни глаголи за навигация в набора от данни. Чрез този урок ще използвате набора от данни за времето за пътуване. Наборът от данни събира информация за пътуването, водено от шофьор между дома му и работното му място. В набора от данни има четиринадесет променливи, включително:

• DayOfWeek: Определете деня от седмицата, в който шофьорът използва колата си
• Разстояние: Общото разстояние на пътуването
• MaxSpeed: Максималната скорост на пътуването
• Общо време: Продължителността на пътуването в минути

Наборът от данни има около 200 наблюдения в набора от данни и пътуванията са настъпили между тях Monday до петък.

На първо място, трябва да:

• заредете набора от данни
• проверете структурата на данните.

Една удобна функция с dplyr е функцията glimpse(). Това е подобрение спрямо str(). Можем да използваме glimpse(), за да видим структурата на набора от данни и да решим каква манипулация е необходима.

library(dplyr) 
PATH <- "https://raw.githubusercontent.com/guru99-edu/R-Programming/master/travel_times.csv"
df <- read.csv(PATH)
glimpse(df)

Изход:

## Observations: 205
## Variables: 14
## $ X              <int> 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, ...
## $ Date           <fctr> 1/6/2012, 1/6/2012, 1/4/2012, 1/4/2012, 1/3/20...
## $ StartTime      <fctr> 16:37, 08:20, 16:17, 07:53, 18:57, 07:57, 17:3...
## $ DayOfWeek      <fctr> Friday, Friday, Wednesday, Wednesday, Tuesday,...
## $ GoingTo        <fctr> Home, GSK, Home, GSK, Home, GSK, Home, GSK, GS...
## $ Distance       <dbl> 51.29, 51.63, 51.27, 49.17, 51.15, 51.80, 51.37...
## $ MaxSpeed       <dbl> 127.4, 130.3, 127.4, 132.3, 136.2, 135.8, 123.2...
## $ AvgSpeed       <dbl> 78.3, 81.8, 82.0, 74.2, 83.4, 84.5, 82.9, 77.5,...
## $ AvgMovingSpeed <dbl> 84.8, 88.9, 85.8, 82.9, 88.1, 88.8, 87.3, 85.9,...
## $ FuelEconomy    <fctr> , , , , , , -, -, 8.89, 8.89, 8.89, 8.89, 8.89...
## $ TotalTime      <dbl> 39.3, 37.9, 37.5, 39.8, 36.8, 36.8, 37.2, 37.9,...
## $ MovingTime     <dbl> 36.3, 34.9, 35.9, 35.6, 34.8, 35.0, 35.3, 34.3,...
## $ Take407All     <fctr> No, No, No, No, No, No, No, No, No, No, No, No...
## $ Comments       <fctr> , , , , , , , , , , , , , , , Put snow tires o...	

Очевидно е, че променливата Коментари се нуждае от допълнителна диагностика. Първите наблюдения на променливата Comments са само липсващи стойности.

sum(df$Comments =="")

Code Обяснение

• sum(df$Comments ==””): Сумирайте наблюденията, равни на “” в колоната коментари от df

Изход:

## [1] 181

изберете()

Ще започнем с глагола select(). Не е задължително да имаме нужда от всички променливи и добра практика е да изберете само променливите, които смятате за подходящи.

Имаме 181 липсващи наблюдения, почти 90 процента от набора от данни. Ако решите да ги изключите, няма да можете да продължите анализа.

Другата възможност е да изпуснете променливата Comment с глагола select().

Можем да избираме променливи по различни начини с select(). Имайте предвид, че първият аргумент е наборът от данни.

- `select(df, A, B ,C)`: Select the variables A, B and C from df dataset.
- `select(df, A:C)`: Select all variables from A to C from df dataset.
- `select(df, -C)`: Exclude C from the dataset from df dataset.	

Можете да използвате третия начин, за да изключите променливата Comments.

step_1_df <- select(df, -Comments)
dim(df)

Изход:

## [1] 205  14

dim(step_1_df)

Изход:

## [1] 205  13

Оригиналният набор от данни има 14 функции, докато step_1_df има 13.

Филтър()

Глаголът filter() помага наблюденията да следват критерии. Filter() работи точно като select(), първо предавате рамката с данни и след това условие, разделено със запетая:

filter(df, condition)
arguments:
- df: dataset used to filter the data
- condition:  Condition used to filter the data	

Един критерий

Първо, можете да преброите броя на наблюденията в рамките на всяко ниво на факторна променлива.

table(step_1_df$GoingTo)

Code Обяснение

• table(): Пребройте броя на наблюденията по ниво. Забележете, че се приемат само променливи на ниво фактор
• table(step_1_df$GoingTo): Пребройте броя на пътуванията до крайната дестинация.

Изход:

## 
##  GSK Home 
##  105  100	

Функционалната таблица() показва, че 105 пътувания отиват до GSK и 100 до дома.

Можем да филтрираме данните, за да върнем един набор от данни със 105 наблюдения и друг със 100 наблюдения.

# Select observations
if GoingTo == Home
select_home <- filter(df, GoingTo == "Home")
dim(select_home)

Изход:

## [1] 100  14

# Select observations
if GoingTo == Work
select_work <- filter(df, GoingTo == "GSK")
dim(select_work)

Изход:

## [1] 105  14

Множество критерии

Можем да филтрираме набор от данни с повече от един критерий. Например, можете даtracнаблюденията, при които дестинацията е Дом и са се случили в сряда.

select_home_wed <- filter(df, GoingTo == "Home" & DayOfWeek == "Wednesday")
dim(select_home_wed)

Изход:

## [1] 23 14

23 наблюдения отговарят на този критерий.

Тръбопровод

Създаването на набор от данни изисква много операции, като например:

• вносител
• сливане
• избор
• филтриране
• и така нататък

Библиотеката dplyr идва с практичен оператор %>%, наречен the тръбопровод. Функцията за тръбопровод прави манипулацията чиста, бърза и по-малко склонна към грешки.

Този оператор е код, който изпълнява стъпки, без да записва междинни стъпки на твърдия диск. Ако се върнете към нашия пример от по-горе, можете да изберете променливите от интерес и да ги филтрирате. Имаме три стъпки:

• Стъпка 1: Импортиране на данни: Импортирайте gps данните
• Стъпка 2: Изберете данни: Изберете GoingTo и DayOfWeek
• Стъпка 3: Филтриране на данни: Върнете се само у дома и сряда

Можем да използваме трудния начин да го направим:

# Step 1
step_1 <- read.csv(PATH)

# Step 2 
step_2 <- select(step_1, GoingTo, DayOfWeek)

# Step 3 
step_3 <- filter(step_2, GoingTo == "Home", DayOfWeek == "Wednesday")

head(step_3)

Изход:

##   GoingTo DayOfWeek
## 1    Home Wednesday
## 2    Home Wednesday
## 3    Home Wednesday
## 4    Home Wednesday
## 5    Home Wednesday
## 6    Home Wednesday	

Това не е удобен начин за извършване на много операции, особено в ситуация с много стъпки. Околната среда завършва с много съхранени обекти.

Нека вместо това използваме конвейерния оператор %>%. Трябва само да дефинираме рамката с данни, използвана в началото, и целият процес ще произтича от нея.

Основен синтаксис на конвейера

New_df <- df %>%
step 1 %>%
step 2 %>%
...
arguments
- New_df: Name of the new data frame 
- df: Data frame used to compute the step
- step: Instruction for each step
- Note: The last instruction does not need the pipe operator `%`, you don't have instructions to pipe anymore
Note: Create a new variable is optional. If not included, the output will be displayed in the console.

Можете да създадете първата си тръба, като следвате стъпките, изброени по-горе.

# Create the data frame filter_home_wed.It will be the object return at the end of the pipeline
filter_home_wed <- 

#Step 1
read.csv(PATH) % > % 

#Step 2
select(GoingTo, DayOfWeek) % > % 

#Step 3
filter(GoingTo == "Home",DayOfWeek == "Wednesday")
identical(step_3, filter_home_wed)

Изход:

## [1] TRUE

Ние сме готови да създадем зашеметяващ набор от данни с оператора на тръбопровода.

подреждам()

в предишен урок, научавате как да сортирате стойностите с функцията sort(). Библиотеката dplyr има функция за сортиране. Работи като чар с тръбопровода. Глаголът arrange() може да пренареди един или много редове, възходящо (по подразбиране) или низходящо.

- `arrange(A)`: Ascending sort of variable A
- `arrange(A, B)`: Ascending sort of variable A and B
- `arrange(desc(A), B)`: Descending sort of variable A and ascending sort of B

Можем да сортираме разстоянието по дестинация.

# Sort by destination and distance
step_2_df <-step_1_df %>%
	arrange(GoingTo, Distance)
head<step_2_df)

Изход:

##     X       Date StartTime DayOfWeek GoingTo Distance MaxSpeed AvgSpeed
## 1 193  7/25/2011     08:06    Monday     GSK    48.32    121.2     63.4
## 2 196  7/21/2011     07:59  Thursday     GSK    48.35    129.3     81.5
## 3 198  7/20/2011     08:24 Wednesday     GSK    48.50    125.8     75.7
## 4 189  7/27/2011     08:15 Wednesday     GSK    48.82    124.5     70.4
## 5  95 10/11/2011     08:25   Tuesday     GSK    48.94    130.8     85.7
## 6 171  8/10/2011     08:13 Wednesday     GSK    48.98    124.8     72.8
##   AvgMovingSpeed FuelEconomy TotalTime MovingTime Take407All
## 1           78.4        8.45      45.7       37.0         No
## 2           89.0        8.28      35.6       32.6        Yes
## 3           87.3        7.89      38.5       33.3        Yes
## 4           77.8        8.45      41.6       37.6         No
## 5           93.2        7.81      34.3       31.5        Yes
## 6           78.8        8.54      40.4       37.3         No

Oбобщение

В таблицата по-долу обобщавате всички операции, които научихте по време на урока.

glimpse(df)

select(df, A, B ,C)

select(df, A:C)

select(df, -C)

filter(df, condition1)

filter(df, condition1

arrange(A)

arrange(A, B)

arrange(desc(A), B)

step 1 %>% step 2 %>% step 3