Python Підручник з Pandas: DataFrame, діапазон дат та використання

У чому їжа для панд Python?

Панди це бібліотека з відкритим кодом, яка дозволяє виконувати маніпулювання даними та їх аналіз у Python, що охоплює як числові таблиці, так і часові ряди. Він забезпечує простий спосіб створення, маніпулювання та обробки даних і побудований на основі numpy, тому для роботи Pandas має бути присутнім NumPy.

Навіщо використовувати Pandas?

Науковці даних використовують Pandas у Python для наступних переваг:

• Легко обробляє відсутні дані
• Він використовує Series для одновимірних даних та DataFrame для багатовимірних даних.
• Це забезпечує ефективний спосіб розділення даних
• Він забезпечує гнучкий спосіб об’єднання, конкатенації або зміни форми даних
• Він включає потужний інструментарій для роботи з часовими рядами

Коротше кажучи, Pandas надає потужні, прості у використанні структури даних, а також засоби для швидкої роботи з ними, саме тому він закріплює більшість Python аналіз даних працювати.

Як встановити Pandas

Pandas постачається з Anaconda та більшістю керованих служб блокнотів, тому зазвичай його вже встановлено. Якщо імпорт не вдається, його додає одна з команд нижче. Вбудоване середовище Як встановити TensorFlow також містить панд.

• піп: pip install pandas
• Анаконда: conda install -c anaconda pandas
• Всередині а Jupyter ноутбук клітина:

import sys
!conda install --yes --prefix {sys.prefix} pandas

Що таке Pandas DataFrame?

Pandas DataFrame — це двовимірна позначена структура даних, стовпці якої можуть містити різні типи. Це стандартний спосіб зберігання даних у табличному форматі: рядки містять спостереження, а стовпці — інформацію. Наприклад. price може бути назвою стовпця, а 2, 3, 4 можуть бути значеннями ціни.

Фрейми даних добре відомі статистикам та іншим фахівцям з обробки даних. На зображенні нижче показано цю форму — позначений індекс рядка збоку та іменовані стовпці зверху.

Що таке серіал?

Серія (Series) – це одновимірна структура даних. Вона може містити будь-який тип даних, такий як ціле число, число з комою або рядок, і корисна, коли потрібно виконати обчислення або повернути одновимірний масив. Серія, за визначенням, не може мати кілька стовпців; у цьому випадку використовуйте структуру DataFrame.

Конструктор Pandas Series приймає такі параметри:

• дата: може бути списком, словником або скалярним значенням

pd.Series([1., 2., 3.])

0    1.0
1    2.0
2    3.0
dtype: float64

Ви можете додати індекс за допомогою indexВін іменує рядки, а його довжина має дорівнювати розміру стовпця.

pd.Series([1., 2., 3.], index=['a', 'b', 'c'])

Нижче ви створюєте серію Pandas з відсутнім значенням у третьому рядку. Відсутні значення в Python показано як NaN та np.nan з NumPy створює його штучно.

pd.Series([1,2,np.nan])

Вихід

0    1.0
1    2.0
2    NaN
dtype: float64

Створіть Pandas DataFrame

Ви можете перетворити масив NumPy на DataFrame за допомогою pd.DataFrame()Також можливий зворотний варіант: щоб перетворити DataFrame назад у масив, використовуйте np.array()або df.to_numpy(), що рекомендовано поточною документацією Pandas.

## Numpy to pandas
import numpy as np
h = [[1,2],[3,4]] 
df_h = pd.DataFrame(h)
print('Data Frame:', df_h)

## Pandas to numpy
df_h_n = np.array(df_h)
print('Numpy array:', df_h_n)
Data Frame:    0  1
0  1  2
1  3  4
Numpy array: [[1 2]
 [3 4]]

Словник так само добре працює як вхідний матеріал для pd.DataFrame().

dic = {'Name': ["John", "Smith"], 'Age': [30, 40]}
pd.DataFrame(data=dic)

Дані про діапазон панд

Pandas має зручний API для створення діапазону дат, який стає індексом часового ряду. Виклик має таку форму:

pd.date_range(start, periods, freq):

• Перший параметр - дата початку
• Другий параметр - кількість періодів (необов'язковий, якщо вказана кінцева дата)
• Останній параметр – це частота: день D, місяць M і рік Y

## Create date
# Days
dates_d = pd.date_range('20300101', periods=6, freq='D')
print('Day:', dates_d)

Вихід

Day: DatetimeIndex(['2030-01-01', '2030-01-02', '2030-01-03', '2030-01-04', '2030-01-05', '2030-01-06'], dtype='datetime64[ns]', freq='D')

# Months
dates_m = pd.date_range('20300101', periods=6, freq='M')
print('Month:', dates_m)

Вихід

Month: DatetimeIndex(['2030-01-31', '2030-02-28', '2030-03-31', '2030-04-30','2030-05-31', '2030-06-30'], dtype='datetime64[ns]', freq='M')

Примітка до версії: псевдонім місяця M Використаний вище спосіб є застарілим у Pandas 2.2 та видалений у Pandas 3.0. У поточних випусках pass freq='ME' на кінець місяця; результуючий індекс ідентичний.

Перевірка даних

Ви можете перевірити початок або кінець набору даних за допомогою head() or tail() викликається на DataFrame, як показано на прикладі Pandas нижче.

Крок 1) Створіть випадкову послідовність за допомогою NumPy. Послідовність має 4 стовпці та 6 рядків.

random = np.random.randn(6,4)

Крок 2) Потім ви створюєте DataFrame за допомогою Pandas.

Скористайтеся кнопкою dates_m як індекс, тому кожному рядку надається ім'я, що відповідає даті, а 4 стовпці назвемо columns аргумент.

# Create data with date
df = pd.DataFrame(random,
                  index=dates_m,
                  columns=list('ABCD'))

Тому що np.random.randn() працює без початкового значення, ваші цифри відрізнятимуться від надрукованих тут. Зателефонуйте np.random.seed(0) спочатку, якщо ви хочете відтворити фіксований набір.

Крок 3) Використання функції head

df.head(3)

Крок 4) Використання хвостової функції

df.tail(3)

Крок 5) Чудовий спосіб отримати уявлення про дані – це describe()Він повідомляє про кількість, середнє значення, стандартне значення, мінімум, максимум та процентилі набору даних.

df.describe()

Дані зрізу

Зрізання витягує підмножину рядків або стовпців з DataFrame. Ви можете використовувати ім'я стовпця дляtracодин стовпець, як показано в прикладі Pandas нижче.

## Slice
### Using name
df['A']

2030-01-31   -0.168655
2030-02-28    0.689585
2030-03-31    0.767534
2030-04-30    0.557299
2030-05-31   -1.547836
2030-06-30    0.511551
Freq: M, Name: A, dtype: float64

Щоб вибрати кілька стовпців, потрібна подвійна дужка, [[..,..]]Перша пара означає, що потрібно вибрати стовпці; друга пара вказує, які стовпці повернути.

df[['A', 'B']]

Ви можете розділити рядки двокрапкою. Наведений нижче код повертає перші три рядки.

### using a slice for row
df[0:3]

Команда loc Метод доступу вибирає стовпці за іменем. Як завжди, значення перед комою відповідає рядкам, а значення після неї — стовпцям, а дужки потрібні для вибору кількох стовпців.

## Multi col
df.loc[:,['A','B']]

Існує ще один метод для вибору кількох рядків і стовпців. iloc[] використовує цілі позиції замість імен стовпців, тому код нижче повертає той самий DataFrame, що й вище.

df.iloc[:, :2]

Опустіть стовпець

Ви можете видаляти стовпці за допомогою df.drop(), передаючи імена в columns аргумент.

df.drop(columns=['A', 'C'])

Сполучення

Ви можете об'єднати два DataFrames за допомогою pd.concat()Спочатку створіть дві рамки.

import numpy as np
df1 = pd.DataFrame({'name': ['John', 'Smith','Paul'],
                     'Age': ['25', '30', '50']},
                    index=[0, 1, 2])
df2 = pd.DataFrame({'name': ['Adam', 'Smith' ],
                     'Age': ['26', '11']},
                    index=[3, 4])  

Потім об'єднайте їх.

df_concat = pd.concat([df1,df2]) 
df_concat

Видалити дублікати

Коли набір даних містить дублікати інформації, drop_duplicates() це простий спосіб виключити повторювані рядки. df_concat містить дублікат спостереження: Smith з'являється двічі в name .

df_concat.drop_duplicates('name')

Сортувати значення

Ви можете сортувати кадр за допомогою sort_values(). Зверніть увагу на це Age було створено як текст, тому рядки сортуються в порядку рядка.

df_concat.sort_values('Age')

Перейменувати стовпці

Скористайтеся кнопкою rename() щоб перейменувати стовпець у Pandas. У кожній парі перше значення – це ім'я поточного стовпця, а друге – нове.

df_concat.rename(columns={"name": "Surname", "Age": "Age_ppl"})

Короткий довідник методів Pandas

Ця таблиця зіставляє кожне поширене завдання з методом Pandas, який його виконує.

Поширені запитання