Python Урок за Pandas: DataFrame, диапазон от дати и употреба

В какво се намират пандите Python?

Пандите е библиотека с отворен код, която ви позволява да извършвате манипулиране и анализ на данни в Python, обхващащ както числови таблици, така и времеви серии. Той предоставя лесен начин за създаване, манипулиране и обработка на данни и е изграден върху numpy, така че NumPy трябва да е наличен, за да работи Pandas.

Защо да използвате Pandas?

Учените по данни използват Pandas в Python за следните предимства:

• Лесно се справя с липсващи данни
• Използва Series за едномерни данни и DataFrame за многомерни данни.
• Той осигурява ефективен начин за разделяне на данните
• Той предоставя гъвкав начин за обединяване, свързване или преоформяне на данните
• Включва мощен набор от инструменти за времеви серии

Накратко, Pandas предоставя мощни, лесни за използване структури от данни, както и средства за бърза работа с тях, поради което е и опора за повечето... Python Анализ на данни работят.

Как да инсталирате Pandas

Pandas се доставя с Anaconda и с повечето услуги за управлявани преносими компютри, така че обикновено е вече инсталиран. Ако импортирането е неуспешно, една от командите по-долу го добавя. Вградената среда Как да инсталирате TensorFlow също съдържа панди.

• пип: pip install pandas
• Анаконда: conda install -c anaconda pandas
• Вътре в a Jupyter Ноутбук клетка:

import sys
!conda install --yes --prefix {sys.prefix} pandas

Какво е Pandas DataFrame?

Pandas DataFrame е двуизмерна етикетирана структура от данни, чиито колони могат да съдържат различни типове. Това е стандартният начин за съхраняване на данни в табличен формат: редовете съдържат наблюденията, а колоните именуват информацията. Например цена може да бъде името на колона, а 2, 3, 4 могат да бъдат ценовите стойности.

Рамките от данни са добре познати на статистиците и други специалисти по данни. Картината по-долу показва тази форма - обозначен индекс на ред отстрани и именувани колони в горната част.

Какво е серия?

Серията е едномерна структура от данни. Тя може да съдържа всякакъв тип данни, като цяло число, число с плаваща запетая или низ, и е полезна, когато искате да извършите изчисление или да върнете едномерен масив. Серията, по дефиниция, не може да има множество колони; в този случай използвайте структурата DataFrame.

Конструкторът на Pandas Series приема следните параметри:

• Данни: може да бъде списък, речник или скаларна стойност

pd.Series([1., 2., 3.])

0    1.0
1    2.0
2    3.0
dtype: float64

Можете да добавите индекс с indexТой назовава редовете и дължината му трябва да е равна на размера на колоната.

pd.Series([1., 2., 3.], index=['a', 'b', 'c'])

По-долу създавате серия Pandas с липсваща стойност в третия ред. Липсващи стойности в Python са показани като NaN, и np.nan от NumPy създава такъв изкуствено.

pd.Series([1,2,np.nan])

Продукция

0    1.0
1    2.0
2    NaN
dtype: float64

Създайте Pandas DataFrame

Можете да конвертирате масив от NumPy в DataFrame с pd.DataFrame()Възможно е и обратното: за да конвертирате DataFrame обратно в масив, използвайте np.array() или df.to_numpy(), което препоръчва текущата документация на Pandas.

## Numpy to pandas
import numpy as np
h = [[1,2],[3,4]] 
df_h = pd.DataFrame(h)
print('Data Frame:', df_h)

## Pandas to numpy
df_h_n = np.array(df_h)
print('Numpy array:', df_h_n)
Data Frame:    0  1
0  1  2
1  3  4
Numpy array: [[1 2]
 [3 4]]

Речникът служи също толкова добре като входен ресурс за pd.DataFrame().

dic = {'Name': ["John", "Smith"], 'Age': [30, 40]}
pd.DataFrame(data=dic)

Данни за обхвата на пандите

Pandas има удобен API за създаване на диапазон от дати, който се превръща в индекс на времева серия. Извикването приема следната форма:

pd.date_range(start, periods, freq):

• Първият параметър е началната дата
• Вторият параметър е броят на периодите (по избор, ако е посочена крайната дата)
• Последният параметър е честотата: ден D, месец M и година Y

## Create date
# Days
dates_d = pd.date_range('20300101', periods=6, freq='D')
print('Day:', dates_d)

Продукция

Day: DatetimeIndex(['2030-01-01', '2030-01-02', '2030-01-03', '2030-01-04', '2030-01-05', '2030-01-06'], dtype='datetime64[ns]', freq='D')

# Months
dates_m = pd.date_range('20300101', periods=6, freq='M')
print('Month:', dates_m)

Продукция

Month: DatetimeIndex(['2030-01-31', '2030-02-28', '2030-03-31', '2030-04-30','2030-05-31', '2030-06-30'], dtype='datetime64[ns]', freq='M')

Бележка към версията: псевдонимът на месеца M Използваното по-горе е остаряло от Pandas 2.2 и е премахнато в Pandas 3.0. В текущите версии pass freq='ME' за края на месеца; полученият индекс е идентичен.

Инспектиране на данни

Можете да проверите началото или края на набор от данни с head() or tail() извикано на DataFrame, както е показано в примера на Pandas по-долу.

Стъпка 1) Създайте произволна поредица с NumPy. Последователността има 4 колони и 6 реда.

random = np.random.randn(6,4)

Стъпка 2) След това създавате DataFrame, използвайки Pandas.

употреба dates_m като индекс, така че на всеки ред се дава име, съответстващо на дата, и наименувайте 4-те колони с columns аргумент.

# Create data with date
df = pd.DataFrame(random,
                  index=dates_m,
                  columns=list('ABCD'))

защото np.random.randn() работи без начален елемент, вашите цифри ще се различават от отпечатаните тук. Обадете се np.random.seed(0) първо, ако искате да възпроизведете фиксиран набор.

Стъпка 3) Използване на функцията за глава

df.head(3)

Стъпка 4) Използване на функцията за опашка

df.tail(3)

Стъпка 5) Отличен начин да получите представа за данните е describe()Той отчита броя, средната стойност, стандартната стойност, минималната, максималната стойност и процентилите на набора от данни.

df.describe()

Срезови данни

Нарязването извлича подмножество от редове или колони от DataFrame. Можете да използвате името на колоната, за даtracедна колона, както е показано в примера на Pandas по-долу.

## Slice
### Using name
df['A']

2030-01-31   -0.168655
2030-02-28    0.689585
2030-03-31    0.767534
2030-04-30    0.557299
2030-05-31   -1.547836
2030-06-30    0.511551
Freq: M, Name: A, dtype: float64

За да изберете няколко колони, ви е необходима двойна скоба, [[..,..]]Първата двойка означава, че искате да изберете колони; втората двойка указва кои колони да се върнат.

df[['A', 'B']]

Можете да разделите редовете с двоеточие. Кодът по-долу връща първите три реда.

### using a slice for row
df[0:3]

- loc Аксесорът избира колони по име. Както обикновено, стойността преди запетаята представлява редовете, а стойността след нея - колоните, а скобите са необходими за избор на повече от една колона.

## Multi col
df.loc[:,['A','B']]

Има и друг метод за избиране на множество редове и колони. iloc[] използва целочислени позиции вместо имена на колони, така че кодът по-долу връща същия DataFrame, както по-горе.

df.iloc[:, :2]

Пуснете колона

Можете да премахнете колони с df.drop(), предавайки имената в columns аргумент.

df.drop(columns=['A', 'C'])

наниз

Можете да свържете два DataFrames с pd.concat()Първо създайте двете рамки.

import numpy as np
df1 = pd.DataFrame({'name': ['John', 'Smith','Paul'],
                     'Age': ['25', '30', '50']},
                    index=[0, 1, 2])
df2 = pd.DataFrame({'name': ['Adam', 'Smith' ],
                     'Age': ['26', '11']},
                    index=[3, 4])  

След това ги свържете.

df_concat = pd.concat([df1,df2]) 
df_concat

Премахване на дубликати

Когато набор от данни съдържа дублирана информация, drop_duplicates() е лесен начин за изключване на повтарящите се редове. df_concat съдържа дублирано наблюдение: Smith появява се два пъти в name колона.

df_concat.drop_duplicates('name')

Сортиране на стойности

Можете да сортирате рамка с sort_values(), Отбележи, че Age беше създаден като текст тук, така че редовете се сортират по ред на низовете.

df_concat.sort_values('Age')

Преименуване на колони

употреба rename() за да преименувате колона в Pandas. Във всяка двойка първата стойност е текущото име на колоната, а втората е новата.

df_concat.rename(columns={"name": "Surname", "Age": "Age_ppl"})

Бърз справочник за методите на Pandas

Тази таблица съпоставя всяка често срещана задача с метода на Pandas, който я изпълнява.

Въпроси и Отговори