Python Pandas vodič: DataFrame, raspon datuma i korištenje

⚡ Pametni sažetak

Pandas je otvoreni kod Python Biblioteka za manipuliranje tabličnim podacima. Pruža strukture Series i DataFrame, raspone datuma, pomoćne programe za pregled te operacije rezanja, ispuštanja, spajanja, sortiranja i preimenovanja demonstrirane u ovom vodiču.

  • 🔘 Izgrađeno na NumPy-u: Pandas zahtijeva NumPy, koji osigurava nizove iza svake serije i DataFramea.
  • ☑️ Dvije strukture: Serija pohranjuje jednu označenu dimenziju; DataFrame pohranjuje retke i stupce miješanih tipova.
  • ✅ Rasponi datuma: pd.date_range() gradi indeks iz početnog datuma, broja razdoblja i učestalosti.
  • 🧪 Prvo pregledajte: head(), tail() i describe() otkrivaju oblik, širenje i percentile prije bilo kakve analize.
  • 🛠️ Precizno rezanje: Nazivi zagrada odabiru stupce, loc odabire prema oznaci, a iloc odabire prema poziciji.
  • ⚠️ Napomena o verziji: Frekvencijski alias M je zastario od Pandasa 2.2; trenutna izdanja očekuju ME.

Python Pandas vodič: DataFrame, raspon datuma i korištenje Pandas-a

U čemu se nalaze pande Python?

pande je biblioteka otvorenog koda koja vam omogućuje manipulaciju i analizu podataka u Python, koji pokriva numeričke tablice i vremenske serije. Pruža jednostavan način stvaranja, manipuliranja i obrade podataka, a izgrađen je na numpy, tako da NumPy mora biti prisutan da bi Pandas radio.

Zašto koristiti Pande?

Znanstvenici koji se bave podacima koriste Pande u Python za sljedeće prednosti:

  • Lako obrađuje podatke koji nedostaju
  • Koristi Series za jednodimenzionalne podatke i DataFrame za višedimenzionalne podatke.
  • Omogućuje učinkovit način rezanja podataka
  • Omogućuje fleksibilan način za spajanje, ulančavanje ili preoblikovanje podataka
  • Uključuje moćan skup alata za vremenske serije

Ukratko, Pandas nudi moćne, jednostavne za korištenje strukture podataka plus sredstva za brz rad s njima, zbog čega je sidro većine Python Analiza podataka raditi.

Kako instalirati Pande

Pandas se isporučuje s Anacondom i većinom usluga upravljanih prijenosnih računala, tako da je obično već instaliran. Ako uvoz ne uspije, dodaje se jedna od dolje navedenih naredbi. Ugrađeno okruženje Kako instalirati TensorFlow također sadrži pande.

  • pip: pip install pandas
  • Anakonda: conda install -c anaconda pandas
  • Unutar a Jupyter Bilježnica ćelija:
import sys
!conda install --yes --prefix {sys.prefix} pandas

Što je Pandas DataFrame?

Pandas DataFrame je dvodimenzionalna označena struktura podataka čiji stupci mogu sadržavati različite tipove. To je standardni način pohranjivanja podataka u tabličnom formatu: retci sadrže opažanja, a stupci imenuju informacije. Na primjer, cijena može biti naziv stupca, a 2, 3, 4 mogu biti vrijednosti cijena.

Okviri podataka dobro su poznati statističarima i drugim stručnjacima za podatke. Slika ispod prikazuje taj oblik - označeni indeks retka sa strane i imenovane stupce na vrhu.

Raspored Pandas DataFramea s označenim indeksom redaka i imenovanim stupcima

Što je serija?

Serija je jednodimenzionalna struktura podataka. Može sadržavati bilo koji tip podataka, kao što su cijeli broj, broj s pomičnim zarezom ili niz, te je korisna kada želite izvršiti izračun ili vratiti jednodimenzionalni niz. Serija, po definiciji, ne može imati više stupaca; u tom slučaju koristite strukturu DataFrame.

Konstruktor Pandas serije uzima sljedeće parametre:

  • Podaci: može biti popis, rječnik ili skalarna vrijednost
pd.Series([1., 2., 3.])
0    1.0
1    2.0
2    3.0
dtype: float64

Možete dodati indeks pomoću indexImenuje retke, a njegova duljina mora biti jednaka veličini stupca.

pd.Series([1., 2., 3.], index=['a', 'b', 'c'])

U nastavku stvarate Pandas seriju s nedostajućom vrijednošću u trećem retku. Nedostaju vrijednosti u Python prikazani su kao NaNi np.nan iz NumPy-a ga umjetno stvara.

pd.Series([1,2,np.nan])

Izlaz

0    1.0
1    2.0
2    NaN
dtype: float64

Stvorite Pandas DataFrame

NumPy niz možete pretvoriti u DataFrame pomoću pd.DataFrame()Moguće je i suprotno: za pretvaranje DataFramea natrag u niz, koristite np.array(), ili df.to_numpy(), što preporučuje trenutna dokumentacija za Pandas.

## Numpy to pandas
import numpy as np
h = [[1,2],[3,4]] 
df_h = pd.DataFrame(h)
print('Data Frame:', df_h)

## Pandas to numpy
df_h_n = np.array(df_h)
print('Numpy array:', df_h_n)
Data Frame:    0  1
0  1  2
1  3  4
Numpy array: [[1 2]
 [3 4]]

Rječnik jednako dobro služi kao ulaz za pd.DataFrame().

dic = {'Name': ["John", "Smith"], 'Age': [30, 40]}
pd.DataFrame(data=dic)
Dob Ime
0 30 Jovan
1 40 Kovač

Podaci o rasponu pandi

Pandas ima praktičan API za stvaranje raspona datuma, koji postaje indeks vremenskog niza. Poziv ima ovaj oblik:

pd.date_range(start, periods, freq):

  • Prvi parametar je datum početka
  • Drugi parametar je broj razdoblja (neobavezno ako je naveden datum završetka)
  • Posljednji parametar je učestalost: dan D, mjesec M i godina Y
## Create date
# Days
dates_d = pd.date_range('20300101', periods=6, freq='D')
print('Day:', dates_d)

Izlaz

Day: DatetimeIndex(['2030-01-01', '2030-01-02', '2030-01-03', '2030-01-04', '2030-01-05', '2030-01-06'], dtype='datetime64[ns]', freq='D')
# Months
dates_m = pd.date_range('20300101', periods=6, freq='M')
print('Month:', dates_m)

Izlaz

Month: DatetimeIndex(['2030-01-31', '2030-02-28', '2030-03-31', '2030-04-30','2030-05-31', '2030-06-30'], dtype='datetime64[ns]', freq='M')

Napomena o verziji: pseudonim mjeseca M Gore korišteno je zastarjelo u Pandasu 2.2 i uklonjeno u Pandasu 3.0. Na trenutnim izdanjima pass freq='ME' za kraj mjeseca; rezultirajući indeks je identičan.

Provjera podataka

Možete provjeriti početak ili kraj skupa podataka pomoću head() or tail() pozvan na DataFrame, kao što pokazuje primjer Pandasa u nastavku.

Korak 1) Napravite slučajni niz pomoću NumPy. Niz ima 4 stupca i 6 redaka.

random = np.random.randn(6,4)

Korak 2) Zatim kreirate DataFrame koristeći Pandas.

Koristiti dates_m kao indeks, tako da se svakom retku dodijeli naziv koji odgovara datumu, a 4 stupca imenujte s columns argument.

# Create data with date
df = pd.DataFrame(random,
                  index=dates_m,
                  columns=list('ABCD'))

Jer np.random.randn() radi bez sjemena, vaše će se brojke razlikovati od onih ovdje ispisanih. Nazovite np.random.seed(0) prvo ako želite reproducirati fiksni skup.

Korak 3) Korištenje funkcije glave

df.head(3)
A B C D
2030-01-31 1.139433 1.318510 -0.181334 1.615822
2030-02-28 -0.081995 -0.063582 0.857751 -0.527374
2030-03-31 -0.519179 0.080984 -1.454334 1.314947

Korak 4) Korištenje repne funkcije

df.tail(3)
A B C D
2030-04-30 -0.685448 -0.011736 0.622172 0.104993
2030-05-31 -0.935888 -0.731787 -0.558729 0.768774
2030-06-30 1.096981 0.949180 -0.196901 -0.471556

Korak 5) Izvrstan način za dobivanje uvida u podatke je describe()Izvještava o broju, prosjeku, standardu, min., maks. i percentilima skupa podataka.

df.describe()
A B C D
računati 6.000000 6.000000 6.000000 6.000000
značiti 0.002317 0.256928 -0.151896 0.467601
sati 0.908145 0.746939 0.834664 0.908910
minuta -0.935888 -0.731787 -1.454334 -0.527374
25% -0.643880 -0.050621 -0.468272 -0.327419
50% -0.300587 0.034624 -0.189118 0.436883
75% 0.802237 0.732131 0.421296 1.178404
max 1.139433 1.318510 0.857751 1.615822

Slice Data

Rezanje izvlači podskup redaka ili stupaca iz DataFrame-a. Naziv stupca možete koristiti zatract jedan stupac, kao što pokazuje primjer Pandasa u nastavku.

## Slice
### Using name
df['A']

2030-01-31   -0.168655
2030-02-28    0.689585
2030-03-31    0.767534
2030-04-30    0.557299
2030-05-31   -1.547836
2030-06-30    0.511551
Freq: M, Name: A, dtype: float64

Za odabir više stupaca potrebna vam je dvostruka zagrada, [[..,..]]Prvi par znači da želite odabrati stupce; drugi par navodi koje stupce treba vratiti.

df[['A', 'B']]
A B
2030-01-31 -0.168655 0.587590
2030-02-28 0.689585 0.998266
2030-03-31 0.767534 -0.940617
2030-04-30 0.557299 0.507350
2030-05-31 -1.547836 1.276558
2030-06-30 0.511551 1.572085

Redove možete razdvojiti dvotočkom. Donji kod vraća prva tri retka.

### using a slice for row
df[0:3]
A B C D
2030-01-31 -0.168655 0.587590 0.572301 -0.031827
2030-02-28 0.689585 0.998266 1.164690 0.475975
2030-03-31 0.767534 -0.940617 0.227255 -0.341532

The loc Pristupnik odabire stupce po imenu. Kao i obično, vrijednost prije zareza označava retke, a vrijednost nakon njega stupce, a zagrade su potrebne za odabir više od jednog stupca.

## Multi col
df.loc[:,['A','B']]
A B
2030-01-31 -0.168655 0.587590
2030-02-28 0.689585 0.998266
2030-03-31 0.767534 -0.940617
2030-04-30 0.557299 0.507350
2030-05-31 -1.547836 1.276558
2030-06-30 0.511551 1.572085

Postoji još jedna metoda za odabir više redaka i stupaca. iloc[] koristi cjelobrojne pozicije umjesto naziva stupaca, pa donji kod vraća isti DataFrame kao i gore.

df.iloc[:, :2]
A B
2030-01-31 -0.168655 0.587590
2030-02-28 0.689585 0.998266
2030-03-31 0.767534 -0.940617
2030-04-30 0.557299 0.507350
2030-05-31 -1.547836 1.276558
2030-06-30 0.511551 1.572085

Ispustite stupac

Možete ispustiti stupce pomoću df.drop(), prosljeđujući imena u columns argument.

df.drop(columns=['A', 'C'])
B D
2030-01-31 0.587590 -0.031827
2030-02-28 0.998266 0.475975
2030-03-31 -0.940617 -0.341532
2030-04-30 0.507350 -0.296035
2030-05-31 1.276558 0.523017
2030-06-30 1.572085 -0.594772

povezan u lanac

Možete spojiti dva DataFrame-a pomoću pd.concat()Prvo stvorite dva okvira.

import numpy as np
df1 = pd.DataFrame({'name': ['John', 'Smith','Paul'],
                     'Age': ['25', '30', '50']},
                    index=[0, 1, 2])
df2 = pd.DataFrame({'name': ['Adam', 'Smith' ],
                     'Age': ['26', '11']},
                    index=[3, 4])  

Zatim ih spojite.

df_concat = pd.concat([df1,df2]) 
df_concat
Dob ime
0 25 Jovan
1 30 Kovač
2 50 Pavle
3 26 Adam
4 11 Kovač

Izbaci duplikate

Kada skup podataka sadrži duplicirane informacije, drop_duplicates() je jednostavan način za isključivanje ponovljenih redaka. df_concat sadrži duplicirano opažanje: Smith pojavljuje se dva puta u name stupac.

df_concat.drop_duplicates('name')
Dob ime
0 25 Jovan
1 30 Kovač
2 50 Pavle
3 26 Adam

Sortiraj vrijednosti

Okvir možete sortirati pomoću sort_values(), Zapamtite to Age je ovdje kreiran kao tekst, pa se retci sortiraju po redoslijedu nizova.

df_concat.sort_values('Age')
Dob ime
4 11 Kovač
0 25 Jovan
3 26 Adam
1 30 Kovač
2 50 Pavle

Preimenuj stupce

Koristiti rename() preimenovati stupac u Pandasu. U svakom paru prva vrijednost je trenutni naziv stupca, a druga je novi.

df_concat.rename(columns={"name": "Surname", "Age": "Age_ppl"})
Dob_ppl Prezime
0 25 Jovan
1 30 Kovač
2 50 Pavle
3 26 Adam
4 11 Kovač

Kratki vodič za Pandas metode

Ova tablica povezuje svaki uobičajeni zadatak s Pandas metodom koja ga izvršava.

Zadatak način
uvoz podataka read_csv
stvoriti serije Serija
Stvorite Dataframe DataFrame
Stvorite datumski raspon Raspon datuma
vratiti glavu glava
povratni rep rep
Opisati opisati
kriška koristeći naziv naziv podataka['ime stupca']
Režite pomoću redaka naziv_podatka[0:5]

Pitanja i odgovori

poziv pd.read_csv() s putem ili URLDodajte imena za označavanje stupaca, sep za različite razdjelnike i koristitecols da biste zadržali samo stupce koji su vam potrebni.

isnull() ih označava, dropna() uklanja zahvaćene retke ili stupce, a fillna() zamjenjuje konstantom ili statistikom kao što je prosjek stupca. Nedostajući unosi ispisuju se kao NaN.

groupby() dijeli retke u grupe prema ključnom stupcu, primjenjuje agregaciju kao što je broj, zbroj ili srednja vrijednost na svaku grupu, a zatim kombinira rezultate u novi okvir.

Izradite booleovu masku i proslijedite je u zagradama, na primjer df[df.Age == 30]. Kombinirajte maske s operatorima ampersand i okomiti znak, omotajteping svaka usporedba u zagradama.

pd.merge() pronalazi retke u ključnom stupcu na način na koji SQL join radi, s postavkom kako je postavljeno na unutarnje, lijevo, desno ili vanjsko. concat() slaže okvire umjesto podudaranja ključeva.

df.to_csv('out.csv', index=False) zapisuje datoteku sa zarezima, a df.to_excel('out.xlsx') zapisuje radni list. Ispustiteping indeks izbjegava neimenovani prvi stupac pri sljedećem čitanju.

AI asistenti profiliraju novi okvir, predlažu pozive za opis, grupiranje i plot koje vrijedi pokrenuti te označavaju stupce s neparnim tipovima podataka ili mnogo null vrijednosti. Potvrdite svaki prijedlog u odnosu na sirove podatke.

Da. GitHub kopilot dovršava običan komentar u funkcionalni Pandas kod u Jupyter stanica. RevPogledajte tipove podataka i broj redaka prije nego što povjerujete rezultatu.

Sažmite ovu objavu uz: