Python Pandas vodič: DataFrame, raspon datuma i korištenje
⚡ Pametni sažetak
Pandas je otvoreni kod Python Biblioteka za manipuliranje tabličnim podacima. Pruža strukture Series i DataFrame, raspone datuma, pomoćne programe za pregled te operacije rezanja, ispuštanja, spajanja, sortiranja i preimenovanja demonstrirane u ovom vodiču.
U čemu se nalaze pande Python?
pande je biblioteka otvorenog koda koja vam omogućuje manipulaciju i analizu podataka u Python, koji pokriva numeričke tablice i vremenske serije. Pruža jednostavan način stvaranja, manipuliranja i obrade podataka, a izgrađen je na numpy, tako da NumPy mora biti prisutan da bi Pandas radio.
Zašto koristiti Pande?
Znanstvenici koji se bave podacima koriste Pande u Python za sljedeće prednosti:
- Lako obrađuje podatke koji nedostaju
- Koristi Series za jednodimenzionalne podatke i DataFrame za višedimenzionalne podatke.
- Omogućuje učinkovit način rezanja podataka
- Omogućuje fleksibilan način za spajanje, ulančavanje ili preoblikovanje podataka
- Uključuje moćan skup alata za vremenske serije
Ukratko, Pandas nudi moćne, jednostavne za korištenje strukture podataka plus sredstva za brz rad s njima, zbog čega je sidro većine Python Analiza podataka raditi.
Kako instalirati Pande
Pandas se isporučuje s Anacondom i većinom usluga upravljanih prijenosnih računala, tako da je obično već instaliran. Ako uvoz ne uspije, dodaje se jedna od dolje navedenih naredbi. Ugrađeno okruženje Kako instalirati TensorFlow također sadrži pande.
- pip:
pip install pandas - Anakonda:
conda install -c anaconda pandas - Unutar a Jupyter Bilježnica ćelija:
import sys !conda install --yes --prefix {sys.prefix} pandas
Što je Pandas DataFrame?
Pandas DataFrame je dvodimenzionalna označena struktura podataka čiji stupci mogu sadržavati različite tipove. To je standardni način pohranjivanja podataka u tabličnom formatu: retci sadrže opažanja, a stupci imenuju informacije. Na primjer, cijena može biti naziv stupca, a 2, 3, 4 mogu biti vrijednosti cijena.
Okviri podataka dobro su poznati statističarima i drugim stručnjacima za podatke. Slika ispod prikazuje taj oblik - označeni indeks retka sa strane i imenovane stupce na vrhu.
Što je serija?
Serija je jednodimenzionalna struktura podataka. Može sadržavati bilo koji tip podataka, kao što su cijeli broj, broj s pomičnim zarezom ili niz, te je korisna kada želite izvršiti izračun ili vratiti jednodimenzionalni niz. Serija, po definiciji, ne može imati više stupaca; u tom slučaju koristite strukturu DataFrame.
Konstruktor Pandas serije uzima sljedeće parametre:
- Podaci: može biti popis, rječnik ili skalarna vrijednost
pd.Series([1., 2., 3.])
0 1.0 1 2.0 2 3.0 dtype: float64
Možete dodati indeks pomoću indexImenuje retke, a njegova duljina mora biti jednaka veličini stupca.
pd.Series([1., 2., 3.], index=['a', 'b', 'c'])
U nastavku stvarate Pandas seriju s nedostajućom vrijednošću u trećem retku. Nedostaju vrijednosti u Python prikazani su kao NaNi np.nan iz NumPy-a ga umjetno stvara.
pd.Series([1,2,np.nan])
Izlaz
0 1.0 1 2.0 2 NaN dtype: float64
Stvorite Pandas DataFrame
NumPy niz možete pretvoriti u DataFrame pomoću pd.DataFrame()Moguće je i suprotno: za pretvaranje DataFramea natrag u niz, koristite np.array(), ili df.to_numpy(), što preporučuje trenutna dokumentacija za Pandas.
## Numpy to pandas import numpy as np h = [[1,2],[3,4]] df_h = pd.DataFrame(h) print('Data Frame:', df_h) ## Pandas to numpy df_h_n = np.array(df_h) print('Numpy array:', df_h_n) Data Frame: 0 1 0 1 2 1 3 4 Numpy array: [[1 2] [3 4]]
Rječnik jednako dobro služi kao ulaz za pd.DataFrame().
dic = {'Name': ["John", "Smith"], 'Age': [30, 40]}
pd.DataFrame(data=dic)
| Dob | Ime | |
|---|---|---|
| 0 | 30 | Jovan |
| 1 | 40 | Kovač |
Podaci o rasponu pandi
Pandas ima praktičan API za stvaranje raspona datuma, koji postaje indeks vremenskog niza. Poziv ima ovaj oblik:
pd.date_range(start, periods, freq):
- Prvi parametar je datum početka
- Drugi parametar je broj razdoblja (neobavezno ako je naveden datum završetka)
- Posljednji parametar je učestalost: dan
D, mjesecMi godinaY
## Create date # Days dates_d = pd.date_range('20300101', periods=6, freq='D') print('Day:', dates_d)
Izlaz
Day: DatetimeIndex(['2030-01-01', '2030-01-02', '2030-01-03', '2030-01-04', '2030-01-05', '2030-01-06'], dtype='datetime64[ns]', freq='D')
# Months dates_m = pd.date_range('20300101', periods=6, freq='M') print('Month:', dates_m)
Izlaz
Month: DatetimeIndex(['2030-01-31', '2030-02-28', '2030-03-31', '2030-04-30','2030-05-31', '2030-06-30'], dtype='datetime64[ns]', freq='M')
Napomena o verziji: pseudonim mjeseca M Gore korišteno je zastarjelo u Pandasu 2.2 i uklonjeno u Pandasu 3.0. Na trenutnim izdanjima pass freq='ME' za kraj mjeseca; rezultirajući indeks je identičan.
Provjera podataka
Možete provjeriti početak ili kraj skupa podataka pomoću head() or tail() pozvan na DataFrame, kao što pokazuje primjer Pandasa u nastavku.
Korak 1) Napravite slučajni niz pomoću NumPy. Niz ima 4 stupca i 6 redaka.
random = np.random.randn(6,4)
Korak 2) Zatim kreirate DataFrame koristeći Pandas.
Koristiti dates_m kao indeks, tako da se svakom retku dodijeli naziv koji odgovara datumu, a 4 stupca imenujte s columns argument.
# Create data with date df = pd.DataFrame(random, index=dates_m, columns=list('ABCD'))
Jer np.random.randn() radi bez sjemena, vaše će se brojke razlikovati od onih ovdje ispisanih. Nazovite np.random.seed(0) prvo ako želite reproducirati fiksni skup.
Korak 3) Korištenje funkcije glave
df.head(3)
| A | B | C | D | |
|---|---|---|---|---|
| 2030-01-31 | 1.139433 | 1.318510 | -0.181334 | 1.615822 |
| 2030-02-28 | -0.081995 | -0.063582 | 0.857751 | -0.527374 |
| 2030-03-31 | -0.519179 | 0.080984 | -1.454334 | 1.314947 |
Korak 4) Korištenje repne funkcije
df.tail(3)
| A | B | C | D | |
|---|---|---|---|---|
| 2030-04-30 | -0.685448 | -0.011736 | 0.622172 | 0.104993 |
| 2030-05-31 | -0.935888 | -0.731787 | -0.558729 | 0.768774 |
| 2030-06-30 | 1.096981 | 0.949180 | -0.196901 | -0.471556 |
Korak 5) Izvrstan način za dobivanje uvida u podatke je describe()Izvještava o broju, prosjeku, standardu, min., maks. i percentilima skupa podataka.
df.describe()
| A | B | C | D | |
|---|---|---|---|---|
| računati | 6.000000 | 6.000000 | 6.000000 | 6.000000 |
| značiti | 0.002317 | 0.256928 | -0.151896 | 0.467601 |
| sati | 0.908145 | 0.746939 | 0.834664 | 0.908910 |
| minuta | -0.935888 | -0.731787 | -1.454334 | -0.527374 |
| 25% | -0.643880 | -0.050621 | -0.468272 | -0.327419 |
| 50% | -0.300587 | 0.034624 | -0.189118 | 0.436883 |
| 75% | 0.802237 | 0.732131 | 0.421296 | 1.178404 |
| max | 1.139433 | 1.318510 | 0.857751 | 1.615822 |
Slice Data
Rezanje izvlači podskup redaka ili stupaca iz DataFrame-a. Naziv stupca možete koristiti zatract jedan stupac, kao što pokazuje primjer Pandasa u nastavku.
## Slice ### Using name df['A'] 2030-01-31 -0.168655 2030-02-28 0.689585 2030-03-31 0.767534 2030-04-30 0.557299 2030-05-31 -1.547836 2030-06-30 0.511551 Freq: M, Name: A, dtype: float64
Za odabir više stupaca potrebna vam je dvostruka zagrada, [[..,..]]Prvi par znači da želite odabrati stupce; drugi par navodi koje stupce treba vratiti.
df[['A', 'B']]
| A | B | |
|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | -0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | -1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Redove možete razdvojiti dvotočkom. Donji kod vraća prva tri retka.
### using a slice for row
df[0:3]
| A | B | C | D | |
|---|---|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 | 0.572301 | -0.031827 |
| 2030-02-28 | 0.689585 | 0.998266 | 1.164690 | 0.475975 |
| 2030-03-31 | 0.767534 | -0.940617 | 0.227255 | -0.341532 |
The loc Pristupnik odabire stupce po imenu. Kao i obično, vrijednost prije zareza označava retke, a vrijednost nakon njega stupce, a zagrade su potrebne za odabir više od jednog stupca.
## Multi col df.loc[:,['A','B']]
| A | B | |
|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | -0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | -1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Postoji još jedna metoda za odabir više redaka i stupaca. iloc[] koristi cjelobrojne pozicije umjesto naziva stupaca, pa donji kod vraća isti DataFrame kao i gore.
df.iloc[:, :2]
| A | B | |
|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | -0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | -1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Ispustite stupac
Možete ispustiti stupce pomoću df.drop(), prosljeđujući imena u columns argument.
df.drop(columns=['A', 'C'])
| B | D | |
|---|---|---|
| 2030-01-31 | 0.587590 | -0.031827 |
| 2030-02-28 | 0.998266 | 0.475975 |
| 2030-03-31 | -0.940617 | -0.341532 |
| 2030-04-30 | 0.507350 | -0.296035 |
| 2030-05-31 | 1.276558 | 0.523017 |
| 2030-06-30 | 1.572085 | -0.594772 |
povezan u lanac
Možete spojiti dva DataFrame-a pomoću pd.concat()Prvo stvorite dva okvira.
import numpy as np df1 = pd.DataFrame({'name': ['John', 'Smith','Paul'], 'Age': ['25', '30', '50']}, index=[0, 1, 2]) df2 = pd.DataFrame({'name': ['Adam', 'Smith' ], 'Age': ['26', '11']}, index=[3, 4])
Zatim ih spojite.
df_concat = pd.concat([df1,df2]) df_concat
| Dob | ime | |
|---|---|---|
| 0 | 25 | Jovan |
| 1 | 30 | Kovač |
| 2 | 50 | Pavle |
| 3 | 26 | Adam |
| 4 | 11 | Kovač |
Izbaci duplikate
Kada skup podataka sadrži duplicirane informacije, drop_duplicates() je jednostavan način za isključivanje ponovljenih redaka. df_concat sadrži duplicirano opažanje: Smith pojavljuje se dva puta u name stupac.
df_concat.drop_duplicates('name')
| Dob | ime | |
|---|---|---|
| 0 | 25 | Jovan |
| 1 | 30 | Kovač |
| 2 | 50 | Pavle |
| 3 | 26 | Adam |
Sortiraj vrijednosti
Okvir možete sortirati pomoću sort_values(), Zapamtite to Age je ovdje kreiran kao tekst, pa se retci sortiraju po redoslijedu nizova.
df_concat.sort_values('Age')
| Dob | ime | |
|---|---|---|
| 4 | 11 | Kovač |
| 0 | 25 | Jovan |
| 3 | 26 | Adam |
| 1 | 30 | Kovač |
| 2 | 50 | Pavle |
Preimenuj stupce
Koristiti rename() preimenovati stupac u Pandasu. U svakom paru prva vrijednost je trenutni naziv stupca, a druga je novi.
df_concat.rename(columns={"name": "Surname", "Age": "Age_ppl"})
| Dob_ppl | Prezime | |
|---|---|---|
| 0 | 25 | Jovan |
| 1 | 30 | Kovač |
| 2 | 50 | Pavle |
| 3 | 26 | Adam |
| 4 | 11 | Kovač |
Kratki vodič za Pandas metode
Ova tablica povezuje svaki uobičajeni zadatak s Pandas metodom koja ga izvršava.
| Zadatak | način |
|---|---|
| uvoz podataka | read_csv |
| stvoriti serije | Serija |
| Stvorite Dataframe | DataFrame |
| Stvorite datumski raspon | Raspon datuma |
| vratiti glavu | glava |
| povratni rep | rep |
| Opisati | opisati |
| kriška koristeći naziv | naziv podataka['ime stupca'] |
| Režite pomoću redaka | naziv_podatka[0:5] |

