Pande read_csv() u Python s Primjerom

Uvezi CSV u Pandas

Tijekom TensorFlow tutoriala, koristit ćete skup podataka za odrasle, koji se često koristi za zadatke klasifikacije. Datoteka korištena u nastavku je sirovi adult.data izvoz iz UCI repozitorija strojnog učenja, a stranica sa skupom podataka također nudi preuzimanje u zip formatu i ucimlrepo paket ako izravni put ikada prestane rješavati.

Podaci se pohranjuju u CSV formatu. Skup podataka uključuje 8 kategoričkih varijabli:

• radna klasa
• obrazovanje
• bračni
• okupacija
• odnos
• utrka
• seks
• rodna_zemlja

I 6 kontinuiranih varijabli:

• starost
• fnlwgt
• obrazovanje_br
• kapitalni dobitak
• gubitak_kapitala
• sati_tjedan

Zajedno s prihodima label stupac, što čini 15 naziva stupaca kojima ćete proslijediti pande u sljedećem odjeljku.

Metoda Pandas read_csv().

Za uvoz CSV skupa podataka možete koristiti objekt pd.read_csv(). Osnovni potpis je:

Pandas read_csv() Sintaksa

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)

• filepath_or_buffer: put, URLili objekt nalik datoteci koji sadrži podatke
• sep=',': razdjelnik koji treba koristiti
• imena=Nijedan: imenujte stupce. Ako skup podataka ima deset stupaca, morate proslijediti deset naziva
• index_col=Ništa: koji stupac koristiti kao indeks retka. Proslijedite vrijednost False za prisilno korištenje novog cijelobrojnog indeksa
• skipinitialspace=False: preskoči razmake nakon razdjelnika

Za potpuni popis argumenata, provjerite službenu stranicu Dokumentacija za pandas.read_csv().

Pandas read_csv() Primjer

Isječak u nastavku imenuje svih 15 stupaca, pokazuje na UCI datoteku i uklanja razmak koji slijedi svaki zarez u ovom određenom skupu podataka.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Izlaz:

(32561, 15)

Oblik potvrđuje 32 561 redaka i 15 stupaca, tako da je svako ime u COLUMNS usklađeno s poljem u datoteci.

Ključni parametri Pandas read_csv()

read_csv() prihvaća više od pedeset argumenata, ali mala skupina pokriva gotovo svaki stvarni uvoz. Zadane vrijednosti u nastavku su one dokumentirane u trenutnoj referenci pandas API-ja.

Dva od njih zaslužuju pažnju. index_col=False nije isto što i ostaviti ga nepostavljenim: izričito govori Pandasu da ne promovira prvi stupac, što je ono što želite kada datoteka završava svaki redak s neispravnim razdjelnikom. names tiho prepisuje sve što datoteka deklarira, pa proslijedi header=0 uz njega kada CSV zaista sadrži redak zaglavlja.

Pandas groupby() metoda

Jednostavan način za pregled podataka je korištenje metode groupby. Ova metoda vam može pomoći u sažimanju podataka po grupama. U nastavku je popis agregacija dostupnih metodom groupby():

• brojati: brojati
• min: min
• max: maks
• značiti: značiti
• medijan: medijan
• standardna devijacija: std
• i drugi

Unutar groupby() funkcije, imenujete stupac koji želite grupirati prije primjene agregacije.

Pogledajmo jednu skupinuping s skupom podataka za odrasle. Dobit ćete srednju vrijednost svih kontinuiranih varijabli prema vrsti prihoda, koji je iznad 50 tisuća ili ispod 50 tisuća:

df_train.groupby(['label']).mean()

Minimalnu dob možete dobiti prema vrsti kućanstva:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Također možete grupirati prema više stupaca. Na primjer, možete ostvariti maksimalnu kapitalnu dobit prema vrsti kućanstva i bračnom statusu.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Možete stvoriti grafikon nakon grupiranja. Jedan od načina za to je izravno prikazivanje grupiranog rezultata.

Za jasniji grafikon, primijenite unstack() nakon mean() tako da se bračni status premjesti iz indeksa u stupce. Grafikon tada ima dvije grupe, jednu po oznaci prihoda, umjesto četrnaest (2*7) stupaca koje bi dao ravni višerazinski indeks.

Ako koristite a Jupyter Bilježnica, ne zaboravite dodati %matplotlib inline, inače se graf neće prikazati.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Iscrtavanje tog nesloženog okvira kao stupčastog dijagrama daje donju sliku.

Kako čitati velike CSV datoteke s Pandasima

Skup podataka za odrasle je malen, ali isti poziv može se zaustaviti pri izvozu od više gigabajta. Tri argumenta obavljaju većinu posla.

• usecols učitava samo stupce koji su vam stvarno potrebni. Dokumentacija za pandas navodi da to rezultira puno bržim parsiranjem i manjom upotrebom memorije.
• dtype pričvršćuje svaki stupac na tip, tako da Pandas preskače zaključivanje i ne proširuje cijele brojeve na 64 bita prema zadanim postavkama.
• veličina komada vraća TextFileReader umjesto DataFrame-a, što vam omogućuje petlju kroz blokove od N redaka i agregiranje usput.

import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

Dvije dodatne opcije pomažu nakon što su osnove postavljene. engine='pyarrow' prebacuje se na višenitni Arrow parser i dtype_backend='pyarrow' rezultat čuva u stupcima sa strelicama. low_memory je True prema zadanim postavkama, što interno parsira datoteku u dijelovima, ali može proizvesti miješane tipove u stupcu; postavite eksplicitni dtype umjesto da se oslanjate na njega.

Konačno, compression='infer' znači da se putanja koja završava na .gz, .zip, .bz2, .xz ili .zst dekomprimira u hodu, tako da nema potrebe raspakirati arhivu prije čitanja.

Uobičajene Pandas read_csv() greške i kako ih ispraviti

Većina neuspjeha funkcije read_csv() dolazi iz četiri uzroka, a svaki ima dokumentirani argument koji ga rješava.

Skup podataka za odrasle izravno prikazuje slučaj nedostajuće vrijednosti: nepoznati unosi za radnu klasu, zanimanje i native_country pohranjuju se kao doslovni upitnik, pa stižu kao niz '?' osim ako ih ne deklarirate.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

Pitanja i odgovori