Pandaer read_csv() i Python med eksempel

Importer CSV i Pandas

I løpet av TensorFlow-opplæringen vil du bruke datasett for voksne, som ofte brukes til klassifiseringsoppgaver. Filen som brukes nedenfor er råfilen adult.data eksport fra UCI Machine Learning Repository, og datasettsiden tilbyr også en zippet nedlasting og ucimlrepo pakke hvis den direkte banen noen gang slutter å løses.

Dataene lagres i CSV-format. Datasettet inneholder 8 kategoriske variabler:

• arbeidsklasse
• utdanning
• ekteskapelig
• okkupasjon
• forholdet
• rase
• kjønn
• native_country

Og 6 kontinuerlige variabler:

• alder
• fnlwgt
• utdanning_nummer
• kapitalgevinst
• kapitaltap
• timer_uke

Sammen med inntekten label kolonne, som danner de 15 kolonnenavnene du sender til pandaer i neste avsnitt.

Pandas read_csv() Metode

For å importere et CSV-datasett kan du bruke objektet pd.read_csv(). Den grunnleggende signaturen er:

Pandas read_csv() Syntaks

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)

• filbane_eller_buffer: sti, URL, eller fillignende objekt som inneholder dataene
• sep=',': skilletegnet som skal brukes
• navn=Ingen: navngi kolonnene. Hvis datasettet har ti kolonner, må du oppgi ti navn
• index_col=Ingen: hvilken kolonne som skal brukes som radindeks. Send False for å tvinge frem en ny heltallsindeks
• skipinitialspace=Falsk: hopp over mellomrom etter skilletegnet

For den fullstendige listen over argumenter, sjekk den offisielle pandas.read_csv()-dokumentasjon.

Pandas read_csv() Eksempel

Kodestykket nedenfor navngir alle 15 kolonnene, peker på UCI-filen og fjerner mellomrommet som følger hvert komma i dette bestemte datasettet.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Utgang:

(32561, 15)

Figuren bekrefter 32 561 rader og 15 kolonner, så hvert navn i COLUMNS ble matchet med et felt i filen.

Nøkkelparametere for Pandas read_csv()

read_csv() godtar mer enn femti argumenter, men en liten gruppe dekker nesten alle reelle importer. Standardverdiene nedenfor er de som er dokumentert i den nåværende pandas API-referansen.

To av disse fortjener en merknad. index_col=False er ikke det samme som å la den være udefinert: den forteller eksplisitt at Pandas ikke skal forfremme den første kolonnen, som er det du ønsker når en fil avslutter hver linje med et tilfeldig skilletegn. Og names overskriver stille det filen deklarerer, så send header=0 ved siden av den når CSV-filen faktisk har en overskriftsrad.

Pandas groupby() Metode

En enkel måte å se dataene på er å bruke groupby-metoden. Denne metoden kan hjelpe deg med å oppsummere dataene etter gruppe. Nedenfor er en liste over aggregeringer som er tilgjengelige med groupby()-metoden:

• telle: telle
• min: min
• maks: maks
• mener: mener
• median: median
• standardavvik: std
• og andre

Inne i groupby() navngir du kolonnen du vil gruppere på før du bruker aggregeringen.

La oss ta en titt på en enkelt gruppeping med datasettet for voksne. Du får gjennomsnittet av alle de kontinuerlige variablene etter inntektstype, det vil si over 50 000 eller under 50 000:

df_train.groupby(['label']).mean()

Du kan få minimumsalderen etter husholdningstype:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Du kan også gruppere etter flere kolonner. For eksempel kan du få maksimal kapitalgevinst i henhold til husholdningstype og sivilstand.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Du kan lage et plott etter en gruppering. En måte å gjøre det på er å plotte det grupperte resultatet direkte.

For å lage et tydeligere plott, bruk unstack() etter mean() slik at sivilstatusen flyttes fra indeksen til kolonnene. Diagrammet har da to grupper, én per inntektsetikett, i stedet for de fjorten (2*7) søylene en flat flernivåindeks ville produsert.

Hvis du bruker en Jupyter bærbare, husk å legge til %matplotlib innebygd, ellers vil det ikke vises noe plott.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Å plotte den udakkede rammen som et stolpediagram gir figuren nedenfor.

Slik leser du store CSV-filer med Pandas

Datasettet for voksne er lite, men det samme kallet kan stoppe opp ved en eksport på flere gigabyte. Tre argumenter gjør mesteparten av arbeidet.

• usecols laster bare kolonnene du faktisk trenger. Pandas-dokumentasjonen bemerker at dette resulterer i mye raskere parsing og lavere minnebruk.
• dtype fester hver kolonne til en type, slik at Pandas hopper over inferens og ikke utvider heltall til 64-bit som standard.
• bitstørrelse returnerer en TextFileReader i stedet for en DataFrame, slik at du kan gå over blokker med N rader i løkke og aggregere underveis.

import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

To ytterligere alternativer hjelper når det grunnleggende er på plass. engine='pyarrow' bytter til den flertrådete Arrow-parseren, og dtype_backend='pyarrow' beholder resultatet i pilstøttede kolonner. low_memory er True som standard, noe som analyserer filen internt i deler, men den kan produsere blandede typer i en kolonne; angi en eksplisitt dtype i stedet for å stole på den.

Endelig, compression='infer' betyr at en sti som slutter på .gz, .zip, .bz2, .xz eller .zst dekomprimeres underveis, slik at det ikke er nødvendig å pakke ut et arkiv før det leses.

Vanlige read_csv()-feil i Pandas og hvordan du fikser dem

De fleste read_csv()-feilene kommer av fire årsaker, og hver av dem har et dokumentert argument som løser problemet.

Datasettet for voksne viser tilfellet med manglende verdi direkte: ukjente oppføringer for arbeidsklasse, yrke og native_country lagres som et bokstavelig spørsmålstegn, så de ankommer som strengen '?' med mindre du deklarerer dem.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

Spørsmål og svar