Pandaer read_csv() i Python med Eksempel

Importer CSV i Pandas

I løbet af TensorFlow-vejledningen vil du bruge voksendatasæt, som ofte bruges til klassificeringsopgaver. Filen, der bruges nedenfor, er den rå adult.data eksport fra UCI Machine Learning Repository, og datasætsiden tilbyder også en zip-download og ucimlrepo pakke, hvis den direkte sti nogensinde holder op med at løses.

Dataene gemmes i CSV-format. Datasættet indeholder 8 kategoriske variabler:

• arbejdsklasse
• uddannelse
• ægteskabelig
• besættelse
• forhold
• løb
• køn
• oprindelses land

Og 6 kontinuerlige variabler:

• alder
• fnlwgt
• uddannelsesnummer
• kapitalgevinst
• kapitaltab
• timer_uge

Sammen med indkomsten label kolonne, der danner de 15 kolonnenavne, du vil sende til pandas i næste afsnit.

Pandas read_csv() metode

For at importere et CSV-datasæt kan du bruge objektet pd.read_csv(). Den grundlæggende signatur er:

Pandas read_csv() Syntaks

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)

• filsti_eller_buffer: sti, URLeller fillignende objekt, der indeholder dataene
• sep=',': den afgrænser, der skal bruges
• navne=IngenNavngiv kolonnerne. Hvis datasættet har ti kolonner, skal du angive ti navne.
• index_col=Ingen: hvilken kolonne der skal bruges som rækkeindeks. Send False for at fremtvinge et nyt heltalsindeks
• spring initialspace=Falskspring mellemrum over efter afgrænseren

For den fulde liste over argumenter, se den officielle pandas.read_csv() dokumentation.

Pandas read_csv() Eksempel

Kodestykket nedenfor navngiver alle 15 kolonner, peger på UCI-filen og fjerner mellemrummet efter hvert komma i dette specifikke datasæt.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Output:

(32561, 15)

Figuren bekræfter 32,561 rækker og 15 kolonner, så hvert navn i COLUMNS blev matchet med et felt i filen.

Nøgleparametre for Pandas read_csv()

read_csv() accepterer mere end halvtreds argumenter, men en lille gruppe dækker næsten alle reelle importer. Standardindstillingerne nedenfor er dem, der er dokumenteret i den aktuelle pandas API-reference.

To af disse fortjener en bemærkning. index_col=False er ikke det samme som at lade den være uindstillet: den fortæller eksplicit Pandas ikke at flytte den første kolonne op, hvilket er det, du ønsker, når en fil afslutter hver linje med en tilfældig afgrænser. Og names overskriver lydløst det, filen deklarerer, så send header=0 ved siden af ​​den, når CSV-filen rent faktisk indeholder en overskriftsrække.

Pandas groupby() Metode

En nem måde at se dataene på er at bruge groupby-metoden. Denne metode kan hjælpe dig med at opsummere dataene efter gruppe. Nedenfor er en liste over aggregeringer, der er tilgængelige med groupby()-metoden:

• tælle: tælle
• min: min
• max: max
• betyde: betyde
• median: median
• standardafvigelse: std
• og andre

Inde i groupby() navngiver du den kolonne, du vil gruppere på, før du anvender aggregeringen.

Lad os se på en enkelt gruppeping med datasættet for voksne. Du får gennemsnittet af alle de kontinuerlige variabler efter indtægtstype, det vil sige over 50 eller under 50:

df_train.groupby(['label']).mean()

Du kan få minimumsalderen efter husstandstype:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Du kan også gruppere efter flere kolonner. For eksempel kan du få den maksimale kapitalgevinst i henhold til husstandstype og civilstand.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Du kan oprette et plot efter en gruppering. En måde at gøre det på er at plotte det grupperede resultat direkte.

For at skabe et tydeligere plot, skal du anvende unstack() efter mean(), så civilstanden flyttes fra indekset til kolonnerne. Diagrammet har derefter to grupper, én pr. indkomstetiket, i stedet for de fjorten (2*7) søjler, som et fladt flerniveauindeks ville producere.

Hvis du bruger en Jupyter NotesbogHusk at tilføje %matplotlib inline, ellers vises der ikke noget plot.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Hvis man plotter den ustablede ramme som et søjlediagram, får man figuren nedenfor.

Sådan læser du store CSV-filer med Pandas

Datasættet for voksne er lille, men det samme kald kan gå i stå ved en eksport på flere gigabyte. Tre argumenter gør det meste af arbejdet.

• usecols indlæser kun de kolonner, du rent faktisk har brug for. Pandas-dokumentationen bemærker, at dette resulterer i meget hurtigere parsing og lavere hukommelsesforbrug.
• dtype fastgør hver kolonne til en type, så Pandas springer inferens over og ikke udvider heltal til 64-bit som standard.
• klumpstørrelse returnerer en TextFileReader i stedet for en DataFrame, så du kan gennemgå blokke af N rækker og aggregere undervejs.

import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

To yderligere muligheder hjælper, når det grundlæggende er på plads. engine='pyarrow' skifter til den multitrådete Arrow-parser, og dtype_backend='pyarrow' gemmer resultatet i kolonner med pilebaggrund. low_memory er som standard True, hvilket analyserer filen internt i stykker, men den kan producere blandede typer i en kolonne; angiv en eksplicit dtype i stedet for at stole på den.

Endelig compression='infer' betyder, at en sti, der ender på .gz, .zip, .bz2, .xz eller .zst, dekomprimeres undervejs, så der er ingen grund til at udpakke et arkiv, før det læses.

Almindelige Pandas read_csv()-fejl og hvordan man retter dem

De fleste read_csv()-fejl skyldes fire årsager, og hver af dem har et dokumenteret argument, der løser problemet.

Datasættet for voksne viser tilfældet med manglende værdi direkte: ukendte poster for arbejdsklasse, erhverv og native_country gemmes som et bogstaveligt spørgsmålstegn, så de ankommer som strengen '?', medmindre du deklarerer dem.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

Ofte Stillede Spørgsmål