Pandor read_csv() i Python med exempel

Importera CSV i Pandas

Under TensorFlow-handledningen kommer du att använda vuxendataset, som ofta används för klassificeringsuppgifter. Filen som används nedan är råfilen adult.data exportera från UCI Machine Learning Repository, och datasetsidan erbjuder även en zippad nedladdning och ucimlrepo paket om den direkta vägen någonsin slutar upplösas.

Data lagras i CSV-format. Datasetet innehåller 8 kategoriska variabler:

• arbetsklass
• utbildning
• äktenskaplig
• ockupation
• relation
• lopp
• kön
• hemland

Och 6 kontinuerliga variabler:

• ålder
• fnlwgt
• utbildningsnummer
• kapitalvinsten
• kapitalförlust
• timmar_vecka

Tillsammans med inkomsten label kolumn, som utgör de 15 kolumnnamnen du skickar till pandas i nästa avsnitt.

Pandas read_csv() Metod

För att importera en CSV-datauppsättning kan du använda objektet pd.read_csv(). Grundsignaturen är:

Pandas read_csv() Syntax

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)

• filsökväg_eller_buffert: stig, URL, eller filliknande objekt som innehåller data
• sep=',': avgränsaren som ska användas
• namn=Inga: namnge kolumnerna. Om datamängden har tio kolumner måste du ange tio namn
• index_col=Ingen: vilken kolumn som ska användas som radindex. Skicka False för att tvinga fram ett nytt heltalsindex
• hoppa över initialutrymme=Falskthoppa över mellanslag efter avgränsaren

För den fullständiga listan över argument, se den officiella pandas.read_csv() dokumentation.

Pandas read_csv() Exempel

Kodavsnittet nedan namnger alla 15 kolumner, pekar på UCI-filen och tar bort mellanrummet som följer varje komma i just den här datamängden.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Produktion:

(32561, 15)

Formen bekräftar 32 561 rader och 15 kolumner, så varje namn i COLUMNS matchades med ett fält i filen.

Nyckelparametrar för Pandas read_csv()

read_csv() accepterar fler än femtio argument, men en liten grupp täcker nästan alla verkliga importer. Standardvärdena nedan är de som dokumenteras i den aktuella pandas API-referensen.

Två av dessa förtjänar en anmärkning. index_col=False är inte detsamma som att lämna den oinställd: den säger uttryckligen åt Pandas att inte flytta upp den första kolumnen, vilket är vad man vill ha när en fil avslutar varje rad med en lös avgränsare. Och names skriver tyst över vad filen deklarerar, så skicka vidare header=0 bredvid den när CSV-filen verkligen har en rubrikrad.

Pandas groupby() Metod

Ett enkelt sätt att se data är att använda groupby-metoden. Den här metoden kan hjälpa dig att sammanfatta data per grupp. Nedan följer en lista över aggregeringar som är tillgängliga med groupby()-metoden:

• räkna: räkna
• min: min
• max: max
• elak elak
• median: median
• standardavvikelse: std
• och andra

Inuti groupby() namnger du kolumnen du vill gruppera på innan du tillämpar aggregeringen.

Låt oss ta en titt på en enda gruppping med vuxendatasetet. Du får medelvärdet av alla kontinuerliga variabler per intäktstyp, det vill säga över 50 000 eller under 50 000:

df_train.groupby(['label']).mean()

Du kan få minimiåldern per hushållstyp:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Du kan också gruppera efter flera kolumner. Du kan till exempel få den maximala kapitalvinsten beroende på hushållstyp och civilstånd.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Du kan skapa ett diagram efter en gruppering. Ett sätt att göra det är att plotta det grupperade resultatet direkt.

För att skapa ett tydligare diagram, använd unstack() efter mean() så att civilståndet flyttas från indexet till kolumnerna. Diagrammet har då två grupper, en per inkomstklass, istället för de fjorton (2*7) staplar som ett platt flernivåindex skulle producera.

Om du använder en Jupyter Notebook, kom ihåg att lägga till %matplotlib inline, annars visas inget plott.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Om man plottar den ostaplade ramen som ett stapeldiagram får man figuren nedan.

Hur man läser stora CSV-filer med Pandas

Vuxendatasetet är litet, men samma anrop kan stanna vid en export på flera gigabyte. Tre argument gör det mesta av arbetet.

• usecols laddar bara de kolumner du faktiskt behöver. Pandas dokumentation noterar att detta resulterar i mycket snabbare parsning och lägre minnesanvändning.
• dtype fäster varje kolumn till en typ, så Pandas hoppar över inferens och utökar inte heltal till 64-bitars som standard.
• bitstorlek returnerar en TextFileReader istället för en DataFrame, vilket låter dig loopa över block med N rader och aggregera allt eftersom.

import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

Ytterligare två alternativ hjälper när grunderna är på plats. engine='pyarrow' växlar till den flertrådade Arrow-parsern, och dtype_backend='pyarrow' behåller resultatet i pilbakgrundade kolumner. low_memory är True som standard, vilket analyserar filen internt i delar, men det kan producera blandade typer i en kolumn; ange en explicit dtype istället för att förlita sig på den.

Slutligen compression='infer' betyder att en sökväg som slutar på .gz, .zip, .bz2, .xz eller .zst dekomprimeras direkt, så det finns inget behov av att packa upp ett arkiv innan det läses.

Vanliga Pandas read_csv()-fel och hur man åtgärdar dem

De flesta read_csv()-fel har fyra orsaker, och var och en har ett dokumenterat argument som löser det.

Datasetet för vuxna visar fallet med saknade värden direkt: okända poster för arbetsklass, yrke och native_country lagras som ett bokstavligt frågetecken, så de anländer som strängen '?' om du inte deklarerar dem.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

Vanliga frågor