Pandas read_csv() in Python con l'esempio

Importa CSV in Panda

Durante il tutorial di TensorFlow, utilizzerai il set di dati sugli adulti, che viene spesso utilizzato per attività di classificazione. Il file utilizzato di seguito è il raw adult.data esportare dal repository di apprendimento automatico UCI e la pagina del dataset offre anche un download compresso e il ucimlrepo pacchetto nel caso in cui il percorso diretto smetta di essere risolto.

I dati sono memorizzati in formato CSV. Il dataset include 8 variabili categoriche:

• classe operaia
• continua
• coniugale
• occupazione
• rapporto
• gara
• sesso
• Paese d'origine

E 6 variabili continue:

• fnlwgt
• numero_istruzione
• plusvalenza
• perdita_capitale
• ore_settimana

Insieme al reddito label colonna, che crea i 15 nomi di colonna che passerai a Pandas nella prossima sezione.

Metodo read_csv() di Panda

Per importare un dataset CSV, è possibile utilizzare l'oggetto pd.read_csv(). La firma di base è:

Panda read_csv() Sintassi

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)

• percorso_file_o_buffer: sentiero, URL, o oggetto simile a un file che contiene i dati
• sep=',': il delimitatore da utilizzare
• nomi=Nessuno: Assegna un nome alle colonne. Se il dataset ha dieci colonne, devi specificare dieci nomi
• index_col=Nessuno: quale colonna utilizzare come indice di riga. Passare False per forzare un nuovo indice intero
• skipinitialspace=Falso: saltare gli spazi dopo il delimitatore

Per l'elenco completo degli argomenti, consultare il sito ufficiale. Documentazione di pandas_read_csv().

Panda read_csv() Esempio

Il frammento di codice seguente elenca tutte le 15 colonne, punta al file UCI ed elimina lo spazio che segue ogni virgola in questo specifico set di dati.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Produzione:

(32561, 15)

La struttura conferma 32,561 righe e 15 colonne, quindi ogni nome in COLONNE è stato abbinato a un campo nel file.

Parametri chiave di Pandas read_csv()

La funzione read_csv() accetta più di cinquanta argomenti, ma un piccolo gruppo copre quasi tutte le importazioni effettive. I valori predefiniti riportati di seguito sono quelli documentati nell'attuale riferimento API di pandas.

Due di questi meritano una menzione. index_col=False non è la stessa cosa di lasciarlo non impostato: dice esplicitamente a Pandas di non promuovere la prima colonna, che è quello che si desidera quando un file termina ogni riga con un delimitatore superfluo. E names sovrascrive silenziosamente qualsiasi cosa dichiari il file, quindi passa header=0 accanto ad esso quando il file CSV contiene effettivamente una riga di intestazione.

Metodo panda groupby()

Un modo semplice per visualizzare i dati è utilizzare il metodo groupby. Questo metodo consente di riepilogare i dati per gruppo. Di seguito è riportato un elenco delle aggregazioni disponibili con il metodo groupby():

• contare: contare
• minimo: minimo
• massimo: massimo
• significare: significare
• mediano: mediano
• deviazione standard: std
• e altri

All'interno di groupby(), si specifica la colonna su cui si desidera raggruppare prima di applicare l'aggregazione.

Diamo un'occhiata a un singolo gruppoping con il dataset degli adulti. Otterrai la media di tutte le variabili continue per tipo di ricavo, ovvero superiore a 50 o inferiore a 50:

df_train.groupby(['label']).mean()

È possibile ottenere informazioni sull'età minima in base alla tipologia di nucleo familiare:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Puoi anche raggruppare per più colonne. Ad esempio, puoi ottenere la plusvalenza massima in base al tipo di nucleo familiare e allo stato civile.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

È possibile creare un grafico dopo un'operazione di raggruppamento. Un modo per farlo è rappresentare graficamente direttamente il risultato del raggruppamento.

Per creare un grafico più chiaro, applica unstack() dopo mean() in modo che lo stato civile si sposti dall'indice alle colonne. Il grafico avrà quindi due gruppi, uno per ogni etichetta di reddito, invece delle quattordici (2*7) barre che produrrebbe un indice multilivello piatto.

Se si utilizza un Jupyter TaccuinoRicorda di aggiungere %matplotlib inline, altrimenti non verrà visualizzato alcun grafico.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Rappresentando graficamente quel frame non sovrapposto come un grafico a barre si ottiene la figura seguente.

Come leggere file CSV di grandi dimensioni con Pandas

Il dataset per adulti è di piccole dimensioni, ma la stessa chiamata può bloccarsi durante un'esportazione di diversi gigabyte. Tre argomenti svolgono la maggior parte del lavoro.

• usecols carica solo le colonne effettivamente necessarie. La documentazione di pandas indica che ciò si traduce in un'analisi sintattica molto più rapida e in un minore utilizzo della memoria.
• tipo d Ogni colonna è associata a un tipo specifico, quindi Pandas salta l'inferenza e non espande gli interi a 64 bit per impostazione predefinita.
• dimensione del pezzo Restituisce un TextFileReader anziché un DataFrame, consentendo di scorrere blocchi di N righe e di aggregare i dati man mano.

import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

Una volta impostate le basi, si possono aggiungere altre due opzioni. engine='pyarrow' passa al parser Arrow multithread e dtype_backend='pyarrow' mantiene il risultato in colonne con freccia. low_memory Il valore predefinito è True, il che significa che il file viene analizzato internamente a pezzi, ma può produrre tipi misti in una colonna; è preferibile impostare un tipo di dati esplicito piuttosto che affidarsi a questo valore.

Infine, il compression='infer' significa che un percorso che termina con .gz, .zip, .bz2, .xz o .zst viene decompresso al volo, quindi non è necessario estrarre un archivio prima di leggerlo.

Errori comuni nella funzione read_csv() di Pandas e come risolverli

La maggior parte degli errori di read_csv() deriva da quattro cause, e per ognuna di esse è presente un argomento documentato che ne consente la risoluzione.

Il dataset per adulti mostra direttamente il caso dei valori mancanti: le voci relative a classe lavorativa, occupazione e paese di origine sconosciute vengono memorizzate come un punto interrogativo letterale, quindi vengono visualizzate come la stringa '?' a meno che non vengano dichiarate.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

DOMANDE FREQUENTI