Pandas read_csv() dans Python avec exemple

Importer CSV dans Pandas

Au cours du tutoriel TensorFlow, vous utiliserez ensemble de données pour adultes, souvent utilisé pour les tâches de classification. Le fichier utilisé ci-dessous est le fichier brut adult.data L'exportation depuis le dépôt d'apprentissage automatique de l'UCI, et la page du jeu de données propose également un téléchargement compressé et le ucimlrepo package si le chemin direct cesse un jour de se résoudre.

Les données sont stockées au format CSV. L'ensemble de données comprend 8 variables catégorielles :

• classe ouvrière
• l'éducation
• matrimonial
• occupation
• relations
• breed
• sexe
• pays d'origine

Et 6 variables continues :

• âge
• fnlwgt
• num_education
• gain_capital
• perte_de_capital
• heures_semaine

Avec les revenus label colonne, ce qui constitue les 15 noms de colonnes que vous transmettrez à Pandas dans la section suivante.

Méthode Pandas read_csv()

Pour importer un jeu de données CSV, vous pouvez utiliser l'objet pd.read_csv(). La signature de base est :

Syntaxe Pandas read_csv()

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)

• chemin_fichier_ou_buffer: chemin, URLou un objet de type fichier contenant les données
• sep=',': le délimiteur à utiliser
• noms=AucunNommez les colonnes. Si l'ensemble de données comporte dix colonnes, vous devez fournir dix noms.
• index_col=Aucun: colonne à utiliser comme index de ligne. Passez False pour forcer un nouvel index entier.
• ignorer l'espace initial=False: ignorer les espaces après le délimiteur

Pour la liste complète des arguments, consultez le site officiel. documentation de pandas.read_csv().

Exemple Pandas read_csv()

L'extrait ci-dessous nomme les 15 colonnes, pointe vers le fichier UCI et supprime l'espace qui suit chaque virgule dans cet ensemble de données particulier.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Sortie :

(32561, 15)

La forme confirme 32 561 lignes et 15 colonnes, donc chaque nom dans COLUMNS a été associé à un champ du fichier.

Paramètres clés de la fonction read_csv() de Pandas

La fonction `read_csv()` accepte plus de cinquante arguments, mais un petit nombre d'entre eux couvrent la quasi-totalité des importations courantes. Les valeurs par défaut ci-dessous sont celles documentées dans la documentation de l'API pandas.

Deux d'entre elles méritent d'être mentionnées. index_col=False Ce n'est pas la même chose que de ne pas le définir : cela indique explicitement à Pandas de ne pas promouvoir la première colonne, ce qui est souhaitable lorsqu'un fichier termine chaque ligne par un délimiteur parasite. names écrase silencieusement tout ce que le fichier déclare, donc passez header=0 en plus, lorsque le fichier CSV comporte effectivement une ligne d'en-tête.

Méthode Pandas groupby()

Pour visualiser facilement les données, utilisez la méthode `groupby`. Cette méthode permet de synthétiser les données par groupe. Voici la liste des agrégations disponibles avec la méthode `groupby()` :

• compter : compter
• minute : minute
• maximum : maximum
• signifier: signifier
• médiane : médiane
• écart type : std
• et bien d'autres

Dans la fonction groupby(), vous indiquez la colonne sur laquelle vous souhaitez effectuer le regroupement avant d'appliquer l'agrégation.

Examinons un seul groupeping avec l'ensemble de données adultes. Vous obtiendrez la moyenne de toutes les variables continues par type de revenu, c'est-à-dire supérieur à 50 000 ou inférieur à 50 000 :

df_train.groupby(['label']).mean()

Vous pouvez obtenir l'âge minimum par type de ménage :

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Vous pouvez également regrouper sur plusieurs colonnes. Par exemple, vous pouvez obtenir une plus-value maximale en fonction du type de ménage et de l'état civil.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Il est possible de créer un graphique après un regroupement. Une méthode consiste à tracer directement le résultat groupé.

Pour obtenir un graphique plus clair, appliquez la fonction `unstack()` après `mean()` afin que le statut matrimonial soit déplacé de l'index vers les colonnes. Le graphique comporte alors deux groupes, un par tranche de revenu, au lieu des quatorze (2*7) barres qu'un index multiniveau plat produirait.

Si vous utilisez un Jupyter CarnetsN'oubliez pas d'ajouter %matplotlib en ligne, sinon aucun graphique ne s'affichera.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

La représentation de cette trame non empilée sous forme de graphique à barres donne la figure ci-dessous.

Comment lire de gros fichiers CSV avec Pandas

L'ensemble de données pour adultes est restreint, mais le même appel peut bloquer lors d'une exportation de plusieurs gigaoctets. Trois arguments suffisent pour l'essentiel du travail.

• usecols Ne charge que les colonnes nécessaires. La documentation de pandas indique que cela permet un traitement beaucoup plus rapide et une consommation de mémoire réduite.
• type Associe chaque colonne à un type, de sorte que Pandas ignore l'inférence et n'étend pas les entiers à 64 bits par défaut.
• taille des morceaux renvoie un TextFileReader au lieu d'un DataFrame, vous permettant de parcourir des blocs de N lignes et d'effectuer des agrégations au fur et à mesure.

import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

Deux autres options s'avèrent utiles une fois les bases établies. engine='pyarrow' passe au parseur Arrow multithread, et dtype_backend='pyarrow' conserve le résultat dans des colonnes avec flèches. low_memory La valeur par défaut est True, ce qui analyse le fichier en interne par morceaux, mais cela peut produire des types mixtes dans une colonne ; définissez un dtype explicite plutôt que de vous y fier.

Enfin, des compression='infer' Cela signifie qu'un chemin se terminant par .gz, .zip, .bz2, .xz ou .zst est décompressé à la volée, il n'est donc pas nécessaire de décompresser une archive avant de la lire.

Erreurs courantes de la fonction read_csv() de Pandas et comment les corriger

La plupart des échecs de read_csv() proviennent de quatre causes, et chacune possède un argument documenté qui la résout.

L'ensemble de données pour adultes montre directement le cas des valeurs manquantes : les entrées inconnues pour la classe de travail, la profession et le pays natal sont stockées sous la forme d'un point d'interrogation littéral, elles apparaissent donc sous la forme de la chaîne « ? » à moins que vous ne les déclarais.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

FAQ