Pandor read_csv() i Python med exempel

⚡ Smart sammanfattning

Pandas read_csv() omvandlar en kommaseparerad fil, lokal eller fjärransluten, till en DataFrame i ett enda anrop. Denna genomgång importerar UCI:s vuxenfolkräkningsdataset, namnger dess femton kolumner och sammanfattar resultatet med groupby-aggregeringar.

  • 🔘 Ett samtal: pd.read_csv() accepterar en filsökväg, en URL, eller något objekt som exponerar en läsmetod.
  • ☑️ Kolumnkontroll: Skicka namn för att märka kolumnerna och index_col=False för att behålla ett vanligt heltalsindex.
  • ✅ Whitespace: skipinitialspace=True tar bort mellanslaget som följer varje komma i vuxendatasetet.
  • 🧪 Grupp och aggregerad: groupby() sammanfattar bildrutan med count, min, max, mean, median eller std.
  • 🛠️ Stora filer: usecols, dtype och chunksize minskar parsningstid och minne vid export av flera gigabyte.
  • ⚠️ Vanliga fel: Kodning, felaktiga rader och blandade dtyper har alla ett dokumenterat argument som åtgärdar dem.

Pandas read_csv() med Exempel

Importera CSV i Pandas

Under TensorFlow-handledningen kommer du att använda vuxendataset, som ofta används för klassificeringsuppgifter. Filen som används nedan är råfilen adult.data exportera från UCI Machine Learning Repository, och datasetsidan erbjuder även en zippad nedladdning och ucimlrepo paket om den direkta vägen någonsin slutar upplösas.

Data lagras i CSV-format. Datasetet innehåller 8 kategoriska variabler:

  • arbetsklass
  • utbildning
  • äktenskaplig
  • ockupation
  • relation
  • lopp
  • kön
  • hemland

Och 6 kontinuerliga variabler:

  • ålder
  • fnlwgt
  • utbildningsnummer
  • kapitalvinsten
  • kapitalförlust
  • timmar_vecka

Tillsammans med inkomsten label kolumn, som utgör de 15 kolumnnamnen du skickar till pandas i nästa avsnitt.

Pandas read_csv() Metod

För att importera en CSV-datauppsättning kan du använda objektet pd.read_csv(). Grundsignaturen är:

Pandas read_csv() Syntax

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)
  • filsökväg_eller_buffert: stig, URL, eller filliknande objekt som innehåller data
  • sep=',': avgränsaren som ska användas
  • namn=Inga: namnge kolumnerna. Om datamängden har tio kolumner måste du ange tio namn
  • index_col=Ingen: vilken kolumn som ska användas som radindex. Skicka False för att tvinga fram ett nytt heltalsindex
  • hoppa över initialutrymme=Falskthoppa över mellanslag efter avgränsaren

För den fullständiga listan över argument, se den officiella pandas.read_csv() dokumentation.

Pandas read_csv() Exempel

Kodavsnittet nedan namnger alla 15 kolumner, pekar på UCI-filen och tar bort mellanrummet som följer varje komma i just den här datamängden.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

Produktion:

(32561, 15)

Formen bekräftar 32 561 rader och 15 kolumner, så varje namn i COLUMNS matchades med ett fält i filen.

Nyckelparametrar för Pandas read_csv()

read_csv() accepterar fler än femtio argument, men en liten grupp täcker nästan alla verkliga importer. Standardvärdena nedan är de som dokumenteras i den aktuella pandas API-referensen.

Parameter Standard Vad den gör
september '' Tecken eller regex används som avgränsare. Använd sep=';' eller sep='\t' för andra format.
rubrik sluta sig till Radnummer som innehåller kolumnetiketterna. Skicka header=None när filen inte har någon rubrikrad.
namn inte inställd Explicit lista med kolumnetiketter. Kombinera med header=0 för att ersätta en befintlig rubrik.
index_kol Ingen Kolumn som ska användas som radindex. index_col=False tvingar fram ett vanligt heltalsindex.
usecols Ingen Delmängd av kolumner att läsa in, efter etikett eller position. Minskar både parsningstid och minne.
dtype Ingen Datatyper per kolumn, till exempel {'age': 'int32'}. Hoppar över typinferens.
na_värden Ingen Extra strängar att läsa som NaN, till exempel platshållaren '?' i datamängden för vuxna.
hoppa över rader / nrows Ingen Hoppa över inledande rader, eller läs endast de första N dataraderna.
parse_dates Ingen Kolumner som ska konverteras till datetime under läsning, i kombination med date_format.
kodning 'utf-8' Textkodning av filen. Använd 'latin-1' eller 'cp1252' för export av äldre filer.
bitstorlek Ingen Returnera en iterator som ger filen i block om N rader.
på_dåliga_linjer 'fel' Vad man ska göra med felaktigt utformade rader: höja, varna eller hoppa över dem.

Två av dessa förtjänar en anmärkning. index_col=False är inte detsamma som att lämna den oinställd: den säger uttryckligen åt Pandas att inte flytta upp den första kolumnen, vilket är vad man vill ha när en fil avslutar varje rad med en lös avgränsare. Och names skriver tyst över vad filen deklarerar, så skicka vidare header=0 bredvid den när CSV-filen verkligen har en rubrikrad.

Pandas groupby() Metod

Ett enkelt sätt att se data är att använda groupby-metoden. Den här metoden kan hjälpa dig att sammanfatta data per grupp. Nedan följer en lista över aggregeringar som är tillgängliga med groupby()-metoden:

  • räkna: räkna
  • min: min
  • max: max
  • elak elak
  • median: median
  • standardavvikelse: std
  • och andra

Inuti groupby() namnger du kolumnen du vill gruppera på innan du tillämpar aggregeringen.

Låt oss ta en titt på en enda gruppping med vuxendatasetet. Du får medelvärdet av alla kontinuerliga variabler per intäktstyp, det vill säga över 50 000 eller under 50 000:

df_train.groupby(['label']).mean()
etikett ålder fnlwgt utbildningsnummer kapitalvinsten kapitalförlust timmar_vecka
<= 50K 36.783738 190340.86517 9.595065 148.752468 53.142921 38.840210
> 50K 44.249841 188005.00000 11.611657 4006.142456 195.001530 45.473026

Du kan få minimiåldern per hushållstyp:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Du kan också gruppera efter flera kolumner. Du kan till exempel få den maximala kapitalvinsten beroende på hushållstyp och civilstånd.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Du kan skapa ett diagram efter en gruppering. Ett sätt att göra det är att plotta det grupperade resultatet direkt.

För att skapa ett tydligare diagram, använd unstack() efter mean() så att civilståndet flyttas från indexet till kolumnerna. Diagrammet har då två grupper, en per inkomstklass, istället för de fjorton (2*7) staplar som ett platt flernivåindex skulle producera.

Om du använder en Jupyter Notebook, kom ihåg att lägga till %matplotlib inline, annars visas inget plott.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Om man plottar den ostaplade ramen som ett stapeldiagram får man figuren nedan.

Grupperat stapeldiagram över genomsnittlig kapitalvinst efter inkomstklass och civilstånd

Hur man läser stora CSV-filer med Pandas

Vuxendatasetet är litet, men samma anrop kan stanna vid en export på flera gigabyte. Tre argument gör det mesta av arbetet.

  • usecols laddar bara de kolumner du faktiskt behöver. Pandas dokumentation noterar att detta resulterar i mycket snabbare parsning och lägre minnesanvändning.
  • dtype fäster varje kolumn till en typ, så Pandas hoppar över inferens och utökar inte heltal till 64-bitars som standard.
  • bitstorlek returnerar en TextFileReader istället för en DataFrame, vilket låter dig loopa över block med N rader och aggregera allt eftersom.
import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

Ytterligare två alternativ hjälper när grunderna är på plats. engine='pyarrow' växlar till den flertrådade Arrow-parsern, och dtype_backend='pyarrow' behåller resultatet i pilbakgrundade kolumner. low_memory är True som standard, vilket analyserar filen internt i delar, men det kan producera blandade typer i en kolumn; ange en explicit dtype istället för att förlita sig på den.

Slutligen compression='infer' betyder att en sökväg som slutar på .gz, .zip, .bz2, .xz eller .zst dekomprimeras direkt, så det finns inget behov av att packa upp ett arkiv innan det läses.

Vanliga Pandas read_csv()-fel och hur man åtgärdar dem

De flesta read_csv()-fel har fyra orsaker, och var och en har ett dokumenterat argument som löser det.

Fel Orsak Fast
FileNotFoundError Sökvägen är relativ till arbetskatalogen, inte till skriptet. Använd en absolut sökväg, eller bekräfta URL Schemet är ett av http, ftp, s3, gs eller file.
UnicodeAvkodningsfel Filen är inte UTF-8, vilket är standardkodningen. Skicka encoding='latin-1′ eller rätt codec, eller encoding_errors='replace'.
ParserError: Fel vid tokenisering av data En rad innehåller fler fält än vad rubriken anger. Pass on_bad_lines='skip' eller 'warn', eller ange rätt sep.
DtypeWarning: kolumner har blandade typer Chunked type inference såg olika typer i en kolumn. Ange en explicit dtype, eller low_memory=False.
Kolumner förskjutna med ett En efterföljande avgränsare gör att Pandas flyttar upp det första fältet till indexet. Skicka index_col=False.

Datasetet för vuxna visar fallet med saknade värden direkt: okända poster för arbetsklass, yrke och native_country lagras som ett bokstavligt frågetecken, så de anländer som strängen '?' om du inte deklarerar dem.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

Vanliga frågor

Båda anropar samma parser. read_csv() använder som standard ett kommaavgränsare, medan read_table() läser en generellt avgränsad fil och förväntar sig att du själv anger sep. Använd read_csv() för kommateckenfiler och read_table() för tabb- eller pipe-separerade exporter.

Anropa df.to_csv('output.csv', index=False). Släppping Indexet undviker en namnlös första kolumn vid nästa läsning. Lägg till sep-, encoding- eller compression-argument för att spegla de inställningar du använde när filen importerades.

Skicka parse_dates med kolumnnamnen eller positionerna och lägg till date_format när layouten inte är ISO 8601, till exempel date_format='%d/%m/%Y'. Utan den anländer date-kolumner som vanliga objektsträngar och behöver ett separat to_datetime-anrop.

Ange sep för tecknet, till exempel sep=';' eller sep='\t'. Avgränsare som är längre än ett tecken behandlas som reguljära uttryck och tvingar fram det långsammare Python engine.sep=None låter den motorn sniffa avgränsare från den första giltiga raden.

Använd nrows för att begränsa antalet returnerade datarader och skiprows för att hoppa förbi ett block med inledande rader. Genom att kombinera dem kan du bläddra igenom en fil, till exempel skiprows=1000000 med nrows=999999, för att läsa den andra miljonen rader.

Ja. Standardinställningen för komprimering är "infer", så en sökväg som slutar på .gz, .zip, .bz2, .xz eller .zst dekomprimeras automatiskt. URLs använder http, ftp, s3, gs eller file allt arbete, och storage_options skickar inloggningsuppgifter till fjärrbackend.

Tränade modeller flaggar sannolika typfel, klustrar nästan dubbletter av kategoristavningar och imputerar saknade värden från omgivande kolumner. Det begränsar den manuella rensningen till de rader som en regelbaserad na_values- eller dtype-inställning inte kan lösa på egen hand.

Copilot utarbetar standardtexten snabbt när den kan se ett exempel på filen. Behandla argumentlistan som ett utkast, eftersom den ofta gissar dtype och kodning. Kontrollera varje genererat nyckelord mot pandas API-referens innan den körs.

Sammanfatta detta inlägg med: