Pandor read_csv() i Python med exempel
⚡ Smart sammanfattning
Pandas read_csv() omvandlar en kommaseparerad fil, lokal eller fjärransluten, till en DataFrame i ett enda anrop. Denna genomgång importerar UCI:s vuxenfolkräkningsdataset, namnger dess femton kolumner och sammanfattar resultatet med groupby-aggregeringar.
Importera CSV i Pandas
Under TensorFlow-handledningen kommer du att använda vuxendataset, som ofta används för klassificeringsuppgifter. Filen som används nedan är råfilen adult.data exportera från UCI Machine Learning Repository, och datasetsidan erbjuder även en zippad nedladdning och ucimlrepo paket om den direkta vägen någonsin slutar upplösas.
Data lagras i CSV-format. Datasetet innehåller 8 kategoriska variabler:
- arbetsklass
- utbildning
- äktenskaplig
- ockupation
- relation
- lopp
- kön
- hemland
Och 6 kontinuerliga variabler:
- ålder
- fnlwgt
- utbildningsnummer
- kapitalvinsten
- kapitalförlust
- timmar_vecka
Tillsammans med inkomsten label kolumn, som utgör de 15 kolumnnamnen du skickar till pandas i nästa avsnitt.
Pandas read_csv() Metod
För att importera en CSV-datauppsättning kan du använda objektet pd.read_csv(). Grundsignaturen är:
Pandas read_csv() Syntax
pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)
- filsökväg_eller_buffert: stig, URL, eller filliknande objekt som innehåller data
- sep=',': avgränsaren som ska användas
- namn=Inga: namnge kolumnerna. Om datamängden har tio kolumner måste du ange tio namn
- index_col=Ingen: vilken kolumn som ska användas som radindex. Skicka False för att tvinga fram ett nytt heltalsindex
- hoppa över initialutrymme=Falskthoppa över mellanslag efter avgränsaren
För den fullständiga listan över argument, se den officiella pandas.read_csv() dokumentation.
Pandas read_csv() Exempel
Kodavsnittet nedan namnger alla 15 kolumner, pekar på UCI-filen och tar bort mellanrummet som följer varje komma i just den här datamängden.
## Import csv import pandas as pd ## Define path data COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital', 'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss', 'hours_week', 'native_country', 'label'] PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data" df_train = pd.read_csv(PATH, skipinitialspace=True, names = COLUMNS, index_col=False) df_train.shape
Produktion:
(32561, 15)
Formen bekräftar 32 561 rader och 15 kolumner, så varje namn i COLUMNS matchades med ett fält i filen.
Nyckelparametrar för Pandas read_csv()
read_csv() accepterar fler än femtio argument, men en liten grupp täcker nästan alla verkliga importer. Standardvärdena nedan är de som dokumenteras i den aktuella pandas API-referensen.
| Parameter | Standard | Vad den gör |
| september | '' | Tecken eller regex används som avgränsare. Använd sep=';' eller sep='\t' för andra format. |
| rubrik | sluta sig till | Radnummer som innehåller kolumnetiketterna. Skicka header=None när filen inte har någon rubrikrad. |
| namn | inte inställd | Explicit lista med kolumnetiketter. Kombinera med header=0 för att ersätta en befintlig rubrik. |
| index_kol | Ingen | Kolumn som ska användas som radindex. index_col=False tvingar fram ett vanligt heltalsindex. |
| usecols | Ingen | Delmängd av kolumner att läsa in, efter etikett eller position. Minskar både parsningstid och minne. |
| dtype | Ingen | Datatyper per kolumn, till exempel {'age': 'int32'}. Hoppar över typinferens. |
| na_värden | Ingen | Extra strängar att läsa som NaN, till exempel platshållaren '?' i datamängden för vuxna. |
| hoppa över rader / nrows | Ingen | Hoppa över inledande rader, eller läs endast de första N dataraderna. |
| parse_dates | Ingen | Kolumner som ska konverteras till datetime under läsning, i kombination med date_format. |
| kodning | 'utf-8' | Textkodning av filen. Använd 'latin-1' eller 'cp1252' för export av äldre filer. |
| bitstorlek | Ingen | Returnera en iterator som ger filen i block om N rader. |
| på_dåliga_linjer | 'fel' | Vad man ska göra med felaktigt utformade rader: höja, varna eller hoppa över dem. |
Två av dessa förtjänar en anmärkning. index_col=False är inte detsamma som att lämna den oinställd: den säger uttryckligen åt Pandas att inte flytta upp den första kolumnen, vilket är vad man vill ha när en fil avslutar varje rad med en lös avgränsare. Och names skriver tyst över vad filen deklarerar, så skicka vidare header=0 bredvid den när CSV-filen verkligen har en rubrikrad.
Pandas groupby() Metod
Ett enkelt sätt att se data är att använda groupby-metoden. Den här metoden kan hjälpa dig att sammanfatta data per grupp. Nedan följer en lista över aggregeringar som är tillgängliga med groupby()-metoden:
- räkna: räkna
- min: min
- max: max
- elak elak
- median: median
- standardavvikelse: std
- och andra
Inuti groupby() namnger du kolumnen du vill gruppera på innan du tillämpar aggregeringen.
Låt oss ta en titt på en enda gruppping med vuxendatasetet. Du får medelvärdet av alla kontinuerliga variabler per intäktstyp, det vill säga över 50 000 eller under 50 000:
df_train.groupby(['label']).mean()
| etikett | ålder | fnlwgt | utbildningsnummer | kapitalvinsten | kapitalförlust | timmar_vecka |
| <= 50K | 36.783738 | 190340.86517 | 9.595065 | 148.752468 | 53.142921 | 38.840210 |
| > 50K | 44.249841 | 188005.00000 | 11.611657 | 4006.142456 | 195.001530 | 45.473026 |
Du kan få minimiåldern per hushållstyp:
df_train.groupby(['label'])['age'].min() label <=50K 17 >50K 19 Name: age, dtype: int64
Du kan också gruppera efter flera kolumner. Du kan till exempel få den maximala kapitalvinsten beroende på hushållstyp och civilstånd.
df_train.groupby(['label', 'marital'])['capital_gain'].max() label marital <=50K Divorced 34095 Married-AF-spouse 2653 Married-civ-spouse 41310 Married-spouse-absent 6849 Never-married 34095 Separated 7443 Widowed 6849 >50K Divorced 99999 Married-AF-spouse 7298 Married-civ-spouse 99999 Married-spouse-absent 99999 Never-married 99999 Separated 99999 Widowed 99999 Name: capital_gain, dtype: int64
Du kan skapa ett diagram efter en gruppering. Ett sätt att göra det är att plotta det grupperade resultatet direkt.
För att skapa ett tydligare diagram, använd unstack() efter mean() så att civilståndet flyttas från indexet till kolumnerna. Diagrammet har då två grupper, en per inkomstklass, istället för de fjorton (2*7) staplar som ett platt flernivåindex skulle producera.
Om du använder en Jupyter Notebook, kom ihåg att lägga till %matplotlib inline, annars visas inget plott.
%matplotlib inline df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack() df_plot
Om man plottar den ostaplade ramen som ett stapeldiagram får man figuren nedan.
Hur man läser stora CSV-filer med Pandas
Vuxendatasetet är litet, men samma anrop kan stanna vid en export på flera gigabyte. Tre argument gör det mesta av arbetet.
- usecols laddar bara de kolumner du faktiskt behöver. Pandas dokumentation noterar att detta resulterar i mycket snabbare parsning och lägre minnesanvändning.
- dtype fäster varje kolumn till en typ, så Pandas hoppar över inferens och utökar inte heltal till 64-bitars som standard.
- bitstorlek returnerar en TextFileReader istället för en DataFrame, vilket låter dig loopa över block med N rader och aggregera allt eftersom.
import pandas as pd # read only the columns you need, with explicit types cols = ['age', 'education', 'capital_gain', 'label'] types = {'age': 'int32', 'capital_gain': 'int32'} df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types, skipinitialspace=True, index_col=False) # stream the file in fixed-size chunks instead of loading it whole total = 0 for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000, skipinitialspace=True, index_col=False): total = total + len(chunk) print(total)
Ytterligare två alternativ hjälper när grunderna är på plats. engine='pyarrow' växlar till den flertrådade Arrow-parsern, och dtype_backend='pyarrow' behåller resultatet i pilbakgrundade kolumner. low_memory är True som standard, vilket analyserar filen internt i delar, men det kan producera blandade typer i en kolumn; ange en explicit dtype istället för att förlita sig på den.
Slutligen compression='infer' betyder att en sökväg som slutar på .gz, .zip, .bz2, .xz eller .zst dekomprimeras direkt, så det finns inget behov av att packa upp ett arkiv innan det läses.
Vanliga Pandas read_csv()-fel och hur man åtgärdar dem
De flesta read_csv()-fel har fyra orsaker, och var och en har ett dokumenterat argument som löser det.
| Fel | Orsak | Fast |
| FileNotFoundError | Sökvägen är relativ till arbetskatalogen, inte till skriptet. | Använd en absolut sökväg, eller bekräfta URL Schemet är ett av http, ftp, s3, gs eller file. |
| UnicodeAvkodningsfel | Filen är inte UTF-8, vilket är standardkodningen. | Skicka encoding='latin-1′ eller rätt codec, eller encoding_errors='replace'. |
| ParserError: Fel vid tokenisering av data | En rad innehåller fler fält än vad rubriken anger. | Pass on_bad_lines='skip' eller 'warn', eller ange rätt sep. |
| DtypeWarning: kolumner har blandade typer | Chunked type inference såg olika typer i en kolumn. | Ange en explicit dtype, eller low_memory=False. |
| Kolumner förskjutna med ett | En efterföljande avgränsare gör att Pandas flyttar upp det första fältet till indexet. | Skicka index_col=False. |
Datasetet för vuxna visar fallet med saknade värden direkt: okända poster för arbetsklass, yrke och native_country lagras som ett bokstavligt frågetecken, så de anländer som strängen '?' om du inte deklarerar dem.
# tolerate rows with too many fields instead of raising df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip') # read a file that is not UTF-8 df = pd.read_csv('sales.csv', encoding='latin-1') # treat the dataset's '?' placeholder as a missing value df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

