Pandat read_csv() sisään Python esimerkin kanssa

⚡ Älykäs yhteenveto

Pandas read_csv() muuntaa pilkulla erotetun tiedoston, paikallisen tai etätiedoston, DataFrameksi yhdellä kutsulla. Tämä läpikäynti tuo UCI:n aikuisten väestönlaskennan tietojoukon, nimeää sen viisitoista saraketta ja tiivistää tuloksen groupby-aggregaatioiden avulla.

  • 🔘 Yksi puhelu: pd.read_csv() hyväksyy tiedostopolun, URLtai mikä tahansa objekti, joka paljastaa lukumetodin.
  • ☑️ Sarakkeen ohjaus: Anna nimet sarakkeiden merkitsemiseksi ja index_col=False säilyttääksesi pelkän kokonaislukuindeksin.
  • ✅ Välilyönti: skipinitialspace=True poistaa välilyönnin jokaisesta pilkusta aikuisille tarkoitetussa tietojoukossa.
  • 🧪 Ryhmittele ja yhdistä: groupby() tiivistää kehyksen count-, min-, max-, mean-, mediaani- tai std-arvoilla.
  • 🛠️ Suuret tiedostot: usecols, dtype ja chunksize lyhentävät jäsennysaikaa ja muistin käyttöä usean gigatavun vientien yhteydessä.
  • ⚠️ Yleisiä virheitä: Koodauksella, virheellisillä riveillä ja sekalaisilla tietotyypeillä on kukin dokumentoitu argumentti, joka korjaa ne.

Pandat lukevat_csv():n esimerkin avulla

Tuo CSV Pandasiin

TensorFlow-tutoriaalin aikana käytät aikuisten tietojoukko, jota käytetään usein luokittelutehtävissä. Alla käytetty tiedosto on raaka adult.data vienti UCI Machine Learning Repositorysta, ja datasetin sivulla on myös zip-latausmahdollisuus ja ucimlrepo paketti, jos suora polku lakkaa ratkeamasta.

Data tallennetaan CSV-muodossa. Datajoukko sisältää 8 kategorista muuttujaa:

  • työluokka
  • koulutus
  • avio-
  • ammatti
  • yhteys
  • rotu
  • sukupuoli
  • Kotimaa

Ja 6 jatkuvaa muuttujaa:

  • ikä
  • fnlwgt
  • koulutus_nm
  • myyntivoitto
  • pääoma_tappio
  • tuntia_viikko

Yhdessä tulojen kanssa label sarake, joka muodostaa 15 sarakenimeä, joihin välität Panda seuraavassa osassa.

Pandat read_csv() -menetelmä

CSV-tietojoukon tuomiseen voit käyttää pd.read_csv()-objektia. Perusallekirjoitus on:

Pandas read_csv() Syntaksi

pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)
  • tiedostopolku_tai_puskuri: polku, URLtai tiedoston kaltainen objekti, joka sisältää tiedot
  • syys=',': käytettävä erotinmerkki
  • nimet=Ei mitään: nimeä sarakkeet. Jos tietojoukossa on kymmenen saraketta, sinun on annettava kymmenen nimeä
  • index_col=Ei mitään: mitä saraketta käytetään rivi-indeksinä. Anna arvoksi False pakottaaksesi uuden kokonaislukuindeksin
  • skipinitialspace=Epätosi: ohita välilyönnit erottimen jälkeen

Täydellinen luettelo argumenteista löytyy viralliselta sivulta pandas.read_csv()-dokumentaatio.

Pandat read_csv() Esimerkki

Alla oleva koodinpätkä nimeää kaikki 15 saraketta, osoittaa UCI-tiedostoon ja poistaa jokaisen pilkun jälkeisen välilyönnin tässä tietyssä tietojoukossa.

## Import csv
import pandas as pd
## Define path data
COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital',
           'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss',
           'hours_week', 'native_country', 'label']
PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data"
df_train = pd.read_csv(PATH,
                       skipinitialspace=True,
                       names = COLUMNS,
                       index_col=False)
df_train.shape

lähtö:

(32561, 15)

Muoto vahvistaa 32 561 riviä ja 15 saraketta, joten jokainen COLUMNS-muuttujassa oleva nimi täsmättiin tiedoston kenttään.

Keskeiset Pandas read_csv()-parametrit

read_csv() hyväksyy yli viisikymmentä argumenttia, mutta pieni ryhmä kattaa lähes kaikki todelliset tuonnit. Alla olevat oletusarvot on dokumentoitu nykyisessä pandas API -viittauksessa.

Parametri oletusarvo Mitä se tekee
syyskuu '' Erotinmerkkinä käytetty merkki tai säännöllisen lausekkeen. Käytä muissa muodoissa sep=';' tai sep='\t'.
ylätunniste päätellä Rivin numero, joka sisältää sarakeotsikot. Välitä otsikkoarvoksi nolla, jos tiedostossa ei ole otsikkoriviä.
nimet ei valittu Sarakeotsikoiden eksplisiittinen luettelo. Yhdistä header=0:n kanssa korvataksesi olemassa olevan otsikon.
indeksi_sarake Ei eristetty Rivi-indeksinä käytettävä sarake. index_col=False pakottaa pelkän kokonaislukuindeksin.
usecols Ei eristetty Ladattavien sarakkeiden osajoukko otsikon tai sijainnin mukaan. Vähentää sekä jäsennysaikaa että muistin käyttöä.
dtype Ei eristetty Sarakekohtaiset tietotyypit, esimerkiksi {'age': 'int32'}. Ohittaa tyypin päättelyn.
na_values Ei eristetty Ylimääräiset merkkijonot, jotka luetaan NaN-muodossa, kuten aikuisille tarkoitetun datasetin '?'-paikkamerkki.
skiprows / nrrows Ei eristetty Ohita alkurivit tai lue vain ensimmäiset N datariviä.
jäsennyspäivämäärät Ei eristetty Sarakkeet, jotka muunnetaan päivämääräksi ja kellonajaksi lukemisen aikana, yhdistettynä date_format-arvoon.
koodaus utf-8 Tiedoston tekstikoodaus. Käytä 'latin-1'- tai 'cp1252'-koodausta vanhoille vientitiedostoille.
palakoko Ei eristetty Palauttaa iteraattorin, joka tuottaa tiedoston N rivin lohkoina.
huonoilla_riveillä 'virhe' Mitä tehdä virheellisesti muodostetuille riveille: nostaa, varoittaa vai ohittaa ne.

Kaksi näistä ansaitsee maininnan. index_col=False ei ole sama asia kuin jättää se asettamatta: se käskee Pandoja nimenomaisesti olemaan ylentämättä ensimmäistä saraketta, mikä on tarpeen, kun tiedoston jokainen rivi päättyy satunnaiseen erotinmerkkiin. Ja names ylikirjoittaa hiljaisesti kaiken tiedostossa määritellyn, joten anna header=0 sen rinnalla, kun CSV-tiedostossa todella on otsikkorivi.

Pandat groupby() -menetelmä

Helppo tapa tarkastella tietoja on käyttää groupby-metodia. Tämän metodin avulla voit tiivistää tiedot ryhmittäin. Alla on luettelo groupby()-metodin avulla käytettävissä olevista koosteista:

  • laskea: laskea
  • min: min
  • max: max
  • tarkoittaa: tarkoittaa
  • mediaani: mediaani
  • keskihajonta: std
  • ja muut

groupby()-funktion sisällä nimetään sarake, jonka mukaan haluat ryhmitellä, ennen kuin käytät aggregointia.

Katsotaanpa yhtä ryhmääping aikuisille tarkoitetun tietojoukon avulla. Saat kaikkien jatkuvien muuttujien keskiarvon tulotyypin mukaan eli yli 50 000 tai alle 50 000:

df_train.groupby(['label']).mean()
etiketti ikä fnlwgt koulutus_nm myyntivoitto pääoma_tappio tuntia_viikko
<= 50 XNUMX 36.783738 190340.86517 9.595065 148.752468 53.142921 38.840210
> 50 kt 44.249841 188005.00000 11.611657 4006.142456 195.001530 45.473026

Voit selvittää vähimmäisiän kotitalouden tyypin mukaan:

df_train.groupby(['label'])['age'].min()
label
<=50K    17
>50K     19
Name: age, dtype: int64

Voit myös ryhmitellä useiden sarakkeiden mukaan. Voit esimerkiksi saada suurimman myyntivoiton kotitalouden tyypin ja siviilisäädyn mukaan.

df_train.groupby(['label', 'marital'])['capital_gain'].max()
label  marital
<=50K  Divorced                 34095
       Married-AF-spouse         2653
       Married-civ-spouse       41310
       Married-spouse-absent     6849
       Never-married            34095
       Separated                 7443
       Widowed                   6849
>50K   Divorced                 99999
       Married-AF-spouse         7298
       Married-civ-spouse       99999
       Married-spouse-absent    99999
       Never-married            99999
       Separated                99999
       Widowed                  99999
Name: capital_gain, dtype: int64

Voit luoda kuvaajan ryhmittelyn jälkeen. Yksi tapa tehdä se on piirtää ryhmitelty tulos suoraan.

Selkeämmän kuvaajan luomiseksi käytä unstack()-funktiota mean()-funktion jälkeen, jotta siviilisääty siirtyy indeksistä sarakkeisiin. Kaaviossa on tällöin kaksi ryhmää, yksi tulotasoa kohden, neljäntoista (2*7) pylvään sijaan, jotka monitasoinen tasainen indeksi tuottaisi.

Jos käytät a Jupyter muistikirja, muista lisätä %matplotlib riviin, muuten kuvaajaa ei näytetä.

%matplotlib inline
df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack()
df_plot

Pinoamattoman kehyksen piirtäminen pylväsdiagrammina antaa alla olevan kuvan.

Ryhmitelty pylväsdiagrammi keskimääräisestä myyntivoitosta tuloluokan ja siviilisäädyn mukaan

Kuinka lukea suuria CSV-tiedostoja Pandasilla

Aikuisille tarkoitettu tietojoukko on pieni, mutta sama kutsu voi pysähtyä usean gigatavun viennissä. Kolme argumenttia tekee suurimman osan työstä.

  • usecols lataa vain ne sarakkeet, joita todella tarvitset. Pandas-dokumentaatiossa todetaan, että tämä johtaa paljon nopeampaan jäsentämiseen ja pienempään muistin käyttöön.
  • dtype kiinnittää jokaisen sarakkeen tyyppiin, joten Pandas ohittaa päättelyn eikä laajenna kokonaislukuja 64-bittiseksi oletusarvoisesti.
  • palakoko palauttaa TextFileReaderin DataFramen sijaan, jolloin voit silmukoida N rivin lohkojen yli ja koostaa niitä sitä mukaa.
import pandas as pd

# read only the columns you need, with explicit types
cols  = ['age', 'education', 'capital_gain', 'label']
types = {'age': 'int32', 'capital_gain': 'int32'}
df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types,
                 skipinitialspace=True, index_col=False)

# stream the file in fixed-size chunks instead of loading it whole
total = 0
for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000,
                         skipinitialspace=True, index_col=False):
    total = total + len(chunk)
print(total)

Kaksi muuta vaihtoehtoa auttavat, kun perusasiat ovat kunnossa. engine='pyarrow' vaihtaa monisäikeiseen Arrow-jäsentimeen ja dtype_backend='pyarrow' pitää tuloksen nuoliviivalla varustetuissa sarakkeissa. low_memory on oletusarvoisesti True, jolloin tiedosto jäsentää sen sisäisesti osina, mutta se voi tuottaa sekalaisia ​​tyyppejä sarakkeessa; aseta eksplisiittinen dtype sen sijaan, että luottaisi siihen.

Lopuksi, compression='infer' tarkoittaa, että .gz-, .zip-, .bz2-, .xz- tai .zst-päätteiset polut puretaan lennossa, joten arkistoa ei tarvitse purkaa ennen sen lukemista.

Yleisiä Pandas read_csv() -virheitä ja niiden korjaaminen

Useimmat read_csv()-funktion epäonnistumiset johtuvat neljästä syystä, ja jokaiselle on dokumentoitu argumentti sen ratkaisemiseksi.

Virhe Aiheuttaa Korjata
FileNotFoundError Polku on suhteessa työhakemistoon, ei komentosarjaan. Käytä absoluuttista polkua tai vahvista URL Skeema on yksi seuraavista: http, ftp, s3, gs tai file.
UnicodeDecodeError Tiedosto ei ole UTF-8-koodattu, joka on oletusarvoinen koodauksen muoto. Anna encoding='latin-1′ tai oikea koodekki tai encoding_errors='replace'.
ParserError: Virhe datan tokenisoinnissa Rivillä on enemmän kenttiä kuin otsikossa on ilmoitettu. Anna on_bad_lines='skip' tai 'warn', tai aseta oikea erillisarvo.
DtypeWarning: sarakkeissa on sekalaisia ​​tyyppejä Paloiteltu tyyppipäättely näki eri tyypit yhdessä sarakkeessa. Aseta eksplisiittinen dtype tai low_memory=False.
Sarakkeita siirretty yhdellä Jäljessä oleva erotinmerkki saa Pandat ylentämään ensimmäisen kentän indeksiin. Välitä index_col=False.

Aikuisille tarkoitettu datajoukko näyttää puuttuvan arvon tapauksen suoraan: tuntemattomat työluokka-, ammatti- ja kotimaa-merkinnät tallennetaan literaalikysymysmerkkinä, joten ne saapuvat merkkijonona '?', ellet määritä niitä erikseen.

# tolerate rows with too many fields instead of raising
df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip')

# read a file that is not UTF-8
df = pd.read_csv('sales.csv', encoding='latin-1')

# treat the dataset's '?' placeholder as a missing value
df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

UKK

Molemmat kutsuvat samaa jäsennintä. read_csv() käyttää oletusarvoisesti pilkkuerotinmerkkiä, kun taas read_table() lukee yleisesti eroteltuja merkkejä sisältävän tiedoston ja odottaa, että asetat erotinmerkin itse. Käytä read_csv()-funktiota pilkkuerottimille tiedostoille ja read_table()-funktiota sarkaimilla tai pystyviivalla erotetuille vienneille.

Kutsu df.to_csv('output.csv', index=False). Pudota.ping Indeksi välttää nimeämättömän ensimmäisen sarakkeen seuraavalla lukukerralla. Lisää sep-, encoding- tai compression-argumentit peilataksesi tiedoston tuonnin yhteydessä käytettyjä asetuksia.

Anna parse_dates-muuttujalle sarakenimet tai sijainnit ja lisää date_format, jos asettelu ei ole ISO 8601 -standardin mukainen, esimerkiksi date_format='%d/%m/%Y'. Ilman sitä päivämääräsarakkeet saapuvat tavallisina objektimerkkijonoina ja tarvitsevat erillisen to_datetime-kutsufunktion.

Aseta sep-muuttujaksi merkki, kuten sep=';' tai sep='\t'. Yhtä merkkiä pidempiä erottimia käsitellään säännöllisinä lausekkeina ja ne pakottavat hitaamman Python engine. sep=None antaa engine-ohjelman haistaa erotinmerkin ensimmäiseltä kelvolliselta riviltä.

Käytä nrows-muuttujaa rajoittaaksesi palautettavien datarivien määrää ja skiprows-muuttujaa hypätäksesi joukon johtavia rivejä ohi. Yhdistämällä näitä voit selata tiedostoa sivuittain, esimerkiksi skiprows=1000000 ja nrows=999999, voit lukea toisen miljoonan rivin.

Kyllä. Pakkaus on oletusarvoisesti 'infer', joten .gz-, .zip-, .bz2-, .xz- tai .zst-päätteiset polut puretaan automaattisesti. URLhttp-, ftp-, s3-, gs- tai tiedostoprotokollilla toimivat kaikki yhteydet, ja storage_options välittää tunnistetiedot etäpalvelimelle.

Koulutetut mallit merkitsevät todennäköiset tyyppivirheet, ryhmittelevät lähes kaksoiskappaleet luokissa ja tulkitsevat puuttuvat arvot ympäröivistä sarakkeista. Tämä rajaa manuaalisen puhdistuksen riveihin, joita sääntöpohjainen na_values- tai dtype-asetus ei pysty ratkaisemaan yksinään.

Copilot luonnostelee pohjatiedoston nopeasti nähtyään näytteen tiedostosta. Käsittele argumenttiluetteloa luonnoksena, koska se usein arvaa dtyypin ja koodauksen. Tarkista jokainen luotu avainsana pandas API -viittausta vasten ennen sen suorittamista.

Tiivistä tämä viesti seuraavasti: