Pandat read_csv() sisään Python esimerkin kanssa
⚡ Älykäs yhteenveto
Pandas read_csv() muuntaa pilkulla erotetun tiedoston, paikallisen tai etätiedoston, DataFrameksi yhdellä kutsulla. Tämä läpikäynti tuo UCI:n aikuisten väestönlaskennan tietojoukon, nimeää sen viisitoista saraketta ja tiivistää tuloksen groupby-aggregaatioiden avulla.
Tuo CSV Pandasiin
TensorFlow-tutoriaalin aikana käytät aikuisten tietojoukko, jota käytetään usein luokittelutehtävissä. Alla käytetty tiedosto on raaka adult.data vienti UCI Machine Learning Repositorysta, ja datasetin sivulla on myös zip-latausmahdollisuus ja ucimlrepo paketti, jos suora polku lakkaa ratkeamasta.
Data tallennetaan CSV-muodossa. Datajoukko sisältää 8 kategorista muuttujaa:
- työluokka
- koulutus
- avio-
- ammatti
- yhteys
- rotu
- sukupuoli
- Kotimaa
Ja 6 jatkuvaa muuttujaa:
- ikä
- fnlwgt
- koulutus_nm
- myyntivoitto
- pääoma_tappio
- tuntia_viikko
Yhdessä tulojen kanssa label sarake, joka muodostaa 15 sarakenimeä, joihin välität Panda seuraavassa osassa.
Pandat read_csv() -menetelmä
CSV-tietojoukon tuomiseen voit käyttää pd.read_csv()-objektia. Perusallekirjoitus on:
Pandas read_csv() Syntaksi
pandas.read_csv(filepath_or_buffer, sep=',', names=None, index_col=None, skipinitialspace=False)
- tiedostopolku_tai_puskuri: polku, URLtai tiedoston kaltainen objekti, joka sisältää tiedot
- syys=',': käytettävä erotinmerkki
- nimet=Ei mitään: nimeä sarakkeet. Jos tietojoukossa on kymmenen saraketta, sinun on annettava kymmenen nimeä
- index_col=Ei mitään: mitä saraketta käytetään rivi-indeksinä. Anna arvoksi False pakottaaksesi uuden kokonaislukuindeksin
- skipinitialspace=Epätosi: ohita välilyönnit erottimen jälkeen
Täydellinen luettelo argumenteista löytyy viralliselta sivulta pandas.read_csv()-dokumentaatio.
Pandat read_csv() Esimerkki
Alla oleva koodinpätkä nimeää kaikki 15 saraketta, osoittaa UCI-tiedostoon ja poistaa jokaisen pilkun jälkeisen välilyönnin tässä tietyssä tietojoukossa.
## Import csv import pandas as pd ## Define path data COLUMNS = ['age','workclass', 'fnlwgt', 'education', 'education_num', 'marital', 'occupation', 'relationship', 'race', 'sex', 'capital_gain', 'capital_loss', 'hours_week', 'native_country', 'label'] PATH = "https://archive.ics.uci.edu/ml/machine-learning-databases/adult/adult.data" df_train = pd.read_csv(PATH, skipinitialspace=True, names = COLUMNS, index_col=False) df_train.shape
lähtö:
(32561, 15)
Muoto vahvistaa 32 561 riviä ja 15 saraketta, joten jokainen COLUMNS-muuttujassa oleva nimi täsmättiin tiedoston kenttään.
Keskeiset Pandas read_csv()-parametrit
read_csv() hyväksyy yli viisikymmentä argumenttia, mutta pieni ryhmä kattaa lähes kaikki todelliset tuonnit. Alla olevat oletusarvot on dokumentoitu nykyisessä pandas API -viittauksessa.
| Parametri | oletusarvo | Mitä se tekee |
| syyskuu | '' | Erotinmerkkinä käytetty merkki tai säännöllisen lausekkeen. Käytä muissa muodoissa sep=';' tai sep='\t'. |
| ylätunniste | päätellä | Rivin numero, joka sisältää sarakeotsikot. Välitä otsikkoarvoksi nolla, jos tiedostossa ei ole otsikkoriviä. |
| nimet | ei valittu | Sarakeotsikoiden eksplisiittinen luettelo. Yhdistä header=0:n kanssa korvataksesi olemassa olevan otsikon. |
| indeksi_sarake | Ei eristetty | Rivi-indeksinä käytettävä sarake. index_col=False pakottaa pelkän kokonaislukuindeksin. |
| usecols | Ei eristetty | Ladattavien sarakkeiden osajoukko otsikon tai sijainnin mukaan. Vähentää sekä jäsennysaikaa että muistin käyttöä. |
| dtype | Ei eristetty | Sarakekohtaiset tietotyypit, esimerkiksi {'age': 'int32'}. Ohittaa tyypin päättelyn. |
| na_values | Ei eristetty | Ylimääräiset merkkijonot, jotka luetaan NaN-muodossa, kuten aikuisille tarkoitetun datasetin '?'-paikkamerkki. |
| skiprows / nrrows | Ei eristetty | Ohita alkurivit tai lue vain ensimmäiset N datariviä. |
| jäsennyspäivämäärät | Ei eristetty | Sarakkeet, jotka muunnetaan päivämääräksi ja kellonajaksi lukemisen aikana, yhdistettynä date_format-arvoon. |
| koodaus | utf-8 | Tiedoston tekstikoodaus. Käytä 'latin-1'- tai 'cp1252'-koodausta vanhoille vientitiedostoille. |
| palakoko | Ei eristetty | Palauttaa iteraattorin, joka tuottaa tiedoston N rivin lohkoina. |
| huonoilla_riveillä | 'virhe' | Mitä tehdä virheellisesti muodostetuille riveille: nostaa, varoittaa vai ohittaa ne. |
Kaksi näistä ansaitsee maininnan. index_col=False ei ole sama asia kuin jättää se asettamatta: se käskee Pandoja nimenomaisesti olemaan ylentämättä ensimmäistä saraketta, mikä on tarpeen, kun tiedoston jokainen rivi päättyy satunnaiseen erotinmerkkiin. Ja names ylikirjoittaa hiljaisesti kaiken tiedostossa määritellyn, joten anna header=0 sen rinnalla, kun CSV-tiedostossa todella on otsikkorivi.
Pandat groupby() -menetelmä
Helppo tapa tarkastella tietoja on käyttää groupby-metodia. Tämän metodin avulla voit tiivistää tiedot ryhmittäin. Alla on luettelo groupby()-metodin avulla käytettävissä olevista koosteista:
- laskea: laskea
- min: min
- max: max
- tarkoittaa: tarkoittaa
- mediaani: mediaani
- keskihajonta: std
- ja muut
groupby()-funktion sisällä nimetään sarake, jonka mukaan haluat ryhmitellä, ennen kuin käytät aggregointia.
Katsotaanpa yhtä ryhmääping aikuisille tarkoitetun tietojoukon avulla. Saat kaikkien jatkuvien muuttujien keskiarvon tulotyypin mukaan eli yli 50 000 tai alle 50 000:
df_train.groupby(['label']).mean()
| etiketti | ikä | fnlwgt | koulutus_nm | myyntivoitto | pääoma_tappio | tuntia_viikko |
| <= 50 XNUMX | 36.783738 | 190340.86517 | 9.595065 | 148.752468 | 53.142921 | 38.840210 |
| > 50 kt | 44.249841 | 188005.00000 | 11.611657 | 4006.142456 | 195.001530 | 45.473026 |
Voit selvittää vähimmäisiän kotitalouden tyypin mukaan:
df_train.groupby(['label'])['age'].min() label <=50K 17 >50K 19 Name: age, dtype: int64
Voit myös ryhmitellä useiden sarakkeiden mukaan. Voit esimerkiksi saada suurimman myyntivoiton kotitalouden tyypin ja siviilisäädyn mukaan.
df_train.groupby(['label', 'marital'])['capital_gain'].max() label marital <=50K Divorced 34095 Married-AF-spouse 2653 Married-civ-spouse 41310 Married-spouse-absent 6849 Never-married 34095 Separated 7443 Widowed 6849 >50K Divorced 99999 Married-AF-spouse 7298 Married-civ-spouse 99999 Married-spouse-absent 99999 Never-married 99999 Separated 99999 Widowed 99999 Name: capital_gain, dtype: int64
Voit luoda kuvaajan ryhmittelyn jälkeen. Yksi tapa tehdä se on piirtää ryhmitelty tulos suoraan.
Selkeämmän kuvaajan luomiseksi käytä unstack()-funktiota mean()-funktion jälkeen, jotta siviilisääty siirtyy indeksistä sarakkeisiin. Kaaviossa on tällöin kaksi ryhmää, yksi tulotasoa kohden, neljäntoista (2*7) pylvään sijaan, jotka monitasoinen tasainen indeksi tuottaisi.
Jos käytät a Jupyter muistikirja, muista lisätä %matplotlib riviin, muuten kuvaajaa ei näytetä.
%matplotlib inline df_plot = df_train.groupby(['label', 'marital'])['capital_gain'].mean().unstack() df_plot
Pinoamattoman kehyksen piirtäminen pylväsdiagrammina antaa alla olevan kuvan.
Kuinka lukea suuria CSV-tiedostoja Pandasilla
Aikuisille tarkoitettu tietojoukko on pieni, mutta sama kutsu voi pysähtyä usean gigatavun viennissä. Kolme argumenttia tekee suurimman osan työstä.
- usecols lataa vain ne sarakkeet, joita todella tarvitset. Pandas-dokumentaatiossa todetaan, että tämä johtaa paljon nopeampaan jäsentämiseen ja pienempään muistin käyttöön.
- dtype kiinnittää jokaisen sarakkeen tyyppiin, joten Pandas ohittaa päättelyn eikä laajenna kokonaislukuja 64-bittiseksi oletusarvoisesti.
- palakoko palauttaa TextFileReaderin DataFramen sijaan, jolloin voit silmukoida N rivin lohkojen yli ja koostaa niitä sitä mukaa.
import pandas as pd # read only the columns you need, with explicit types cols = ['age', 'education', 'capital_gain', 'label'] types = {'age': 'int32', 'capital_gain': 'int32'} df = pd.read_csv(PATH, names=COLUMNS, usecols=cols, dtype=types, skipinitialspace=True, index_col=False) # stream the file in fixed-size chunks instead of loading it whole total = 0 for chunk in pd.read_csv(PATH, names=COLUMNS, chunksize=10000, skipinitialspace=True, index_col=False): total = total + len(chunk) print(total)
Kaksi muuta vaihtoehtoa auttavat, kun perusasiat ovat kunnossa. engine='pyarrow' vaihtaa monisäikeiseen Arrow-jäsentimeen ja dtype_backend='pyarrow' pitää tuloksen nuoliviivalla varustetuissa sarakkeissa. low_memory on oletusarvoisesti True, jolloin tiedosto jäsentää sen sisäisesti osina, mutta se voi tuottaa sekalaisia tyyppejä sarakkeessa; aseta eksplisiittinen dtype sen sijaan, että luottaisi siihen.
Lopuksi, compression='infer' tarkoittaa, että .gz-, .zip-, .bz2-, .xz- tai .zst-päätteiset polut puretaan lennossa, joten arkistoa ei tarvitse purkaa ennen sen lukemista.
Yleisiä Pandas read_csv() -virheitä ja niiden korjaaminen
Useimmat read_csv()-funktion epäonnistumiset johtuvat neljästä syystä, ja jokaiselle on dokumentoitu argumentti sen ratkaisemiseksi.
| Virhe | Aiheuttaa | Korjata |
| FileNotFoundError | Polku on suhteessa työhakemistoon, ei komentosarjaan. | Käytä absoluuttista polkua tai vahvista URL Skeema on yksi seuraavista: http, ftp, s3, gs tai file. |
| UnicodeDecodeError | Tiedosto ei ole UTF-8-koodattu, joka on oletusarvoinen koodauksen muoto. | Anna encoding='latin-1′ tai oikea koodekki tai encoding_errors='replace'. |
| ParserError: Virhe datan tokenisoinnissa | Rivillä on enemmän kenttiä kuin otsikossa on ilmoitettu. | Anna on_bad_lines='skip' tai 'warn', tai aseta oikea erillisarvo. |
| DtypeWarning: sarakkeissa on sekalaisia tyyppejä | Paloiteltu tyyppipäättely näki eri tyypit yhdessä sarakkeessa. | Aseta eksplisiittinen dtype tai low_memory=False. |
| Sarakkeita siirretty yhdellä | Jäljessä oleva erotinmerkki saa Pandat ylentämään ensimmäisen kentän indeksiin. | Välitä index_col=False. |
Aikuisille tarkoitettu datajoukko näyttää puuttuvan arvon tapauksen suoraan: tuntemattomat työluokka-, ammatti- ja kotimaa-merkinnät tallennetaan literaalikysymysmerkkinä, joten ne saapuvat merkkijonona '?', ellet määritä niitä erikseen.
# tolerate rows with too many fields instead of raising df = pd.read_csv(PATH, names=COLUMNS, on_bad_lines='skip') # read a file that is not UTF-8 df = pd.read_csv('sales.csv', encoding='latin-1') # treat the dataset's '?' placeholder as a missing value df = pd.read_csv(PATH, names=COLUMNS, na_values='?', skipinitialspace=True)

