Panda petuleht andmeteaduse jaoks Python
Evelyn Clarke
⚡ Nutikas kokkuvõte
Panda spikrid koondavad teeki enimkasutatud käsud ühele lehele. Need on rühmitatud ülesannete kaupa: installimine, seeriate ja andmeraamide loomine, failide importimine, ridade valimine, andmete puhastamine, funktsioonide rakendamine ja tulemuste eksportimine.
Mis on Pandade spikker?
Pandase teek sisaldab sadu funktsioone, kuid igapäevatöös esineb neist vaid väike osa. Pandade spikker on üheleheküljeline teatmik, mis loetleb need käsud rühmitatud vastavalt nende täidetavale ülesandele.
See hõlmab seeria ja andmeraami struktuure, failide importimist ja eksportimist, andmete valimist ja järjestamist, väärtuste puhastamist ning funktsioonide rakendamist. Iga allolev jaotis on seotud lühikese selgitusega ja käivitatava koodiga, seega toimib leht ka meeldetuletusena teie... andmeanalüüsi oskus.
👉 Laadige petulehe PDF alla siit
Kuidas Pandasid installida ja importida
Pandad seadistatakse kahe käsuga ja mõlemad töötavad terminalis või Jupyter märkmik rakk.
1. samm) Paigaldage Pandas
Käivita see üks kord keskkonnas; lisa sellele märkmiku lahtris hüüumärk ette.
pip install pandas
2. samm) Impordi pandad
Impordi pakett aliase all pd, mida iga siinne näide eeldab.
import pandas as pd
Nüüd saate andmete manipuleerimiseks, analüüsimiseks ja puhastamiseks kutsuda Panda funktsioone. Allolevates jaotistes on need loetletud järjekorras, milles te neid tavaliselt kasutate.
Panda andmestruktuurid
Pandadel on kaks andmestruktuuri, Seeria ja DataFrameMõlemad on sildistatud massiivid ja mõlemad võivad sisaldada mis tahes andmetüüpi. Ainus erinevus on dimensioonilisus: seeria (Series) on ühemõõtmeline massiiv ja andmeframe (DataFrame) on kahemõõtmeline massiiv, mis on ehitatud ... tuim massiivid all.
| tunnusjoon | Seeria | DataFrame |
|---|---|---|
| Padjapüüri mõõt | Ühemõõtmeline | Kahemõõtmeline |
| Hoiab | Üks sildistatud veerg | Palju veerge, segatud andmetüübid |
| Ehitaja | pd.Series() | pd.DataFrame() |
1. Sari
See on ühemõõtmeline sildistatud massiiv. See võib sisaldada mis tahes andmetüüpi ja None muutub puuduvaks väärtuseks.
s = pd.Series([2, -4, 6, 3, None], index=['A', 'B', 'C', 'D', 'E'])
2. DataFrame
See on kahemõõtmeline sildistatud massiiv. See võib sisaldada mis tahes andmetüüpi ja erineva suurusega veerge.
data = {'RollNo' : [101, 102, 75, 99],
'Name' : ['Mithlesh', 'Ram', 'Rudra', 'Mithlesh'],
'Course' : ['Nodejs', None, 'Nodejs', 'JavaScript']
}
df = pd.DataFrame(data, columns=['RollNo', 'Name', 'Course'])
df.head()
Allolev prinditav spikker koondab samad käsud ühele lehele.
Andmete importimine
Pandad saavad lugeda mitut tüüpi faile otse DataFrame'i. Iga allolev lugeja tagastab ühe ja read_csv() on enimkasutatav.
# Import a CSV file pd pd.read_csv(filename) # Import a TSV file pd.read_table(filename) # Import a Excel file pd pd.read_excel(filename) # Import a SQL table/database pd.read_sql(query, connection_object) # Import a JSON file pd.read_json(json_string) # Import a HTML file pd.read_html(url) # From clipboard to read_table() pd.read_clipboard() # From dict pd.DataFrame(dict)
Valik
Elemente saab valida nende asukoha või indeksi sildi järgi. Sama nurksulgudes süntaks valib read, veerud ja sektorid mõlemast struktuurist.
1. Sari
# Accessing one element from Series s['D'] # Accessing all elements between two given indices s['A':'C'] # Accessing all elements from starting till given index s[:'C'] # Accessing all elements from given index till end s['B':]
2. DataFrame
# Accessing one column df df['Name'] # Accessing rows from after given row df[1:] # Accessing till before given row df[:1] # Accessing rows between two given rows df[1:2]
Valimine Boole'i indekseerimise ja seadistuse järgi
Kasutama iloc ja iat täisarvuliste positsioonide jaoks ja loc ja at siltide jaoks.
1. Positsiooni järgi
df.iloc[0, 1] df.iat[0, 1]
2. Sildi järgi
df.loc[[0], ['Name']]
3. Sildi/positsiooni järgi
df.loc[2] # Both are same
df.iloc[2]
4. Boole'i indekseerimine
Boole'i mask säilitab ainult read, mille tingimus on True. Teises näites lisatakse NOT-operaator. ~, seega tagastab see ka väärtused, mis ei ole suuremad kui 1.
# Series s where value is > 1 s[(s > 0)] # Series s where value is <-2 or >1 s[(s < -2) | ~(s > 1)] # Use filter to adjust DataFrame df[df['RollNo']>100] # Set index a of Series s to 6 s['D'] = 10 s.head()
Andmete puhastamine
eest Python petulehtede andmete puhastamise eesmärgil saate teha järgmisi toiminguid:
- Nimeta veerud ümber, kasutades
rename()meetod. - Väärtuste värskendamine, kasutades
at[]oriat[]meetod teatud elementidele juurdepääsuks ja nende muutmiseks. - Looge seeriast või DataFrame'ist koopia, kasutades funktsiooni
copy()meetod. - Kontrollige NULL-väärtusi, kasutades
isnull()meetodit ja eemaldage need, kasutadesdropna()meetod. - Kontrollige duplikaatväärtusi, kasutades
duplicated()meetod. Vabastage need, kasutadesdrop_duplicates()meetod. - Asendage NULL-väärtused, kasutades
fillna()meetod määratud väärtusega. - Asendage väärtused, kasutades
replace()meetod. - Sorteeri väärtusi, kasutades
sort_values()meetod. - Järjesta väärtused, kasutades
rank()meetod.
# Renaming columns df.columns = ['a','b','c'] df.head() # Mass renaming of columns df = df.rename(columns={'RollNo': 'ID', 'Name': 'Student_Name'}) # Or use this edit in same DataFrame instead of in copy df.rename(columns={'RollNo': 'ID', 'Name': 'Student_Name'}, inplace=True) df.head() # Counting duplicates in a column df.duplicated(subset='Name') # Removing entire row that has duplicate in given column df.drop_duplicates(subset=['Name']) # You can choose which one keep - by default is first df.drop_duplicates(subset=['Name'], keep='last') # Checks for Null Values s.isnull() # Checks for non-Null Values - reverse of isnull() s.notnull() # Checks for Null Values df df.isnull() # Checks for non-Null Values - reverse of isnull() df.notnull() # Drops all rows that contain null values df.dropna() # Drops all columns that contain null values df.dropna(axis=1) # Replaces all null values with 'Guru99' df.fillna('Guru99') # Replaces all null values with the mean s.fillna(s.mean()) # Converts the datatype of the Series to float s.astype(float) # Replaces all values equal to 6 with 'Six' s.replace(6,'Six') # Replaces all 2 with 'Two' and 6 with 'Six' s.replace([2,6],['Two','Six']) # Drop from rows (axis=0) s.drop(['B', 'D']) # Drop from columns(axis=1) df.drop('Name', axis=1) # Sort by labels with axis df.sort_index() # Sort by values with axis df.sort_values(by='RollNo') # Ranking entries df.rank() # s1 is pointing to same Series as s s1 = s # s_copy of s, but not pointing same Series s_copy = s.copy() # df1 is pointing to same DataFrame as df df1 = s # df_copy of df, but not pointing same DataFrame df_copy = df.copy()
Pange tähele, et s1 = s loob samale objektile ainult teise nime, mitte kunagi koopiat – seepärast copy() järgneb sellele.
Teabe otsimine
Teabe saamiseks saate teha järgmisi toiminguid:
- Kasuta
shapeatribuut ridade ja veergude arvu saamiseks. - Kasuta
head()ortail()meetod esimese või viimase paari rea valimi saamiseks. - Kasuta
info(),describe()ordtypesmeetod andmetüübi, arvu, keskmise, standardhälbe, miinimum- ja maksimumväärtuste kohta teabe saamiseks. - Kasuta
count(),min(),max(),sum(),mean()jamedian()meetodid väärtuste kohta konkreetse statistilise teabe saamiseks. - Kasuta
loc[]meetod rea saamiseks. - Kasuta
groupby()meetod GROUP BY funktsiooni rakendamiseks sarnaste väärtuste rühmitamiseks DataFrame'i veerus.
1. Põhiandmed
# Counting all elements in Series len(s) # Counting all elements in DataFrame len(df) # Prints number of rows and columns in dataframe df.shape # Prints first 10 rows by default, if no value set df.head(10) # Prints last 10 rows by default, if no value set df.tail(10) # For counting non-Null values column-wise df.count() # For range of index df df.index # For name of attributes/columns df.columns # Index, Data Type and Memory information df.info() # Datatypes of each column df.dtypes # Summary statistics for numerical columns df.describe()
2. Kokkuvõte
# For adding all values column-wise df.sum() # For min column-wise df.min() # For max column-wise df.max() # For mean value in number column df.mean() # For median value in number column df.median() # Count non-Null values s.count() # Count non-Null values df.count() # Return Series of given column df['Name'].tolist() # Name of columns df.columns.tolist() # Creating subset df[['Name', 'Course']] # Return number of values in each group df.groupby('Name').count()
Funktsioonide rakendamine
apply() lükkab funktsiooni iga väärtuse peale. Joondusreeglid otsustavad seejärel, mis juhtub, kui kahel objektil on ühine ainult osa oma indeksist.
# Define function f = lambda x: x*5 # Apply this function on given Series - For each value s.apply(f) # Apply this function on given DataFrame - For each value df.apply(f)
1. Siseandmete joondamine
# NA values for indices that don't overlap s2 = pd.Series([8, -1, 4], index=['A', 'C', 'D']) s + s2
2. Aritmeetika Operatäitmismeetoditega
# Fill values that don't overlap
s.add(s2, fill_value=0)
3. Filtreeri, sorteeri ja rühmita
Neid funktsioone saab kasutada filtreerimiseks, sortimiseks ja rühmitamiseksping Seeria- ja DataFrame-objektid.
# Filter rows where column is greater than 100 df[df['RollNo']>100] # Filter rows where 70 < column < 101 df[(df['RollNo'] > 70) & (df['RollNo'] < 101)] # Sorts values in ascending order s.sort_values() # Sorts values in descending order s.sort_values(ascending=False) # Sorts values by RollNo in ascending order df.sort_values('RollNo') # Sorts values by RollNo in descending order df.sort_values('RollNo', ascending=False)
Andmete eksportimine
Iga allolev kirjutaja peegeldab importiva osa lugejat, seega saab fail edasi-tagasi liikuda ilma lisatööriistadeta.
# Export as a CSV file df df.to_csv(filename) # Export as a Excel file df df.to_excel(filename) # Export as a SQL table df df.to_sql(table_name, connection_object) # Export as a JSON file df.to_json(filename) # Export as a HTML table df.to_html(filename) # Write to the clipboard df.to_clipboard()
Colab of Cheat Sheet
Iga siinne käsk on käivitatav kaasasolevas märkmikus: Panda petuleht – Python jaoks Data Science.ipynb.
