데이터 과학을 위한 Pandas 치트 시트 Python

⚡ 스마트 요약

Pandas 치트 시트는 라이브러리에서 가장 많이 사용되는 명령어를 한 페이지에 요약한 자료입니다. 이 자료는 설치, 시리즈 및 데이터프레임 생성, 파일 가져오기, 행 선택, 데이터 정리, 함수 적용, 결과 내보내기 등 작업별로 명령어를 분류합니다.

  • 🔘 두 가지 구조: 시리즈는 레이블이 지정된 하나의 차원을 가지는 반면, 데이터프레임은 열 유형이 혼합된 두 개의 차원을 가집니다.
  • ☑️ 무엇이든 수입하세요: read_csv, read_excel, read_sql, read_json 및 read_html 함수는 파일을 DataFrame으로 로드합니다.
  • ✅ 정확한 선택: loc는 레이블로 선택하고, iloc는 위치로 선택하며, 부울 마스크는 조건에 따라 행을 필터링합니다.
  • 🧪 믿을 수 있는 청소: isnull, dropna, fillna, drop_duplicates 및 replace는 누락된 레코드와 중복된 레코드를 처리합니다.
  • 🛠️ 빠르게 검사하세요: shape, info, dtypes 및 describe는 분석을 시작하기 전에 구조와 통계를 요약합니다.
  • ⚠️ 버전 참고: pandas 3.0에서는 Copy-on-Write가 기본적으로 활성화되어 있으므로, 연속적인 할당은 오류를 발생시킵니다.

데이터 과학을 위한 Pandas 치트 시트 Python

Pandas 치트 시트란 무엇인가요?

Pandas 라이브러리는 수백 개의 함수를 제공하지만, 일상적인 작업에서 사용되는 함수는 극히 일부에 불과합니다. 팬더 치트 시트 해당 명령어들을 수행하는 작업별로 분류하여 나열한 한 페이지 분량의 참고 자료입니다.

이 페이지에서는 Series 및 DataFrame 구조, 파일 가져오기 및 내보내기, 데이터 선택 및 정렬, 값 정리, 함수 적용 등을 다룹니다. 각 섹션에는 간단한 설명과 실행 가능한 코드가 함께 제공되므로, 이 페이지는 복습용으로도 활용할 수 있습니다. 데이터 분석 능력.

👉 여기에서 치트 시트 PDF를 다운로드하세요.

Pandas 설치 및 가져오기 방법

Pandas를 설정하는 데는 두 가지 명령어가 필요하며, 두 명령어 모두 터미널이나 웹 브라우저에서 실행됩니다. Jupyter 수첩 셀.

1단계) Pandas를 설치합니다.

이 명령은 환경별로 한 번씩 실행해야 하며, 노트북 셀에서 명령 앞에 느낌표(*)를 붙여야 합니다.

pip install pandas

2단계) Pandas를 가져옵니다.

해당 패키지를 다음 별칭으로 가져오세요. pd여기 있는 모든 예시가 전제로 하고 있는 바입니다.

import pandas as pd

이제 Pandas 함수를 호출하여 데이터를 조작, 분석 및 정리할 수 있습니다. 아래 섹션에는 일반적으로 사용하는 순서대로 함수 목록이 나와 있습니다.

팬더 데이터 구조

Pandas에는 두 가지 데이터 구조가 있습니다. 연속 데이터 프레임둘 다 레이블이 지정된 배열이며 모든 데이터 유형을 저장할 수 있습니다. 유일한 차이점은 차원입니다. Series는 1차원 배열이고 DataFrame은 여러 개의 시리즈로 구성된 2차원 배열입니다. 눔 파이 아래에 배열이 있습니다.

제품 특장점 연속 데이터 프레임
크기 XNUMX차원 XNUMX차원
보유 레이블이 지정된 단일 열 여러 열, 혼합 데이터 유형
건설자 pd.시리즈() pd.데이터프레임()

1. 시리즈

이것은 1차원 레이블 배열입니다. 모든 데이터 유형을 저장할 수 있습니다. None 결측값이 됩니다.

s = pd.Series([2, -4, 6, 3, None], index=['A', 'B', 'C', 'D', 'E'])

2. 데이터프레임

이것은 2차원 레이블 배열입니다. 모든 데이터 유형과 다양한 크기의 열을 저장할 수 있습니다.

data = {'RollNo' : [101, 102, 75, 99],
        'Name' : ['Mithlesh', 'Ram', 'Rudra', 'Mithlesh'],
        'Course' : ['Nodejs', None, 'Nodejs', 'JavaScript']
}
df = pd.DataFrame(data, columns=['RollNo', 'Name', 'Course'])
df.head()

아래의 인쇄 가능한 요약표에는 동일한 명령어가 한 페이지에 정리되어 있습니다.

Pandas Series 및 DataFrame 명령어를 나열한 인쇄 가능한 치트 시트

데이터 가져 오기

Pandas는 다양한 파일 형식을 DataFrame으로 직접 읽어들일 수 있습니다. 아래의 모든 리더는 하나의 파일 형식을 반환합니다. read_csv () 가장 많이 사용됩니다.

# Import a CSV file pd
pd.read_csv(filename)

# Import a TSV file
pd.read_table(filename)

# Import a Excel file pd
pd.read_excel(filename)

# Import a SQL table/database
pd.read_sql(query, connection_object)

# Import a JSON file
pd.read_json(json_string)

# Import a HTML file
pd.read_html(url)

# From clipboard to read_table()
pd.read_clipboard()

# From dict
pd.DataFrame(dict)

선택

요소는 위치 또는 인덱스 레이블로 선택할 수 있습니다. 동일한 대괄호 구문을 사용하여 두 구조 모두에서 행, 열 및 슬라이스를 선택할 수 있습니다.

1. 시리즈

# Accessing one element from Series
s['D']

# Accessing all elements between two given indices
s['A':'C']

# Accessing all elements from starting till given index
s[:'C']

# Accessing all elements from given index till end
s['B':]

2. 데이터프레임

# Accessing one column df
df['Name']

# Accessing rows from after given row
df[1:]

# Accessing till before given row
df[:1]

# Accessing rows between two given rows
df[1:2]

부울 인덱싱 및 설정을 통한 선택

iloc iat 정수 위치의 경우, loc at 라벨용입니다.

1. 직위별

df.iloc[0, 1]

df.iat[0, 1]

2. 라벨별

df.loc[[0],  ['Name']]

3. 라벨/포지션별

df.loc[2] # Both are same
df.iloc[2]

4. 부울 인덱싱

부울 마스크는 조건이 참인 행만 유지합니다. 두 번째 예제는 NOT 연산자를 추가합니다. ~따라서 1보다 크지 않은 값도 반환합니다.

# Series s where value is > 1
s[(s > 0)]

# Series s where value is <-2 or >1
s[(s < -2) | ~(s > 1)]

# Use filter to adjust DataFrame
df[df['RollNo']>100]

# Set index a of Series s to 6
s['D'] = 10
s.head()

데이터 청소

럭셔리 Python 데이터 정리를 위한 치트 시트의 목적으로 다음 작업을 수행할 수 있습니다.

  • 열 이름 변경 rename() 방법.
  • 값을 업데이트하려면 다음을 사용하십시오. at[] or iat[] 특정 요소에 접근하고 수정하는 방법.
  • Series 또는 DataFrame의 복사본을 만들려면 다음을 사용하세요. copy() 방법.
  • NULL 값을 확인하려면 다음을 사용하십시오. isnull() 해당 방법을 사용하여 드롭합니다. dropna() 방법.
  • 중복 값을 확인하려면 다음을 사용하십시오. duplicated() 메서드. 다음을 사용하여 드롭하세요. drop_duplicates() 방법.
  • NULL 값을 다음으로 대체합니다. fillna() 지정된 값을 사용하는 메서드입니다.
  • 값을 대체하려면 다음을 사용하십시오. replace() 방법.
  • 값을 정렬하려면 다음을 사용하세요. sort_values() 방법.
  • 순위 값을 사용하여 rank() 방법.
# Renaming columns
df.columns = ['a','b','c']
df.head()

# Mass renaming of columns
df = df.rename(columns={'RollNo': 'ID', 'Name': 'Student_Name'})

# Or use this edit in same DataFrame instead of in copy
df.rename(columns={'RollNo': 'ID', 'Name': 'Student_Name'}, inplace=True)
df.head()

# Counting duplicates in a column
df.duplicated(subset='Name')

# Removing entire row that has duplicate in given column
df.drop_duplicates(subset=['Name'])

# You can choose which one keep - by default is first
df.drop_duplicates(subset=['Name'], keep='last')

# Checks for Null Values
s.isnull()

# Checks for non-Null Values - reverse of isnull()
s.notnull()

# Checks for Null Values df
df.isnull()

# Checks for non-Null Values - reverse of isnull()
df.notnull()

# Drops all rows that contain null values
df.dropna()

# Drops all columns that contain null values
df.dropna(axis=1)

# Replaces all null values with 'Guru99'
df.fillna('Guru99')

# Replaces all null values with the mean
s.fillna(s.mean())

# Converts the datatype of the Series to float
s.astype(float)

# Replaces all values equal to 6 with 'Six'
s.replace(6,'Six')

# Replaces all 2 with 'Two' and 6 with 'Six'
s.replace([2,6],['Two','Six'])

# Drop from rows (axis=0)
s.drop(['B',  'D'])

# Drop from columns(axis=1)
df.drop('Name', axis=1)

# Sort by labels with axis
df.sort_index()

# Sort by values with axis
df.sort_values(by='RollNo')

# Ranking entries
df.rank()

# s1 is pointing to same Series as s
s1 = s

# s_copy of s, but not pointing same Series
s_copy = s.copy()

# df1 is pointing to same DataFrame as df
df1 = s

# df_copy of df, but not pointing same DataFrame
df_copy = df.copy()

참고 s1 = s 동일한 객체에 대해 두 번째 이름만 생성할 뿐, 복사본을 만들지는 않습니다. 바로 그 이유 때문입니다. copy() 그것을 따른다.

정보 검색

다음 작업을 수행하여 정보를 검색할 수 있습니다.

  • 사용 shape 행과 열의 개수를 가져오는 속성입니다.
  • 사용 head() or tail() 샘플로 처음 몇 줄 또는 마지막 몇 줄을 얻는 방법.
  • 사용 info(), describe() or dtypes 데이터 유형, 개수, 평균, 표준 편차, 최소값 및 최대값에 대한 정보를 얻는 방법.
  • 사용 count(), min(), max(), sum(), mean() median() 값에 대한 구체적인 통계 정보를 얻는 방법.
  • 사용 loc[] 행을 얻는 방법.
  • 사용 groupby() DataFrame의 열에서 유사한 값을 그룹화하기 위해 GROUP BY 함수를 적용하는 방법입니다.

1. 기본 정보

# Counting all elements in Series
len(s)

# Counting all elements in DataFrame
len(df)

# Prints number of rows and columns in dataframe
df.shape

# Prints first 10 rows by default, if no value set
df.head(10)

# Prints last 10 rows by default, if no value set
df.tail(10)

# For counting non-Null values column-wise
df.count()

# For range of index df
df.index

# For name of attributes/columns
df.columns

# Index, Data Type and Memory information
df.info()

# Datatypes of each column
df.dtypes

# Summary statistics for numerical columns
df.describe()

2. 개요

# For adding all values column-wise
df.sum()

# For min column-wise
df.min()

# For max column-wise
df.max()

# For mean value in number column
df.mean()

# For median value in number column
df.median()

# Count non-Null values
s.count()

# Count non-Null values
df.count()

# Return Series of given column
df['Name'].tolist()

# Name of columns
df.columns.tolist()

# Creating subset
df[['Name', 'Course']]

# Return number of values in each group
df.groupby('Name').count()

기능 적용

apply() 모든 값에 함수를 적용합니다. 정렬 규칙은 두 객체가 인덱스의 일부만 공유할 때 어떤 일이 발생하는지 결정합니다.

# Define function
f = lambda x: x*5

# Apply this function on given Series - For each value
s.apply(f)

# Apply this function on given DataFrame - For each value
df.apply(f)

1. 내부 데이터 정렬

# NA values for indices that don't overlap
s2 = pd.Series([8, -1, 4],  index=['A',  'C',  'D'])
s + s2

2. 산술 Opera채우기 방법을 사용한 기능

# Fill values that don't overlap
s.add(s2, fill_value=0)

3. 필터링, 정렬 및 그룹화 기준

이러한 기능은 필터링, 정렬 및 그룹화에 사용할 수 있습니다.ping Series 및 DataFrame 객체.

# Filter rows where column is greater than 100
df[df['RollNo']>100]

# Filter rows where 70 < column < 101
df[(df['RollNo'] > 70) & (df['RollNo'] < 101)]

# Sorts values in ascending order
s.sort_values()

# Sorts values in descending order
s.sort_values(ascending=False)

# Sorts values by RollNo in ascending order
df.sort_values('RollNo')

# Sorts values by RollNo in descending order
df.sort_values('RollNo', ascending=False)

데이터 내보내기

아래의 모든 작성자는 가져오기 섹션의 읽기자와 동일하므로 추가 도구 없이도 파일을 주고받을 수 있습니다.

# Export as a CSV file df
df.to_csv(filename)

# Export as a Excel file df
df.to_excel(filename)

# Export as a SQL table df
df.to_sql(table_name, connection_object)

# Export as a JSON file
df.to_json(filename)

# Export as a HTML table
df.to_html(filename)

# Write to the clipboard
df.to_clipboard()

치트 시트 Colab

여기에 있는 모든 명령은 함께 제공되는 노트북에서 실행할 수 있습니다. 팬더 치트 시트 – Python 데이터 과학을 위한.ipynb.

자주 묻는 질문

Copy-on-Write는 항상 활성화되어 있으며, 문자열은 전용 str 데이터 유형을 사용하고, 필터링된 복사본에 대한 연쇄 할당은 ChainedAssignmentError를 발생시킵니다. 대신 .loc를 통해 할당하십시오. 여기 있는 모든 명령은 여전히 ​​실행됩니다. 팬더 3.0.

pd.merge()는 공유 키를 사용하여 조인합니다. SQL `join`은 인덱스를 기준으로 정렬하고, `pd.concat()`은 프레임을 쌓습니다. 키에는 `merge`를, 추가에는 `concat`을 사용하세요.

df.pivot_table()은 긴 행을 넓은 집계 그리드로 변환하고, pd.melt()는 이를 반대로 변환하며, stack() 또는 unstack()은 인덱스와 열 사이의 레벨을 이동합니다.

pd.to_datetime()는 텍스트를 datetime64로 변환하고, .dt 접근자는 연도, 월, 요일을 노출하며, resample()은 해당 열이 인덱스가 되면 일, 주 또는 월별로 집계합니다.

벡터화된 연산은 컴파일된 C 코드로 배열 전체에 걸쳐 실행되는 반면, apply() 함수는 배열의 일부를 호출합니다. Python 행당 한 번씩 함수를 실행합니다.ping 벡터화된 표현식에 대한 행별 apply()는 종종 10배 더 빠릅니다.

AI 비서는 결과에 대한 간단한 설명을 구체적인 함수 호출로 변환하여 groupby, merge, pivot_table 등의 함수와 각 함수에 필요한 인수를 제안합니다. 제안된 함수가 제대로 작동하는지 먼저 소규모 샘플에서 확인해 보세요.

예. GitHub 부조종사 그룹화 및 개수 계산과 같은 주석을 작동하는 Pandas 코드로 변환합니다. Jupyter출력 결과를 초안으로 간주하고 행 수를 확인하십시오.

dtype을 전달합니다. read_csv ()반복되는 텍스트 열을 범주형으로 변환하고, pd.to_numeric을 사용하여 숫자를 다운캐스팅한 다음, chunksize를 사용하여 조각별로 로드합니다. df.info()는 실제 크기를 보고합니다.

이 게시물을 요약하면 다음과 같습니다.