Python Tutorial de Pandas: marco de datos, rango de fechas, uso de Pandas
evelyn clarke
¿Qué son los pandas? Python?
pandas es una biblioteca de código abierto que le permite realizar manipulación y análisis de datos en Python. pandas Python La biblioteca ofrece manipulación de datos y operaciones de datos para tablas numéricas y series temporales. Pandas proporciona una forma sencilla de crear, manipular y organizar los datos. Está construida sobre NumPy, lo que significa que necesita NumPy para funcionar.
¿Por qué utilizar Pandas?
Los científicos de datos utilizan Pandas en Python por sus siguientes ventajas:
- Maneja fácilmente los datos faltantes
- Utiliza Serie para estructura de datos unidimensional. y DataFrame para estructura de datos multidimensional
- Proporciona una manera eficiente de dividir los datos.
- Proporciona una forma flexible de fusionar, concatenar o remodelar los datos.
- Incluye una potente herramienta de series temporales con la que trabajar.
En pocas palabras, Pandas es una biblioteca útil en análisis de los datosSe puede utilizar para realizar análisis y manipulación de datos. Pandas proporciona estructuras de datos potentes y fáciles de usar, así como los medios para realizar operaciones rápidamente en estas estructuras.
¿Cómo instalar Pandas?
Ahora en esto Python Tutorial de Pandas, aprenderemos cómo instalar Pandas en Python.
Para instalar la biblioteca Pandas, consulte nuestro tutorial Cómo instalar TensorFlow. Pandas está instalado por defecto. En caso remoto, los pandas no están instalados.
Puedes instalar Pandas usando:
- Anaconda: conda instalar -c anaconda pandas
- In Jupyter Computadora portátil :
import sys
!conda install --yes --prefix {sys.prefix} pandas
¿Qué es un marco de datos de Pandas?
Marco de datos de pandas es una matriz bidimensional con una estructura de datos etiquetada que tiene diferentes tipos de columnas. Un DataFrame es una forma estándar de almacenar datos en formato tabular, con filas para almacenar la información y columnas para nombrar la información. Por ejemplo, el precio puede ser el nombre de una columna y 2,3,4 pueden ser los valores del precio.
Data Frame es bien conocido por los estadísticos y otros profesionales de datos.
Debajo de una imagen de un marco de datos de Pandas:
¿Qué es una serie?
Una serie es una estructura de datos unidimensional. Puede tener cualquier estructura de datos como entero, flotante y cadena. Es útil cuando desea realizar cálculos o devolver una matriz unidimensional. Una serie, por definición, no puede tener varias columnas. Para el último caso, utilice la estructura del marco de datos.
Python La serie Pandas tiene los siguientes parámetros:
- Datos: puede ser una lista, un diccionario o un valor escalar
pd.Series([1., 2., 3.])
0 1.0 1 2.0 2 3.0 dtype: float64
Puede agregar el índice con index. Ayuda a nombrar las filas. La longitud debe ser igual al tamaño de la columna.
pd.Series([1., 2., 3.], index=['a', 'b', 'c'])
A continuación, crea una serie de Pandas a la que le falta un valor para la tercera fila. Tenga en cuenta que faltan valores en Python se indican como "NaN". Puedes usar numpy para crear valor faltante: np.nan artificialmente
pd.Series([1,2,np.nan])
Salida
0 1.0 1 2.0 2 NaN dtype: float64
Crear marco de datos de Pandas
Ahora, en este tutorial de Pandas DataFrame, aprenderemos cómo crear Python Marco de datos de Pandas:
Puede convertir una matriz numpy en un marco de datos de pandas con pd.Data frame(). También es posible lo contrario. Para convertir un marco de datos de pandas en una matriz, puede usar np.array()
## Numpy to pandas
import numpy as np
h = [[1,2],[3,4]]
df_h = pd.DataFrame(h)
print('Data Frame:', df_h)
## Pandas to numpy
df_h_n = np.array(df_h)
print('Numpy array:', df_h_n)
Data Frame: 0 1
0 1 2
1 3 4
Numpy array: [[1 2]
[3 4]]
También puedes usar un diccionario para crear un marco de datos de Pandas.
dic = {'Name': ["John", "Smith"], 'Age': [30, 40]}
pd.DataFrame(data=dic)
| Edad | Nombre | |
|---|---|---|
| 0 | 30 | Juan |
| 1 | 40 | Smith |
Datos de distribución de pandas
Pandas tiene una API conveniente para crear un rango de fechas. aprendamos con Python Ejemplos de pandas:
pd.data_range(fecha,período,frecuencia):
- El primer parámetro es la fecha de inicio.
- El segundo parámetro es el número de períodos (opcional si se especifica la fecha de finalización)
- El último parámetro es la frecuencia: día: 'D', mes: 'M' y año: 'Y'.
## Create date
# Days
dates_d = pd.date_range('20300101', periods=6, freq='D')
print('Day:', dates_d)
Salida
Day: DatetimeIndex(['2030-01-01', '2030-01-02', '2030-01-03', '2030-01-04', '2030-01-05', '2030-01-06'], dtype='datetime64[ns]', freq='D')
# Months
dates_m = pd.date_range('20300101', periods=6, freq='M')
print('Month:', dates_m)
Salida
Month: DatetimeIndex(['2030-01-31', '2030-02-28', '2030-03-31', '2030-04-30','2030-05-31', '2030-06-30'], dtype='datetime64[ns]', freq='M')
Inspeccionar datos
Puede verificar el principio o el final del conjunto de datos con head() o tail() precedido por el nombre del marco de datos del panda como se muestra en el siguiente ejemplo de Pandas:
Paso 1) Crea una secuencia aleatoria con numpy. La secuencia tiene 4 columnas y 6 filas.
random = np.random.randn(6,4)
Paso 2) Luego creas un marco de datos usando pandas.
Utilice fechas_m como índice para el marco de datos. Significa que a cada fila se le dará un "nombre" o un índice, correspondiente a una fecha.
Finalmente le das un nombre a las 4 columnas con el argumento columnas
# Create data with date
df = pd.DataFrame(random,
index=dates_m,
columns=list('ABCD'))
Paso 3) Usando la función de cabeza
df.head(3)
| A | B | C | D | |
|---|---|---|---|---|
| 2030-01-31 | 1.139433 | 1.318510 | -0.181334 | 1.615822 |
| 2030-02-28 | -0.081995 | -0.063582 | 0.857751 | -0.527374 |
| 2030-03-31 | -0.519179 | 0.080984 | -1.454334 | 1.314947 |
Paso 4) Usando la función de cola
df.tail(3)
| A | B | C | D | |
|---|---|---|---|---|
| 2030-04-30 | -0.685448 | -0.011736 | 0.622172 | 0.104993 |
| 2030-05-31 | -0.935888 | -0.731787 | -0.558729 | 0.768774 |
| 2030-06-30 | 1.096981 | 0.949180 | -0.196901 | -0.471556 |
Paso 5) Una excelente práctica para obtener una pista sobre los datos es utilizar describe(). Proporciona los recuentos, media, estándar, mínimo, máximo y percentil del conjunto de datos.
df.describe()
| A | B | C | D | |
|---|---|---|---|---|
| contar | 6.000000 | 6.000000 | 6.000000 | 6.000000 |
| mean | 0.002317 | 0.256928 | -0.151896 | 0.467601 |
| enfermedades de transmisión sexual | 0.908145 | 0.746939 | 0.834664 | 0.908910 |
| min | -0.935888 | -0.731787 | -1.454334 | -0.527374 |
| 25% | -0.643880 | -0.050621 | -0.468272 | -0.327419 |
| 50% | -0.300587 | 0.034624 | -0.189118 | 0.436883 |
| 75% | 0.802237 | 0.732131 | 0.421296 | 1.178404 |
| max | 1.139433 | 1.318510 | 0.857751 | 1.615822 |
Datos de corte
El último punto de este Python El tutorial de Pandas trata sobre cómo dividir un marco de datos de Pandas.
Puede utilizar el nombre de la columna para extraer datos en una columna en particular, como se muestra en el siguiente ejemplo de Pandas:
## Slice ### Using name df['A'] 2030-01-31 -0.168655 2030-02-28 0.689585 2030-03-31 0.767534 2030-04-30 0.557299 2030-05-31 -1.547836 2030-06-30 0.511551 Freq: M, Name: A, dtype: float64
Para seleccionar varias columnas, debe utilizar dos veces el corchete, [[..,..]]
El primer par de corchetes significa que desea seleccionar columnas, el segundo par de corchetes indica qué columnas desea devolver.
df[['A', 'B']].
| A | B | |
|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | -0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | -1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Puedes dividir las filas con:
El siguiente código devuelve las primeras tres filas.
### using a slice for row df[0:3]
| A | B | C | D | |
|---|---|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 | 0.572301 | -0.031827 |
| 2030-02-28 | 0.689585 | 0.998266 | 1.164690 | 0.475975 |
| 2030-03-31 | 0.767534 | -0.940617 | 0.227255 | -0.341532 |
La función loc se utiliza para seleccionar columnas por nombre. Como es habitual, los valores que aparecen antes de la coma representan las filas y los que aparecen después, las columnas. Para seleccionar más de una columna, es necesario utilizar los corchetes.
## Multi col df.loc[:,['A','B']]
| A | B | |
|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | -0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | -1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Existe otro método para seleccionar varias filas y columnas en Pandas. Puedes usar iloc[]. Este método utiliza el índice en lugar del nombre de las columnas. El siguiente código devuelve el mismo marco de datos que el anterior.
df.iloc[:, :2]
| A | B | |
|---|---|---|
| 2030-01-31 | -0.168655 | 0.587590 |
| 2030-02-28 | 0.689585 | 0.998266 |
| 2030-03-31 | 0.767534 | -0.940617 |
| 2030-04-30 | 0.557299 | 0.507350 |
| 2030-05-31 | -1.547836 | 1.276558 |
| 2030-06-30 | 0.511551 | 1.572085 |
Soltar una columna
Puedes soltar columnas usando pd.drop()
df.drop(columns=['A', 'C'])
| B | D | |
|---|---|---|
| 2030-01-31 | 0.587590 | -0.031827 |
| 2030-02-28 | 0.998266 | 0.475975 |
| 2030-03-31 | -0.940617 | -0.341532 |
| 2030-04-30 | 0.507350 | -0.296035 |
| 2030-05-31 | 1.276558 | 0.523017 |
| 2030-06-30 | 1.572085 | -0.594772 |
Concatenación
Puedes concatenar dos DataFrame en Pandas. Puedes usar pd.concat()
En primer lugar, necesitas crear dos DataFrames. Hasta ahora todo bien, ya estás familiarizado con la creación de marcos de datos.
import numpy as np
df1 = pd.DataFrame({'name': ['John', 'Smith','Paul'],
'Age': ['25', '30', '50']},
index=[0, 1, 2])
df2 = pd.DataFrame({'name': ['Adam', 'Smith' ],
'Age': ['26', '11']},
index=[3, 4])
Finalmente, concatenas los dos DataFrame.
df_concat = pd.concat([df1,df2]) df_concat
| Edad | nombre | |
|---|---|---|
| 0 | 25 | Juan |
| 1 | 30 | Smith |
| 2 | 50 | Paul |
| 3 | 26 | Adam |
| 4 | 11 | Smith |
soltar_duplicados
Si un conjunto de datos puede contener información duplicada, `drop_duplicates` es una opción fácil de excluir filas duplicadas. Puedes ver que `df_concat` tiene una observación duplicada, `Smith` aparece dos veces en la columna `name`.
df_concat.drop_duplicates('name')
| Edad | nombre | |
|---|---|---|
| 0 | 25 | Juan |
| 1 | 30 | Smith |
| 2 | 50 | Paul |
| 3 | 26 | Adam |
Valores de clasificación
Puedes ordenar el valor con sort_values
df_concat.sort_values('Age')
| Edad | nombre | |
|---|---|---|
| 4 | 11 | Smith |
| 0 | 25 | Juan |
| 3 | 26 | Adam |
| 1 | 30 | Smith |
| 2 | 50 | Paul |
Cambiar nombre: cambio de índice
Puede utilizar cambiar nombre para cambiar el nombre de una columna en Pandas. El primer valor es el nombre de la columna actual y el segundo valor es el nombre de la nueva columna.
df_concat.rename(columns={"name": "Surname", "Age": "Age_ppl"})
| Edad_personas | Apellido | |
|---|---|---|
| 0 | 25 | Juan |
| 1 | 30 | Smith |
| 2 | 50 | Paul |
| 3 | 26 | Adam |
| 4 | 11 | Smith |
Resumen
A continuación se muestra un resumen del método más útil para la ciencia de datos con Pandas.
| datos de importacion | leer_csv |
|---|---|
| crear serie | de grado comercial |
| Crear marco de datos | Marco de datos |
| Crear rango de fechas | rango de fechas |
| cabeza de retorno | cabeza |
| cola de retorno | cola |
| Describir | describir |
| rebanada usando nombre | nombre de datos ['nombre de columna'] |
| Cortar usando filas | nombre_datos[0:5] |
