Cómo instalar y configurar HIVE Metastore con MYSQL

⚡ Resumen inteligente

Hive metastore almacena cada definición de tabla, nombre de columna y tipo de datos detrás de Apache Hive, y mover ese repositorio de la base de datos Derby predeterminada a MySQL es lo que permite que varios usuarios se conecten a la vez.

  • 🗄️ Lo que contiene: El metastore guarda los metadatos del esquema en tablas relacionales, mientras que los datos de la tabla en sí permanecen en HDFS.
  • 🚫 Por qué fracasa Derby: El metastore Derby incluido acepta una sesión activa, lo que lo descarta para cualquier clúster compartido o de producción.
  • 🔧 Cuatro propiedades: ConexiónURL, ConnectionDriverName, ConnectionUserName y ConnectionPassword en hive-site.xml apuntan a Hive en MySQL.
  • 🔗 Colocación de conductores: El MySQL El conector JDBC debe estar vinculado al directorio lib de Hive antes de que cualquier intento de conexión tenga éxito.
  • 🧱 Esquema primero: La utilidad schematool crea las tablas del metastore, y Hive se niega a iniciarse con un esquema no inicializado.
  • 🔎 Verificar en MySQL: Una tabla creada en Hive aparece inmediatamente como una fila en la tabla TBLS de la base de datos del metastore.

Cómo instalar y configurar el metastore de Hive con MySQL

¿Qué es HIVE Metastore?

Hive metastore es un repositorio que almacena metadatos (nombres de columnas, tipos de datos, comentarios, etc.) relacionados con Colmena Apache usando MySQL or PostgreSQL. Este metastore de Hive se implementa mediante tablas en una base de datos relacional.

En el metastore no se almacenan las filas en sí. Los registros permanecen en HDFS, y el metastore solo registra dónde reside cada tabla y cómo se llaman sus columnas, por lo que su pérdida afecta al esquema, no a los datos.

Por qué utilizar MySQL en Hive como Metastore

El backend de metastore es opcional, no una parte fija de Hive, y la configuración predeterminada es deliberadamente minimalista. Tres limitaciones hacen que casi todas las instalaciones lo descarten.

  • Por defecto, Hive incluye la base de datos Derby como metastore.
  • Derby solo puede admitir un único usuario activo a la vez.
  • Derby no se recomienda para entornos de producción.

Entonces, la solución aquí es

  • Usar MySQL como almacenamiento de metadatos en el backend para conectar a varios usuarios con Hive a la vez.
  • MySQL es la mejor opción para el metastore independiente

Cómo instalar y configurar Hive Metastore para MySQL Database

Los nueve pasos que se describen a continuación se ejecutan en orden en una máquina que ya tiene Hadoop y Hive instalados. Cada paso finaliza con una captura de pantalla de la salida real de la terminal o la consola.

Paso 1) Instalar MySQL Server
En este paso, vamos a realizar dos tareas.

  1. Instalación de mysql-server
  2. Comprobando el servidor MySQL y su proceso

Usando el sudo apt-get install mysql-server comando, podemos descargar MySQL servidor. Instalar MySQL como se muestra en la captura de pantalla a continuación.

Terminal ejecutando sudo apt-get install mysql-server en Ubuntu

Después de una instalación exitosa, MySQL Se ejecutará como se muestra en la captura de pantalla a continuación, donde la comprobación del proceso confirma que el servicio está activo.

Terminal que confirma que el proceso mysql-server se está ejecutando después de la instalación.

Paso 2) Instalar MySQL Java Conector
Instalación de la MySQL Java conector. Esto es para Java dependencias y propósitos de conexión, porque Hive alcanza MySQL a través de JDBC. La siguiente captura de pantalla muestra la instalación del paquete.

Instalación de libmysql-java en la terminal MySQL Java paquete de conectores

Paso 3) Crear un enlace suave para el conector
Creando un enlace simbólico para el conector en el directorio lib de Hive. Este es el enlace simbólico entre Java y MySQLy es lo que coloca el archivo JAR del controlador en el classpath de Hive. El comando y su resultado aparecen a continuación.

Terminal creando un enlace blando para el MySQL JAR del conector en el directorio lib de Hive

Paso 4) Configuración MySQL almacenamiento en Hive
El MySQL Es necesario abrir la consola como usuario root antes de poder crear cualquier usuario de Hive, como se muestra a continuación.

Apertura de la terminal MySQL shell con el comando mysql -u root -p

  • Escriba mysql –u root –p seguido de la contraseña.
  • Aquí, –u representa el nombre de usuario root y –p denota la contraseña.
  • Después de ingresar el comando anterior, el usuario debe ingresar una contraseña válida y luego presionar Enter.
  • Entonces entrará en MySQL modo shell

Paso 5) Crear nombre de usuario y contraseña
Creación de un nombre de usuario y contraseña para MySQLy otorgando privilegios. La captura de pantalla a continuación muestra las tres instrucciones que se ejecutan dentro del MySQL cáscara.

MySQL shell creando la cuenta hiveuser y otorgando privilegios

Tenemos que ejecutar los comandos como se muestra a continuación,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

On MySQL 8. La forma combinada de la segunda instrucción ya no se analiza correctamente, porque se eliminó IDENTIFIED BY de GRANT. Primero cree la cuenta y luego otórguele el permiso, y repita la línea CREATE USER tanto para el host localhost como para el host comodín.

Paso 6) Configurar hive-site.xml

  • Después del paso 5 se asigna un nombre de usuario y una contraseña al MySQL base de datos y otorga privilegios.
  • Aquí configuraremos algunas propiedades en Hive para obtener una conexión con el MySQL base de datos.

El archivo de configuración se abre desde el directorio conf de Hive, como se muestra en la siguiente captura de pantalla.

Apertura de la terminal: hive-site.xml para su edición en el directorio de configuración de Hive.

La captura de pantalla que aparece a continuación muestra el archivo final con las cuatro propiedades ya incluidas.

hive-site.xml que muestra las cuatro propiedades de conexión javax.jdo.option

De la captura de pantalla anterior, observamos lo siguiente. Aquí estamos definiendo 4 propiedades que son necesarias para establecer MySQL como el metastore en Hive.

Estos son los siguientes:

  1. Esta propiedad es para la conexión URLAquí estamos definiendo la conexión.URL en esta propiedad. Actúa como la cadena de conexión JDBC y también representa la ubicación del metastore.
  2. Esta propiedad es para el nombre del controlador de conexión. Aquí, com.mysql.jdbc.Driver es el valor que debemos mencionar en la etiqueta de valor.
  3. Esta propiedad se utiliza para definir el nombre de usuario de la conexión. En este caso, definimos "hiveuser" como el nombre de usuario.
  4. Esta propiedad se utiliza para indicar la contraseña de conexión. En este caso, definimos "hivepassword" como la contraseña del usuario.

Una vez que las propiedades se colocan en hive-site.xml, debemos guardar manualmente (Ctrl+S) y cerrar el archivo. Después de cerrar este archivo, debemos crear una tabla de Hive y verificar los detalles de la tabla en MySQL almacenamiento.

Coloque este código en hive-site.xml

colmena-sitio.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Los dos valores anteriores dependen de la versión del conector que se esté utilizando. MySQL Connector/J 8 cambió el nombre de la clase del controlador a com.mysql.cj.jdbc.Driver, y también espera una configuración explícita de puerto y SSL, por lo que una versión moderna URL Normalmente se lee jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&useSSL=false. Dado que la contraseña está en texto plano, el archivo solo debería ser legible por la cuenta de servicio de Hive.

Paso 7) Crear tabla
Cree la tabla “guru99” en Hive, como se muestra en la consola de Hive a continuación.

Hive shell crea la tabla guru99 con una columna de tipo entero y otra de tipo cadena.

De la captura de pantalla anterior, podemos observar lo siguiente

  • Creación de una tabla llamada “guru99” con dos nombres de columna
  • Se mencionan los nombres de las columnas con sus tipos de datos, uno de ellos un entero y el otro una cadena de caracteres.

En el siguiente paso, vamos a comprobar si está almacenado en MySQL o no.

Paso 8) Ingrese a MySQL modo shell
En primer lugar, se selecciona la base de datos del metastore, y a continuación se muestra el listado de tablas.

MySQL Ejecutar shell use metastore y show tables para listar las tablas de metastore

De la captura de pantalla anterior, podemos observar lo siguiente

  • Primero tenemos que seleccionar la base de datos con “usar metastore”.
  • Una vez seleccionado el metastore, podemos comprobar las tablas que contiene utilizando el comando "show tables", como se muestra en la captura de pantalla.
  • Cualesquiera que sean las tablas que se creen en Hive, los metadatos correspondientes a esas tablas se almacenan en TBLS en el MySQL base de datos de CRISPR Medicine News
  • La tabla “guru99” se crea en Hive, por lo que los metadatos correspondientes se almacenan en MySQL bajo TBLS

Paso 9) Ingrese seleccione * de TBLS
Comprobando si la tabla creada está presente en MySQL o no. La consulta y su resultado aparecen en la captura de pantalla a continuación.

MySQL shell ejecutando select * from TBLS y mostrando la fila de la tabla guru99

Al ingresar select * desde TBLS, se mostrarán las tablas que creamos en el modo shell de Hive.

De la captura de pantalla anterior podemos observar lo siguiente:

  • El nombre de la tabla “guru99” que se creó en Hive se puede mostrar en MySQL modo shell
  • Además, también proporcionará información como la hora de creación de la tabla, la hora de acceso y otras propiedades, como se muestra en la captura de pantalla anterior.

Cómo inicializar el esquema del metastore de Hive con schematool

El indicador createDatabaseIfNotExist en la conexión URL crea una base de datos de metastore vacía, pero no crea las aproximadamente setenta tablas que Hive espera dentro de ella. En Hive 1.x y versiones posteriores, esa tarea corresponde a la utilidad schematool y se omite.ping Es la razón más común por la que un metastore recién configurado se niega a iniciarse.

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

El comando lee las mismas cuatro propiedades del archivo hive-site.xml, se conecta con la cuenta de usuario de Hive y ejecuta el script SQL incluido que coincide con la versión de Hive. Una ejecución exitosa finaliza con un mensaje de confirmación, tras lo cual se puede verificar el estado en cualquier momento.

$HIVE_HOME/bin/schematool -dbType mysql -info

Las banderas que se muestran a continuación abarcan todo el ciclo de vida de un esquema de metastore.

Opción ¿Qué hace?
-dbType Indica el tipo de backend, como mysql, derby, postgres, oracle o mssql.
-inicializar esquema Crea las tablas del metastore para la versión actual de Hive.
-información Informa la versión del esquema registrada en la base de datos.
-actualizarEsquema Migra un esquema existente después de una actualización de Hive.
-validar Comprueba el esquema en busca de tablas faltantes y discrepancias de versión.

Una propiedad relacionada que conviene conocer antes del primer inicio. Cuando hive.metastore.schema.verification es verdadero, Hive compara la versión del esquema en MySQL contra sí mismo y se niega a ejecutarse en caso de discrepancia. Esa comprobación es una medida de seguridad, por lo que la respuesta correcta es ejecutar la actualización en lugar de desactivarla. Lo mismo MySQL El backend es utilizado por la instalación de Hive que se describe en instalar Hive en Ubuntu.

Errores comunes del metastore de Hive y cómo solucionarlos.

La mayoría de los fallos en esta etapa producen uno de un puñado de mensajes, y cada uno apunta a un paso específico superior en lugar de a Hive en sí.

Síntoma Causa y solución
No se encontró información de versión en el metastore. El esquema nunca se creó. Ejecute schematool con -initSchema contra la misma base de datos especificada en la conexión. URL
Excepción ClassNotFoundException para el controlador JDBC El archivo JAR del conector no se encuentra en el directorio lib de Hive, o bien se está utilizando Connector/J 8 y la clase ahora es com.mysql.cj.jdbc.Driver. Vuelva a comprobar el enlace simbólico del paso 3.
Acceso denegado para el usuario hiveuser. Los privilegios se otorgaron a un solo host. Cree la cuenta tanto para localhost como para el host comodín y luego ejecute flush privileges.
Error de sintaxis cerca de IDENTIFIED BY MySQL 8. Se eliminó IDENTIFIED BY de la instrucción GRANT. Primero ejecute CREATE USER y después GRANT.
No se permite la recuperación de la clave pública. Connector/J 8 rechaza de forma predeterminada un handshake no cifrado. Añada useSSL=false y allowPublicKeyRetrieval=true al JDBC. URL en una red de confianza
Faltan tablas después de una actualización de Hive. El esquema aún coincide con la versión anterior. Ejecute schematool con -upgradeSchema en lugar de deshabilitar la verificación del esquema.

Una vez que el metastore responde de manera confiable, las definiciones de tabla que registra se crean con las instrucciones descritas en Tabla de creación, modificación y eliminación de Hive.

Preguntas Frecuentes

Hive ofrece apoyo a Derby, MySQL, PostgreSQL, Oracle y Microsoft SQL Servery schematool acepta cada uno de ellos a través del indicador -dbType. Derby sigue siendo el predeterminado y permanece limitado a una sola sesión.

Embedded ejecuta Derby dentro del proceso Hive. Local ejecuta el código del metastore dentro de Hive pero contra una base de datos externa como MySQLRemote gestiona el metastore como su propio servicio Thrift, que comparten varios clientes.

DBS registra bases de datos, TBLS registra tablas, COLUMNS_V2 registra definiciones de columnas, SDS registra descriptores de almacenamiento y PARTITIONS registra entradas de partición. Estos nombres son internos, por lo que se recomienda consultarlos para su inspección en lugar de editarlos manualmente.

Almacene el archivo en un almacén de claves del proveedor de credenciales de Hadoop y configure `hive.metastore.credential.provider.path` para que apunte a ese archivo; luego, elimine el valor sin formato. Restringir los permisos de archivo en `hive-site.xml` es la solución mínima.

Los archivos en HDFS sobreviven, pero cada definición de tabla, partición y columna desaparece y Hive ya no puede leerlas. Regular MySQL Por lo tanto, las copias de seguridad de la base de datos del metastore forman parte de la copia de seguridad normal del clúster.

El servicio de metadatos Thrift escucha en el puerto 9083 de forma predeterminada, configurado a través de hive.metastore.port. Los clientes acceden a él mediante hive.metastore.uris en lugar de credenciales JDBC directas, lo que evita que la contraseña de la base de datos esté en las máquinas cliente.

Sí. La detección de anomalías en los registros de consultas del metastore señala picos repentinos en las llamadas, listados de particiones lentos y crecimiento descontrolado de tablas antes de que expiren los trabajos. El modelo destaca posibles causas, y un administrador aún debe confirmarlas.

Copilot genera el bloque de propiedades javax.jdo.option a partir de un breve comentario, y los asistentes de Agentic pueden automatizar toda la configuración. Verifique la clase del controlador y el puerto, ya que los datos de entrenamiento aún prefieren el nombre de conector anterior.

Resumir este post con: