VBA Web Scrapping para sobresalir

⚡ Resumen inteligente

Web scrapping con VBA extracts datos de páginas web HTML directamente a Excel, utilizando la automatización de Internet Explorer y el Microsoft Biblioteca de objetos HTML para navegar por un sitio web, leer una tabla HTML y escribir los valores recopilados en las celdas de una hoja de cálculo.

  • 🧰 Automatización VBA: VBA controla Internet Explorer desde Excel para cargar una página web y leer su código HTML.
  • 📚 Referencias requeridas: Microsoft Biblioteca de objetos HTML y Microsoft Los controles de Internet deben estar referenciados en el proyecto.
  • 🌐 Método de navegación: El método Navigate abre un destino URLy el código espera hasta que la página esté lista.
  • 🧱 Análisis de tablas HTML: getElementsByTagName lee la tabla para poder recorrer sus filas y celdas.
  • 📊 Escribir en las celdas: Los valores recopilados se escriben en celdas de la hoja de cálculo, a menudo detrás de un botón de Actualizar.
  • 🤖 Asistencia de IA: Las herramientas y los copilotos de IA ahora generan scraping Codificar y adaptar los selectores cuando cambien los diseños.

VBA Web Scrapping para sobresalir

¿Qué es Data Scrap?ping?

Datos raspadosping es la técnica que ayuda a extracla información deseada de una página web HTML a un archivo local en su máquina. Normalmente, ese archivo local es un archivo de Excel, un archivo de Word o cualquier Microsoft Aplicación de oficina. Ayuda a canalizar información crítica desde la página web.

Datos raspadosping Se vuelve valioso en un proyecto de investigación que depende de internet a diario. Para ilustrarlo, consideremos a un operador bursátil que ejecuta una macro de Excel para extraer información de mercado de un sitio web financiero y guardarla en una hoja de cálculo mediante VBA.

Cómo preparar la macro de Excel antes de extraer los datosping (Explorador de Internet)

Existen ciertos requisitos previos que deben cumplirse en el archivo de macro de Excel antes de comenzar la extracción de datos.ping .

Los requisitos previos son los siguientes:

Paso 1) Abra una macro de Excel y acceda a la opción Desarrollador de Excel.

Prepare la macro de Excel antes de extraer los datos.ping usando Internet Explorer

Paso 2) Seleccione la opción Visual Basic en la cinta de opciones Desarrollador.

Prepare la macro de Excel antes de extraer los datos.ping usando Internet Explorer

Paso 3) Insertar un nuevo módulo.

Prepare la macro de Excel antes de extraer los datos.ping usando Internet Explorer

Paso 4) Inicializa una nueva subrutina.

Sub test()
End Sub

El módulo quedaría de la siguiente manera:

Prepare la macro de Excel antes de extraer los datos.ping usando Internet Explorer

Paso 5) Acceda a la opción Referencia en la pestaña Herramientas y haga referencia a la Microsoft Biblioteca de objetos HTML y Microsoft Controles de Internet.

Los siguientes archivos deben incluirse como referencia en el módulo, ya que ayudan a abrir Internet Explorer y facilitan la creación de macros.

Referencias Microsoft Biblioteca de objetos HTML y controles de Internet

Ahora el archivo de Excel está listo para interactuar con Internet Explorer. El siguiente paso es incorporar scripts de macro que faciliten la extracción de datos.ping en HTML.

Cómo abrir Internet Explorer usando Excel VBA

Paso 1) Inicialice la variable en la subrutina como se muestra a continuación.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument

Paso 2) Para abrir Internet Explorer usando VBA, escriba ie.Visible = True y presione F5.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument
ie.Visible = True

El módulo tendría el siguiente aspecto:

Abra Internet Explorer usando Excel VBA

Abra Internet Explorer usando Excel VBA

Cómo abrir un sitio web en Internet Explorer usando VBA

Aquí están los pasos para abrir un sitio web en Internet Explorer usando VBA.

Paso 1) Una vez que pueda acceder a Internet Explorer usando Excel VBA, el siguiente paso es acceder a un sitio web usando VBA. Esto se facilita mediante el atributo Navigate, donde URL Se pasa entre comillas dobles. Siga los pasos que se muestran.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE

Paso 2) Pulse F5 para ejecutar la macro. Se abrirá la siguiente página web, tal como se muestra.

Abrir sitio web en Internet Explorer usando VBA

Ahora la macro de Excel está lista para realizar el raspadoping funciones. El siguiente paso muestra cómo se puede extraer la información.tracted desde Internet Explorer usando VBA.

Cómo extraer información de un sitio web usando VBA

Supongamos que el inversor quiere acceder a los datos del sitio web diariamente. Cada vez que haga clic en el botón, los datos del mercado deberían importarse automáticamente a Excel.

En el sitio web mencionado anteriormente, es necesario inspeccionar un elemento y observar cómo están estructurados los datos.

Paso 1) Acceda al código fuente del HTML que aparece a continuación pulsando Control + Shift + Yo.

<table class="datatable">
<thead>
<tr>
<th>Company</th>
<th>Group</th>
<th>Pre Close (Rs)</th>
<th>Current Price (Rs)</th>
<th>% Change</th>
</tr>

El código fuente sería el siguiente:

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document

Como puede observar, los datos están estructurados como una única tabla HTML. Por lo tanto, para extraer todos los datos de la tabla HTML, debe diseñar una macro que recopile los datos como una colección.

A continuación, la colección se pega en Excel. Para obtener los resultados deseados, siga los pasos que se indican a continuación.

Paso 2) Inicializa el documento HTML en la subrutina.

Paso 3) Inicializa el elemento de colección presente en el documento HTML.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Paso 4) Inicialice las celdas de la hoja de Excel con la ayuda de un bucle anidado como se muestra.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Excel se puede inicializar utilizando el atributo Range o el atributo Cells de la hoja. Para reducir la complejidad del script VBA, los datos de la colección se inicializan con el atributo Cells de la Hoja 1 del libro de trabajo.

Una vez que el script de macro esté listo, asigne la subrutina a un botón de Excel y salga del módulo VBA. Etiquete el botón como "Actualizar" o con cualquier otro nombre adecuado. En este ejemplo, el botón se llama "Actualizar".

Extraiga información del sitio web usando VBA

Paso 5) Pulse el botón Actualizar para obtener el resultado que aparece a continuación.

Extraiga información del sitio web usando VBA

Paso 6) Compare los resultados en Excel con los resultados en Internet Explorer.

Extraiga información del sitio web usando VBA

Preguntas Frecuentes

Se necesitan dos referencias en el editor VBA en Herramientas, Referencias: Microsoft Biblioteca de objetos HTML y Microsoft Controles de Internet. Permiten que VBA abra Internet Explorer, navegue a un URLy lee los elementos HTML de la página.

Depende del sitio web. Muchos sitios restringen el rastreo automatizado.ping en sus términos de servicio, así que revíselos primero y evite recopilar datos personales o protegidos por derechos de autor.ping Los datos públicos, autorizados para análisis personal, generalmente conllevan un menor riesgo.

Internet Explorer está obsoleto, por lo que los proyectos modernos utilizan el Selenium VBA enfoque, que impulsa Chrome, Firefox, o Edge. Selenium Ofrece compatibilidad con múltiples navegadores y una ubicación de elementos más fiable para los sitios web actuales.

Sí. Los raspadores y copilotos impulsados ​​por IA pueden identificar campos de datos, generar extracEl código de ción se adapta automáticamente a los cambios de diseño. Los modelos de aprendizaje automático también analizan páginas no estructuradas, lo que reduce el esfuerzo manual de escribir y mantener el código.ping scripts.

La IA utiliza visión artificial y procesamiento del lenguaje natural para reconocer tablas, precios y texto en una página, incluso sin selectores fijos. Esta inteligencia artificial utiliza visión artificial y procesamiento del lenguaje natural para reconocer tablas, precios y texto en una página, incluso sin selectores fijos.tracción hace rasguñoping es más resistente cuando un sitio web cambia su estructura.

Resumir este post con: