VBA Web Scrapping para se destacar

O que é Data Scrap?ping?

raspagem de dadosping é a técnica que ajuda extracExtrai as informações desejadas de uma página web HTML para um arquivo local em seu computador. Normalmente, esse arquivo local é um arquivo do Excel, um arquivo do Word ou qualquer outro tipo de arquivo. Microsoft Aplicativo de escritório. Ele ajuda a direcionar informações importantes da página da web.

raspagem de dadosping Torna-se valioso em um projeto baseado em pesquisa que depende da internet diariamente. Para ilustrar, considere um day trader que executa uma macro do Excel para extrair informações de mercado de um site financeiro e inseri-las em uma planilha do Excel usando VBA.

Como preparar a macro do Excel antes da extração de dadosping (Internet Explorer)

Existem alguns pré-requisitos que devem ser atendidos no arquivo de macro do Excel antes de iniciar a extração de dados.ping processo.

Esses pré-requisitos são os seguintes:

Passo 1) Abra uma macro baseada no Excel e acesse a opção Desenvolvedor do Excel.

Passo 2) Selecione a opção Visual Basic na faixa de opções Desenvolvedor.

Passo 3) Insira um novo módulo.

Passo 4) Inicialize uma nova sub-rotina.

Sub test()
End Sub

O módulo resultaria da seguinte forma:

Passo 5) Acesse a opção Referência na guia Ferramentas e faça referência a Microsoft Biblioteca de objetos HTML e Microsoft Controles da Internet.

Os seguintes arquivos devem ser referenciados pelo módulo, pois ajudam a abrir o Internet Explorer e facilitam a criação de scripts de macro.

Agora o arquivo Excel está pronto para interagir com o Internet Explorer. O próximo passo é incorporar scripts de macro que facilitem a extração de dados.ping em HTML.

Como abrir o Internet Explorer usando VBA do Excel

Passo 1) Inicialize a variável na sub-rotina conforme mostrado abaixo.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument

Passo 2) Para abrir o Internet Explorer usando VBA, escreva ie.Visible = True e pressione F5.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument
ie.Visible = True

O módulo teria a seguinte aparência:

Como abrir um site no Internet Explorer usando VBA

Aqui estão os passos para abrir um site no Internet Explorer usando VBA.

Passo 1) Depois de conseguir acessar o Internet Explorer usando o VBA do Excel, o próximo passo é acessar um site usando o VBA. Isso é facilitado pelo atributo Navigate, onde o URL é passado entre aspas duplas. Siga os passos indicados.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE

Passo 2) Pressione F5 para executar a macro. A seguinte página da web será aberta conforme mostrado.

Agora a macro do Excel está pronta para executar a raspagem.ping funções. O próximo passo mostra como a informação pode ser extracextraído do Internet Explorer usando VBA.

Como extrair informações de um site usando VBA

Suponha que o investidor diário queira acessar os dados do site diariamente. Cada vez que o investidor clicar no botão, os dados de mercado devem ser automaticamente importados para o Excel.

A partir do site acima, é necessário inspecionar um elemento e observar como os dados estão estruturados.

Passo 1) Acesse o código-fonte do HTML abaixo pressionando Control + Shift +I.

<table class="datatable">
<thead>
<tr>
<th>Company</th>
<th>Group</th>
<th>Pre Close (Rs)</th>
<th>Current Price (Rs)</th>
<th>% Change</th>
</tr>

O código-fonte seria o seguinte:

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document

Como você pode ver, os dados estão estruturados como uma única tabela HTML. Portanto, para extrair todos os dados da tabela HTML, você deve criar uma macro que colete os dados como uma coleção.

Em seguida, a coleção é colada no Excel. Para obter os resultados desejados, siga os passos abaixo.

Passo 2) Inicialize o documento HTML na sub-rotina.

Passo 3) Inicialize o elemento de coleção presente no documento HTML.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Passo 4) Inicialize as células da planilha do Excel com a ajuda de um loop aninhado, conforme mostrado.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

O Excel pode ser inicializado usando o atributo Range ou o atributo Cells da planilha. Para reduzir a complexidade do script VBA, os dados da coleção são inicializados com o atributo Cells da Planilha 1 na pasta de trabalho.

Assim que o script da macro estiver pronto, atribua a sub-rotina a um botão do Excel e saia do módulo VBA. Dê ao botão o nome de "Atualizar" ou qualquer outro nome adequado. Neste exemplo, o botão foi rotulado como "Atualizar".

Passo 5) Pressione o botão Atualizar para obter o resultado abaixo.

Passo 6) Compare os resultados no Excel com os resultados no Internet Explorer.

Perguntas Frequentes