VBA Web Scrapping til Excel

Hvad er data scrapingping?

Data scrapingping er teknikken, der hjælper ekstract ønskede oplysninger fra en HTML-webside til en lokal fil på din maskine. Normalt er den lokale fil en Excel-fil, en Word-fil eller en hvilken som helst anden Microsoft Office-applikation. Det hjælper med at kanalisere vigtige oplysninger fra websiden.

Data scrapingping bliver værdifuld i et forskningsbaseret projekt, der er afhængig af internettet dagligt. For at illustrere, kan man forestille sig en daytrader, der kører en Excel-makro for at trække markedsoplysninger fra en finanshjemmeside ind i et Excel-ark ved hjælp af VBA.

Sådan forbereder du Excel-makroen før dataskrabningping (Internet Explorer)

Der er visse forudsætninger, der skal udføres på Excel-makrofilen, før dataskrabningen påbegyndes.ping proces.

Disse forudsætninger er som følger:

Trin 1) Åbn en Excel-baseret makro, og åbn Udvikler-indstillingen i Excel.

Trin 2) Vælg Visual Basic-indstillingen under Udvikler-båndet.

Trin 3) Indsæt et nyt modul.

Trin 4) Initialiser en ny subrutine.

Sub test()
End Sub

Modulet ville resultere som følger:

Trin 5) Få adgang til referencefunktionen under fanen Værktøjer, og se på Microsoft HTML-objektbibliotek og Microsoft Internetkontroller.

Følgende filer skal refereres til modulet, da de hjælper med at åbne Internet Explorer og muliggøre makroscripting.

Nu er Excel-filen klar til at interagere med Internet Explorer. Næste trin er at inkorporere makroskripter, der letter dataskrabning.ping i HTML.

Sådan åbner du Internet Explorer ved hjælp af Excel VBA

Trin 1) Initialiser variablen i subrutinen som vist nedenfor.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument

Trin 2) For at åbne Internet Explorer ved hjælp af VBA, skriv ie.Visible = True og tryk på F5.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument
ie.Visible = True

Modulet ville se således ud:

Sådan åbner du en hjemmeside i Internet Explorer ved hjælp af VBA

Her er trinnene til at åbne et websted i Internet Explorer ved hjælp af VBA.

Trin 1) Når du har adgang til Internet Explorer ved hjælp af Excel VBA, er næste trin at få adgang til et websted ved hjælp af VBA. Dette gøres lettere af Navigate-attributten, hvor URL sendes som dobbelte anførselstegn. Følg de viste trin.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE

Trin 2) Tryk på F5 for at udføre makroen. Følgende webside åbnes som vist.

Nu er Excel-makroen klar til at udføre scratchenping funktioner. Det næste trin viser, hvordan informationen kan udvekslestrachentet fra Internet Explorer ved hjælp af VBA.

Sådan skraber du information fra et websted ved hjælp af VBA

Antag, at daytraderen ønsker at tilgå dataene fra hjemmesiden dagligt. Hver gang daytraderen klikker på knappen, burde den automatisk hente markedsdataene ind i Excel.

Fra ovenstående hjemmeside er det nødvendigt at inspicere et element og observere, hvordan dataene er struktureret.

Trin 1) Få adgang til kildekoden til HTML-koden nedenfor ved at trykke på Ctrl + Shift + Jeg.

<table class="datatable">
<thead>
<tr>
<th>Company</th>
<th>Group</th>
<th>Pre Close (Rs)</th>
<th>Current Price (Rs)</th>
<th>% Change</th>
</tr>

Kildekoden ville være som følger:

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document

Som du kan se, er dataene struktureret som en enkelt HTML-tabel. For at hente alle dataene fra HTML-tabellen skal du derfor designe en makro, der indsamler dataene som en samling.

Samlingen indsættes derefter i Excel. For at opnå de ønskede resultater skal du udføre nedenstående trin.

Trin 2) Initialiser HTML-dokumentet i subrutinen.

Trin 3) Initialiser samlingselementet, der findes i HTML-dokumentet.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Trin 4) Initialiser Excel-arkcellerne ved hjælp af en indlejret løkke som vist.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Excel kan initialiseres ved hjælp af attributten Range eller attributten Cells i arket. For at reducere kompleksiteten af ​​VBA-scriptet initialiseres samlingsdataene til attributten Cells i Ark 1 i projektmappen.

Når makroskriptet er klar, skal du tildele subrutinen til en Excel-knap og afslutte VBA-modulet. Navngiv knappen som Opdater eller et andet passende navn. I dette eksempel er knappen mærket Opdater.

Trin 5) Tryk på Opdater-knappen for at få nedenstående output.

Trin 6) Sammenlign resultaterne i Excel med resultaterne i Internet Explorer.

Ofte Stillede Spørgsmål