Web Scrapping med VBA

Hvad er data scrapingping?

Data scrapingping er teknikken, der hjælper i eks'entracoverføring af ønskede oplysninger fra en HTML-webside til en lokal fil, der findes på din lokale maskine. Normalt kan en lokal fil svare til en Excel-fil, Word-fil eller for eksempel en hvilken som helst anden Microsoft kontoransøgning. Det hjælper med at kanalisere kritisk information fra websiden.

Dataskrabetping bliver simpelt, når man arbejder på et forskningsbaseret projekt dagligt, og et sådant projekt er udelukkende afhængigt af internettet og en hjemmeside. For yderligere at illustrere emnet kan vi tage eksemplet med en daytrader, der kører en Excel-makro til at trække markedsinformation fra en finanshjemmeside ind i et Excel-ark ved hjælp af VBA.

Sådan forbereder du en Excel-makro før du udfører datascrapingping bruger Internet Explorer?

Der er visse forudsætninger, der skal udføres på Excel-makrofilen, før man går i gang med dataskrabning.ping i Excel.

Disse forudsætninger er som følger: -

Trin 1) Åbn en Excel-baseret makro og få adgang til udviklermuligheden Excel.

Trin 2) Vælg Visual Basic-indstillingen under Udviklerbånd.

Trin 3) Indsæt et nyt modul.

Trin 4) Initialiser en ny underrutine

Sub test()
End sub

Modulet vil resultere som følger: -

Trin 5) Få adgang til referencemuligheden under værktøjsfanen og reference Microsoft HTML-objektbibliotek og Microsoft internet kontrol.

Følgende filer skal refereres til modulet, da det hjælper med at åbne Internet Explorer og letter udviklingen af ​​makroscripting.

Nu er Excel-filen klar til at interagere med Internet Explorer. Det næste trin ville være at inkorporere makroskripter, der ville lette dataskrabningen.ping i HTML.

Hvordan åbner man Internet Explorer ved hjælp af Excel VBA?

Trin 1) Initialiser variablen i underrutinerne som vist nedenfor

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument

Trin 2) For at åbne Internet Explorer ved hjælp af VBA, skriv altså synlig=sand og tryk F5.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument
Ie.visible=true

Modulet ser således ud: -

Hvordan åbner man hjemmeside i Internet Explorer ved hjælp af VBA?

Her er trin til at åbne webstedet i Internet exploer ved hjælp af VBA

Trin 1) Når du er i stand til at få adgang til Internet Explorer ved hjælp af Excel VBA, vil det næste trin inkorporere adgang til et websted ved hjælp af VBA. Dette lettes af Navigate Attribute, hvor URL'en skal passere som dobbelte anførselstegn i attributten. Følg de følgende trin som vist.

Sub test()
Dim, ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.navigate"https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE

Trin 2) – Tryk på F5 for at udføre makroen. Den følgende webside vil blive åbnet som vist

Nu er Excel-makroen klar til at udføre scratch'en.ping funktioner. Det næste trin ville vise, hvordan informationen kan udvekslestrachentet fra Internet Explorer ved hjælp af VBA.

Hvordan skraber man information fra webstedet ved hjælp af VBA?

Antag, at daytraderen ønsker at få adgang til data fra hjemmesiden på daglig basis. Hver gang dagshandleren trykker på knappen, skal den automatisk trække markedsdataene ind i Excel.

Fra ovenstående hjemmeside vil det være nødvendigt at inspicere et element og observere, hvordan data er struktureret.

Trin 1) Få adgang til nedenstående HTML-kildekode ved at trykke på kontrol + Shift + I

<table class="datatable">
<thead>
<tr>
<th>Company</th>
<th>Group</th>
<th>Pre Close (Rs)</th>
<th>Current Price (Rs)</th>
<th>% Change</th>
</tr>

Kildekoden ville være som følger: -

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document

Da det kan ses, at data er struktureret som en enkelt HTML-tabel. Derfor, for at trække hele data fra html-tabellen, ville det kræve design af makro, som indsamler dataene i form af en samling.

Samlingen ville derefter blive indsat i excel. For at opnå de ønskede resultater skal du udføre nedenstående trin: -

Trin 2) Initialiser HTML-dokumentet i underrutinen

VBA-modulet ville se ud som følger: -

Trin 3) Initialiser samlingselementet i HTML-dokumentet

VBA-modulet ville se ud som følger: -

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Trin 4) Initialiser Excel-arkcellerne ved hjælp af indlejret løkke som vist

VBA-modulet ville se ud som følger: -

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Excel kan initialiseres ved at bruge range-attributten for excel-arket eller gennem celle-attributten for excel-arket. For at reducere kompleksiteten af ​​VBA-scriptet initialiseres indsamlingsdataene til excel-celle-attributten for ark 1, der findes i projektmappen.

Når makroscriptet er klar, skal du videregive og tildele subrutinen til excel-knappen og afslutte modulet i VBA. Mærk knappen som opdatering eller et hvilket som helst passende navn, der kunne initialiseres til den. I dette eksempel initialiseres knappen som en opdatering.

Trin 5) Tryk på opdateringsknappen for at få nedenstående output

Trin 6) Sammenlign resultaterne i Excel med resultaterne af Internet Explorer

Resumé

• Dataskrabetping tillader brugeren kun at skrabe de oplysninger ud, som brugeren ønsker. For at finde de bedste værktøjer til dette formål kan du se denne liste over webscraping.ping værktøjer, der kan hjælpe dig effektivt med attracde ønskede oplysninger fra forskellige hjemmesider.
• Arping kan udføres ved hjælp af internet explorer.
• Processen med scraping er langsommere i tilfælde af Internet Explorer; den leverer dog de ønskede resultater til brugeren.
• Skrabenping bør udføres med absolut forsigtighed og omhu, da det kan beskadige og få det system, der bruges til scratching, til at gå ned.ping.