VBA Web Scrapping till Excel

Vad är dataskrapningping?

Dataskrapningping är tekniken som hjälper extract önskad information från en HTML-webbsida till en lokal fil på din dator. Normalt är den lokala filen en Excel-fil, en Word-fil eller någon annan Microsoft Office-applikation. Det hjälper till att kanalisera viktig information från webbsidan.

Dataskrapningping blir värdefullt i ett forskningsbaserat projekt som är beroende av internet dagligen. För att illustrera, tänk dig en daytrader som kör ett Excel-makro för att hämta marknadsinformation från en finanswebbplats till ett Excel-ark med hjälp av VBA.

Hur man förbereder Excel-makrot innan dataskrapningping (Internet Explorer)

Det finns vissa förutsättningar som måste uppfyllas på Excel-makrofilen innan dataskrapningen påbörjas.ping processen.

Dessa förutsättningar är följande:

Steg 1) Öppna ett Excel-baserat makro och öppna alternativet Utvecklare i Excel.

Steg 2) Välj alternativet Visual Basic under menyfliksområdet Utvecklare.

Steg 3) Sätt in en ny modul.

Steg 4) Initiera en ny subrutin.

Sub test()
End Sub

Modulen skulle resultera enligt följande:

Steg 5) Gå till alternativet Referens under fliken Verktyg och referera till Microsoft HTML-objektbibliotek och Microsoft Internetkontroller.

Följande filer måste refereras till modulen, eftersom de hjälper till att öppna Internet Explorer och underlättar makroskript.

Nu är Excel-filen redo att interagera med Internet Explorer. Nästa steg är att införliva makroskript som underlättar dataskrapning.ping i HTML.

Hur man öppnar Internet Explorer med hjälp av Excel VBA

Steg 1) Initiera variabeln i subrutinen enligt nedan.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument

Steg 2) För att öppna Internet Explorer med VBA, skriv ie.Visible = True och tryck på F5.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument
ie.Visible = True

Modulen skulle se ut så här:

Hur man öppnar en webbplats i Internet Explorer med hjälp av VBA

Här är stegen för att öppna en webbplats i Internet Explorer med hjälp av VBA.

Steg 1) När du väl kan komma åt Internet Explorer med Excel VBA är nästa steg att komma åt en webbplats med VBA. Detta underlättas av Navigate-attributet, där URL skickas som dubbla citationstecken. Följ stegen som visas.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE

Steg 2) Tryck på F5 för att köra makrot. Följande webbsida skulle öppnas som visas.

Nu är Excel-makrot redo att utföra skrapningenping funktioner. Nästa steg visar hur informationen kan extrachämtad från Internet Explorer med hjälp av VBA.

Hur man skrapar information från en webbplats med hjälp av VBA

Anta att daytradern vill komma åt data från webbplatsen dagligen. Varje gång daytradern klickar på knappen ska den automatiskt hämta marknadsdata till Excel.

Från ovanstående webbplats är det nödvändigt att inspektera ett element och observera hur informationen är strukturerad.

Steg 1) Få åtkomst till källkoden för HTML-koden nedan genom att trycka på Ctrl + Shift + Jag.

<table class="datatable">
<thead>
<tr>
<th>Company</th>
<th>Group</th>
<th>Pre Close (Rs)</th>
<th>Current Price (Rs)</th>
<th>% Change</th>
</tr>

Källkoden skulle vara följande:

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document

Som du kan se är informationen strukturerad som en enda HTML-tabell. För att hämta all information från HTML-tabellen måste du därför utforma ett makro som samlar in informationen som en samling.

Samlingen klistras sedan in i Excel. För att uppnå önskat resultat, utför stegen nedan.

Steg 2) Initiera HTML-dokumentet i subrutinen.

Steg 3) Initiera samlingselementet som finns i HTML-dokumentet.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Steg 4) Initiera Excel-arkets celler med hjälp av en kapslad loop som visas.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Excel kan initieras med hjälp av attributet Range eller attributet Cells i bladet. För att minska komplexiteten i VBA-skriptet initieras insamlingsdata till attributet Cells i blad 1 i arbetsboken.

När makroskriptet är klart, tilldela subrutinen till en Excel-knapp och avsluta VBA-modulen. Märk knappen som Uppdatera eller något annat lämpligt namn. I det här exemplet är knappen märkt Uppdatera.

Steg 5) Tryck på Uppdatera-knappen för att få utdata nedan.

Steg 6) Jämför resultaten i Excel med resultaten i Internet Explorer.

Vanliga frågor