VBA Web Scrapping til Excel

⚡ Smart opsummering

Webskraberingping med VBA-eksempeltracts-data fra HTML-websider direkte til Excel ved hjælp af Internet Explorer-automatisering og Microsoft HTML-objektbibliotek til at navigere på et websted, læse en HTML-tabel og skrive de indsamlede værdier i regnearksceller.

  • 🧰 VBA-automatisering: VBA driver Internet Explorer fra Excel til at indlæse en webside og læse dens HTML.
  • 📚 Nødvendige referencer: Microsoft HTML-objektbibliotek og Microsoft Internetkontroller skal refereres til i projektet.
  • 🌐 Navigeringsmetode: Navigate-metoden åbner et mål URL, og koden venter, indtil siden er klar.
  • 🧱 HTML-tabelparsing: getElementsByTagName læser tabellen, så dens rækker og celler kan gennemgås i en løkke.
  • 📊 Skriv til celler: De indsamlede værdier skrives i regnearksceller, ofte bag en Opdater-knap.
  • 🤖 AI Assistance: AI-værktøjer og copiloter genererer nu scraberping kode og tilpasse selektorer, når layouts ændres.

VBA Web Scrapping til Excel

Hvad er data scrapingping?

Data scrapingping er teknikken, der hjælper ekstract ønskede oplysninger fra en HTML-webside til en lokal fil på din maskine. Normalt er den lokale fil en Excel-fil, en Word-fil eller en hvilken som helst anden Microsoft Office-applikation. Det hjælper med at kanalisere vigtige oplysninger fra websiden.

Data scrapingping bliver værdifuld i et forskningsbaseret projekt, der er afhængig af internettet dagligt. For at illustrere, kan man forestille sig en daytrader, der kører en Excel-makro for at trække markedsoplysninger fra en finanshjemmeside ind i et Excel-ark ved hjælp af VBA.

Sådan forbereder du Excel-makroen før dataskrabningping (Internet Explorer)

Der er visse forudsætninger, der skal udføres på Excel-makrofilen, før dataskrabningen påbegyndes.ping proces.

Disse forudsætninger er som følger:

Trin 1) Åbn en Excel-baseret makro, og åbn Udvikler-indstillingen i Excel.

Forbered Excel-makro før dataskrabningping ved hjælp af Internet Explorer

Trin 2) Vælg Visual Basic-indstillingen under Udvikler-båndet.

Forbered Excel-makro før dataskrabningping ved hjælp af Internet Explorer

Trin 3) Indsæt et nyt modul.

Forbered Excel-makro før dataskrabningping ved hjælp af Internet Explorer

Trin 4) Initialiser en ny subrutine.

Sub test()
End Sub

Modulet ville resultere som følger:

Forbered Excel-makro før dataskrabningping ved hjælp af Internet Explorer

Trin 5) Få adgang til referencefunktionen under fanen Værktøjer, og se på Microsoft HTML-objektbibliotek og Microsoft Internetkontroller.

Følgende filer skal refereres til modulet, da de hjælper med at åbne Internet Explorer og muliggøre makroscripting.

Henvisning Microsoft HTML-objektbibliotek og internetkontroller

Nu er Excel-filen klar til at interagere med Internet Explorer. Næste trin er at inkorporere makroskripter, der letter dataskrabning.ping i HTML.

Sådan åbner du Internet Explorer ved hjælp af Excel VBA

Trin 1) Initialiser variablen i subrutinen som vist nedenfor.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument

Trin 2) For at åbne Internet Explorer ved hjælp af VBA, skriv ie.Visible = True og tryk på F5.

Sub test()
Dim ie As New InternetExplorer 
Dim doc As New HTMLDocument
ie.Visible = True

Modulet ville se således ud:

Åbn Internet Explorer ved hjælp af Excel VBA

Åbn Internet Explorer ved hjælp af Excel VBA

Sådan åbner du en hjemmeside i Internet Explorer ved hjælp af VBA

Her er trinnene til at åbne et websted i Internet Explorer ved hjælp af VBA.

Trin 1) Når du har adgang til Internet Explorer ved hjælp af Excel VBA, er næste trin at få adgang til et websted ved hjælp af VBA. Dette gøres lettere af Navigate-attributten, hvor URL sendes som dobbelte anførselstegn. Følg de viste trin.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE

Trin 2) Tryk på F5 for at udføre makroen. Følgende webside åbnes som vist.

Åbn et websted i Internet Explorer ved hjælp af VBA

Nu er Excel-makroen klar til at udføre scratchenping funktioner. Det næste trin viser, hvordan informationen kan udvekslestrachentet fra Internet Explorer ved hjælp af VBA.

Sådan skraber du information fra et websted ved hjælp af VBA

Antag, at daytraderen ønsker at tilgå dataene fra hjemmesiden dagligt. Hver gang daytraderen klikker på knappen, burde den automatisk hente markedsdataene ind i Excel.

Fra ovenstående hjemmeside er det nødvendigt at inspicere et element og observere, hvordan dataene er struktureret.

Trin 1) Få adgang til kildekoden til HTML-koden nedenfor ved at trykke på Ctrl + Shift + Jeg.

<table class="datatable">
<thead>
<tr>
<th>Company</th>
<th>Group</th>
<th>Pre Close (Rs)</th>
<th>Current Price (Rs)</th>
<th>% Change</th>
</tr>

Kildekoden ville være som følger:

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document

Som du kan se, er dataene struktureret som en enkelt HTML-tabel. For at hente alle dataene fra HTML-tabellen skal du derfor designe en makro, der indsamler dataene som en samling.

Samlingen indsættes derefter i Excel. For at opnå de ønskede resultater skal du udføre nedenstående trin.

Trin 2) Initialiser HTML-dokumentet i subrutinen.

Trin 3) Initialiser samlingselementet, der findes i HTML-dokumentet.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object
ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Trin 4) Initialiser Excel-arkcellerne ved hjælp af en indlejret løkke som vist.

Sub test()
Dim ie As New InternetExplorer
Dim doc As New HTMLDocument
Dim ecoll As Object

ie.Visible = True
ie.Navigate "https://demo.guru99.com/test/web-table-element.php"
Do
DoEvents
Loop Until ie.readyState = READYSTATE_COMPLETE
Set doc = ie.document
Set ecoll = doc.getElementsByTagName("table")

Excel kan initialiseres ved hjælp af attributten Range eller attributten Cells i arket. For at reducere kompleksiteten af ​​VBA-scriptet initialiseres samlingsdataene til attributten Cells i Ark 1 i projektmappen.

Når makroskriptet er klar, skal du tildele subrutinen til en Excel-knap og afslutte VBA-modulet. Navngiv knappen som Opdater eller et andet passende navn. I dette eksempel er knappen mærket Opdater.

Skrab oplysninger fra websted ved hjælp af VBA

Trin 5) Tryk på Opdater-knappen for at få nedenstående output.

Skrab oplysninger fra websted ved hjælp af VBA

Trin 6) Sammenlign resultaterne i Excel med resultaterne i Internet Explorer.

Skrab oplysninger fra websted ved hjælp af VBA

Ofte Stillede Spørgsmål

Der skal bruges to referencer i VBA-editoren under Værktøjer, Referencer: Microsoft HTML-objektbibliotek og Microsoft Internetkontroller. De lader VBA åbne Internet Explorer, navigere til en URLog læs sidens HTML-elementer.

Det afhænger af hjemmesiden. Mange sider begrænser automatiseret scraping.ping i deres servicevilkår, så gennemgå dem først og undgå at indsamle personlige eller ophavsretligt beskyttede data. Scraping Offentlige, tilladte data til personlig analyse er generelt lavere risikable.

Internet Explorer er forældet, så moderne projekter bruger Selenium VBA tilgang, som driver Chrome, Firefox, eller Edge. Selenium tilbyder understøttelse af flere browsere og mere pålidelig elementplacering til nuværende websteder.

Ja. AI-drevne scrapers og copiloter kan identificere datafelter, generere eks.trackode og tilpasse sig automatisk layoutændringer. Maskinlæringsmodeller analyserer også ustrukturerede sider, hvilket reducerer den manuelle indsats ved at skrive og vedligeholde scrape.ping scripts.

AI bruger computer vision og naturlig sprogbehandling til at genkende tabeller, priser og tekst på en side, selv uden faste selektorer. Denne intelligente eks...traction gør skrabeping mere robust, når en hjemmeside ændrer sin struktur.

Opsummer dette indlæg med: