Python Internett-tilgang med Urllib.Request og urlopen()

Avsnittene nedenfor forklarer hva urllib er, hvordan man åpner en URL og lese HTML-koden, og hvordan man håndterer feil, laster ned filer og velger mellom urllib og forespørselsbiblioteket.

Hva er urllib?

urllib er en Python modul som kan brukes til å åpne URLs. Den definerer funksjoner og klasser for å hjelpe til med URL handlinger.

Med Python, kan du også få tilgang til og hente data fra internett, for eksempel XML, HTML og JSON, og deretter jobbe direkte med disse dataene. I avsnittene nedenfor skal vi se hvordan du henter data fra nettet. For eksempel bruker vi her en Guru99 video URL, få tilgang til den ved hjelp av Python, og skriv ut HTML-filen til dette URL.

Pakken urllib grupperer flere moduler: urllib.request for åpning URLs, urllib.error for unntakene som forespørsler kan generere, urllib.parse for bygging og parsing URLs og urllib.robotparser for å lese robots.txt-filer.

Hvordan åpne URL bruker Urllib

Før vi kjører koden for å koble til internettdata, må vi importere URL bibliotekmodul, eller «urllib».

• Importer urllib
• Definer hovedfunksjonen din
• Deklarer variabelen webUrl
• Kall deretter urlopen-funksjonen på urllib-biblioteket
• Ocuco URL vi åpner er Guru99 veiledning om YouTube
• Deretter skriver vi ut resultatkoden
• Resultatkoden hentes ved å kalle getcode-funksjonen på webUrl-variabelen vi har opprettet.
• Vi konverterer det til en streng, slik at den kan sammenkobles med strengen vår «resultatkode».
• Dette vil være en vanlig HTTP-kode «200», som indikerer at HTTP-forespørselen er behandlet

Slik får du tak i en HTML-fil fra en URL in Python

Du kan også lese HTML-filen ved å bruke read()-funksjonen i PythonNår du kjører koden, vil HTML-filen vises i konsollen.

• Kall read()-funksjonen på webUrl-variabelen
• read()-metoden lar deg lese innholdet i datafiler
• Les hele innholdet i URL inn i en variabel kalt data
• Kjør koden, så skrives dataene ut i HTML-format

Her er hele koden:

Python 2 Eksempel

#  
# read the data from the URL and print it
#
import urllib2

def main():
# open a connection to a URL using urllib2
   webUrl = urllib2.urlopen("https://www.youtube.com/user/guru99com")
  
#get the result code and print it
   print "result code: " + str(webUrl.getcode()) 
  
# read the data from the URL and print it
   data = webUrl.read()
   print data
 
if __name__ == "__main__":
  main()

Python 3 Eksempel

#
# read the data from the URL and print it
#
import urllib.request
# open a connection to a URL using urllib
webUrl  = urllib.request.urlopen('https://www.youtube.com/user/guru99com')

#get the result code and print it
print ("result code: " + str(webUrl.getcode()))

# read the data from the URL and print it
data = webUrl.read()
print (data)

Slik håndterer du urllib-feil: URLFeil og HTTP-feil

En forespørsel lykkes ikke alltid. Når noe går galt, genererer urllib et unntak i stedet for å returnere data, så det er viktig å håndtere disse feilene. urllib.error-modulen definerer to hovedunntaksklasser.

• HTTP-feil genereres når serveren returnerer en feilstatuskode, for eksempel 404 Ikke funnet eller 500 Intern serverfeil. Den inneholder statuskoden og svarteksten.
• URLFeil oppstår når serveren ikke kan nås i det hele tatt, for eksempel på grunn av feil domenenavn eller ingen internettforbindelse. Den har et reason-attributt som forklarer feilen.

Fordi HTTPError er en underklasse av URLFeil, fang alltid HTTPError først, slik at hver feiltype håndteres separat:

from urllib.request import urlopen
from urllib.error import HTTPError, URLError

try:
    response = urlopen("https://www.guru99.com/no-such-page.html")
    data = response.read()
except HTTPError as error:
    print("HTTP error:", error.code)
except URLError as error:
    print("URL error:", error.reason)

Håndtering av disse unntakene hindrer programmet i å krasje og lar deg logge problemet, prøve forespørselen på nytt eller gå tilbake til hurtigbufrede data.

Slik laster du ned en fil fra en URL Bruk av urllib

lese en URL inn i minnet fungerer for små sider, men for bilder, PDF-dokumenter eller datasett er det enklere å lagre svaret direkte på disk. urllib.request-modulen tilbyr to enkle måter å gjøre dette på.

Funksjonen urlretrieve() laster ned en URL direkte til en lokal fil i én linje:

from urllib.request import urlretrieve

urlretrieve("https://www.python.org/static/img/python-logo.png", "logo.png")

For mer kontroll, åpne URL og skriv bytene selv. Åpne den lokale filen i binærmodus fordi urlopen() returnerer byte, ikke tekst:

from urllib.request import urlopen

with urlopen("https://example.com/data.zip") as response:
    with open("data.zip", "wb") as file:
        file.write(response.read())

For veldig store filer, les og skriv i en løkke ved hjelp av response.read(8192) slik at hele filen aldri lagres i minnet samtidig.

urllib vs. forespørselsbiblioteket i Python

urllib er en del av Python standardbibliotek, slik at det fungerer overalt uten installasjon. Tredjepartsforespørselsbiblioteket er ikke innebygd, men mange utviklere foretrekker det til daglig HTTP-arbeid fordi syntaksen er kortere og mer lesbar.

De viktigste forskjellene er:

• Installasjon: urllib leveres med Python, mens forespørsler må installeres med pip.
• Dekoding: urllib returnerer rå byte som du dekoder selv, mens forespørsler dekoder tekst og JSON automatisk.
• Convenience: forespørsler håndterer økter, informasjonskapsler og tilpassede overskrifter med mindre kode.
• avhengig~~POS=TRUNC: urllib legger ikke til noen, mens forespørsler er avhengige av urllib3 under.

Velg urllib når du ikke vil ha noen avhengigheter eller bare trenger en rask, engangsforespørsel. Velg forespørsler for større prosjekter som involverer autentisering, økter eller hyppige API-kall. Begge sender de samme underliggende HTTP-forespørslene, så avgjørelsen avhenger av bekvemmelighet kontra en mindre avhengighetsliste.

Spørsmål og svar