Jupyter Sülearvuti õpetus: kuidas installida ja kasutada Jupyter?

⚡ Nutikas kokkuvõte

Jupyter Notebook on avatud lähtekoodiga veebirakendus, mis ühendab reaalajas koodi, võrrandid, visualiseeringud ja narratiivse teksti ühes jagatavas dokumendis ning töötab võrdselt hästi nii sülearvutis kui ka AWS-serveris.

  • 🔘 Põhiidee: Code lahtrid, Markdowni lahtrid ja nende väljund asuvad ühes .ipynb-failis.
  • ☑️ Kerneli mudel: Iga märkmik seondub kerneliga, protsessiga, mis käivitab iga lahtri.
  • Kohalik algus: jupyter notebook käsk avab armatuurlaua, kus saab teha uusi ja uusi Python 3 Loo märkmik.
  • 🧪 Käivita ja redigeeri: Roheline tähendab muutmisrežiimi, sinine käsurearežiimi, Alt+Enter käivitab lahtri ja lisab uue.
  • 🛠️ Pilve tee: EC2 võtmepaar, pordi 8888 turvagrupp ja Dockeri kujutis liigutavad selle AWS-i.
  • 🔒 Olge ohutu: Sulge ja peata vabastab kerneli; peataping eksemplar lõpetab AWS-i arvelduse.

Jupyter Sülearvuti paigaldamine ja kasutamine

Mis on Jupyter Märkmik?

Jupyter märkmik on avatud lähtekoodiga veebirakendus rikasteksti elementidega reaalajas koodide, võrrandite, visualisatsioonide kirjutamiseks ja jagamiseks. See pakub andmete analüüsimiseks mugavat viisi lõikude, võrrandite, pealkirjade, linkide ja jooniste kirjutamiseks. See on kasulik ka interaktiivsete algoritmide jagamisel oma publikuga õpetamise või demonstreerimise eesmärgil.

Sissejuhatus Jupyter Märkmiku rakendus

. Jupyter Notebook App on liides, kuhu saate oma veebibrauseri kaudu kirjutada skripte ja koode. Rakendust saab kasutada kohapeal, mis tähendab, et teil pole vaja Interneti-ühendust ega kaugserverit.

Jupyter Veebibrauseris töötav märkmiku rakenduse liides

Iga arvutus tehakse tuuma kaudu. Uus kernel luuakse iga kord, kui käivitate a Jupyter Märkmik.

Praegused installid saadetakse välja Sülearvuti 7, ehitatud Jupyterlab jupyter notebook töötab ikka ja mõlemad loevad samamoodi .ipynb faili.

Kuidas kasutada Jupyter märkmik

Alloleval seansil saate teada, kuidas seda kasutada Jupyter Märkmik. Keskkonnaga tutvumiseks kirjutate lihtsa koodirea Jupyter.

Step 1) Lisate töökataloogi kausta, mis sisaldab kõiki märkmikke, mille õpetuste käigus lood. TensorFlow.

If Jupyter puudub, jookse pip install notebook esiteks, nagu TensorFlow paigaldusjuhend teeb. Seejärel avage terminal ja kirjutage

mkdir jupyter_tf
jupyter notebook

Code Selgitus

  • mkdir jupyter_tf: Loo kaust nimega jupyter_tf
  • jupyteri märkmik: avage Jupyter web-app

Terminali väljund pärast mkdir jupyter_tf ja jupyter notebook käivitamist

Step 2) Uut kausta näete keskkonna sees. Klõpsake kausta jupyter_tf.

Jupyter armatuurlaud, mis kuvab uut kausta jupyter_tf

Step 3) Selles kaustas loote oma esimese märkmiku. Klõpsake nuppu Uus ja Python 3.

Jupyter Uus menüü koos Python 3 kerneli valikut

Step 4) Sa oled sees Jupyter keskkond. Seni on teie märkmiku nimi Untitled.ipynb. See on vaikimisi nimi, mille annab Jupyter. Nimetame selle ümber, klõpsates nuppu Fail ja Nimeta

Jupyter Menüü Fail, kus on esile tõstetud käsk Nimeta ümber

Saate selle ümber nimetada Introduction_jupyter

Nimeta märkmiku dialoogiboks ümber, andes sellele nimeks Introduction_jupyter

Toas Jupyter Märkmiku liideses kirjutate lahtritesse koodi, märkusi või teksti.

Tühi Jupyter märkmiku lahter koodi või teksti jaoks valmis

Lahtri sisse saate kirjutada ühe koodirea.

Jupyter lahter, mis sisaldab ühte koodirida

või mitu rida. Jupyter loeb koodi ridade järel.

Jupyter lahter, mis sisaldab mitut koodirida

Näiteks kui kirjutate lahtrisse järgmise koodi.

Näidiskood, mis on trükitud a sisse Jupyter koodilahter

See toodab selle väljundi.

Väljund prinditakse täidetava käsu alla Jupyter rakk

Step 5) Oled valmis kirjutama oma esimese koodirea. Näed, et lahtril on kaks värvi. Roheline värv tähendab, et oled redigeerimisrežiim.

Rohelise lahtri ääris näitab Jupyter redigeerimisrežiim

Sinine värv aga näitab, et olete sisse lülitatud täitmisrežiim.

Sinine lahtri ääris näitab Jupyter käsurežiim

Teie esimene koodirida prinditakse Guru99!. Lahtri sees saate kirjutada

print("Guru99!")

Koodi käivitamiseks on kaks võimalust Jupyter:

  • Klõpsake ja käivitage
  • kiirklahvid

Koodi käivitamiseks võite klõpsata Rakk ja siis Käivitage lahtrid ja valige allpool

Jupyter Lahtri menüü valikuga Käivita lahtrid ja Vali altpoolt

Näete, et kood on trükitud lahtri alla ja kohe pärast väljundit on ilmunud uus lahter.

Guru99 väljund prinditakse lahtri alla, millele on lisatud uus tühi lahter

Kiirem viis koodi käivitamiseks on kasutada kiirklahvid. Klaviatuuri otseteedele juurdepääsuks minge aadressile aitama ja kiirklahvid

Jupyter Abimenüü koos kiirklahvide kirjega

MacOS-i klaviatuuri otseteede loendi all. Saate otseteid redigeerida redaktoris.

Jupyter kiirklahvide loend macOS

Järgnevad otseteed Windows

Jupyter kiirklahvide loend Windows

Kirjutage see rida

print("Hello world!")

ja proovige kiirklahvi. Alt+Enter käivitab lahtri ja lisab selle alla uue tühja lahtri.

Alt+Enter kiirklahviga loodud Tere maailm väljund

Step 6) On aeg märkmik sulgeda. Mine aadressile Fail ja kliki Sule ja peata

Jupyter Menüü Fail käskudega Sule ja Peata

märkused: Jupyter salvestab sülearvuti koos kontrollpunktiga automaatselt. Kui teil on järgmine sõnum:

Jupyter hoiatus, et märkmikus on salvestamata muudatusi

See tähendab Jupyter ei salvestanud faili pärast viimast kontrollpunkti. Saate märkmiku käsitsi salvestada

Käsitsi salvestamine Jupyter märkmiku kontrollpunkt

Teid suunatakse põhipaneelile. Näete, et teie märkmik on minut tagasi salvestatud. Saate turvaliselt välja logida.

Jupyter peapaneel, kus on loetletud salvestatud märkmik

paigaldama Jupyter AWS-iga sülearvuti

Kui andmestik kasvab kohalikust mälust välja, teisaldage märkmik pilveserverisse. Allpool on samm-sammult juhised installimiseks ja käivitamiseks. Jupyter Märkmik sisse lülitatud AWS:

Kui teil pole AWS-is kontot, looge tasuta konto siin.

Jätkame järgmiselt

1. osa: seadistage võtmepaar

Step 1) Minna Teenused ja leia EC2

AWS-i teenuste menüü, kus on valitud EC2 kirje

Step 2) Paneelil ja klõpsake nuppu Võtmepaarid

EC2 vasakpoolne navigeerimispaneel valitud võtmepaaridega

Step 3) Klõpsake nuppu Loo võtmepaar

EC2 võtmepaari loomise nupp

  1. Võite seda nimetada Dockeri võtmeks
  2. Klõpsake nuppu Loo

Võtmepaari loomise dialoog nimega Dockeri võti

Laaditakse alla fail nimega Docker_key.pem.

Docker_key.pem privaatvõtme faili brauserist allalaadimine

Step 4) Kopeerige ja kleepige see kaustaklahvi. Meil on seda varsti vaja.

Ainult Mac OS-i kasutajatele

See samm kehtib ainult Mac OS-i kasutajate kohta. Windows ja Linuxi kasutajad saavad edasi liikuda 2. ossa.

Peate määrama töökataloogi, mis sisaldab failivõtit

Kõigepealt looge kaust nimega võti. Meie jaoks asub see põhikaustas Docker. Seejärel määrate selle tee oma töökataloogiks

mkdir Docker/key
cd Docker/key

Terminal loob ja siseneb Docker/key töökataloogi

2. osa: turvarühma loomine

Step 1) Peate konfigureerima turvarühma. Sellele pääsete juurde paneeli abil

EC2 navigeerimispaneel valitud turbegruppidega

Step 2) Klõpsake nuppu Loo turvarühm

EC2 turvarühma loomise nupp

Step 3) Järgmisel ekraanil

  1. Sisestage turberühma nimi „jupyter_docker” ja kirjeldus „Dockeri turberühm”.
  2. Lisage allpool loetletud neli sissetuleva teabe reeglit:
    • ssh: pordivahemik 22, allikas Anywhere
    • http: pordivahemik 80, allikas Anywhere
    • https: pordivahemik 443, allikas Anywhere
    • Kohandatud TCP: pordivahemik 8888, allikas Anywhere
  3. Klõpsake Loo.

Turvarühm jupyter_docker SSH, HTTP, HTTPS ja TCP 8888 reeglitega

Step 4) Loetletakse vastloodud turvagrupp

EC2 loend, mis näitab äsja loodud jupyter_docker turvagruppi

3. osa: käivitage eksemplar

Lõpuks olete eksemplari loomiseks valmis

EC2 navigeerimispaneel valitud eksemplaridega

Step 1) Klõpsake nuppu Käivita eksemplar

EC2 käivitusakna nupp

Vaikimisi serverist piisab. Vali Amazon Linux AMI. Kuvatõmmised näitavad pilti 2018.03.0; praegused konsoolid pakuvad Amazon Linux 2023, seega sobitage sildid, mitte pikslid.

AMI tähistab Amazon Masina kujutis. See sisaldab teavet, mis on vajalik pilves virtuaalserveris töötava eksemplari käivitamiseks.

Amazon Linuxi AMI valikuekraan käivitusviisardis

Pange tähele, et AWS-il on server, mis on pühendatud sügavale õppimisele, näiteks:

  • Süvaõppe AMI (Ubuntu)
  • Süvaõppe AMI
  • Süvaõppebaas AMI (Ubuntu)

Kõik need on varustatud süvaõppe raamistike uusimate binaarfailidega, mis on eelinstallitud eraldi virtuaalsetesse keskkondadesse:

Iga kujutis on täielikult konfigureeritud NVIDIA CUDA, cuDNN ja NCCL ning Intel MKL-DNN abil.

Step 2) Vali t2.microSee on tasuta serveri astme. AWS pakub tasuta seda virtuaalmasinat, mis on varustatud 1 vCPU ja 1 GB mäluga. See server pakub head kompromissi arvutusvõimsuse, mälu ja võrgu jõudluse vahel. See sobib väikestele ja keskmise suurusega töökoormustele.

Instanssitüübi ekraan, kus on valitud t2.micro

Step 3) Hoidke järgmisel ekraanil vaikesätted ja klõpsake nuppu Edasi: Lisa salvestusruum

Instanssi konfiguratsiooniekraan on vasakpoolses asendis vaikeväärtustega

Step 4) Suurendage salvestusruumi 10 GB-ni ja klõpsake nuppu Edasi

Salvestusruumi ekraan, mille juurmälu maht on suurendatud 10 GB-ni

Step 5) Jätke sätted vaikeseadeteks ja klõpsake nuppu Edasi: turvarühma konfigureerimine

Siltide ekraan vasakul vaikeväärtustega

Step 6) Valige varem loodud turvagrupp, mis on jupyter_docker

Turberühma ekraan, kus on valitud jupyter_docker

Step 7) Revvaadake oma seadeid ja klõpsake käivitamisnuppu

Revvaatamisekraan enne EC2 eksemplari käivitamist

Step 8) Viimane samm on võtmepaari linkimine eksemplariga.

Võtmepaari valiku dialoog, mis seob Dockeri võtme eksemplariga

Step 9) Eksemplar käivitub

Instanssi käivitamist kinnitav käivitusoleku leht

Step 10) Allpool on kokkuvõte praegu kasutusel olevatest eksemplaridest. Pange tähele avalikku IP-aadressi.

EC2 eksemplaride loend, mis näitab avalikku IP-aadressi

Step 11) Klõpsake nuppu Ühenda

Töötava eksemplari EC2 ühenduse nupp

Ühenduse üksikasjad leiate

Ühenduse loomise dialoog, kus on loetletud SSH-ühenduse üksikasjad

Käivitage oma eksemplar (Mac OS-i kasutajad)

Esmalt osuta terminali töökataloogile kaustale, kus asub võtmepaari fail.

käivitage kood

chmod 400 docker.pem

Avage ühendus selle koodiga.

On kaks käsku. Mõnikord peatub esimene. Jupyter märkmiku avamine.

Sel juhul kasutage ühenduse sundimiseks teist Jupyter EC2 märkmik.

# If able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com
# If not able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

Esimest korda palutakse teil ühendusega nõustuda

Terminali viip küsib SSH-hosti sõrmejälje aktsepteerimist

Käivitage oma eksemplar (Windows kasutajad)

Step 1) PuTTY ja PuTTYgeni allalaadimiseks minge sellele veebisaidile PuTTY

Peate alla laadima

  • PuTTY: käivitage eksemplar
  • PuTTYgen: teisendage pem-fail ppk-ks

PuTTY allalaadimisleht, kus on loetletud PuTTY ja PuTTYgen

Nüüd, kui mõlemad programmid on installitud, peate .pem-faili teisendama .ppk-failiks. PuTTY saab lugeda ainult .ppk-faile. Pem-fail sisaldab AWS-i loodud unikaalset võtit.

Step 2) Avage PuTTYgen ja klõpsake nuppu Laadi. Sirvige kausta, kus .pem-fail asub.

PuTTYgeni laadimisdialoogi sirvimine .pem-faili jaoks

Step 3) Pärast faili laadimist peaksite saama teate, mis teavitab teid võtme edukast importimisest. Klõpsake nuppu OK

PuTTYgeni teade, mis kinnitab võtme importimist

Step 4) Seejärel klõpsake nuppu Salvesta privaatvõti. Teilt küsitakse, kas soovite selle võtme ilma paroolita salvestada. Klõpsake jah.

PuTTYgeni viip privaatvõtme salvestamiseks ilma paroolifraasita

Step 5) Salvestage võti

Konverteeritud .ppk privaatvõtmefaili salvestamine

Step 6) Minge AWS-i ja kopeerige avalik DNS

AWS-i konsool, mis kuvab eksemplari avaliku DNS-nime

Avage PuTTY ja kleepige avalik DNS hostinimesse

PuTTY seansi ekraan, kus hostinimi on avaliku DNS-iga

Step 7)

  1. Avage vasakpoolsel paneelil SSH ja avage Auth
  2. Sirvige privaatvõtit. Peaksite valima faili .ppk
  3. Klõpsake nuppu Ava.

PuTTY SSH autentimisekraan valitud .ppk privaatvõtmega

Step 8)

Kui see samm on tehtud, avaneb uus aken. Kui näete seda hüpikakent, klõpsake nuppu Jah

PuTTY turvahoiatus aktsepteerib serveri hostivõtit

Step 9)

Peate sisse logima kui: ec2-user

PuTTY sisselogimisviip ec2-kasutajakontoga

Step 10)

Olete ühendatud teenusega Amazon Linux AMI.

Amazon Linux AMI shelli bänner pärast edukat sisselogimist

4. osa: installige Docker

. Dockeri õpetus hõlmab allpool kasutatud konteineri sõnavara.

Kui olete serveriga ühendatud PuTTY või Terminali kaudu, saate installida laevalaadija mootor.

Käivita järgmised koodid. Amazon Linux 2023, kasutamine dnf eest yum ja systemctl start docker eest service docker start.

sudo yum update -y
sudo yum install -y docker
sudo service docker start
sudo usermod -a -G docker ec2-user
exit

Käivitage ühendus uuesti

ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

Windows kasutajad loovad PuTTY-ga uuesti ühenduse täpselt eespool kirjeldatud viisil.

5. osa: installimine Jupyter

Step 1) Loo Jupyter konteiner eelnevalt loodud pildist:

## Tensorflow
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook
## Spark
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/pyspark-notebook

Code Selgitus

  • Docker Run: käivitage pilt
  • v: köite lisamine
  • ~/töö:/kodu/jovyan/töö: maht
  • 8888:8888: port
  • jupyter/datascience-notebook: pilt

Teiste eelvalmistatud piltide nägemiseks sirvige Jupyter Docker Stacksi hoidlaAlates 2023. aasta oktoobrist on need pildid saadaval Quay.io-s, seega tõmmake need välja. quay.io/jupyter/tensorflow-notebook or quay.io/jupyter/pyspark-notebook eest PySpark; Docker Hubi koopiad on külmutatud.

Lase konteineril kirjutada paigaldatud lahtrisse work kaust, et märkmikud taaskäivitamise korral ellu jääksid:

sudo chown 1000 ~/work

Step 2) paigaldama tree nii et saate töökataloogi kontrollida:

sudo yum install -y tree

Tree käsu terminali väljund, mis näitab töökataloogi

Step 3) Kontrollige konteinerit ja selle nime

Käivitage allolevad käsud järjekorras:

  1. Loetlege töötavad konteinerid:
    docker ps
  2. Loe konteineri logi, et teada saada, Jupyter URLSiin nimetatakse konteinerit vigilant_easley:
    docker logs vigilant_easley
  3. Kopeeri URL, koos oma märgiga, logist.

docker ps ja docker logivad väljundit Jupyter sümboolne URL

Step 4) aasta URL Asenda logist host (90a3c09282d6 või 127.0.0.1) oma eksemplari avaliku DNS-iga:

http://(90a3c09282d6 or 127.0.0.1):8888/?token=f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Jupyter EC2 eksemplari poolt serveeritud sisselogimisleht

Step 5) Uus URL saab,

http://ec2-174-129-135-16.compute-1.amazonaws.com:8888/?token=f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Step 6) Kopeeri ja kleebi URL oma brauserisse.

Jupyter Avab

Jupyter armatuurlaud avatud konteinerist

Step 7) Nüüd saate luua uue märkmiku oma sees work kausta.

Ühendatud töökausta sees loodi uus märkmik

6. osa: tihe ühendus

Sulgege ühendus terminalis

exit

Minge tagasi AWS-i ja peatage server.

AWS konsool, mida kasutatakse EC2 eksemplari peatamiseks

Probleemid

Kui Docker ei tööta, looge pilt uuesti, kasutades

docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook

KKK

Notebook 7 avab ühe dokumendi vahekaardi kohta ja säilitab klassikalise armatuurlaua. JupyterLab lisab failibrauseri, terminalid ja kõrvuti töötavad märkmikud. Mõlemad jagavad samu kerneleid ja .ipynb-vormingut.

Python saabub vaikimisi I kauduPython kernel. Kogukonna kernelid lisavad R, Julia, Scala ja kümneid teisi. Paigalda kerneli pakett ja vali see menüüst Uus.

Kasutage kerneli menüüd: taaskäivitamine tühjendab kõik muutujad, taaskäivitamine ja kõigi käivitamine taasesitab märkmiku puhtalt uuesti ning kerneli vahetab keskkonda. Taaskäivitamine on kiireim lahendus, kui lahter hangub.

Maagia olen minaPython otseteed. Reamaagiad algavad märgiga % ja toimivad ühel real, näiteks %timeit. Lahtrimaagiad algavad märgiga %% esimesel real, näiteks %%writefile. Nende kuvamiseks käivita %lsmagic.

Valige „Fail” ja seejärel „Salvesta ja ekspordi märkmik nimega” või käivitage terminalis käsk „jupyter nbconvert –to html notebook.ipynb”. PDF-i eksportimiseks on vaja installida ka LaTeX-i või WebPDF-i taustprogramm.

Hoidke token alles või määrake parooli räsi, piirake pordi 8888 turberühma reeglit oma IP-aadressiga (mitte ükskõik kuhu) ja kasutage HTTPS-i või SSH-tunnelit. Peatage seejärel eksemplar.

Jah. Copilot töötab märkmikes, mis on avatud läbi VS Code or JupyterLaborilaiendused, mis pakuvad kommentaarist välja terveid rakke. Agentide assistendid refaktoreerivad ka rakke ja selgitavad trace-tagasid, aga iga soovitus tuleb enne käivitamist üle vaadata.

Tehisintellekti assistendid kiirendavad korduvaid toiminguid andmete analüüs töö: andmeraami profileerimine, funktsioonide joonistamine, hüperparameetrite ruudustike soovitamine ja tulemuste joonistamine. Märkmik hoiab iga soovitust oma väljundi kõrval, nii et töö jääb auditeeritavaks.

Võta see postitus kokku järgmiselt: