Jupyter ノートブックのチュートリアル: インストールと使用方法 Jupyter?

⚡ スマートサマリー

Jupyter Notebookは、ライブコード、数式、視覚化、解説テキストを1つの共有可能なドキュメントに統合したオープンソースのWebアプリケーションであり、ノートパソコンでもAWSサーバーでも同様に動作します。

  • 🔘 核となるアイデア: Code セル、Markdownセル、およびそれらの出力は、1つの.ipynbファイルに格納されます。
  • ☑️ カーネルモデル: 各ノートブックはカーネル(各セルを実行するプロセス)にバインドされます。
  • ✅ ローカルスタート: jupyter notebook コマンドはダッシュボードを開き、そこで新規作成と Python 3. ノートブックを作成します。
  • 🧪 実行して編集する: 緑色は編集モード、青色はコマンドモード、Alt+Enterはセルを実行してセルを追加します。
  • 🛠️ クラウドパス: EC2キーペア、ポート8888のセキュリティグループ、およびDockerイメージを使用して、それをAWSに移行します。
  • 🔒 おげんきで: Close と Halt はカーネルを解放します。stopping このインスタンスの起動により、AWSの課金が終了します。

Jupyter ノートパソコンのインストールと使用

何ですか Jupyter ノート?

Jupyter Notebook は、リッチ テキスト要素を使用してライブ コード、方程式、視覚化を記述および共有するためのオープン ソース Web アプリケーションです。段落、方程式、タイトル、リンク、図を記述してデータ分析を実行するための便利な方法を提供します。また、教育やデモンストレーションの目的で、インタラクティブなアルゴリズムを視聴者と共有するのにも役立ちます。

はじめに Jupyter ノートブックアプリ

その Jupyter Notebook App は、Web ブラウザを通じてスクリプトやコードを作成できるインターフェイスです。このアプリはローカルで使用できるため、インターネット アクセスやリモート サーバーは必要ありません。

Jupyter ウェブブラウザで動作するノートブックアプリのインターフェース

各計算はカーネルを介して行われます。カーネルを起動するたびに新しいカーネルが作成されます。 Jupyter ノート。

現在のインストールは出荷されます ノートブック7、上に構築された Jupyter研究室 jupyter notebook 今でも機能し、両方とも同じように読み取れる .ipynb ファイルにソフトウェアを指定する必要があります。

使用方法 Jupyter ノート

以下のセッションでは、その使用方法を学びます Jupyter ノート。環境に慣れるために、簡単なコード行を記述します。 Jupyter.

ステップ1) 作業ディレクトリ内に、チュートリアル中に作成するすべてのノートブックを格納するフォルダーを追加します。 TensorFlow.

If Jupyter 行方不明、走る pip install notebook まず、 TensorFlow インストールガイド します。次にターミナルを開いて、次のように入力します。

mkdir jupyter_tf
jupyter notebook

Code 説明

  • mkdir jupyter_tf: jupyter_tf という名前のフォルダを作成します
  • Jupyterノートブック: 開く Jupyter ウェブアプリ

mkdir jupyter_tf と jupyter notebook を実行した後のターミナル出力

ステップ2) 環境内に新しいフォルダーが表示されます。jupyter_tf フォルダーをクリックします。

Jupyter 新しいjupyter_tfフォルダを表示するダッシュボード

ステップ3) このフォルダー内に最初のノートブックを作成します。 ボタンをクリックしてください New (NAIST) と Python 3.

Jupyter 新しいメニュー Python 3つのカーネルオプション

ステップ4) あなたはその中にいます Jupyter 環境。今のところ、ノートブックの名前は Untitled.ipynb です。これは、によって割り当てられたデフォルトの名前です。 Jupyter。をクリックして名前を変更しましょう File (NAIST) と リネーム

Jupyter ファイルメニューで「名前変更」コマンドがハイライト表示されている。

Introduction_jupyterという名前に変更することができます

Notebookダイアログの名前をIntroduction_jupyterに変更します。

内部 Jupyter ノートブックインターフェースでは、セル内にコード、注釈、またはテキストを記述します。

空の Jupyter コードまたはテキストを入力する準備ができたノートブックセル

セル内に XNUMX 行のコードを記述できます。

Jupyter 1行のコードを含むセル

または複数行。 Jupyter コードを XNUMX 行ずつ読み取ります。

Jupyter 複数のコード行を含むセル

たとえば、セル内に次のコードを記述します。

サンプルコード Jupyter コードセル

この出力が生成されます。

実行結果の下に出力が印刷されます Jupyter セル

ステップ5) いよいよ最初のコードを書く準備ができました。セルには2つの色があることに気づくでしょう。緑色は、 編集モード.

緑色のセル枠は Jupyter 編集モード

ただし、青色は、次の状態であることを示します。 実行モード.

青いセル枠は Jupyter コマンドモード

最初のコード行には、 Guru99! セル内には、

print("Guru99!")

コードを実行するには XNUMX つの方法があります Jupyter:

  • クリックして実行
  • キーボードショートカット

コードを実行するには、次をクリックします。 セル その後 セルを実行して以下を選択してください

Jupyter セルメニューに「セルの実行」と「以下を選択」が表示されます。

コードがセルの下に出力され、出力の直後に新しいセルが表示されていることがわかります。

Guruセルの下に99の出力が印刷され、新しい空のセルが追加されました。

コードをより速く実行する方法は、 キーボードショートカット。 キーボード ショートカットにアクセスするには、次の場所に移動します。 カスタマーサービス (NAIST) と キーボードショートカット

Jupyter ヘルプメニューの「キーボードショートカット」項目

以下は、MacOS キーボードのショートカットのリストです。エディターでショートカットを編集できます。

Jupyter キーボードショートカット一覧 macOS

以下は、 Windows

Jupyter キーボードショートカット一覧 Windows

この行を書いてください

print("Hello world!")

キーボードショートカットも試してみてください。Alt+Enterを押すと、セルが実行され、その下に新しい空のセルが挿入されます。

Alt+Enterショートカットで生成された「Hello world」出力

ステップ6) ノートブックを閉じるときが来ました。 に行く File をクリックします。入力したコードが正しければ、MFAの設定は正常に完了します 閉じて停止する

Jupyter ファイルメニューの「閉じる」と「停止」コマンド

お願い: Jupyter チェックポイント付きのノートブックを自動的に保存します。次のメッセージが表示される場合:

Jupyter ノートブックに保存されていない変更があるという警告

その意味は Jupyter 最後のチェックポイント以降、ファイルを保存していません。ノートブックを手動で保存できます

手動で保存 Jupyter ノートチェックポイント

メインパネルにリダイレクトされます。 ノートブックが XNUMX 分前に保存されたことがわかります。 安全にログアウトできます。

Jupyter 保存されたノートブックの一覧を表示するメインパネル

インストールを開始する Jupyter AWS を搭載したノートブック

データセットがローカルメモリの容量を超えた場合は、ノートブックをクラウドサーバーに移動します。以下に、インストールと実行の手順を示します。 Jupyter ノート AWS:

AWS のアカウントをお持ちでない場合は、無料のアカウントを作成してください こちら.

以下のように進めていきます

パート 1: キーペアを設定する

ステップ1) に行く Services そして、見つけます EC2

AWSサービスメニューでEC2が選択されている

ステップ2) パネル内で をクリックします キーペア

EC2の左側ナビゲーションパネルで「キーペア」が選択されています。

ステップ3) 「キーペアの作成」をクリックします

EC2キーペア作成ボタン

  1. Docker キーと呼ぶこともできます
  2. [作成]をクリックします

「Dockerキー」という名前のキーペア作成ダイアログ

Docker_key.pem という名前のファイルがダウンロードされます。

ブラウザでDocker_key.pem秘密鍵ファイルをダウンロードします。

ステップ4) それをコピーしてフォルダーキーに貼り付けます。 すぐに必要になります。

Mac OSユーザー限定

この手順はMac OSユーザーのみに適用されます。 Windows Linuxユーザーの方はパート2に進んでください。

ファイルキーを格納する作業ディレクトリを設定する必要があります

まず、keyという名前のフォルダを作成します。 私たちの場合、これはメイン フォルダー Docker 内にあります。 次に、このパスを作業ディレクトリとして設定します。

mkdir Docker/key
cd Docker/key

ターミナルでDocker/key作業ディレクトリを作成し、そこに入る

パート 2: セキュリティ グループを設定する

ステップ1) セキュリティグループを設定する必要があります。 パネルからアクセスできます

セキュリティグループが選択されたEC2ナビゲーションパネル

ステップ2) 「セキュリティグループの作成」をクリックします

EC2 セキュリティグループの作成ボタン

ステップ3) 次の画面で

  1. セキュリティグループ名に「jupyter_docker」、説明に「Docker 用のセキュリティグループ」と入力してください。
  2. 以下の4つの受信ルールを追加してください。
    • ssh: ポート範囲 22、ソースどこでも
    • http: ポート範囲 80、ソースどこでも
    • https: ポート範囲 443、ソースどこでも
    • カスタム TCP: ポート範囲 8888、送信元どこでも
  3. 「作成」をクリックします。

SSH、HTTP、HTTPS、TCP 8888 のルールを持つセキュリティグループ jupyter_docker

ステップ4) 新しく作成されたセキュリティ グループが一覧表示されます

新しく作成された jupyter_docker セキュリティ グループを示す EC2 リスト

パート 3: インスタンスの起動

いよいよインスタンスを作成する準備が整いました

インスタンスが選択されたEC2ナビゲーションパネル

ステップ1) 「インスタンスの起動」をクリックします

EC2インスタンス起動ボタン

デフォルトのサーバーで十分です。 Amazon Linux AMI。スクリーンショットはイメージ2018.03.0を示しています。現在のコンソールでは Amazon Linux 2023つまり、ピクセルではなくラベルを照合するということです。

AMIはの略です Amazon マシンイメージ。クラウド上の仮想サーバーで実行されるインスタンスを起動するために必要な情報が含まれています。

Amazon 起動ウィザードのLinux AMI選択画面

AWS には次のようなディープラーニング専用のサーバーがあることに注意してください。

  • ディープラーニング AMI (Ubuntu)
  • ディープラーニングAMI
  • 深層学習ベース AMI (Ubuntu)

それら全てには、ディープラーニングフレームワークの最新バイナリが個別の仮想環境にプリインストールされています。

  • テンソルフロー、
  • コー​​ヒー
  • PyTorch,
  • ケラス,
  • テアノ
  • CNTK。

各イメージは、NVIDIA CUDA、cuDNN、NCCL、およびIntel MKL-DNNを完全に構成しています。

ステップ2) 選択する t2.microこれは無料利用枠対象のサーバーです。AWSは、1つのvCPUと1GBのメモリを搭載したこの仮想マシンを無料で提供しています。このサーバーは、計算能力、メモリ、ネットワーク性能のバランスが優れており、小規模から中規模のワークロードに適しています。

t2.microを選択したインスタンスタイプの画面

ステップ3) 次の画面では設定をデフォルトのままにし、「次へ: ストレージの追加」をクリックします。

インスタンス設定画面はデフォルト値のままです。

ステップ4) ストレージを 10GB に増やし、「次へ」をクリックします

ルートボリュームを10GBに増やしたストレージ画面

ステップ5) 設定をデフォルトのままにして、「次へ: セキュリティ グループの構成」をクリックします。

タグ画面はデフォルト値のままです。

ステップ6) 前に作成したセキュリティ グループを選択します。 ジュピタードッカー

jupyter_dockerが選択されたセキュリティグループ画面

ステップ7) Rev設定を確認し、起動ボタンをクリックします

RevEC2インスタンスを起動する前のビュー画面

ステップ8) 最後のステップは、キー ペアをインスタンスにリンクすることです。

Dockerキーをインスタンスにリンクするキーペア選択ダイアログ

ステップ9) インスタンスが起動します

インスタンスが起動していることを確認する起動ステータスページ

ステップ10) 以下は現在使用中のインスタンスの概要です。パブリックIPアドレスにご注意ください。

パブリックIPアドレスを表示するEC2インスタンス一覧

ステップ11) 接続をクリック

実行中のインスタンスへのEC2接続ボタン

接続の詳細はこちらで確認できます

SSH接続の詳細を表示する接続ダイアログ

インスタンスを起動します (Mac OS ユーザー)

まず、端末の作業ディレクトリを、鍵ペアファイルが保存されているフォルダに指定してください。

コードを実行する

chmod 400 docker.pem

このコードを使用して接続を開きます。

コマンドは2つあります。最初のコマンドが停止することもあります。 Jupyter ノートを開く。

この場合、XNUMX 番目の接続を使用して接続を強制します。 Jupyter EC2 上のノートブック。

# If able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com
# If not able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

初めて、接続を受け入れるように求められます

SSHホストのフィンガープリントを受け入れるかどうか尋ねるターミナルプロンプトが表示される。

インスタンスを起動します (Windows ユーザー)

ステップ1) この Web サイトにアクセスして PuTTY と PuTTYgen をダウンロードします PUTTY

ダウンロードする必要があります

  • PuTTY: インスタンスを起動します
  • PuTTYgen: pem ファイルを ppk に変換します

PuTTYのダウンロードページには、PuTTYとPuTTYgenが掲載されています。

両方のプログラムがインストールされたら、.pemファイルを.ppkファイルに変換する必要があります。PuTTYは.ppkファイルしか読み取れません。pemファイルには、AWSによって作成された固有のキーが含まれています。

ステップ2) PuTTYgen を開き、「ロード」をクリックします。 .pem ファイルが存在するフォルダーを参照します。

PuTTYgenの読み込みダイアログで.pemファイルを参照

ステップ3) ファイルをロードすると、キーが正常にインポートされたことを知らせる通知が表示されます。 「OK」をクリックします

PuTTYgenがキーのインポートを確認する通知を表示

ステップ4) 次に、「秘密キーを保存」をクリックします。 このキーをパスフレーズなしで保存するかどうかを尋ねられます。 「はい」をクリックします。

PuTTYgenがパスフレーズなしで秘密鍵を保存するよう促す

ステップ5) キーを保存する

変換された.ppk秘密鍵ファイルを保存します

ステップ6) AWS に移動し、パブリック DNS をコピーします。

インスタンスのパブリックDNS名を表示するAWSコンソール

PuTTY を開き、ホスト名にパブリック DNS を貼り付けます。

ホスト名にパブリックDNSが表示されているPuTTYセッション画面

ステップ7)

  1. 左側のパネルで SSH を展開し、認証を開きます
  2. 秘密キーを参照します。 .ppkを選択する必要があります
  3. [開く]をクリックします。

PuTTYのSSH認証画面で、.ppk形式の秘密鍵が選択されている。

ステップ8)

この手順が完了すると、新しいウィンドウが開きます。 このポップアップが表示された場合は、「はい」をクリックします

PuTTYセキュリティアラート:サーバーホストキーを受け入れます

ステップ9)

ec2-user としてログインする必要があります。

PuTTYのログインプロンプト(ec2-userアカウント使用)

ステップ10)

あなたはに接続されています Amazon Linux AMI。

Amazon Linux AMIシェルのログイン成功後のバナー

パート 4: Docker をインストールする

その Dockerチュートリアル 以下で使用するコンテナ用語について説明します。

PuTTYまたはターミナル経由でサーバーに接続している間は、 デッカー それは地球です。

以下のコードを実行します。 Amazon Linux 2023、使用 dnf の yum (NAIST) と systemctl start docker の service docker start.

sudo yum update -y
sudo yum install -y docker
sudo service docker start
sudo usermod -a -G docker ec2-user
exit

接続を再度開始します

ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

Windows ユーザーは上記の説明どおりにPuTTYに再接続します。

パート 5: インストール Jupyter

ステップ1) 作ります Jupyter 事前に構築されたイメージからのコンテナ:

## Tensorflow
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook
## Spark
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/pyspark-notebook

Code 説明

  • docker run: イメージを実行します
  • v: ボリュームをアタッチします
  • ~/work:/home/jovyan/work: ボリューム
  • 8888:8888: ポート
  • jupyter/datascience-notebook: 画像

その他の既製イメージについては、以下を参照してください。 Jupyter Docker Stacksリポジトリ2023年10月以降、これらの画像はQuay.ioで配信されるため、 quay.io/jupyter/tensorflow-notebook or quay.io/jupyter/pyspark-notebook の PySpark;Docker Hubのコピーは凍結されています。

コンテナがマウントされた場所に書き込む work 再起動後もノートブックが保持されるようにするフォルダ:

sudo chown 1000 ~/work

ステップ2) インストールを開始する tree 作業ディレクトリを検査するには、次の手順に従ってください。

sudo yum install -y tree

treeコマンドのターミナル出力(作業ディレクトリを表示)

ステップ3) コンテナとその名前を確認してください

以下のコマンドを順番に実行してください。

  1. 実行中のコンテナを一覧表示します。
    docker ps
  2. コンテナログを読んでください Jupyter URLコンテナ名はvigilant_easleyです。
    docker logs vigilant_easley
  3. コピー URLログから取得したトークンとともに。

docker ps と docker logs の出力 Jupyter トークン URL

ステップ4) URL ログから、ホスト名(90a3c09282d6 または 127.0.0.1)をインスタンスのパブリック DNS に置き換えてください。

http://(90a3c09282d6 or 127.0.0.1):8888/?token=f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Jupyter EC2インスタンスから提供されるログインページ

ステップ5) 新しい URL となり、

http://ec2-174-129-135-16.compute-1.amazonaws.com:8888/?token=f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

ステップ6) コピーして貼り付けます URL あなたのブラウザに。

Jupyter 開始:

Jupyter コンテナからダッシュボードが開きました

ステップ7) これで、新しいノートブックを work フォルダにコピーします。

マウントされた作業フォルダー内に新しいノートブックが作成されました

パート 6: 密接な接続

ターミナルでの接続を閉じます

exit

AWS に戻り、サーバーを停止します。

AWSコンソールを使用してEC2インスタンスを停止します

トラブルシューティング

Dockerが動作しない場合は、以下の方法でイメージを再構築してください。

docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook

よくあるご質問

Notebook 7では、タブごとに1つのドキュメントが開かれ、従来のダッシュボードが維持されます。 JupyterLabには、ファイルブラウザ、ターミナル、および並べて表示できるノートブック機能が追加されています。どちらも同じカーネルと.ipynb形式を共有しています。

Python デフォルトではI経由で到着しますPython カーネル。コミュニティカーネルが追加されます RJulia、Scalaなど、その他数十種類。カーネルパッケージをインストールしてから、[新規]メニューから選択してください。

カーネルメニューを使用してください。[再起動]ではすべての変数がクリアされ、[再起動してすべて実行]ではノートブックがクリーンな状態で再再生され、[カーネルの変更]では環境が切り替わります。セルがハングアップした場合は、再起動が最も迅速な解決策です。

魔法はPython ショートカット。行マジックは % で始まり、1 行に対して機能します。例: %timeit。セルマジックは最初の行に %% で始まります。例: %%writefile。一覧を表示するには、%lsmagic を実行してください。

ファイルメニューから「ノートブックを保存してエクスポート」を選択するか、ターミナルで `jupyter nbconvert –to html notebook.ipynb` を実行してください。PDF エクスポートには、LaTeX または WebPDF バックエンドがインストールされている必要があります。

トークンを保持するか、パスワードハッシュを設定し、ポート8888のセキュリティグループルールを「どこでも」ではなく自分のIPアドレスに制限し、HTTPSまたはSSHトンネルを使用してください。その後、インスタンスを停止してください。

はい。Copilot は、以下の方法で開いたノートブックで動作します。 VS Code or Jupyterラボ拡張機能は、コメントからセル全体を提案します。エージェントアシスタントはセルをリファクタリングし、説明します。 trac提案はどれも有効ですが、実行する前に必ずレビューが必要です。

AIアシスタントは反復作業を高速化する データ分析 作業内容:データフレームのプロファイリング、特徴量の抽出、ハイパーパラメータグリッドの提案、結果のプロット。ノートブックには各提案とその出力が記録されるため、作業の履歴を監査できます。