Jupyter Учебное пособие по ноутбуку: как установить и использовать Jupyter?

Что такое Jupyter Ноутбуки?

Jupyter ноутбук — это веб-приложение с открытым исходным кодом для написания и обмена живыми кодами, уравнениями и визуализациями с элементами форматированного текста. Он обеспечивает удобный способ написания абзацев, уравнений, заголовков, ссылок и рисунков для анализа данных. Это также полезно для обмена интерактивными алгоритмами с вашей аудиторией в целях обучения или демонстрации.

Введение в Jupyter Приложение для ноутбука

Jupyter Приложение для ноутбука — это интерфейс, в котором вы можете писать сценарии и коды через веб-браузер. Приложение можно использовать локально, то есть вам не нужен доступ в Интернет или удаленный сервер.

Каждое вычисление выполняется через ядро. Новое ядро ​​создается каждый раз при запуске Jupyter Блокнот.

Текущие установки поставляются Ноутбук 7, построен на JupyterЛаборатория jupyter notebook всё ещё работает, и оба варианта читаются одинаково. .ipynb .

Как это работает? Jupyter ноутбук

На занятии ниже вы узнаете, как использовать Jupyter Блокнот. Вы напишете простую строку кода, чтобы ознакомиться со средой Jupyter.

Шаг 1) Вы добавляете папку внутри рабочего каталога, которая будет содержать все блокноты, которые вы создадите в ходе обучающих уроков. TensorFlow.

If Jupyter отсутствует, запустите pip install notebook во-первых, как Руководство по установке TensorFlow делает это. Затем откройте терминал и напишите

mkdir jupyter_tf
jupyter notebook

Code объяснение

• mkdir jupyter_tf: Создать папку с именем jupyter_tf
• блокнот jupyter: Открыть Jupyter Веб-приложение

Шаг 2) Вы можете увидеть новую папку внутри среды. Нажмите на папку jupyter_tf.

Шаг 3) Внутри этой папки вы создадите свой первый блокнот. Нажмите на кнопку Новое и Python 3.

Шаг 4) Вы находитесь внутри Jupyter среда. На данный момент ваш блокнот называется Untitled.ipynb. Это имя по умолчанию, присвоенное. Jupyter. Давайте переименуем его, нажав на Файл и Переименовывать

Вы можете переименовать его Введение_jupyter

Внутри Jupyter В интерфейсе блокнота вы пишете код, аннотации или текст внутри ячеек.

Внутри ячейки вы можете написать одну строку кода.

или несколько строк. Jupyter читает код одну строку за другой.

Например, если вы напишете следующий код внутри ячейки.

Он выдаст этот результат.

Шаг 5) Вы готовы написать свою первую строку кода. Обратите внимание, что ячейка имеет два цвета. Зеленый цвет означает, что вы находитесь в... режим редактирования.

Однако синий цвет указывает на то, что вы находитесь в режим выполнения.

Первая строка вашего кода выведет на экран следующее: Guru99!. Внутри ячейки можно написать

print("Guru99!")

Есть два способа запустить код в Jupyter:

• Нажмите и запустите
• Сочетания клавиш

Чтобы запустить код, вы можете нажать на Ячейка , а затем Запустите ячейки и выберите ниже

Вы можете видеть, что код напечатан под ячейкой, и сразу после вывода появилась новая ячейка.

Более быстрый способ запустить код — использовать Сочетания клавиш. Чтобы получить доступ к сочетаниям клавиш, перейдите в Помощь и Сочетания клавиш

Ниже список сочетаний клавиш для клавиатуры MacOS. Вы можете редактировать ярлыки в редакторе.

Ниже приведены сочетания клавиш для Windows

Напишите эту строку

print("Hello world!")

Попробуйте сочетание клавиш. Alt+Enter запустит ячейку и вставит новую пустую ячейку ниже.

Шаг 6) Пришло время закрыть Блокнот. Идти к Файл и нажмите на Закрыть и остановиться

Внимание: Jupyter автоматически сохраняет блокнот с контрольной точкой. Если у вас есть следующее сообщение:

Это значит Jupyter не сохранил файл с момента последней контрольной точки. Вы можете вручную сохранить блокнот

Вы будете перенаправлены на главную панель. Вы можете видеть, что ваш блокнот был сохранен минуту назад. Вы можете безопасно выйти из системы.

Установите Jupyter Ноутбук с AWS

Когда объем данных превышает объем локальной памяти, переместите ноутбук на облачный сервер. Ниже описан пошаговый процесс установки и запуска. Jupyter Блокнот на AWS:

Если у вас нет учетной записи на AWS, создайте бесплатную учетную запись. здесь.

Мы будем действовать следующим образом

• Часть 1. Настройка пары ключей
• Часть 2. Настройка группы безопасности
• Часть 3. Запуск экземпляра
• Часть 4. Установите Docker
• Часть 5: Установка Jupyter
• Часть 6: Тесное соединение

Часть 1. Настройка пары ключей

Шаг 1) Перейдите на Услуги и найдите EC2

Шаг 2) На панели и нажмите Ключевые пары

Шаг 3) Нажмите «Создать пару ключей».

1. Вы можете назвать это ключом Docker
2. Нажмите кнопку Создать

Загружается файл с именем Docker_key.pem.

Шаг 4) Скопируйте и вставьте его в ключ папки. Он нам скоро понадобится.

Только для пользователей Mac OS

Этот шаг касается только пользователей Mac OS. Windows А пользователи Linux могут сразу перейти ко второй части.

Необходимо указать рабочую директорию, которая будет содержать ключ файла.

Прежде всего создайте папку с именем key. У нас он находится внутри основной папки Docker. Затем вы устанавливаете этот путь в качестве рабочего каталога.

mkdir Docker/key
cd Docker/key

Часть 2. Настройка группы безопасности

Шаг 1) Вам необходимо настроить группу безопасности. Вы можете получить к нему доступ с помощью панели

Шаг 2) Нажмите «Создать группу безопасности».

Шаг 3) На следующем экране

1. Введите имя группы безопасности «jupyter_docker» и описание «Группа безопасности для Docker».
2. Добавьте четыре правила входящего трафика, перечисленные ниже:
   • ssh: диапазон портов 22, источник Anywhere
   • http: диапазон портов 80, источник Anywhere
   • https: диапазон портов 443, источник Anywhere
   • Пользовательский TCP: диапазон портов 8888, источник Anywhere
3. Нажмите «Создать».

Шаг 4) Вновь созданная группа безопасности будет отображена в списке.

Часть 3. Запуск экземпляра

Наконец, вы готовы создать экземпляр.

Шаг 1) Нажмите "Запустить экземпляр".

Сервера по умолчанию достаточно. Выберите... Amazon Образ Linux AMI. На скриншотах показан образ 2018.03.0; текущие консоли предлагают Amazon Linux 2023Таким образом, необходимо сопоставлять метки, а не пиксели.

АМИ означает Amazon Образ машины. Он содержит информацию, необходимую для запуска экземпляра, работающего на виртуальном сервере в облаке.

Обратите внимание, что у AWS есть сервер, предназначенный для глубокого обучения, например:

• Глубокое обучение AMI (Ubuntu)
• AMI глубокого обучения
• База глубокого обучения AMI (Ubuntu)

Все они поставляются с предустановленными последними версиями фреймворков глубокого обучения в отдельных виртуальных средах:

• ТензорФлоу,
• Кафе
• PyTorch,
• Keras,
• Theano
• ЦНТК.

Каждый образ полностью сконфигурирован с использованием NVIDIA CUDA, cuDNN и NCCL, а также Intel MKL-DNN.

Шаг 2) Выбирайте t2.microЭто сервер бесплатного уровня. AWS бесплатно предоставляет эту виртуальную машину, оснащенную 1 виртуальным процессором и 1 ГБ памяти. Этот сервер обеспечивает хороший компромисс между вычислительной мощностью, памятью и производительностью сети. Он подходит для небольших и средних рабочих нагрузок.

Шаг 3) Оставьте настройки по умолчанию на следующем экране и нажмите «Далее: Добавить хранилище».

Шаг 4) Увеличьте объем памяти до 10 ГБ и нажмите «Далее».

Шаг 5) Оставьте настройки по умолчанию и нажмите «Далее: настроить группу безопасности».

Шаг 6) Выберите группу безопасности, которую вы создали ранее, то есть jupyter_docker

Шаг 7) Revпросмотрите свои настройки и нажмите кнопку запуска

Шаг 8) Последний шаг — связать пару ключей с экземпляром.

Шаг 9) Экземпляр будет запущен

Шаг 10) Ниже приведено краткое описание используемых в настоящее время экземпляров. Обратите внимание на публичный IP-адрес.

Шаг 11) Нажмите «Подключиться»

Вы найдете данные для подключения.

Запустите свой экземпляр (пользователи Mac OS)

Сначала укажите в терминале путь к папке, содержащей файл с парой ключей.

запустить код

chmod 400 docker.pem

Откройте соединение с этим кодом.

Есть две команды. Иногда первая из них останавливает процесс. Jupyter открыть блокнот.

В этом случае используйте второй для принудительного подключения. Jupyter Ноутбук на EC2.

# If able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com
# If not able to launch Jupyter
ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

В первый раз вам будет предложено принять соединение.

Запустите свой экземпляр (Windows пользователей)

Шаг 1) Перейдите на этот сайт, чтобы загрузить PuTTY и PuTTYgen. PuTTY

Вам нужно скачать

• PuTTY: запустить экземпляр
• PuTTYgen: преобразовать файл pem в ppk

Теперь, когда обе программы установлены, вам нужно преобразовать файл .pem в .ppk. PuTTY может читать только файлы .ppk. Файл .pem содержит уникальный ключ, созданный AWS.

Шаг 2) Откройте PuTTYgen и нажмите «Загрузить». Просмотрите папку, в которой находится файл .pem.

Шаг 3) После загрузки файла вы должны получить уведомление о том, что ключ был успешно импортирован. Нажмите ОК

Шаг 4) Затем нажмите «Сохранить закрытый ключ». Вас спросят, хотите ли вы сохранить этот ключ без парольной фразы. Нажмите «Да».

Шаг 5) Сохраните ключ

Шаг 6) Перейдите на AWS и скопируйте общедоступный DNS.

Откройте PuTTY и вставьте общедоступный DNS в имя хоста.

Шаг 7)

1. На левой панели разверните SSH и откройте Auth.
2. Просмотрите закрытый ключ. Вам следует выбрать .ppk
3. Щелкните "Открыть".

Шаг 8)

Когда этот шаг будет выполнен, откроется новое окно. Нажмите «Да», если вы видите это всплывающее окно.

Шаг 9)

Вам необходимо войти в систему как: ec2-user

Шаг 10)

Вы подключены к Amazon Линукс АМИ.

Часть 4. Установите Docker

Учебное пособие по Docker охватывает используемую ниже терминологию, касающуюся контейнеров.

Подключившись к серверу через PuTTY или Терминал, вы можете установить... Docker двигатель.

Выполните следующие команды. Amazon Linux 2023, использовать dnf для yum и systemctl start docker для service docker start.

sudo yum update -y
sudo yum install -y docker
sudo service docker start
sudo usermod -a -G docker ec2-user
exit

Запустите снова соединение

ssh -i "docker.pem" ec2-user@ec2-18-219-192-34.us-east-2.compute.amazonaws.com -L 8888:127.0.0.1:8888

Windows Пользователи повторно подключаются к PuTTY точно так, как описано выше.

Часть 5: Установка Jupyter

Шаг 1) Создайте Jupyter контейнер из предварительно собранного образа:

## Tensorflow
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook
## Spark
docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/pyspark-notebook

Code объяснение

• docker run: запустить образ
• v: прикрепить том
• ~/work:/home/jovyan/work: Объем
• 8888:8888: порт
• jupyter/datascience-notebook: Изображение

Другие готовые образы можно посмотреть в разделе... Jupyter Репозиторий Docker StacksС октября 2023 года эти изображения размещаются на Quay.io, поэтому, пожалуйста, скачайте их. quay.io/jupyter/tensorflow-notebook or quay.io/jupyter/pyspark-notebook для PySparkКопии Docker Hub заморожены.

Пусть контейнер запишет данные в смонтированный контейнер. work папка, чтобы ноутбуки сохраняли свою работоспособность после перезагрузки:

sudo chown 1000 ~/work

Шаг 2) Установите tree Таким образом, вы можете проверить рабочий каталог:

sudo yum install -y tree

Шаг 3) Проверьте контейнер и его имя

Выполните следующие команды в указанном порядке:

1. Перечислите запущенные контейнеры:

   docker ps

2. Прочитайте журнал контейнера для Jupyter URLЗдесь контейнер называется vigilant_easley:

   docker logs vigilant_easley

3. Скопируйте URL, вместе со своим токеном, из журнала.

Шаг 4) В URL В журнале замените хост (90a3c09282d6 или 127.0.0.1) на публичный DNS-сервер вашего экземпляра:

http://(90a3c09282d6 or 127.0.0.1):8888/?token=f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Шаг 5) Новый URL становится,

http://ec2-174-129-135-16.compute-1.amazonaws.com:8888/?token=f460f1e79ab74c382b19f90fe3fd55f9f99c5222365eceed

Шаг 6) Скопируйте и вставьте URL в ваш браузер.

Jupyter Открывает

Шаг 7) Теперь вы можете создать новый блокнот внутри своего приложения. work папку.

Часть 6: Тесное соединение

Закройте соединение в терминале

exit

Вернитесь в AWS и остановите сервер.

Диагностика неисправностей

Если Docker не работает, пересоберите образ, используя

docker run -v ~/work:/home/jovyan/work -d -p 8888:8888 jupyter/tensorflow-notebook

Часто задаваемые вопросы (FAQ)