Google Colaboratory — это облачный сервис, направленный на упрощение исследований в области машинного и глубокого обучения. Используя Colaboratory, можно получить удаленный доступ к машине с подключенной видеокартой, причем совершенно бесплатно, что сильно упрощает жизнь, когда приходится делать глубокое обучение нейросетей. Можно сказать, что Colab является некоторым аналогом гугл-документов для Jupyter Notebook.
В Colaboratory предустановлена Tensorflow и практически все необходимые для работы Python-библиотеки. Если какой-то пакет отсутствует, он с легкостью устанавливается на ходу через pip
или apt-get
.
Итак, используя Google Colab вы можете:
- улучшить свои навыки программирования на языке программирования Python.
- развивать глубокое обучение нейросетей с использованием популярных библиотек, таких как Keras, TensorFlow, PyTorch, и OpenCV.
Наиболее важной особенностью, которая отличает Colab от других бесплатных облачных сервисов, является то, что Colab предоставляет GPU и это абсолютно бесплатная услуга.
Подробную информацию об услуге можно найти на странице часто задаваемых вопросов.
Подготовка Google Colab к работе
Создание папки на Google Диске
Поскольку Colab работает на вашем собственном Google Диске, сначала нам нужно указать папку, с которой мы будем работать. Мы создали папку с именем « app » на своем Google Диске . Конечно, вы можете использовать другое имя или выбрать папку Colab Notebooks по умолчанию вместо папки « app ».

Создание нового ноутбука Colab
Создайте новый ноутбук, щелкнув правой кнопкой мыши > More > Colaboratory

Переименуйте ноутбук, нажав на имя файла.
Настройка работы с бесплатной видеокартой
Необходимо изменить аппаратное обеспечение по умолчанию (CPU на GPU или наоборот) просто выполнив Edit > Notebook settings или Runtime>Change runtime type и выбрав GPU в качестве Hardware accelerator.
Запуск основных кодов Python с Google Colab
Теперь мы можем начать использовать Google Colab.
Мы будем запускать некоторые коды базовых типов данных из Python Numpy Tutorial.
Ну что же, всё работает как положено 🙂 Если вы не знаете Python, который является самым популярным языком программирования для ИИ, то мы бы порекомендовали вам этот простой и понятный учебник.
Запуск или импорт .py файлов с помощью Google Colab
Сначала запустите эти коды, чтобы установить необходимые библиотеки и выполнить авторизацию.
Когда вы запустите приведенный выше код, вы должны увидеть такой результат:
Нажмите на ссылку, скопируйте код подтверждения и вставьте его в текстовое поле.
После завершения процесса авторизации вы должны увидеть это:
Теперь вы можете подключиться к Google Диску с помощью:
установите Keras:
! pip install -q keras
Загрузите файл mnist_cnn.py в папку app, расположенную на вашем Google Диске.
Запустите приведенный ниже код, чтобы обучить простой конвнет (свёрточную нейронную сеть) на наборе данных MNIST.
!python3 "/content/drive/My Drive/app/mnist_cnn.py"
Как видно из результатов, каждая эпоха длится всего 11 секунд.
Загрузите набор данных Titanic (файл .csv) и отобразите первые 5 строк
Если вы хотите загрузить файл .csv из URL в папку «app» , просто запустите:
!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P "/content/drive/My Drive/app"
Вы можете загрузить свои файлы .csv прямо в папку «app» вместо метода wget.
Прочитайте файл .csv в папке «app» и отобразите первые 5 строк :
import pandas as pd titanic = pd.read_csv(“/content/drive/My Drive/app/Titanic.csv”) titanic.head(5)
Клонирование Github Repo в Google Colab
Легко клонировать репозиторий Github с помощью Git.
Шаг 1: Найти репозиторий Github и получить ссылку «Git»
Найдите любой репозиторий Github для использования.
Например: https://github.com/wxs/keras-mnist-tutorial
Clone or download > Copy the link!
2. Git Clone
Просто запустите:
!git clone https://github.com/wxs/keras-mnist-tutorial.git
3. Откройте папку на Google Диске
Конечно, имя папки совпадает с именем репозитория Github 🙂
4. Откройте ноутбук
Щелкните правой кнопкой мыши > Open With > Colaboratory
5. Запустите
Теперь вы можете запустить Github-репо в Google Colab.
Несколько полезных советов
1. Как установить библиотеки?
Keras
!pip install -q keras import keras
PyTorch
from os import path from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())accelerator = 'cu80' if path.exists('/opt/bin/nvidia-smi') else 'cpu'!pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.3.0.post4-{platform}-linux_x86_64.whl torchvision import torch
или попробуйте так:
!pip3 install torch torchvision
MxNet
!apt install libnvrtc8.0 !pip install mxnet-cu80 import mxnet as mx
OpenCV
!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python import cv2
XGBoost
!pip install -q xgboost==0.4a30
import xgboost
GraphViz
!apt-get -qq install -y graphviz && pip install -q pydot
import pydot
7zip Reader
!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive
Любые другие библиотеки
!pip install
или !apt-get install
для инсталляции любых других библиотек.
2. Работает ли GPU?
Чтобы увидеть, используете ли вы в настоящее время графический процессор в Colab, вы можете запустить следующий код для перекрестной проверки:
import tensorflow as tf tf.test.gpu_device_name()
3. Какой графический процессор я использую?
from tensorflow.python.client import device_lib device_lib.list_local_devices()
В настоящее время Colab предоставляет только Tesla K80 .
4. Как насчет оперативной памяти?
!cat /proc/meminfo
5. А как насчет процессора?
!cat /proc/cpuinfo
6. Изменение рабочего каталога
Обычно, когда вы запускаете этот код:
!ls
Вы, вероятно, видите папки данных и дисков .
Поэтому вы должны добавить drive/app перед определением каждого имени файла.
Чтобы избавиться от этой проблемы, вы можете просто изменить рабочий каталог, например, с помощью этого простого кода:
import os os.chdir("drive/app")
После отработки кода выше, если вы запустите снова
!ls
Вы увидите содержимое папки app, и вам больше не нужно постоянно добавлять drive/app.
7. Устранение ошибки “No backend with GPU available”
Если вы столкнулись с этой ошибкой:
Failed to assign a backend No backend with GPU available. Would you like to use a runtime with no accelerator?
Попробуйте еще раз чуть позже. Многие пользователи сейчас работают с графическими процессорами, и это сообщение появляется, когда используются все доступные видеокарты.
8. Как очистить выходы всех ячеек
Следуйте
Tools>>Command Palette>>Clear All Outputs
9. Предупреждение “apt-key output should not be parsed (stdout is not a terminal)”
Если вы столкнулись с этим предупреждением:
Warning: apt-key output should not be parsed (stdout is not a terminal)
Это означает, что аутентификация уже выполнена. Вам нужно только подключить Google Drive:
!mkdir -p drive !google-drive-ocamlfuse drive
10. Как использовать Tensorboard с Google Colab?
Мы рекомендуем этот репозиторий:
https://github.com/mixuala/colab_utils
11. Как перезапустить Google Colab?
Чтобы перезапустить (или перезагрузить) вашу виртуальную машину, просто запустите:
!kill -9 -1
12. Как добавить форму в Google Colab?
Чтобы не изменять гиперпараметры каждый раз в своем коде, вы можете просто добавить форму в Google Colab.
Например, мы добавили форму, которая содержит переменную learning_rate
и строку optimizer
.
13. Как увидеть аргументы функции?
Чтобы увидеть аргументы функции в TensorFlow, Keras и т.д., просто добавьте знак вопроса (?) после имени функции:
Теперь вы можете просмотреть оригинальную документацию, не переходя на веб-сайт TensorFlow.
14. Как отправить большие файлы из Colab на Google Drive?
15. Как запустить Tensorboard в Google Colab?
Если вы хотите запустить Tensorboard в Google Colab, запустите приведенный ниже код.
Вы можете отслеживать ваши журналы Tensorboard с помощью созданного URL ngrok.io . Вы найдете URL в конце вывода.
Обратите внимание, что ваши журналы Tensorboard будут сохранены в директории tb_logs. Конечно, вы можете изменить имя каталога.
После этого мы можем увидеть Tensorboard в действии! После запуска приведенного ниже кода вы можете отслеживать журналы Tensorboard через URL-адрес ngrok.
Тензорборд 🙂
Заключение
Мы думаем, что Colab вдохнет новое дыхание в глубокое обучение нейросетей и изучение искусственного интеллекта во всем мире.
Если вы сочли эту статью полезной – поделитесь ссылкой с друзьями, чтобы помочь другим интересующимся найти её! И не стесняйтесь оставлять комментарии.
Оригинал статьи здесь.
Читайте также:
- Группа в Facebook — Космос 2.0: виртуальные миры (Second Life, Sansar, Sinespace, etc)
- Как превратить старый персональный компьютер или ноутбук в мощную игровую систему без обновления «железа»? Читайте здесь->
Присоединяйтесь к нашему Telegram-каналу: https://t.me/technomagic и группе в Facebook.