Google Colaboratory — это облачный сервис, направленный на упрощение исследований в области машинного и глубокого обучения. Используя Colaboratory, можно получить удаленный доступ к машине с подключенной видеокартой, причем совершенно бесплатно, что сильно упрощает жизнь, когда приходится делать глубокое обучение нейросетей. Можно сказать, что Colab является некоторым аналогом гугл-документов для Jupyter Notebook.

В Colaboratory предустановлена Tensorflow и практически все необходимые для работы Python-библиотеки. Если какой-то пакет отсутствует, он с легкостью устанавливается на ходу через pip или apt-get.

Итак, используя Google Colab вы можете:

• улучшить свои навыки программирования на языке программирования Python.
• развивать глубокое обучение нейросетей с использованием популярных библиотек, таких как Keras, TensorFlow, PyTorch, и OpenCV.

Наиболее важной особенностью, которая отличает Colab от других бесплатных облачных сервисов, является то, что Colab предоставляет GPU и это абсолютно бесплатная услуга.

Подробную информацию об услуге можно найти на странице часто задаваемых вопросов.

Подготовка Google Colab к работе

Создание папки на Google Диске

Поскольку Colab работает на вашем собственном Google Диске, сначала нам нужно указать папку, с которой мы будем работать. Мы создали папку с именем « app » на своем Google Диске . Конечно, вы можете использовать другое имя или выбрать папку Colab Notebooks по умолчанию вместо папки « app ».

Создание нового ноутбука Colab

Создайте новый ноутбук, щелкнув правой кнопкой мыши > More > Colaboratory

Переименуйте ноутбук, нажав на имя файла.

Настройка работы с бесплатной видеокартой

Необходимо изменить аппаратное обеспечение по умолчанию (CPU на GPU или наоборот) просто выполнив Edit > Notebook settings или Runtime>Change runtime type и выбрав GPU в качестве Hardware accelerator.

Запуск основных кодов Python с Google Colab

Теперь мы можем начать использовать Google Colab.

Мы будем запускать некоторые коды базовых типов данных из Python Numpy Tutorial.

Ну что же, всё работает как положено 🙂 Если вы не знаете Python, который является самым популярным языком программирования для ИИ, то мы бы порекомендовали вам этот простой и понятный учебник.

Запуск или импорт .py файлов с помощью Google Colab

Сначала запустите эти коды, чтобы установить необходимые библиотеки и выполнить авторизацию.

Когда вы запустите приведенный выше код, вы должны увидеть такой результат:

Нажмите на ссылку, скопируйте код подтверждения и вставьте его в текстовое поле.

После завершения процесса авторизации вы должны увидеть это:

Теперь вы можете подключиться к Google Диску с помощью:

установите Keras:

! pip install -q keras

Загрузите файл mnist_cnn.py в папку app, расположенную на вашем Google Диске.

Запустите приведенный ниже код, чтобы обучить простой конвнет (свёрточную нейронную сеть) на наборе данных MNIST.

!python3 "/content/drive/My Drive/app/mnist_cnn.py"

Как видно из результатов, каждая эпоха длится всего 11 секунд.

Загрузите набор данных Titanic (файл .csv) и отобразите первые 5 строк

Если вы хотите загрузить файл .csv из URL в папку «app» , просто запустите:

!wget https://raw.githubusercontent.com/vincentarelbundock/Rdatasets/master/csv/datasets/Titanic.csv -P "/content/drive/My Drive/app"

Вы можете загрузить свои файлы .csv прямо в папку «app» вместо метода wget.

Прочитайте файл .csv в папке «app» и отобразите первые 5 строк :

import pandas as pd
titanic = pd.read_csv(“/content/drive/My Drive/app/Titanic.csv”)
titanic.head(5)

Клонирование Github Repo в Google Colab

Легко клонировать репозиторий Github с помощью Git.

Шаг 1: Найти репозиторий Github и получить ссылку «Git»

Найдите любой репозиторий Github для использования.

Например: https://github.com/wxs/keras-mnist-tutorial

Clone or download > Copy the link!

2. Git Clone

Просто запустите:

!git clone https://github.com/wxs/keras-mnist-tutorial.git

3. Откройте папку на Google Диске

Конечно, имя папки совпадает с именем репозитория Github 🙂

4. Откройте ноутбук

Щелкните правой кнопкой мыши > Open With > Colaboratory

5. Запустите

Теперь вы можете запустить Github-репо в Google Colab.

Несколько полезных советов

1. Как установить библиотеки?

Keras

!pip install -q keras
import keras

PyTorch

from os import path
from wheel.pep425tags import get_abbr_impl, get_impl_ver, get_abi_tag
platform = '{}{}-{}'.format(get_abbr_impl(), get_impl_ver(), get_abi_tag())accelerator = 'cu80' if path.exists('/opt/bin/nvidia-smi') else 'cpu'!pip install -q http://download.pytorch.org/whl/{accelerator}/torch-0.3.0.post4-{platform}-linux_x86_64.whl torchvision
import torch

или попробуйте так:

!pip3 install torch torchvision

MxNet

!apt install libnvrtc8.0
!pip install mxnet-cu80
import mxnet as mx

OpenCV

!apt-get -qq install -y libsm6 libxext6 && pip install -q -U opencv-python
import cv2

XGBoost

!pip install -q xgboost==0.4a30
import xgboost

GraphViz

!apt-get -qq install -y graphviz && pip install -q pydot
import pydot

7zip Reader

!apt-get -qq install -y libarchive-dev && pip install -q -U libarchive
import libarchive

Любые другие библиотеки

!pip install или !apt-get install для инсталляции любых других библиотек.

2. Работает ли GPU?

Чтобы увидеть, используете ли вы в настоящее время графический процессор в Colab, вы можете запустить следующий код для перекрестной проверки:

import tensorflow as tf
tf.test.gpu_device_name()

3. Какой графический процессор я использую?

from tensorflow.python.client import device_lib
device_lib.list_local_devices()

В настоящее время Colab предоставляет только Tesla K80 .

4. Как насчет оперативной памяти?

!cat /proc/meminfo

5. А как насчет процессора?

!cat /proc/cpuinfo

6. Изменение рабочего каталога

Обычно, когда вы запускаете этот код:

!ls

Вы, вероятно, видите папки данных и дисков .

Поэтому вы должны добавить drive/app перед определением каждого имени файла.

Чтобы избавиться от этой проблемы, вы можете просто изменить рабочий каталог, например, с помощью этого простого кода:

import os
os.chdir("drive/app")

После отработки кода выше, если вы запустите снова

!ls

Вы увидите содержимое папки app, и вам больше не нужно постоянно добавлять drive/app.

7. Устранение ошибки “No backend with GPU available”

Если вы столкнулись с этой ошибкой:

Failed to assign a backend
No backend with GPU available. Would you like to use a runtime with no accelerator?

Попробуйте еще раз чуть позже. Многие пользователи сейчас работают с графическими процессорами, и это сообщение появляется, когда используются все доступные видеокарты.

Ссылка

8. Как очистить выходы всех ячеек

Следуйте

Tools>>Command Palette>>Clear All Outputs

9. Предупреждение “apt-key output should not be parsed (stdout is not a terminal)”

Если вы столкнулись с этим предупреждением:

Warning: apt-key output should not be parsed (stdout is not a terminal)

Это означает, что аутентификация уже выполнена. Вам нужно только подключить Google Drive:

!mkdir -p drive
!google-drive-ocamlfuse drive

10. Как использовать Tensorboard с Google Colab?

Мы рекомендуем этот репозиторий:

https://github.com/mixuala/colab_utils

11. Как перезапустить Google Colab?

Чтобы перезапустить (или перезагрузить) вашу виртуальную машину, просто запустите:

!kill -9 -1

12. Как добавить форму в Google Colab?

Чтобы не изменять гиперпараметры каждый раз в своем коде, вы можете просто добавить форму в Google Colab.

Например, мы добавили форму, которая содержит переменную learning_rate и строку optimizer.

13. Как увидеть аргументы функции?

Чтобы увидеть аргументы функции в TensorFlow, Keras и т.д., просто добавьте знак вопроса (?) после имени функции:

Теперь вы можете просмотреть оригинальную документацию, не переходя на веб-сайт TensorFlow.

14. Как отправить большие файлы из Colab на Google Drive?

15. Как запустить Tensorboard в Google Colab?

Если вы хотите запустить Tensorboard в Google Colab, запустите приведенный ниже код.

Вы можете отслеживать ваши журналы Tensorboard с помощью созданного URL ngrok.io . Вы найдете URL в конце вывода.

Обратите внимание, что ваши журналы Tensorboard будут сохранены в директории tb_logs. Конечно, вы можете изменить имя каталога.

После этого мы можем увидеть Tensorboard в действии! После запуска приведенного ниже кода вы можете отслеживать журналы Tensorboard через URL-адрес ngrok.

Тензорборд 🙂

Заключение

Мы думаем, что Colab вдохнет новое дыхание в глубокое обучение нейросетей и изучение искусственного интеллекта во всем мире.

Если вы сочли эту статью полезной – поделитесь ссылкой с друзьями, чтобы помочь другим интересующимся найти её! И не стесняйтесь оставлять комментарии.

Оригинал статьи здесь.

Читайте также:

• Группа в Facebook — Космос 2.0: виртуальные миры (Second Life, Sansar, Sinespace, etc)
• Как превратить старый персональный компьютер или ноутбук в мощную игровую систему без обновления «железа»?  Читайте здесь->

Присоединяйтесь к нашему Telegram-каналу: https://t.me/technomagic и группе в Facebook.

Вам будет интересно:

• Бесконечная текстовая игра, которую пишет нейросеть (0)
• Google Colaboratory: бесплатная видеокарта в облаке (0)
• Jupyter Notebook (0)
• Злой разум. Google достигла квантового превосходства. Может ли это обернуться глобальной катастрофой? (0)
• Искусственный интеллект создал «новую» песню Nirvana (0)
• Искусственный интеллект снял клип солисту Rammstein (0)
• Искусственный интеллект научился генерировать фотореалистичные изображения несуществующих людей (0)
• ИИ расшифровал древние тексты лучше историков (0)
• Эта нейросеть сделает вас персонажем Disney. Попробуйте! (0)
• Эта нейросеть знает, как вы будете выглядеть через 50 лет. Как она работает? (0)