Google Colab против Paperspace Gradient
Я очень давно использую Google Colab для экспериментов с машинным обучением. Недавно, когда оказалось, что Colab недостаточно, я был вынужден искать альтернативу и выбрал Paperspace Gradient.
Чем они отличаются по стоимости, мощности (GPU) и другим функциям?
Google Colab
Об использовании Colab в моих проектах я писал в предыдущем посте. И я до сих пор считаю его одним из лучших инструментов как для начинающих, так и для экспертов в области машинного обучения. Там все кажется таким тривиальным: настроить среду, загрузить данные (например, с Google Диска), написать и запустить свой код, поделиться им с другими (не только для чтения, но и для совместной работы).
Сколько это стоит?
Google Colab абсолютно бесплатен . Вам не нужно платить за проведение экспериментов на их графическом процессоре, и ваш код может работать не более 12 часов, после чего сеанс будет прерван.
Если вы не решили использовать Colab Pro, который стоит 9,99 долларов США в месяц и:
- увеличивает время работы (24 часа вместо 12),
- дает вам лучшие графические процессоры (например, T4 / P100 вместо K80s),
- дает вам в 2 раза больше памяти по сравнению со стандартными виртуальными машинами Colab и в 2 раза больше процессоров,
- доступен только в США и Канаде (на данный момент).

Какую мощность я получу?
Смотря как. Colab FAQ утверждает, что вы можете получить различные типы графических процессоров (графические процессоры, доступные в Colab, часто включают Nvidia K80s, T4s, P4s и P100s). Никогда не гарантируется, какой из них вы получите… и на какой срок.
Что это обозначает? Colab хорошо известен своими «динамическими ограничениями использования», и это может сбивать с толку некоторых людей, поэтому позвольте мне объяснить. Colab предоставляет вам свои ресурсы графического процессора бесплатно, вы можете использовать его в течение 12 часов, но .
- нет возможности выбрать, к какому графическому процессору вы будете подключаться,
- вы будете отключены после простоя (90 минут, но может отличаться),
- в середине сеанса вам могут сказать, что графический процессор недоступен,
Эти вещи, а также «другие факторы» меняются со временем, — говорится в FAQ Colab.
Другие особенности
Google Colab — это запуск кода в записных книжках Jupyter. Вы буквально загружаете данные (с Google Диска или непосредственно в Colab), запускаете ячейки кода, а затем в конечном итоге делитесь своим блокнотом с другими (или просто загружаете его).
Другие особенности? Ничего подобного, но я считаю, что это также является преимуществом, если вы просто ищете простой инструмент для запуска кода Jupyter, и вам не нужны CI, отслеживание экспериментов, управление проектами и и так далее — в отличие от Paperspace.

Градиент пространства бумаги
Я должен признать, что я относительно новичок в Paperspace, поэтому я, возможно, еще не открыл для себя все его возможности. Но после нескольких дней или недель использования его в качестве альтернативы Colab, я думаю, что уже могу сказать разницу (я).
Во-первых, позвольте мне описать Gradient в тех же категориях, что и раньше (затраты и «мощность»). Затем я перейду к другим функциям, доступным там, и на этот раз список будет очень длинным.
Сколько это стоит?
Paperspace Gradient поставляется с тремя тарифными планами (плюс один для Enterprise), один из которых бесплатный. В бесплатном плане вам разрешено:
- хранить до 5 ГБ в выделенном постоянном хранилище
- использовать ЦП / графический процессор бесплатного уровня, то есть ЦП C3, графические процессоры NVIDIA M4000 и P5000,
- запустите свой код не более 6 часов при использовании бесплатных экземпляров CPU / GPU,
- используйте только общедоступные записные книжки (которые нельзя сделать частными на уровне бесплатного пользования).
Звучит очень красиво. Если вы решите обновить подписку до G1 Developer (8 долларов в месяц) или G2 Professional (24 доллара в месяц), вы можете получить:
- личные записные книжки,
- лучшие процессоры и графические процессоры в зависимости от вашего уровня с полным списком здесь,
- 200 ГБ или даже 1 ТБ постоянного хранилища вместо 5 ГБ на уровне бесплатного пользования,
- увеличены ограничения на количество ноутбуков (текущих и суммарных) и рабочих мест.
Какую мощность я получу?
Существует множество экземпляров CPU и GPU на выбор (и вы можете выбирать буквально — в отличие от Colab, где вы никогда не знаете, какой тип GPU вы получите). Но есть один важный момент.

Хотя в более высоких планах подписки доступно больше экземпляров, это не означает, что они бесплатны. Есть только три экземпляра, которые вы можете использовать бесплатно (C3, M4000, P5000). В приведенной выше таблице галочки под тарифными планами означают, что эти графические процессоры доступны для вас, но вам все равно нужно платить за их использование (обычно несколько центов в час).
Более того, если вы подпишетесь, например, на План G1, но вы решили использовать один из бесплатных экземпляров, ваш ноутбук нельзя сделать личным, и у него будет 6-часовой лимит (автоматическое отключение). Это просто из-за использования бесплатных процессоров / графических процессоров. Эти ограничения не распространяются на другие экземпляры, доступные на вашем уровне.
Другие особенности
В чем суть Colab (просто запуск записных книжек Jupyter) — это даже не десятая часть того, что может предложить Paperspace Gradient. Итак, начнем с ноутбуков — вы можете запускать их на CPU, GPU или TPU, используя готовые контейнеры для ноутбуков, а также свои пользовательские (или просто начните с чистой среды).
Авторы Gradient также предоставляют ML Showcase — тщательно подобранный список проектов интерактивного машинного обучения, построенный на основе блокнотов Gradient. Вы можете изучить эти записные книжки и поиграть с ними.
Но вернемся к встроенным функциям. В Gradient Docs мы читаем о:
- Эксперименты, которые можно проводить как в одноузловой, так и в распределенной среде. Согласно документации, градиентные эксперименты поддерживают HPO (Оптимизация гиперпараметров) и ведение журнала метрик. Я еще не тестировал это, но звучит действительно интересно, когда все это собрано в одном месте.
- Репозиторий Модели, в котором вы сможете хранить артефакты вместе с их сводкой (потеря, точность) и тегами. Вы можете прочитать, как экспортировать модель TF, которую можно сохранить в Gradient Hub, а затем использовать для развертывания.
- Параметр Развертывание для обученных моделей и Проекты, которые служат рабочим пространством для хранения ваших экспериментов, артефактов и развернутых моделей в одном месте.
и другие функции (некоторые из которых доступны только в частных кластерах).
Вывод
- Paperspace Gradient предлагает гораздо больше, чем Google Colab, если вы хотите управлять своими проектами и моделями, а не просто выполнять вычисления.
- Теоретически вы можете получить лучшие графические процессоры бесплатно в Colab (в часто задаваемых вопросах Colab упоминаются K80 или P100, которые доступны на средних или высоких уровнях градиента), но с другой стороны — вы никогда не гарантируете, какие из них вы получите .
- В Colab вам даже не гарантируется, что экземпляр CPU / TPU будет предоставлен вам на весь сеанс (т. Е. 12 часов), и вы будете исключены, если вы будете бездействовать в течение 90 минут — более или менее, потому что так много факторы различаются…
- Gradient предлагает постоянное хранилище. Это означает, что вам не нужно загружать данные каждый раз при запуске Notebook. Это может сэкономить много времени при обработке больших наборов данных. Однако вам предоставляется только 5 ГБ свободного места. Обновление до 200 ГБ обойдется вам в 8 долларов в месяц.
Я буду продолжать использовать Google Colab ежедневно для выполнения легких вычислений (когда я не возражаю, если он отключится через пару часов). Он поставляется с большим хранилищем, интеграцией с Google Drive и (на мой взгляд) гораздо более простым пользовательским интерфейсом.
Когда этого достаточно и мне нужно 6-часовое занятие, которое нельзя прерывать, Paperspace станет для меня ответом. По крайней мере, до тех пор, пока меня не волнует, являются ли мои записные книжки общедоступными .
Я из Пакистана, могу ли я купить Google Colab Pro для экспериментов?
Я из другой страны, кроме США, как указано в разделе часто задаваемых вопросов Google Colab Platform для онлайн-экспериментов. Могу ли я купить профи здесь или кто-нибудь из других стран?
2 ответа
Ты можешь. Просто введите почтовый индекс в США позволит вам купить его, но с налогом.
Чтобы избежать ненужного налога, вы можете выбрать 03222 или 97222. (или другие, просто Google)
В соответствии с Условиями предоставления услуг, никаких ограничений по стране не существует. Вы можете попробовать купить его здесь.
Русские Блоги
Руководство по использованию бесплатного графического процессора Google Colab
Я слышал курс от Google на Coursera раньше и использовал в нем colab, но в то время практически не требовалось никакой настройки, нужен был только ключ.Когда он был использован, я отложил его в сторону и не изучал, как его использовать. Недавно, поскольку модель ноутбука работает слишком медленно, я снова думаю о colab и обнаружил, что это немного сложно для Xiaobai, поэтому я резюмировал свой процесс настройки.
Что такое коллаборатория?
Colaboratory, сокращенно Colab, — продукт, разработанный исследовательской группой Google. В Colab любой может писать и выполнять произвольный код Python через браузер. Он особенно подходит для машинного обучения, анализа данных и образовательных целей. С технической точки зрения Colab — это хостинговая служба Jupyter для ноутбуков. Пользователям не нужно настраивать, они могут использовать его напрямую, и в то же время они могут получить бесплатный доступ к графическому процессору и другим вычислительным ресурсам.
В чем разница между Jupyter и Colab?
Jupyter — это проект с открытым исходным кодом, а Colab разрабатывается поверх Jupyter. С Colab вы можете использовать записные книжки Jupyter и делиться ими с другими без загрузки, установки или запуска какого-либо программного обеспечения.
Каков лимит использования Colab?
Одна из причин, по которой Colab может предоставлять ресурсы бесплатно, заключается в том, что его лимит использования — это динамический лимит, который меняется время от времени, и он не гарантирует неограниченное количество ресурсов. Другими словами, общий предел использования, период простоя, максимальный срок службы виртуальной машины, доступный тип графического процессора и другие факторы будут время от времени меняться. Colab не объявляет об этих ограничениях, одна из причин заключается в том, что они не только возможны, но и иногда быстро меняются. Если пользователи хотят более высокий и стабильный лимит использования, они могут подписаться на Colab Pro.
Какие типы графических процессоров предлагает Colab?
Доступные типы графических процессоров в Colab будут время от времени меняться. Только так Colab может предоставить эти ресурсы бесплатно. Доступные графические процессоры в Colab обычно включают Nvidia K80, T4, P4 и P100.
В любой момент вы не можете выбрать тип графического процессора, подключенного к Colab. По сравнению с пользователями, которые используют Colab для выполнения вычислений в течение длительного времени, система иногда предпочтительно предоставляет графические процессоры пользователям, которые используют Colab в интерактивном режиме или которые в последнее время используют меньше ресурсов. Следовательно, пользователи, которые используют Colab для выполнения вычислений в течение длительного времени, или пользователи, которые недавно использовали много ресурсов, с большей вероятностью столкнутся с ограничениями использования и заставят их временно не использовать графический процессор. Пользователи с более высокими требованиями к вычислениям могут запускать локальную среду выполнения на собственном оборудовании при использовании интерфейса Colab. Если вы хотите более стабильно использовать самый быстрый графический процессор Colab, пользователи могут подписаться на Colab Pro.
Обратите внимание, что мы категорически запрещаем использование Colab для майнинга криптовалюты. Это может привести к полному отключению вашей учетной записи в Colab.
Как долго ноутбук может работать в Colab?
Ноутбук должен быть подключен к виртуальной машине для работы, а максимальный жизненный цикл виртуальной машины может достигать 12 часов.. Если ноутбук находится в режиме ожидания слишком долго, он также будет отключен от виртуальной машины. Максимальный жизненный цикл и поведение тайм-аута простоя виртуальной машины могут измениться в любое время, а также будут корректироваться в соответствии с вашим использованием. Только так Colab может бесплатно предоставлять вычислительные ресурсы. Если пользователь хочет более длительный жизненный цикл виртуальной машины, более мягкие ограничения на поведение при тайм-ауте простоя и надеется, что эти два элемента меняются со временем меньше, он может подписаться на Colab Pro.
Какие браузеры поддерживает Colab?
Colab поддерживает большинство основных браузеров и являетсяChrome, Firefox и Safari Наиболее полное тестирование проводилось на последней версии.
- Авторизуйтесь на Google Диске
Поскольку вам нужно смонтировать Google Диск, вам необходимо войти в систему сейчас. Если у вас есть почтовый ящик Gmail, войдите напрямую. включитьGoogle Drive。
После входа в систему создайте папку и добавьте приложение совместной работы. Операции следующие: 
Щелкните правой кнопкой мыши пустое место -> Еще -> Подключите другие приложения
Щелкните значок поиска, выполните поиск по запросу "Colaboratory" и щелкните значок, чтобы установить. 
- После завершения установки щелкните правой кнопкой мыши пустое место -> откроется Google Colaboratory.

- Измените аппаратный ускоритель на GPU

выберите GPU
- Смонтируйте Google Диск. Щелкните синий URL-адрес, следуйте инструкциям, и будет возвращена строка секретных ключей. Скопируйте и вставьте его в поле ввода в следующем интерфейсе (ввод завершен на рисунке).

- Просмотр информации о драйвере видеокарты.

- Установите необходимые пакеты
«!» в записной книжке — это индикатор командной строки.
Мне нужен только Tensorflow, поэтому другие пакеты не устанавливаются.Другие пакеты могут работать аналогично.
- Загрузить локальные данные / скрипты на Google Диск
Загрузите программу записной книжки, написанную локально, непосредственно на Google Диск, а затем откройте и запустите. Но обратите внимание на проблему пути!
В качестве примера возьмем набор данных, как показано на рисунке, путь следующий:
Среди них «/ content / gdrive / My Drive /» то же самое, а «GraduationProject» — это папка, созданная мной.
После завершения обучения структура файловых каталогов выглядит следующим образом: 
- Запустите скрипт .py
Непосредственно введите оператор, подобный следующему, в командной строке для запуска:
Как оплатить Google Диск в России в 2023 году
Google Диск — это популярное облачное хранилище от компании Google предустановленное на подавляющем большинстве смартфонов под управлением операционной системы Android.
В прошлом году компания Google приняла решение приостановить работу Google Play на территории России, в связи с чем россияне потеряли возможность оплачивать подписку в Google Диск. Если вы попытаетесь это сделать, то увидите следующее уведомление: «Работа платежной системы Google Play на территории России в настоящее время приостановлена».
На текущий момент имеется ряд способов, как оплатить подписку в Google Диск, но они сопряжены с рядом сложностей. Стоит также отметить, что все ранее доступные способы по пополнению кошелька Google Play с целью дальнейшей оплаты подписки Google Диск с помощью Qiwi, баланса телефона и т.д. в 2023 году не работают.
Как оплачивать подписку в Google Диск
Начиная с 10 марта 2022 года Google Play больше не принимает платежи от клиентов из России, в связи с чем оплатить подписку Google Диск уже не выйдет. Сейчас россиянам доступен только бесплатный тариф с ограниченным объемом хранилища и функций. Тем не менее существует по меньшей мере ряд способов решить проблему оплаты в Google Play находясь на территории России.
Оплата подписки Google Диска при наличии карт иностранных банков
Первый способ подойдет вам если вы являетесь обладателем карты Visa или Mastercard любого зарубежного банка. Даже если вы смогли получить карту казахстанского, армянского или белорусского банка это не означает, что вам удастся без проблем подвязать её к российскому аккаунту Google. Для этого вам понадобится сменить регион своего аккаунта.
С компьютера:
- Включите на компьютере VPN той страны, где вы получали карту. При этом бесплатные VPN-сервисы могут не подойти, т.к. их IP-адреса с большой вероятностью находятся в бане.
- Войдите в аккаунт и перейдите на страницу pay.google.com;
- В верхней части экрана нажмите Настройки и в разделе «Платежный профиль» рядом с пунктом «Страна/регион» нажмите на значок редактирования ;
- Добавьте способ оплаты для новой страны или региона;
- Укажите сведения о вашей карте выданной в иностранном банке (российские карты напоминаем не подойдут);
- Если вам будет предложено подтвердить способ оплаты, выберите способ подтверждения из списка и ведите код подтверждения.
- После подвязки карты вы сможете продлить свою подписку в Google Диск и в любых других сервисах от Google.
Со смартфона:
- Включите на смартфоне VPN той страны, где вы получали карту. При этом бесплатные VPN-сервисы могут не подойти, т.к. их IP-адреса с большой вероятностью находятся в бане.
- Войдите в аккаунт и выберите Настройки -> Общие -> Настройка аккаунта и устройства -> Страна и профили и коснитесь названия нужной страны;
- В раскрывающемся списке выберите страну, с которой будет связан ваш профиль.
- Введите новый адрес страны, где у вас была выдана карта, после чего вы можете подвязать свою карту к профилю.
- После подвязки карты вы сможете продлить свою подписку в Google Диск и в любых других сервисах от Google.
В рамках предложенного способа вы также можете зарегистрировать новый гугл-аккаунт. Его регистрацию также необходимо производить из под VPN.
Важно: Имейте ввиду, что страна или регион в Google Play будет изменена на новую автоматически в течение 48 часов. Менять страну в Google Play можно не чаще раза в год, при этом в первый раз вы сможете изменить ее только через 12 месяцев после создания платежного профиля.
Помимо этого во избежании бана, продлевать подписку Google Диска рекомендуется из под VPN.
Оплата подписки Google Диск с помощью подарочных карт
Второй способ заключается в активации подарочных карт и подойдет более широкому кругу россиян. Для этого нам понадобится карта китайской платежной системы UnionPay, но недавно можно стало обойтись и без неё.
Для начала нам необходимо приобрести подарочную карту Google Play. Такого рода карты, например, продаются на сайте Amazon. При этом, что самое главное для россиян, данная площадка принимает карты UnionPay. Имейте ввиду, что Amazon принимает не все российские карты UnionPay и платежи из банков, которые находятся под санкциями будут отклонены. Список санкционных банков здесь.
Также в 2023 году подарочные карты Google Play доступны, например, на сайте Plati.ru, благодаря чему их можно приобрести с помощью российских карт «Мир». При покупке карт на данном ресурсе предварительно рекомендуем читать отзывы о продавцах.
Активация подарочной карты с компьютера:
- После приобретения подарочной карты необходимо на компьютере включить VPN. При этом в данном случае выбирается VPN страны, которой вы приобрели сертификат (американский VPN — для подарочных карт в долларах США, турецкий VPN — для подарочных карт в лирах).
- ЗДЕСЬ ОЧЕНЬ ВНИМАТЕЛЬНО: Вам не удастся применить сертификат на российский аккаунт, т.к. в России возможность активации подарочных карт недоступна. Поэтому вам понадобится либо создать новый аккаунт (рекомендуем!) или сменить страну аккаунта по инструкции выше.
- После того, как вы вошли в свой аккаунт, откройте страницу play.google.com/redeem, введите код и нажмите Использовать бонус.
- Также многие продавцы высылают подарочные коды на электронную почту. В таком случае нажмите Получить подарок и следуйте инструкциям на экране.
Активация подарочной карты со смартфона:
- После приобретения подарочной карты необходимо на компьютере включить VPN. При этом в данном случае выбирается VPN страны, которой вы приобрели сертификат.
- ЗДЕСЬ ОЧЕНЬ ВНИМАТЕЛЬНО: Вам не удастся применить сертификат на российский аккаунт, т.к. в России возможность активации подарочных карт недоступна. Поэтому вам понадобится либо создать новый аккаунт (рекомендуем!) или сменить страну аккаунта по инструкции выше.
- После того, как вы вошли в аккаунт, откройте приложение Google Play и в правом верхнем углу экрана нажмите на значок профиля.
- Выберите Платежи и подписки -> Использовать подарочный код. и введите код.
Всё, теперь вы можете вы сможете продлить свою подписку в Google Диск и в любых других сервисах от Google согласно сумме активированного сертификата.
ВАЖНО: После активации подарочного кода, во избежании бана, делать любые покупки в Google Play рекомендуется из под VPN.