Обучение моделей машинного обучения без остановки вашей машины!

Если вы изучаете машинное обучение, вы, возможно, заметили, что модели обучения являются одним из утомительных процессов, и если у вас есть более крупные архитектурные модели, может потребоваться много времени только для запуска и сохранения модели.

Для модели обучения, если вы используете Google Colab, вы, должно быть, столкнулись с отключением среды выполнения после некоторого времени бездействия (вероятно, менее 1/2 часа).

Альтернативой является Kaggle, но с Kaggle у вас нет возможности хранить данные на вашем диске Google, но вы можете хранить любой набор данных, который хотите, в наборах данных Kaggle, и вы можете использовать его оттуда.

Самое приятное в Kaggle то, что вы можете продолжать работать с блокнотом даже без подключения к Интернету после настройки блокнота для запуска и сохранения результатов, которые вы хотите сохранить (в этом случае мы хотим сохранить нашу модель с model.save и некоторыми выходными данными в CSV).

После сохранения данных и заполнения записной книжки вы можете получить доступ к сохраненной модели и некоторым другим результатам с выходным файлом записной книжки (который сохраняется Kaggle при запуске и сохранении). Давайте посмотрим, каковы требования для этого.

Требования :

• У вас должна быть учетная запись kaggle
• У вас должен быть набор данных, с которым вы хотите работать, хранящийся в Kaggle.
• И да, некоторые знания PyTorch 🔥 или TensorFlow для запуска и сохранения нашей модели.

Шаги:

1. Создайте новый блокнот кода в Kaggle.
2. Добавьте свои данные, используя кнопку «Добавить данные» в разделе навигации в правом верхнем углу.
3. Измените время выполнения на GPU с помощью правой панели вашего ноутбука (GPU быстрее обучает вашу модель) это в разделе ускорителя
4. Убедитесь, что вы работаете на графическом процессоре, запустив !nvidia-smi в ячейках кода.
5. Создание модели построения и сохранение файлов
6. Убедитесь, что в вашем коде нет ошибок. (если ваш код содержит ошибку последовательного выполнения, процесс сохранения может завершиться неудачно)
7. Убедитесь, что ваша модель не выходит за пределы 9 часов
8. Создав и имея весь код, который вы хотели, вам нужно будет сохранить модель, используя функцию model.save, и еще раз проверить, что все работает нормально.
9. После нажатия кнопки «Сохранить версию» в правом верхнем углу экрана убедитесь, что вы нажали «Сохранить и зафиксировать изменения» вместо быстрого сохранения (быстрое сохранение не сохранит ваш вывод, а сохранение и фиксация сохранит ваш вывод)
10. После нажатия кнопки «Сохранить и зафиксировать» вы увидите сообщение о том, что ваш файл выполняется в правом нижнем углу раздела уведомлений в ваших блокнотах, и вы готовы закрыть браузер, вы даже можете выключить компьютер во время процесса.
11. После завершения работы вашего ноутбука Kaggle сообщит вам, что он завершил запуск ноутбука.

Зачем это нужно:

В соревнованиях на Kaggle, когда нам приходилось создавать модели для реальных задач, мы работали с большим количеством данных ГБ, и эта процедура построения модели, безусловно, займет время.

Хотя Google Collab предлагает вам Tesla T4, как GPU, он не предлагает вам GPU в течение длительного времени, тогда как Kaggle предлагает вам GPU Tesla P100, он не такой быстрый, как Tesla T4, но такой же быстрый для выполнения нашей работы, и он предоставляет нам GPU для долгое время (9 часов).

В соревнованиях вам нужно будет создать блокнот для обучения модели и блокнот для вывода модели, сохранив модель, и построение модели с помощью этого шага работает очень хорошо.

Ссылка на блокнот:

Вы можете обратиться к приведенной выше записной книжке для построения модели и шагов обучения. Время работы ноутбука около 7 часов.

спасибо, что читаете мой блог :) следите за новостями, здоровайтесь со мной в комментариях, это мотивирует меня писать больше блогов :) хорошего дня :)