Если вы изучаете машинное обучение, вы, возможно, заметили, что модели обучения являются одним из утомительных процессов, и если у вас есть более крупные архитектурные модели, может потребоваться много времени только для запуска и сохранения модели.
Для модели обучения, если вы используете Google Colab, вы, должно быть, столкнулись с отключением среды выполнения после некоторого времени бездействия (вероятно, менее 1/2 часа).
Альтернативой является Kaggle, но с Kaggle у вас нет возможности хранить данные на вашем диске Google, но вы можете хранить любой набор данных, который хотите, в наборах данных Kaggle, и вы можете использовать его оттуда.
Самое приятное в Kaggle то, что вы можете продолжать работать с блокнотом даже без подключения к Интернету после настройки блокнота для запуска и сохранения результатов, которые вы хотите сохранить (в этом случае мы хотим сохранить нашу модель с model.save
и некоторыми выходными данными в CSV).
После сохранения данных и заполнения записной книжки вы можете получить доступ к сохраненной модели и некоторым другим результатам с выходным файлом записной книжки (который сохраняется Kaggle при запуске и сохранении). Давайте посмотрим, каковы требования для этого.
Требования :
- У вас должна быть учетная запись kaggle
- У вас должен быть набор данных, с которым вы хотите работать, хранящийся в Kaggle.
- И да, некоторые знания PyTorch 🔥 или TensorFlow для запуска и сохранения нашей модели.
Шаги:
- Создайте новый блокнот кода в Kaggle.
- Добавьте свои данные, используя кнопку «Добавить данные» в разделе навигации в правом верхнем углу.
- Измените время выполнения на GPU с помощью правой панели вашего ноутбука (GPU быстрее обучает вашу модель) это в разделе ускорителя
- Убедитесь, что вы работаете на графическом процессоре, запустив
!nvidia-smi
в ячейках кода. - Создание модели построения и сохранение файлов
- Убедитесь, что в вашем коде нет ошибок. (если ваш код содержит ошибку последовательного выполнения, процесс сохранения может завершиться неудачно)
- Убедитесь, что ваша модель не выходит за пределы 9 часов
- Создав и имея весь код, который вы хотели, вам нужно будет сохранить модель, используя функцию
model.save
, и еще раз проверить, что все работает нормально. - После нажатия кнопки «Сохранить версию» в правом верхнем углу экрана убедитесь, что вы нажали «Сохранить и зафиксировать изменения» вместо быстрого сохранения (быстрое сохранение не сохранит ваш вывод, а сохранение и фиксация сохранит ваш вывод)
- После нажатия кнопки «Сохранить и зафиксировать» вы увидите сообщение о том, что ваш файл выполняется в правом нижнем углу раздела уведомлений в ваших блокнотах, и вы готовы закрыть браузер, вы даже можете выключить компьютер во время процесса.
- После завершения работы вашего ноутбука Kaggle сообщит вам, что он завершил запуск ноутбука.
Зачем это нужно:
В соревнованиях на Kaggle, когда нам приходилось создавать модели для реальных задач, мы работали с большим количеством данных ГБ, и эта процедура построения модели, безусловно, займет время.
Хотя Google Collab предлагает вам Tesla T4, как GPU, он не предлагает вам GPU в течение длительного времени, тогда как Kaggle предлагает вам GPU Tesla P100, он не такой быстрый, как Tesla T4, но такой же быстрый для выполнения нашей работы, и он предоставляет нам GPU для долгое время (9 часов).
В соревнованиях вам нужно будет создать блокнот для обучения модели и блокнот для вывода модели, сохранив модель, и построение модели с помощью этого шага работает очень хорошо.
Ссылка на блокнот:
Быстрый ИИ с предсказанием на 70 эпох
Исследуйте и запускайте код машинного обучения с помощью Kaggle Notebooks | Использование данных из нескольких источников данныхwww.kaggle.comY
Вы можете обратиться к приведенной выше записной книжке для построения модели и шагов обучения. Время работы ноутбука около 7 часов.
спасибо, что читаете мой блог :) следите за новостями, здоровайтесь со мной в комментариях, это мотивирует меня писать больше блогов :) хорошего дня :)