машинное обучение является важной темой в современном мире, оно позволяет решать многие проблемы, которые раньше не решались эффективно.
однако многие проблемы, которые мы решаем сегодня с помощью машинного обучения, в прошлом решались другими методами.
Ради названия статьи я расскажу о проблеме обнаружения спама в электронной почте.
можно найти данные по этой ссылке
формально пусть у нас есть набор данных, содержащий спам и нежелательные электронные письма, цель которых состоит в том, чтобы проверить, является ли новое электронное письмо спамом или нежелательной почтой.
В нашем нынешнем мире это очень легко сделать, вы можете легко извлечь особенности текста и использовать для этого любую модель (машинного, глубокого) обучения, и вы наверняка получите высокую точность.
давайте проверим некоторый код, чтобы увидеть, как мы можем сделать что-то, используя метод извлечения признаков «tf-idf» и логистическую регрессию в качестве классификатора.
сначала: давайте импортируем несколько библиотек
затем давайте прочитаем данные, изменим имена столбцов на более подходящие и после этого разделим их.
после этого было выполнено извлечение признаков текста с использованием «tf-idf».
последний, мы создаем модель логистической регрессии и обучаем ее
Отлично!!, мы получили точность почти 98,8!!
Теперь поставьте себя в место, где не будет классификатора машинного обучения, и кто-то попросил вас сделать то же самое, но без использования каких-либо классификаторов (машинного, глубокого) обучения.
решение состоит в том, чтобы использовать метод сжатия, метод сжатия данных зависит от слов, которые используются в предложении для сжатия данных.
1- мы знаем, что если какое-то слово (Х) встречается в предложении 10 раз, то если мы добавим это слово еще раз в предложение, то размер сжатого файла не сильно увеличится, потому что компрессор знает как сжимать такие слова.
2- мы также знаем, что в спам-письмах используются некоторые «причудливые слова», чтобы человек стал привлекательным для своей электронной почты.
зная эти два аспекта, мы могли бы понять, что можем использовать метод сжатия данных для классификации электронных писем на спам или ветчину.
идея заключается в следующем.
1- получить набор данных для спама и электронной почты ветчины
2- поместите спам-данные в одно длинное предложение и сделайте то же самое для ветчины.
3- сжимать только данные спама и только данные радиолюбителей.
вот код последних шагов.
Тестирование метода сжатия:
тестирование работает следующим образом.
1- получить новое электронное письмо
2- добавить новое письмо в спам и в архив ветчины
3- проверьте, какой размер архива увеличивается меньше, и это будет ваша категория.
Потрясающий!! мы получили точность 98,2%.
Заключение:
В заключение, многие проблемы, которые мы сегодня решаем с помощью машин, глубокое обучение можно легко решить с помощью метода сжатия.
