И Microsoft, и IBM согласны; на этом изображении торт:
Описание изображения — это прекрасное сочетание извлечения функций компьютерного зрения и генерации естественного языка, которое часто кажется немного безжизненным. Хотя я могу согласиться с тем, что постер к фильму о Гарри Поттере № 8 действительно изображает «мужчину и женщину, стоящих рядом друг с другом» (извините, Рон), на самом деле он не отражает сути картины. Это немного похоже на субтитры, говорящие [играет музыка] — это правильно, но вы не получаете от этого никаких ощущений.
Разные модели также могут иметь очень разные мнения о содержании — в то время как CaptionBot от Microsoft очень прямолинейно говорит о Тоторо, MAX от IBM гораздо более изобретателен (хотя и сильно ошибается).
И иногда фантазия важнее точности. Не часто, конечно, но когда дело доходит до творческого ИИ, мы хотим и того, и другого. Точность без воображения уныла, в то время как воображение без точности не привязано к реальности — точно так же, как шутки, сны лучше всего работают с зерном правды внутри, с которым мы можем соединиться. Ведь как говорит мне наш QuoteBot:
Картинка лучше правды., Марк Аврелий
Так почему бы не приукрасить немного? Вернем нашего друга GPT2 через talktotransformer. Используя HP & pals в качестве подсказки, можем ли мы написать новую историю?
Мужчина и женщина, стоящие рядом друг с другом, обхватив голову руками, тяжело дышат. Кажется, они сразу рады разлуке. Не раньше, чем у них обоих был шанс сказать то, что они хотели. «Мы одиноки», — говорит женщина. "Ой." «У нас нет детей», — говорит мужчина. "Ой." «Но у нас есть партнеры, — продолжает женщина. — Какой партнер? Мужчина протягивает руку и бросает на нее грязный взгляд. Она пожимает плечами. "Ничего особенного".
Итак, это не совсем вывод уровня r/writingprompts, но начало положено! Давайте попробуем более узнаваемый образ.
Елизавета II стоит перед столом, отрекшаяся от престола группой королевских наблюдателей, около 1927 года. Поскольку монарх удерживала трон в течение 32 лет, то есть более чем в два раза дольше, чем ее муж. , ее первый период правления был периодом затишья. Она сохранила репутацию умеренного и терпимого монарха, а также узкое понимание государственного управления, которое в значительной степени поддерживал ее брат, король Георг VI.
Ревизионистская история, достойная саги о проверке зрения в замке Барнард. Вместо того, чтобы просто позволить GPT2 разгуляться, мы также можем создавать более целевые подписи; например, прогоняя HRH через QuoteBot, мы узнаем, как всеми любимый битл заслужил свое рыцарское звание:
Елизавета II стоит перед скатертью с сигарой во рту. Скатерть гордится наготой Елизаветы. , Ринго Старр
Или мы можем попробовать только что созданного JokeBot, обученного на наборе данных шуток:
Елизавета II, стоя перед столом, усыпанным медалями, написала изящное послание под названием «Почитай свою мать».
Хорошо, так что это требует некоторой доработки, хотя это может быть ехидная ссылка на принца Эндрю. Давайте попробуем это на более юмористической теме: слоны.
Слон идет по высокой траве. На дереве стоял незнакомец. Слон начал ходить вокруг дерева.
Незнакомец повернулся к нему и сказал: «Как ты прошел через это дерево?» .
Слон ответил: «Я пришел за хоботом».
Это лучшее из того, что я сожалею, хотя мне нравится (вероятно, случайный) каламбур. Похоже, что сухие титры — не лучший вариант для JokeBot; предоставленный самому себе, мы получаем такие вещи, как:
Как назвать счастливую пару в отношениях? Пара без детей.
Как называется птица, которая может прыгать выше самолета? Птица с крыльями.
Вы слышали о девушке без рук и ног? Она в больнице.
Все еще не гений комедии, но хоть какая-то форма есть. Подписи ведут к более извилистым историям, в которых JokeBot сбивается с пути.
По сути, мы обнаружили, что принцип «мусор на входе и мусор на выходе» справедлив для генеративного моделирования. Цепочка от одной модели к другой — это многообещающе, но если они плохо согласованы, нам нужно снизить наши ожидания.
Отпусти нас, QuoteBot.
Лучший из всех возможных миров — это не иметь воображения, Джордж Оруэлл.
