Технология и гендер
Под взглядом машины
Как выглядит женщина?
После многих лет тщетных поисков Андра Кей, основатель Женщины в робототехнике, решила подсчитать, сколько изображений Google выдал по запросу женщина, строящая робота. Google не только выдал больше изображений женщин-роботов, чем роботов-строителей, поисковая система выдала больше изображений детей, строящих роботов, мужчин, создающих роботов, и даже просто мужчин-роботов.
Робот София, или бот ScarJo, или секс-бот имеют гораздо большее влияние на Интернет, чем женщины, занимающиеся настоящей робототехникой, — отметила Кей.
Недостаток изображений женщин-робототехников — лишь один из примеров профессиональной гендерной предвзятости на цифровых платформах — предвзятости, которая увековечивает стереотипы, которые удерживают женщин от карьеры в STEM, а также находит свое отражение в системах машинного обучения, где она усиливается. .
То, что системы машинного обучения усиливают гендерную предвзятость, неудивительно. В 2021 году только 30-40% изображений в Google Open Images и ImageNet, двух крупнейших наборах данных, были женщинами. И женщины на изображениях чаще были полуодеты, чем мужчины, и/или были отмечены таким образом, который не соответствовал профессиональным достижениям. Например, доля изображений с пометкой брак в Google Open Images была в 100 раз больше для женщин, чем для мужчин. Женщины в большей степени, чем мужчины, определяются своей внешностью и отношениями.
Естественно, машины, улавливающие эти закономерности, также не понимают женщин как профессионалов. Исследование 2020 года показало, что в то время как системы распознавания изображений помечают мужчину как бизнесмена, женщина с большей вероятностью будет помечена как улыбка, даже если оба качества относятся к людям.
Системы генерации изображений также не видят в женщинах профессионалов. Когда исследователи скармливали системе генерации изображений фотографию головы человека, система дополняла его костюмом в 43% случаев. Подав изображение женской головы, система дополняла ее рубашкой с глубоким вырезом или бикини более чем в половине случаев. Простая фильтрация сексуального контента только из данных обучения не является решением проблемы. Когда OpenAI попробовал, они обнаружили, что DALL-E 2 «генерировал меньше изображений женщин в целом».
Буквально на днях я использовал Стабильную диффузию для создания фотографии гения, и девять из девяти сгенерированных изображений оказались мужчинами. Я только что несколько раз пытался фотографировать ученого, и все результаты выглядели так:
Алгоритмы поиска изображений также могут показывать очень предвзятые результаты, и мне неясно, какая часть предвзятости лежит в исходных данных (например, относительно небольшое количество фотографий женщин-предпринимателей) и какая часть исходит от алгоритма (количество женщин-предпринимателей, которые просто не признаются или не рассматриваются как таковые).
Простой поиск в Google стоковых фотографий «босса дает результаты, где 34 лучших фотографии — это изображения 33 белых мужчин, два изображения, изображающих оскорбительное поведение, и одна очень злая белая женщина — ни одного изображения с изображением лидеров BIPOC не может быть найдено, — пишет Софья Полякова для проекта Существительное, фотоколлекции с участием женщин-лидеров на работе, дома, в своих сообществах и за их пределами.
Увеличение количества изображений женщин — это один из ответов на большую проблему: как технологии видят женщин — или не видят их полностью. Visible Wiki Women, ориентированная на Википедию, является еще одной попыткой в этом направлении:
«По нашим оценкам, менее 20% статей Википедии о важных женщинах содержат фотографии. Когда женские лица отсутствуют в Википедии, эта невидимость распространяется».
Невидимость действительно распространяется, и важно добавлять фотографии. Подход, который я вижу реже, заключается в том, чтобы НЕ развертывать алгоритм, который усиливает существующую предвзятость. Несмотря на множество статей о предвзятости по признаку пола в НЛП, исследователи недавно обнаружили, что большинство недавно разработанных алгоритмов даже не проверяют свои модели на предвзятость.
Гендерная предвзятость не ограничивается профессиональной сферой. Просматривая три миллиарда веб-страниц, исследователи обнаружили, что даже такие слова, как люди или человек ассоциируются с мужчинами (то же самое верно и для лиц в неодушевленных предметах). Когда я создавал изображения для человека, мне вспоминалось, что я чувствовал себя одной из немногих, а иногда и единственной женщиной в комнате. Только здесь изображения генерируются не в контексте технологической компании; контекст не конкретизирован — общий, из которого вычеркиваются женщины — мир.
Процитированные работы
Хао, Карен. «ИИ увидел обрезанное фото AOC. Она автоматически дополнила ее в бикини». Обзор технологий Массачусетского технологического института. (2021).
Ки, Андра. «Призыв к увеличению визуального представления и разнообразия в робототехнике». ВенчурБит. (2021)
Кута, Сара. «Гендерно-нейтральные слова, такие как «люди» и «человек», воспринимаются как мужские, предполагает исследование». Журнал Smithsonian. (2022 г.).
Самуэль, Сигал. «Новый ИИ рисует восхитительные и не очень восхитительные изображения». Вокс. (2022).
Швеммер, Карстен, Карли Найт, Эмили Д. Белло-Пардо, Стэн Оклобдзия, Мартин Шунвельде и Джеффри В. Локхарт. «Диагностика гендерной предвзятости в системах распознавания изображений». Социус 6 (2020): 2378023120967171
Сингх, Вивек К., Мэри Чайко, Радж Инамдар и Дайана Флогель. «Женщины-библиотекари и мужчины-программисты? Гендерная предвзятость в профессиональных изображениях на цифровых медиа-платформах». Журнал Ассоциации информационных наук и технологий 71, вып. 11 (2020): 1281–1294.
Станчак, Каролина и Изабель Огенштейн. «Опрос о гендерных предубеждениях при обработке естественного языка». препринт arXiv arXiv:2112.14168 (2021 г.).
Темминг, Мария. «Американцы склонны считать воображаемые лица мужчинами». Новости науки. (2022)
Чжао, Цзеюй, Тяньлу Ван, Марк Яцкар, Висенте Ордонес и Кай-Вэй Чанг. «Мужчины также любят делать покупки: уменьшение усиления гендерной предвзятости с помощью ограничений на уровне корпуса». препринт arXiv arXiv:1707.09457 (2017 г.).
