TLDR: некоторые аспекты кибернетики; Истории, системы и изменения; Представления в социальных науках против машинного обучения; Обнаружение сообщений меньшинства в новостях, связанных с кризисом беженцев; Сила журналистских расследований, проводимых сообществом; Видеть целые системы; [Часть 1]

Показывайте, а не обрамляйте

Мировоззрение кибернетики было связано с системами — человеческими, нечеловеческими и теми и другими — и что наш мир «чрезвычайно сложных систем» [1] никогда не может быть полностью познаваем, вместо этого это «перформативный танец действия» [2]. Норберт Винер говорил о координации и сотрудничестве между людьми и машинами, лежащих в основе кибернетики. В своей книге «Бог и Големн» 1964 года он писал о многих проблемах, с которыми мы сталкиваемся сегодня в том, как технологии взаимодействуют с другими системами. «Поклонники гаджетов, — пишет он, — имеют особый мотив — желание избежать личной ответственности за опасное или катастрофическое решение, возложив ответственность на кого-то другого».

Кибернетике пришлось столкнуться с критикой того, что ее рассматривают как «науку об управлении». В своей книге «Кибернетический мозг: зарисовки другого будущего», 2010 г., Эндрю Пикеринг проводит различие между двумя смыслами «контроля». Во-первых, это иерархический, линейный тип «управления и контроля», когда «власть течет только в одном направлении в виде инструкций к действию (от одной группы людей к другой или, менее традиционно, от людей к материи)». . Его удивительная перспектива заставляет нас задуматься о власти в обществе, а также в наших отношениях с природой. Далее он утверждает, что «кибернетическое чувство контроля было не таким. Вместо этого, в соответствии с его онтологией непознаваемости и становления, кибернетическое чувство контроля было скорее одним из способов уживаться, справляться и даже получать удовольствие от мира, которым нельзя управлять таким образом. Даже в свои самые асимметричные ранние моменты кибернетика никогда не предполагала, что классический способ управления на самом деле возможен». Кибернетика требует перформативной формы демократии, в которой мы используем технологии, чтобы раскрывать, а не обрамлять.

Истории и системы

Мы вплетены в паутину личных и культурных историй. Я почему-то не смеюсь, когда друг в шутку говорит что-то о коммунизме, потому что, наверное, история коммунизма в моей голове отличается от представления о нем других людей, и это совершенно нормально. Например, много раз, когда мы видим число, наш разум быстро создает множество разных историй о нем. Это становится все проще с помощью технологий, в частности, статистики и искусственного интеллекта. В своем эссе Точки воздействия: места для вмешательства в систему ​​Донелла Медоуз ставит числа в самый низ списка. Точки воздействия — это места в сложной системе (корпорации, экономике, живом организме, городе, экосистеме), где небольшой сдвиг в чем-то одном может привести к большим изменениям во всем. В ее анализе числа составляют наименее эффективную точку воздействия в Системе. Вот полный список:

МЕСТА ДЛЯ ВМЕШАТЕЛЬСТВА В СИСТЕМУ
(в порядке возрастания эффективности)

12. Константы, параметры, числа (такие как субсидии, налоги, стандарты).
11. Размеры буферных и других стабилизирующих запасов по отношению к их потокам.
10. Структура материальных запасов и потоков (таких как как транспортные сети, возрастные структуры населения).
9. Продолжительность задержек по отношению к скорости системных изменений.
8. Сила отрицательной обратной связи по отношению к воздействиям, которые они пытаются скорректировать. против.
7. Усиление вождения положительной обратной связи.
6. Структура информационных потоков (кто имеет и не имеет доступа к информации).
5. Правила системы (например, поощрения, наказания, ограничения).
4. Способность добавлять, изменять, развивать или самоорганизовывать структуру системы.
3. Цели системы.
2. Образ мышления или парадигма, из которой возникает система — ее цели, структура, правила, задержки, параметры.
1. Способность преодолевать парадигмы.

Я думаю, интересно отметить, что чем эффективнее точка воздействия, тем больше она связана с историями. Какова цель системы, откуда она берется? Что такое парадигма, как не история, закономерность, мировоззрение, лежащее в основе теорий и методологии того или иного научного предмета. Если мы хотим выйти за рамки парадигм и осознать, что ни одна парадигма не является истиной в последней инстанции, тогда числа абсолютно необходимы, но, возможно, не единственное, на чем следует сосредоточиться.

Представления как часть нашего человеческого состояния

История тесно связана с концепцией репрезентации. Социальные науки говорят о различных значениях репрезентации. Во-первых, мы можем провести различие между актом или действием репрезентации и состоянием репрезентации. В первом случае мы создаем смысл, активно изображая, описывая в языке или в какой-либо другой форме. В последнем случае репрезентация в каком-то отношении буквально заменяет предмет нашего репрезентации.

Философы Рене Декарт и Джон Локк рассматривали мысленные представления как зеркало объективной реальности. Кроме того, мы можем различать индивидуальные и коллективные репрезентации, введенные социологом Эмилем Дюркгеймом в 1898 году. Все эти кластеры значений критически важны для принятия во внимание, поскольку они показывают, как история буквально представляет что-то или кого-то.

Кейт Кроуфорд из AI Now Institute в своем основном докладе на конференции NIPS в 2017 году рассказала о социальных и экономических последствиях предвзятости в системах машинного обучения. В частности, исследуя, имеют ли алгоритмы отрицательные внешние эффекты, такие как аллокативный и репрезентативный вред. Вред распределения часто связан с количеством — группам или отдельным лицам отказывают в доступе к каким-либо ресурсам или возможностям. Например, отказ в ипотеке людям, проживающим в пределах определенного почтового индекса, или использование алгоритмической оценки для определения того, кто с большей вероятностью справится с работой[3], или даже кто заслуживает того, чтобы увидеть рекламу об этом. .

Вред репрезентации связан с тем, как система может непреднамеренно подчеркивать или усиливать подчинение некоторых социальных и культурных групп. Во многих случаях этот вред гораздо больше связан с историями, чем с цифрами, и это делает их чрезвычайно сложными для анализа. Перспектива репрезентативного вреда требует от нас выйти за рамки предубеждений в наборе данных и подумать о роли ОД в пагубных представлениях о человеческой идентичности, а также о том, как эти предубеждения усиливают подчинение групп по линиям идентичности и влияют на то, как группы или отдельные лица понимаются в обществе, тем самым также способствуя вредным отношениям и культурным убеждениям в долгосрочной перспективе. — процитировать большую работу исследователей в этой области[4]. В своем предложении Алгоритмическая оценка воздействия AI Now Institute призывает нас учитывать оба этих вида вреда в нашем взаимодействии с технологиями.

Почему мы хотим изучать представления при машинном обучении?

В своей книге о глубоком обучении Ян Гудфеллоу, Йошуа Бенжио и Ааарон Курвиль задают вопрос о том, что делает одно представление лучше другого? Они говорят, что идеальное представление «такое, которое распутывает лежащие в основе причинные факторы вариации, породившие данные». Мы описываем, как данные генерируются с использованием вероятностных распределений. Многие алгоритмы глубокого обучения основаны на предположении, что скрытые единицы нейронных сетей могут научиться представлять основные причинные факторы, объясняющие данные. Эта гипотеза по-прежнему представляет собой огромную проблему и возможность для нас критиковать алгоритмы, которые мы создаем[5].

При проведении исследований мы используем детерминированные сети с прямой связью в качестве универсальных аппроксиматоров функций. Многие из так называемых структурированных вероятностных моделей с одним скрытым слоем скрытых переменных, включая ограниченные машины Больцмана и сети глубокого доверия, являются универсальными аппроксиматорами вероятностных распределений. В конечном счете, я думаю, что изучение представлений в машинном обучении дает нам новый взгляд на скрытые отношения.

Теория социальной репрезентации является частью области социальной психологии, изучающей формирование и трансформацию значений, знаний, убеждений и действий сложных социальных явлений, таких как демократия, права человека или психические заболевания, в коммуникации и культуре и через них. Следуя междисциплинарному подходу, я думаю, что исследователи в области социальной репрезентации уже рассматривают технологии как еще один ключевой фактор. С другой стороны, самое малое, что технологи могут узнать из области социальной психологии, это то, что репрезентации являются динамическими, перформативными, по своей сути частичными. как активный процесс и продукт власти.

Нам нужно думать о представлениях, которые выходят за рамки конкретного алгоритма ML и основаны на более широком контексте, в котором алгоритм будет развернут. Эти алгоритмические представления должны находиться в петлях обратной связи с другими факторами, способствующими социальным представлениям — коммуникацией, культурой и другими, и поэтому они должны быть интерактивными и адаптируемыми.

В соответствии с этим мышлением я думаю, что алгоритмические инструменты могли бы способствовать многоязычному межкультурному взаимопониманию, если бы мы могли создать более широкий диалог, в котором уязвимые сообщества могли бы участвовать. Это находится в центре внимания расследования историй, которые рассказывают о кризисе беженцев. Я был так рад быть частью этого сотрудничества между Ником Де Пальмой, Брентом Диксоном и мной. Работая над этим проектом, мы намеревались понять проблемы, с которыми сталкиваются те, кто спасается от насилия, беспорядков или ищет возможности в чужой стране, где им часто отказывают в их основных правах и свободах человека. Изучая кибернетику, мы хотели понять, можно ли использовать алгоритмическую систему для выявления скрытых взаимосвязей и аномалий в базе данных историй, связанных с кризисом беженцев. Мы были рады возможности учиться у замечательной команды Greece Communitere — греческого отделения международной неправительственной организации, создающей динамичные центры сотрудничества в сообществах перемещенных лиц и пострадавших от стихийных бедствий.

Журналистские расследования, проводимые сообществом в поселениях беженцев, могут уменьшить усталость от репортажей, позволяя системе машинного обучения помогать в работе организаций и отдельных лиц, где алгоритмическая система используется для вмешательства, а не для прогнозирования. Вместо того, чтобы создавать инструменты для агрегирования данных, мы надеемся использовать методы искусственного интеллекта для выявления закономерностей и выделения отчетов меньшинства, которые требуют внимания и ресурсов.

  • Расследования. Что такое журналистские расследования? Лучшее определение того, что составляет «расследовательскую» журналистику, — это журналистика, которая стремится раскрыть что-то, что кто-то с определенным уровнем власти (человек, группа или учреждение) стремится сохранить в секрете[6].
  • Управляемая сообществом. Сообщества привносят энергию и опыт, чтобы изменить себя изнутри. Мы хотели исследовать и извлечь уроки из историй успеха того, как гражданская журналистика служила обществу в 1990-х годах. В центре внимания гражданской журналистики было не только информирование общественности, но и помощь в оказании поддержки и вмешательстве, которые обогатили жизнь сообщества. Его основатели описывали его как «ремесло, которое строит мир и одновременно описывает его»[7].
  • Журналистика. Исторически журналистика играла центральную роль в формировании публичного дискурса. Мы хотели понять проблемы, с которыми сталкиваются журналисты в своей бесценной работе по оказанию помощи некоторым из самых уязвимых людей в мире в условиях лагерей беженцев.
  • Инструменты искусственного интеллекта для вмешательства, а не прогнозирования: мы хотели выяснить, какие технологические инструменты уже используются в более широкой экосистеме организаций и отдельных лиц, работающих над поиском устойчивых решений проблем, с которыми сталкиваются перемещенные лица.

Набор данных

Цель нашей работы состояла в том, чтобы проанализировать, могут ли тематическое моделирование и обнаружение аномалий с помощью ИИ помочь работе гуманитарных и правозащитных групп, а также журналистам-расследователям, помогая им систематизировать различные доказательства. Мы начинаем с признания того, что прозрачный процесс сбора данных имеет решающее значение для реального успеха любого потенциального предложения. Он должен сохранять конфиденциальность людей и должен быть проинформирован всеми заинтересованными сторонами. Для целей наших экспериментов мы используем базу данных, состоящую из 6 258 новостных статей, опубликованных крупными СМИ в период с 01.01.2016 по 09.09.2017, в которых упоминается кризис с беженцами[8]. Тем не менее, мы надеемся, что в будущем мы будем сотрудничать напрямую с практикующими врачами, чтобы помочь им извлечь и отобразить выводы из работы над случаями, связанными с нарушениями прав человека в поселениях беженцев.

Мы использовали алгоритм обучения без учителя, чтобы изучить представления, а затем сгруппировать похожие представления вместе. На изображении выше вы видите все новостные статьи в корпусе, где каждая из них представлена ​​токеном, цвет которого зависит от кластера, частью которого она является. Анализируя частотность слов в каждом кластере, мы обнаруживаем, что более чем в половине всех кластеров президент США Трамп является основным действующим лицом, однако были сформированы отдельные подкластеры, связанные с другими политическими фигурами, такими как госсекретарь США Джон Керри и канцлер Германии Ангела Меркель. . Возникает еще один подкластер, связанный с такими терминами, как женщины, общественное здравоохранение и политика. Наконец, мы используем представления для извлечения расстояния между статьей и ее реконструкцией в многомерном пространстве. Наша основная гипотеза в работе заключается в том, что некоторые статьи не были смоделированы должным образом и что ошибка их реконструкции будет значительно больше, чем у других статей в корпусе новостей.

Первоначальное изучение этих аномальных новостных сообщений показывает, что они охватывают такие метатемы, как: 1) статьи, вообще не связанные с кризисом беженцев, 2) статьи, выражающие особые чувства, которые мы не часто видим в СМИ, 3) статьи, которые были очень конкретными и красочными о насилии, 4) статьи о холодной войне и 5) ассортимент других тем.

Мы очень рады и взволнованы возможностью представить эту работу на предстоящем семинаре AI For Social Good на конференции NIPS Machine Learning.

Что станет возможным, если у нас будут хорошие представления?

Вид системы целиком

Изображение выше взято из отчета, опубликованного НАСА 26 сентября, в котором показано, как ураган Флоренс повлиял на побережье Каролины, когда загрязненные реки сбрасываются в Атлантику.

Изображения являются репрезентациями. В своей работе «Теория изображения» У. Дж. Т. Митчелл указывает, что в качестве репрезентаций они не только опосредуют наше «знание (о рабстве и многих других вещах), но и препятствуют, фрагментируют и отрицают это знание». Доступ к спутниковым изображениям оказывает огромное междисциплинарное влияние на все уровни и дает нам возможность искать ответы, но еще больше — задавать более правильные вопросы. Я думаю, что исследование последствий систем, управляемых ИИ, — это область, в которой требуется гораздо больше работы. В конечном счете, подвергая сомнению представления, с которыми мы сталкиваемся, мы могли бы совместно создавать мир, в котором мы продвигаем мирные и инклюзивные общества для устойчивого развития, обеспечиваем доступ к правосудию для всех и создаем эффективные, подотчетные и инклюзивные институты на всех уровнях[9].

использованная литература

[1] Концепция Стаффорда Бира о чрезвычайно сложной системе — системе со своей собственной внутренней динамикой, с которой мы можем взаимодействовать, но которую мы никогда не можем полностью узнать, которая всегда может нас удивить. Цитата из книги Эндрю Пикеринга Кибернетический мозг: зарисовки другого будущего.
[2] Мировоззрение Эндрю Пикеринга о том, что значит быть в мире, в котором мы живем — мире, построенном из чрезвычайно сложных систем.
br /> [3] Барокас, Солон и Селбст, Эндрю Д., Несопоставимое влияние больших данных (2016). 104 Калифорнийский юридический обзор 671 (2016). Доступно на SSRN: https://ssrn.com/abstract=2477899
[4] Доббе, Роэл, Дин, Сара, Гилберт, Томас и Кохли, Нитин, Более широкий взгляд на предвзятость в автоматизированном принятии решений : Размышления об эпистемологии и динамике https://arxiv.org/pdf/1807.00553.pdf
[5] Blei, David M., Build, Compute, Critique, Repeat: Data Analysis with Latent Variable Models
https://www.annualreviews.org/doi/abs/10.1146/annurev-statistics-022513-115657?journalCode=statistics
[6] Тофель, Ричард Дж., Белая книга от ProPublica, Некоммерческая журналистика: вопросы, связанные с влиянием https://s3.amazonaws.com/propublica/assets/about/LFA_ProPublica-white-paper_2.1.pdf
[7] Оверхолсер, Женева, Как лучше всего обслуживать Сообщества: размышления о гражданской журналистике
https://www.democracyfund.org/publications/how-to-best-serve-communities-reflections-on-civic-journalism
[8] Набор данных доступен на Kaggle и содержит 143 000 статей из 15 американских изданий https://www.kaggle.com/snapc. стеллаж/все новости»
[9] Цель ООН в области устойчивого развития № 16 https://sustainabledevelopment.un.org/sdg16