Что такое Data4Impact
В этом посте мы опишем нашу работу в проекте Data4Impact, который решает ключевые задачи конкурса ЕС CO-CREATION-08–2016–2017 о влиянии исследований и инноваций на формирование политики. В центре внимания нашего проекта находится сфера здоровья.
Партнеры Qualia по проекту: PPMI (Литва), Athena RC (Греция), Fraunhofer (Германия), CNR (Италия), University of Boras (Швеция).
Проект стартовал 1 ноября 2017 года и завершится 31 октября 2019 года.
Измерение влияния исследований помогает спонсорам направлять распределение ресурсов на исследования, максимизировать пользу от исследований и минимизировать потери исследований. Проект имеет 2 основные цели:
1. Разработать набор показателей для оценки эффективности ЕС и национальных систем НИОКР.
2. Собирать данные и разрабатывать методологии, которые помогут измерять показатели проблем, связанных со здоровьем.
Data4Impact собирает данные из широкого круга источников данных, охватывает все ключевые этапы жизненного цикла НИОКР в области здравоохранения и измеряет набор показателей, отвечающих на ключевые вопросы бизнеса, такие как: финансируем ли мы соответствующие исследования? Каково влияние исследования, которое мы финансировали? Какие темы мы должны финансировать дальше? Должны ли мы войти в области, в которые мало кто инвестирует? Должны ли мы финансировать редкие темы? Как наше финансирование взаимодействует с точки зрения исследователей и организаций?
Насколько нам известно, Data4Impact — это первый исследовательский проект, в котором отслеживаются результаты и влияние научно-исследовательских работ после прекращения финансирования исследований. Это также первый проект, в котором делается попытка установить связь между исследовательской деятельностью ЕС и инновациями и продуктами в области здравоохранения, которые в настоящее время представлены на рынке.
Методология
За последние тридцать лет был разработан и использовался широкий спектр подходов к измерению воздействия НИОКР (исследований и инноваций), каждый из которых опирается на разные допущения и измеряет воздействие по-разному. Различные методологические рамки сосредоточены на:
- академическое, социальное, экономическое и культурное влияние с использованием описательных и количественных показателей
- процесс взаимодействия между заинтересованными сторонами и исследователями
- важность партнерства между исследователями и политиками
- связывание процессов между исследованиями и воздействием
- способность медицинских технологий влиять на эффективность здравоохранения
Подробное описание различных фреймворков представлено в [1] и [2].
Несмотря на то, что в литературе имеется большое разнообразие концептуальных материалов, касающихся воздействия НИОКР на общество, сопоставимых эмпирических данных, а также конкретных индикаторов мало. Измерение воздействия зависит от контекста, а это означает, что трудно согласовать показатели, дающие сопоставимые результаты. Деятельность в области НИОКР в настоящее время является наиболее заметным косвенным показателем воздействия НИОКР.
Аналитическая модель Data4Impact разделена на четыре аналитических этапа: этап ввода, пропускной способности, этап вывода и этап воздействия. Модель называется AMOSIA (Модель оценки воздействия на общество), и ее подробное описание можно найти в результатах проекта D2.1 и D2.2 здесь. На следующем плотном изображении показана концептуальная основа Data4Impact.
Изображение 1. Концептуальная основа Data4Impact
Исходные данные: основным индикатором исходных данных является объем финансирования на уровне программы/проекта.
Производительность: окончательные отчеты, научные публикации и патентные заявки являются основными показателями успешной научно-исследовательской деятельности и созданных знаний.
Результаты: два аспекта: академический и экономический. Академический результат отражает контент, созданный в научном сообществе, в основном метрики на основе цитирования. В экономической продукции используются знания, полученные при разработке новых продуктов, прототипов, технических решений или процессов: товарных знаков, сертифицированных медицинских устройств.
Воздействие: академическое, экономическое влияние и влияние социальных сетей. Академическое влияние описывает очевидный вклад НИОКР в академические круги, такой как изменение программы исследований, особое внимание к исследовательским аспектам, разработка новых методов и изменение образовательного содержания. Экономический эффект описывает использование новых рынков, эффективность и стоимость производства, конкурентоспособность. Наконец, влияние социальных сетей измеряется онлайн-дискуссиями в новостях, блогах, форумах и твиттере.
Индикаторы
В следующей таблице представлен обзор набора показателей, которые мы разработали в ходе проекта.
Таблица 1. Индикаторы Data4Impact
Влияние социальных сетей
Теперь мы сосредоточимся на показателях социальных сетей, которые мы рассчитываем, чтобы измерить влияние тем, связанных со здоровьем, на общество. Тематическое моделирование является основным компонентом конвейера обработки данных Data4Impact. Мы вычисляем 500 тем о здоровье из более чем 5 миллионов медицинских публикаций и 2 тысяч проектов, финансируемых ЕС (FP7 и H2020). Темы связаны со спонсорами, организациями, авторами, школами, странами и т. д. Тематические модели помогают нам определить активные области исследований, понять, что на самом деле производится, обнаружить сообщества, выявить новые области исследований и выявить пробелы. и новые вызовы.
Из тематических моделей мы формируем поисковые запросы в социальных сетях, которые применяем для поиска в новостях, блогах, форумах и твиттере со всего мира. Мы показываем подмножество поисковых запросов в следующей таблице, где первый столбец указывает номер темы, второй столбец — название темы, а третий столбец — поисковый запрос, соответствующий теме.
Таблица 2: поисковые запросы в социальных сетях
Мы получаем около 36 миллионов результатов поиска (упоминания). Мы рассчитываем два показателя социальных сетей: [a] количество упоминаний (buzz), то есть количество статей, сообщений в блогах, сообщений на форумах и твитов, которые мы получаем, [b] обмен ссылками ( вовлеченность), то есть процент статей по каждой теме, которыми поделились не менее 5 раз на Facebook.
Примеры
В этом разделе мы покажем показательные примеры идей, которые мы получаем из социальной сферы. Мы начнем с примера каждого индикатора, рассчитанного за период с 13 января по 7 февраля 2019 года. На изображении 2 показана шумиха, а на изображении 3 — показатели вовлеченности.
Изображение 2: индикатор обновлений
Изображение 3: индикатор вовлеченности
В следующем примере мы сосредоточимся на теме сердечно-сосудистых заболеваний. Это большая и хорошо финансируемая тема: в рамках рамочных программ ЕС FP7 и H2020 было профинансировано более 25 проектов по сердечно-сосудистым заболеваниям с общим бюджетом, превышающим 80 миллионов евро. Мы использовали набор ключевых слов, соответствующих теме сердечно-сосудистых заболеваний, для сбора новостных статей, сообщений в блогах, сообщений на форумах и твитов по этой теме. Затем мы сгруппировали тексты по основным аспектам обсуждения сердечно-сосудистых заболеваний, как показано на Рисунке 4 ниже. Проценты в скобках указывают на долю голоса каждого аспекта обсуждения в рамках темы сердечно-сосудистых заболеваний. Диабет и ожирение являются наиболее упоминаемыми подтемами в текстах, посвященных сердечно-сосудистым заболеваниям.
Изображение 4: аспекты обсуждения сердечно-сосудистых заболеваний
В нашем последнем примере мы объединяем новостные статьи, в которых обсуждается одна и та же история, в различных изданиях со всего мира по теме стволовые клетки, как показано на следующем рисунке:
Изображение 5: темы новостей о стволовых клетках
Число в начале каждой строки — это количество статей, составляющих каждый кластер. Название кластера выбирается среди всех названий статей как наиболее репрезентативное по метрике центроида кластеризации. Статьи были опубликованы в феврале 2019 года.
Технология CRISPR/Cas9, используемая для исправления дефектов в генах (38 упоминаний), никогда не финансировалась ЕС. То же самое касается сетчатки, которая была выращена в чашке Петри (также 38 упоминаний) и потенциально может помочь исследователям разработать методы лечения глазных заболеваний, таких как дальтонизм или образование желтого пятна. В этом примере мы начали с тематической модели стволовых клеток, создали соответствующие поисковые запросы в социальных сетях, получили статьи и сообщения из социальных сетей, сгруппировали полученные тексты по темам и проверили, финансировались ли ранее обсуждаемые темы. Таким образом, мы можем постоянно отслеживать актуальные и интересные темы, чтобы решить, следует ли финансировать их в будущих программах финансирования и конкурсах.
Дальнейшие шаги
Мы постоянно дорабатываем и обогащаем наши модели, а также работаем над демонстратором, который будет жить до конца августа 2019 года. Мы организуем семинар 2 сентября 2019 года в Риме в рамках 17-й Международной конференции по наукометрии. и информатики (ISSI2019). На этом практическом интерактивном семинаре мы стремимся получить отзывы о выбранной методологии, охвате и задержке/своевременности разработанных индикаторов, чтобы максимизировать актуальность для всех вовлеченных заинтересованных сторон (особенно для финансирующих агентств и политиков). Мы были бы признательны за возможность сотрудничать с вами на нашем семинаре, поэтому пришлите мне сообщение, если вы сможете присутствовать.
Цитаты
[1] Круз Ривера С., Кайт Д.Г., Айегбуси О.Л., Кили Т.Дж., Калверт М.Дж. (2017). Оценка воздействия исследований в области здравоохранения: систематический обзор методологических основ. PLoS Med 14(8): e1002370.
[2] Бастоу, С., Данливи, П., и Тинклер, Дж. (2014). Влияние социальных наук: как ученые и их исследования имеют значение. Лос-Анджелес: SAGE.
