- DPU-v2: энергоэффективное выполнение нерегулярных ориентированных ациклических графов(arXiv)
Автор :DPU-v2: Энергоэффективное выполнение нерегулярных ориентированных ациклических графов
Аннотация. Растущее число приложений, таких как вероятностное машинное обучение, разреженная линейная алгебра, роботизированная навигация и т. д., демонстрируют нерегулярные вычисления потоков данных, которые можно моделировать с помощью ориентированных ациклических графов (DAG). Неравномерность возникает из-за кажущихся случайными соединений узлов, что делает структуру DAG непригодной для векторизации на CPU или GPU. Кроме того, узлы обычно представляют собой небольшое количество арифметических операций, которые не могут амортизировать накладные расходы на запуск задач/ядер для каждого узла, что создает дополнительные проблемы для параллельного выполнения. Чтобы обеспечить энергоэффективное выполнение, в этой работе предлагается модуль обработки DAG (DPU) версии 2, специализированная архитектура процессора, оптимизированная для нерегулярных DAG со статическим подключением. Он состоит из древовидной структуры пути данных для эффективного повторного использования данных, настраиваемого файла банковских регистров и межсоединений, настроенных для поддержки нерегулярного доступа к регистрам. DPU-v2 эффективно используется благодаря целевому компилятору, который систематически сопоставляет операции с путями данных, сводит к минимуму конфликты банков регистров и избегает опасностей конвейера. Наконец, исследование проектного пространства определяет оптимальную конфигурацию архитектуры, которая сводит к минимуму задержку энергопотребления. Этот подход совместной оптимизации аппаратного и программного обеспечения приводит к ускорению в 1,4 раза, 3,5 раза и 14 раз по сравнению с современным процессором DAG ASIP, ЦП и графическим процессором соответственно, а также достигается более низкое энергопотребление. -продукт задержки. Таким образом, эта работа является важным шагом на пути к встроенному выполнению новых рабочих нагрузок DAG.
2.DAGformer: направленный преобразователь ациклических графов(arXiv)
Автор: Юанкай Луо
Аннотация. Во многих областях, таких как обработка естественного языка и компьютерное зрение, архитектура Transformer стала стандартом. В последнее время архитектура Transformer также вызывает растущий интерес к обучению представлению графа, поскольку она естественным образом преодолевает некоторые ограничения нейронной сети графа (GNN). В этой работе мы сосредоточимся на особом, но широко используемом классе графов — DAG. Мы предлагаем ориентированный ациклический граф Transformer, DAGformer, архитектуру Transformer, которая обрабатывает информацию в соответствии с отношением достижимости, определяемым частичным порядком. DAGformer прост и гибок, что позволяет использовать его с различными моделями на основе трансформаторов. Мы показываем, что наша архитектура обеспечивает высочайшую производительность на репрезентативных наборах данных DAG, превосходя все предыдущие подходы.
