Это сообщение в блоге - вторая часть из двух частей, посвященных использованию Presto с Apache Pinot. Вы можете найти первую часть здесь о том, как системы аналитики находят компромисс между задержкой и гибкостью.
Получите лучшее из обоих: коннектор Presto Pinot Connector
Продолжая первую часть этой серии, мы сосредоточимся на коннекторе Presto Pinot Connector. На диаграмме ниже показано соотношение задержки и гибкости между Presto и Pinot.
В Presto пользователи получают превосходную гибкость: полная поддержка SQL, возможность выполнять многосторонние соединения. Однако возврат запроса с точки зрения задержки может занять от нескольких секунд до минут, в зависимости от объема данных.
С другой стороны, пользователи Pinot могут хранить как необработанные данные, так и предварительно объединенные / предварительно агрегированные, даже предварительно кубированные данные, а также передовые технологии индексации для ускорения запросов. Механизм запросов Pinot оптимизируется для таких аналитических шаблонов запросов, как агрегирование / группировка. Pinot обеспечивает гибкость нарезки и нарезки кубиками, сохраняя при этом низкую задержку запроса. Однако Pinot недостаточно гибок из-за отсутствия полной поддержки SQL.
Потребности в увеличении скорости запросов Presto и поддержке дополнительных функций для пользователей Pinot идеально подходят. Это основная мотивация для рождения коннектора Presto Pinot. Эта полная система покрывает ВЕСЬ ландшафт аналитики, и мы можем использовать лучшее, что есть в Presto и Pinot. Это новое решение позволяет операционным группам Uber, обладающим базовыми знаниями SQL, создавать информационные панели для быстрого анализа и составления отчетов с агрегированными данными, не тратя дополнительное время на работу с инженерами над моделированием данных или построением конвейеров данных, что приводит к повышению эффективности и экономии ресурсов во всей компании.
С тех пор сообщество Presto и Pinot внесло множество функций, чтобы сделать решение гибким и масштабируемым.
E.g.,
- Поддержка типа массива и раскрытие функций
- Временная метка / инферрал типа даты и раскрывающийся список предикатов
- Поддержка сервера Pinot gRPC для запросов уровня сегмента
