У меня есть карта между количеством разделов и количеством смещений данной темы в kafka. Я хотел бы получать все сообщения, начиная с самого начала и заканчивая конкретным сопоставлением разделов / смещений с использованием golang. Вкратце, я хотел бы знать, можно ли получать сообщения в kafka от начала до определенного смещения.
Я хотел бы знать, есть ли встроенные инструменты или библиотеки, которые могут мне помочь, прежде чем я начну что-то реализовывать.
Я отправляю это как ответ, потому что я на 99,9% убежден, что это правильно - вы не можете указать конечное смещение на Consumer. Consumer API поддерживает OOTB:
Обратите внимание, что нет возможности указать диапазоны, но вы можете легко сделать это самостоятельно: просто начните с начала и остановитесь, когда прочитаете любое количество сообщений, которое вам нужно (например, ваше окончательное смещение).
См. Раздел Controlling Consumer Position в Официальный API
