Apache Kafka. Потоковая обработка и анализ данных [Гвен Шапира] (pdf) читать постранично, страница - 3

сообщения..................................................................................89
Асинхронная отправка сообщения................................................................................90
Настройка производителей.....................................................................................................91
client.id.........................................................................................................................................91
acks................................................................................................................................................92
Время доставки сообщения...............................................................................................93
linger.ms......................................................................................................................................96
buffer.memory...........................................................................................................................96
compression.type.....................................................................................................................97
batch.size.....................................................................................................................................97
max.in.flight.requests.per.connection..............................................................................97
max.request.size.......................................................................................................................98
receive.buffer.bytes и send.buffer.bytes...........................................................................98
enable.idempotence...............................................................................................................99
Сериализаторы...............................................................................................................................99
Пользовательские сериализаторы.............................................................................. 100
Сериализация с помощью Apache Avro.................................................................... 102
Использование записей Avro с Kafka......................................................................... 104
Разделы........................................................................................................................................... 107
Реализация пользовательской стратегии секционирования......................... 108
Заголовки....................................................................................................................................... 110
Перехватчики............................................................................................................................... 110
Квоты и регулирование запросов...................................................................................... 112
Резюме............................................................................................................................................. 114
Глава 4. Потребители Kafka: чтение данных из Kafka...................................................... 115
Принципы работы потребителей Kafka........................................................................... 115
Потребители и группы потребителей........................................................................ 115
Группы потребителей и перебалансировка разделов....................................... 118
Статические участники группы..................................................................................... 122
Создание потребителя Kafka................................................................................................. 123
Подписка на топики.................................................................................................................. 123

Оглавление  9
Цикл опроса.................................................................................................................................. 124
Потокобезопасность.......................................................................................................... 126
Настройка потребителей........................................................................................................ 127
fetch.min.bytes....................................................................................................................... 127
fetch.max.wait.ms.................................................................................................................. 127
fetch.max.bytes...................................................................................................................... 128
max.poll.records..................................................................................................................... 128
max.partition.fetch.bytes.................................................................................................... 128
session.timeout.ms и heartbeat.interval.ms............................................................... 128
max.poll.interval.ms............................................................................................................. 129
default.api.timeout.ms........................................................................................................ 130
request.timeout.ms............................................................................................................... 130
auto.offset.reset..................................................................................................................... 130
enable.auto.commit............................................................................................................. 131
partition.assignment.strategy........................................................................................... 131
client.id...................................................................................................................................... 132
client.rack................................................................................................................................. 132
group.instance.id................................................................................................................... 133
receive.buffer.bytes и send.buffer.bytes........................................................................ 133
offsets.retention.minutes.................................................................................................... 133
Фиксация и смещения.............................................................................................................. 134
Автоматическая фиксация.............................................................................................. 135
Фиксация текущего смещения...................................................................................... 136
Асинхронная фиксация.................................................................................................... 137
Сочетание асинхронной и синхронной фиксации.............................................. 139
Фиксация заданного смещения.................................................................................... 140
Прослушивание на предмет перебалансировки........................................................ 141
Получение записей с заданными смещениями............................................................ 144
Выход из цикла............................................................................................................................ 145
Десериализаторы....................................................................................................................... 147
Пользовательские сериализаторы.............................................................................. 148
Использование