Apache Kafka. Потоковая обработка и анализ данных [Гвен Шапира] (pdf) читать постранично, страница - 4

десериализации Avro в потребителе Kafka........................... 150
Автономный потребитель: зачем и как использовать потребитель
без группы..................................................................................................................................... 151
Резюме............................................................................................................................................. 153

10  Оглавление
Глава 5. Программное управление Apache Kafka............................................................. 154
Обзор AdminClient..................................................................................................................... 155
Асинхронный и в конечном итоге согласованный API...................................... 155
Опции........................................................................................................................................ 156
Плоская иерархия............................................................................................................... 156
Дополнительные примечания....................................................................................... 156
Жизненный цикл AdminClient: создание, настройка и закрытие........................ 157
client.dns.lookup................................................................................................................... 158
request.timeout.ms............................................................................................................... 159
Управление основными топиками..................................................................................... 160
Управление конфигурацией................................................................................................. 164
Управление группами потребителей................................................................................ 165
Изучение групп потребителей...................................................................................... 166
Модификация групп потребителей............................................................................ 168
Метаданные кластера.............................................................................................................. 170
Расширенные операции администратора...................................................................... 170
Добавление разделов в топик....................................................................................... 170
Удаление записей из топика........................................................................................... 171
Выборы лидера..................................................................................................................... 172
Перераспределение реплик.......................................................................................... 173
Тестирование................................................................................................................................ 174
Резюме............................................................................................................................................. 177
Глава 6. Внутреннее устройство Kafka................................................................................... 178
Членство в кластере.................................................................................................................. 178
Контроллер................................................................................................................................... 179
KRaft: новый контроллер Kafka на основе Raft...................................................... 181
Репликация.................................................................................................................................... 183
Обработка запросов................................................................................................................. 186
Запросы от производителей.......................................................................................... 189
Запросы на извлечение.................................................................................................... 189
Другие запросы.................................................................................................................... 194
Физическое хранилище........................................................................................................... 195
Многоуровневое хранилище......................................................................................... 196
Распределение разделов................................................................................................. 198
Управление файлами......................................................................................................... 200
Формат файлов..................................................................................................................... 200

Оглавление  11
Индексы................................................................................................................................... 203
Сжатие...................................................................................................................................... 204
Как происходит сжатие..................................................................................................... 204
Удаленные события............................................................................................................ 206
Когда выполняется сжатие топиков............................................................................ 207
Резюме............................................................................................................................................. 208
Глава 7. Надежная доставка данных........................................................................................ 209
Гарантии надежности............................................................................................................... 210
Репликация.................................................................................................................................... 211
Настройка брокера................................................................................................................... 212
Коэффициент репликации.............................................................................................. 213
«Нечистый» выбор ведущей реплики........................................................................ 214
Минимальное число согласованных реплик......................................................... 216
Поддержание синхронизации реплик...................................................................... 217
Долговременное хранение на диске.......................................................................... 217
Использование производителей в надежной системе............................................. 218
Отправка подтверждений............................................................................................... 219
Настройка повторов отправки производителями............................................... 220
Дополнительная обработка ошибок.......................................................................... 221
Использование потребителей в надежной системе.................................................. 221
Свойства конфигурации