Apache Kafka. Потоковая обработка и анализ данных [Гвен Шапира] (pdf) читать постранично, страница - 5

потребителей, важные
для надежной обработки................................................................................................. 222
Фиксация смещений в потребителях явным образом....................................... 224
Проверка надежности системы........................................................................................... 226
Проверка конфигурации................................................................................................. 226
Проверка приложений..................................................................................................... 228
Мониторинг надежности при промышленной эксплуатации........................ 228
Резюме............................................................................................................................................. 230
Глава 8. Семантика «точно один раз»...................................................................................... 231
Идемпотентный производитель.......................................................................................... 232
Как работает идемпотентный производитель....................................................... 232
Ограничения идемпотентного производителя..................................................... 235
Как использовать идемпотентный производитель Kafka................................. 236
Транзакции.................................................................................................................................... 237
Сценарии использования транзакций...................................................................... 237
Какие проблемы решают транзакции........................................................................ 238

12  Оглавление
Как транзакции гарантируют «точно один раз».................................................... 239
Какие проблемы не решаются транзакциями........................................................ 242
Как использовать транзакции....................................................................................... 245
Идентификаторы транзакций и ограждения.......................................................... 248
Как работают транзакции................................................................................................ 250
Производительность транзакций....................................................................................... 252
Резюме............................................................................................................................................. 253
Глава 9. Создание конвейеров данных.................................................................................. 254
Соображения по поводу создания конвейеров данных.......................................... 255
Своевременность................................................................................................................ 255
Надежность............................................................................................................................ 256
Высокая/переменная нагрузка..................................................................................... 257
Форматы данных.................................................................................................................. 257
Преобразования.................................................................................................................. 258
Безопасность......................................................................................................................... 259
Обработка сбоев.................................................................................................................. 260
Связывание и гибкость..................................................................................................... 261
Когда использовать Kafka Connect, а когда — клиенты-производители
и клиенты-потребители........................................................................................................... 262
Kafka Connect................................................................................................................................ 263
Запуск Kafka Connect.......................................................................................................... 263
Пример коннектора: файловый источник и файловый приемник............... 266
Пример коннектора: из MySQL в Elasticsearch....................................................... 269
Преобразования одиночных сообщений................................................................ 276
Взглянем на Kafka Connect поближе........................................................................... 278
Альтернативы Kafka Connect................................................................................................. 282
Фреймворки ввода и обработки данных для других хранилищ................... 282
ETL-утилиты на основе GUI.............................................................................................. 283
Фреймворки потоковой обработки............................................................................ 283
Резюме............................................................................................................................................. 283
Глава 10. Зеркальное копирование между кластерами................................................ 285
Сценарии зеркального копирования данных между кластерами...................... 286
Мультикластерные архитектуры......................................................................................... 287
Реалии взаимодействия между различными ЦОД............................................... 287
Архитектура с топологией типа «звезда»................................................................. 289
Архитектура типа «активный — активный»............................................................ 291

Оглавление  13
Архитектура типа «активный — резервный»......................................................... 293
Эластичные кластеры........................................................................................................ 301
Утилита MirrorMaker (Apache Kafka)................................................................................... 302
Настройка MirrorMaker..................................................................................................... 304
Топология мультикластерной репликации............................................................. 307
Обеспечение безопасности MirrorMaker.................................................................. 308
Развертывание MirrorMaker для промышленной эксплуатации................... 309
Тонкая настройка MirrorMaker....................................................................................... 314
Другие программные решения для зеркального копирования
между кластерами..................................................................................................................... 317
uReplicator компании