Apache Kafka. Потоковая обработка и анализ данных [Гвен Шапира] (pdf) читать постранично, страница - 2

издательства....................................................................................................................................29
Глава 1. Знакомьтесь: Kafka.............................................................................................................30
Обмен сообщениями по типу «публикация/подписка»...............................................30
С чего все начинается...........................................................................................................31
Отдельные системы организации очередей.............................................................33
Открываем для себя систему Kafka.......................................................................................33
Сообщения и пакеты.............................................................................................................36
Схемы...........................................................................................................................................36
Топики и разделы...................................................................................................................37
Производители и потребители........................................................................................38
Брокеры и кластеры..............................................................................................................39
Несколько кластеров............................................................................................................41
Почему Kafka?..................................................................................................................................43
Несколько производителей..............................................................................................43
Несколько потребителей....................................................................................................43
Сохранение информации на диске................................................................................43
Масштабируемость................................................................................................................44
Высокое быстродействие...................................................................................................44
Особенности платформы....................................................................................................44

Оглавление  7
Экосистема данных.......................................................................................................................45
Сценарии использования...................................................................................................46
История создания Kafka.............................................................................................................48
Проблема LinkedIn.................................................................................................................48
Рождение Kafka........................................................................................................................49
Открытый исходный код.....................................................................................................50
Коммерческое взаимодействие......................................................................................51
Название.....................................................................................................................................51
Приступаем к работе с Kafka....................................................................................................51
Глава 2. Установка Kafka...................................................................................................................52
Настройка среды...........................................................................................................................52
Выбрать операционную систему.....................................................................................52
Установить Java........................................................................................................................52
Установить ZooKeeper..........................................................................................................53
Установка брокера Kafka............................................................................................................56
Настройка брокера......................................................................................................................58
Основные параметры брокера........................................................................................58
Настройки топиков по умолчанию.................................................................................61
Выбор аппаратного обеспечения..........................................................................................67
Пропускная способность дисков....................................................................................67
Емкость диска...........................................................................................................................68
Память..........................................................................................................................................68
Передача данных по сети...................................................................................................69
CPU................................................................................................................................................69
Kafka в облачной среде..............................................................................................................70
Microsoft Azure.........................................................................................................................70
Веб-сервисы Amazon Web Services.................................................................................71
Настройка кластеров Kafka......................................................................................................71
Сколько должно быть брокеров.....................................................................................72
Конфигурация брокеров.....................................................................................................74
Тонкая настройка операционной системы................................................................74
Промышленная эксплуатация.................................................................................................78
Параметры сборки мусора.................................................................................................78
Планировка ЦОД.....................................................................................................................80
Размещение приложений на ZooKeeper......................................................................80
Резюме................................................................................................................................................82

8  Оглавление
Глава 3. Производители Kafka: запись сообщений в Kafka..............................................83
Обзор производителя.................................................................................................................84
Создание производителя Kafka..............................................................................................86
Отправка сообщения в Kafka...................................................................................................88
Синхронная отправка