Apache Kafka
Архитектура Kafka
Kafka как распределенный журнал событий: topic, partition, offset, producer, consumer group, broker,...
Когда использовать Kafka
Как понять, нужна ли Kafka в проекте и когда она избыточна.
Partition Key Design
Как выбрать partition key: порядок, нагрузка, hot partition, масштабирование и compaction.
Ordering Guarantees
Границы гарантий порядка Kafka: partition, key, producer, consumer, DLQ и state machine.
Replication
Leader, follower, ISR, replication.factor, acks, min.insync.replicas и отказоустойчивость Kafka.
Data Retention
Retention по времени и объему, segments, replay, consumer lag, storage cost и ПДн.
Log Compaction
Compacted topic, последнее состояние по key, tombstone, CDC, KTable и ограничения.
Kafka как хранилище
Kafka как event log/changelog/state log и почему она не заменяет OLTP-БД.
Kafka Transactions
Атомарная запись внутри Kafka, transactional.id, read_committed, exactly-once и границы применения.
Poison Message
Poison message, retry, DLQ, offset commit strategy и процесс разбора проблемных сообщений.
Consumer Group Rebalancing