Kafka для тех, кто пишет на Go
Курс по Apache Kafka на Go — от первых топиков и партиций до production-grade паттернов: транзакции и exactly-once, outbox, Debezium CDC, гибрид gRPC + Kafka. Весь код запускается на локальном sandbox-стенде (KRaft, Schema Registry, Connect, Kafka UI) и оставляет наблюдаемый эффект — это не лекции «на доске», а рабочие сценарии.
Программа курса
- 01
Основы
Базовая модель Kafka: брокер, контроллер, топик, партиция, репликация, offset, retention. Первый продьюсер и консьюмер на franz-go — после этого модуля в голове появляется рабочая модель, на которую дальше наслаиваются все остальные темы.
не начатов процессепройдено0/66 уроков4 ч 10 мин - 02
Продьюсер
Где живёт гарантия one-key-one-partition, как acks влияет на durability, зачем нужна идемпотентность, как батчинг и компрессия меняют пропускную способность, и какие классы ошибок продьюсер видит на ретраях.
не начатов процессепройдено0/55 уроков3 ч 15 мин - 03
Консьюмер
Группы и ребалансы (включая cooperative-sticky), коммиты offset'ов, гарантии обработки на стороне консьюмера, обработка ошибок через retry-топики и DLQ, конкурентность и lag.
не начатов процессепройдено0/55 уроков3 ч 30 мин - 04
Надёжность
Транзакции и exactly-once semantics, паттерн consume-process-produce, transactional outbox, retry/DLQ deep dive, доставка во внешние системы (HTTP courier с circuit breaker и backpressure через PauseFetchPartitions).
не начатов процессепройдено0/55 уроков3 ч 55 мин - 05
Контракты
Зачем нужны схемы и сравнение wire-форматов (JSON / Avro / Protobuf), Protobuf в Go через buf, Schema Registry с magic byte и schema_id, эволюция схем (BACKWARD / FORWARD / FULL) и что считается breaking change в protobuf.
не начатов процессепройдено0/44 урока2 ч 45 мин - 06
Паттерны коммуникации
Для тех, кто проектирует системы: gRPC basics и streaming, синхрон против асинхрона (decision matrix), гибрид gRPC + Kafka в одном сервисе, saga (choreography vs orchestration).
не начатов процессепройдено0/55 уроков3 ч 50 мин - 07
Streams и Connect
Концепции stream processing (event-time, windowing, watermark, late events), stateful-счётчик топа напитков на franz-go + Pebble (заменитель Kafka Streams для Go), Kafka Connect и Debezium CDC.
не начатов процессепройдено0/44 урока3 ч 15 мин - 08
Эксплуатация
Мониторинг и метрики (kminion + Grafana), retention vs compaction на практике, sizing и tuning топиков под профиль нагрузки, troubleshooting runbook на типовые проблемы.
не начатов процессепройдено0/44 урока2 ч 55 мин - 09
Use cases
Сквозные сценарии — связывают всё, что было выше, в работающие приложения с integration-тестами. Use case'ы крупнее лекций: несколько сервисов, proto-схемы, иногда docker-compose.override.yml под Postgres / ClickHouse / Elasticsearch.
не начатов процессепройдено0/44 урока6 ч