Design de Tópicos Kafka e Triagem de Lag

Dimensione partições do Kafka pelo throughput real e rastreie o consumer lag até a causa verdadeira.

Por Os Melhores Prompts

Categoria: Engenharia de dados

O que ele faz

Dimensiona partições a partir do throughput alvo dividido pelo throughput realista por consumer, mostra a conta e o fator de folga, e confere o resultado contra os requisitos de ordenação e o fato de que o número de partições sobe mas nunca desce. No lag, usa lag por partição para separar burst do producer, lentidão do consumer, rebalance thrash e uma única partição quente ou envenenada — incluindo violações de max.poll.interval.ms, que nos dashboards parecem consumer lento e se resolvem de outro jeito. A saída traz config do tópico em linhas key=value com o motivo de cada uma, uma correção mínima ordenada, plano de validação por taxa de drenagem e os modos de falha que o design aceita.

Use quando

• Escolher o número de partições antes do tópico ir ao ar
• Lag total estável com uma partição subindo sozinha
• Consumer group preso em loops de rebalance
• Decidir entre at-least-once e escrita transacional

O que você recebe

• Número de partições com a conta de throughput à vista
• Config do tópico em linhas key=value com motivo
• Veredito do lag: burst, throughput, rebalance ou hot key
• Correção mínima ordenada, uma mudança por vez
• Curva de recuperação esperada e tempo de drenar o lag

Como usar

1. Preencha {{kafka_version}} com tamanho do cluster e se roda KRaft ou ZooKeeper.
2. Informe em {{workload_profile}} mensagens/s de pico e média, tamanho médio e p99, retenção, necessidade de replay e crescimento em 12 meses.
3. Cole {{topic_config}} atual (partições, replication factor, min.insync.replicas, cleanup.policy, retenção, compressão, estratégia de chave) e {{consumer_config}} (tamanho do grupo, max.poll.records, max.poll.interval.ms, timeouts, assignor, estratégia de commit).
4. Dê o lag POR PARTIÇÃO em {{lag_metrics}}, mais frequência de rebalance, taxa de commit, tempo de processamento por registro e volume de DLQ.
5. Declare ordenação por chave ou global e as garantias de entrega em {{ordering_requirements}}, incluindo se o processamento é idempotente.

Tags: apache-kafka, kafka, consumer-lag, partitioning, consumer-groups, rebalancing, stream-processing

Preço: 10.00 BRL