Designer de Pipeline CDC com Debezium

Projete ou depure um pipeline CDC Debezium: config do connector, ordenação, deletes e schema drift.

Por Os Melhores Prompts

Categoria: Engenharia de dados

O que ele faz

Projeta CDC como três fases com modos de falha distintos — snapshot inicial, transição de snapshot para stream e streaming em regime — e raciocina primeiro sobre o log da fonte: replication slot e wal_level no Postgres, formato e retenção de binlog no MySQL, capture jobs no SQL Server, carga do LogMiner no Oracle. Devolve a config do connector em linhas key=value (snapshot mode, topic.prefix, include lists, decimal.handling.mode, tombstones.on.delete, intervalo de heartbeat) com o motivo de cada uma, mais alerta de crescimento de disco e o que fazer quando o connector fica fora do ar mais tempo que a retenção do log. Como CDC entrega at-least-once com ordenação por chave e não exactly-once, o MERGE no sink já vem com soft delete, proteção contra fora de ordem por LSN/SCN e idempotência em replay.

Use quando

• Replication slot que parou de avançar e encheu o disco
• Deletes na origem que nunca chegam ao warehouse
• Linhas duplicadas após restart ou replay do connector
• Uma mudança de DDL que quebrou o pipeline

O que você recebe

• Config do connector em key=value com o motivo de cada
• Guardrails na origem: retenção de slot/binlog e alertas
• Design de tópico e chave que preserva ordem por chave
• O MERGE do sink com soft delete e ordenação por LSN
• Plano de evolução de schema para DDL seguro e quebrante

Como usar

1. Descreva {{source_database}}: engine, versão, config de replicação, tamanho das tabelas, taxa de escrita e se é primário ou réplica.
2. Liste {{table_scope}} com PKs, colunas TOAST/LOB, comportamento de hard delete e frequência de mudanças de schema.
3. Preencha {{target_system}} com layout de tópicos, sink connector e como as mudanças são aplicadas (MERGE no warehouse, upsert em Iceberg/Delta).
4. Informe lag máximo aceitável, necessidade de deletes e before-images e necessidade de replay em {{consistency_requirements}}.
5. Se estiver depurando, cole os sintomas em {{current_symptoms}} — no Postgres inclua a idade do pg_replication_slots.restart_lsn.

Tags: debezium, cdc, change-data-capture, kafka-connect, postgres, replication-slot, schema-evolution, kafka

Preço: 10.00 BRL