Patrick Leite

O resultado sustentou uma apresentação formal à liderança. Mais importante que os números: decisão de corte deixou de ser palpite. Hoje ela parte de evidência cruzada de sinais independentes e separa custo medido de custo rateado em vez de somar os dois num número só.

Cada fonte virou um pipeline com cadência própria — do diário ao anual —, baixado por WFS ou HTTP, normalizado em SIRGAS 2000, com a geometria validada antes de gravar e lido em escala com o Mosaic no Spark. O raster ensinou mais que o vetor: 45 GB de altimetria não cabem num banco; cabem num storage, lidos sob demanda em formato cloud-native. É por isso que formato vem antes de ferramenta.

Plataforma sem adoção é custo. Junto veio o que faz a adoção acontecer: pipeline de CI/CD, material de handoff e exemplos prontos, para o time operar no padrão desde o primeiro dia — a maioria nunca tinha trabalhado assim. Hoje respondo pelo ambiente como referência técnica: mantenho o padrão, acompanho o que entra e garanto que a plataforma continue coerente à medida que o time cresce.

Só com o legado já substituído é que ele pôde ser desligado — a ordem importa, e foi ela que tornou o desligamento uma consequência em vez de um risco. Auditei cerca de 1.100 objetos com um método de decisão apoiado em evidência cruzada de quatro fontes independentes, em vez de inventário declarado — só cerca de 7% tinham dependência viva. Conduzi o encerramento em ondas com verificação automática antes de cada lote. Cerca de 89% da carga histórica do ambiente antigo saiu do ar sem quebrar consumidor.

Descrever a fonte passou a bastar: o pipeline é gerado, entra no Git e é revisado como qualquer outra mudança de software. Adicionar uma fonte deixou de custar tempo de engenharia, e o conhecimento parou de ficar preso em quem clicou. Respondo por 93 a 100% do código vivo dessa camada. É a diferença entre entregar pipelines e entregar a capacidade de criá-los.

Escrevi os portões com controle negativo: cada um é mostrado falhando contra o defeito que diz pegar. Na revalidação da versão 3.3.2, isso revelou 13 portões quebrados como escritos, que passariam em silêncio. Portão que nunca foi visto falhando é suposição.

A migração das DAGs é automatizada: inventariei o legado contra os dois servidores de produção, reproduzi pelo repositório a contagem exata que a interface mostra e escrevi um conversor de DAGs e um operador próprio de container (nome estável por execução, retomada da tentativa anterior). O portão de carga reprova erro de importação, cron inválido e DAG duplicada entre repositórios. Resultado: de 43 para 96 dos 99 arquivos carregando na versão nova e de 324 para 0 depreciações. Migrar não é converter código: é provar que o que roda depois é o que rodava antes.

A suíte achou dois comportamentos não documentados do Airflow 3 — entre eles, max_active_runs=0 travando a DAG para sempre — e quantificou o custo fixo por tarefa (~5 s) e o teto real de concorrência da máquina. Medido vale mais que lido: número sem origem é chute com formatação.

Escrevi agregadores de uma passada para 40 mil arquivos de log por dia e calculei o custo real do histórico: cerca de 3,7 KB por tarefa no banco, contra cerca de 6 GB por dia de log em arquivo no legado. Nenhum desses números exigiu acesso de administrador. Só exigiu saber onde o sistema já os escreve.

Desenhei o ciclo de vida dos dados operacionais em camadas: log de tarefa no Azure Blob com tiers automáticos, trilha de auditoria exportada para container imutável e backup fora da máquina. Validei o comportamento lendo o código-fonte do Airflow e do provider Azure e provando contra o emulador oficial. Isso corrigiu três premissas erradas da documentação interna e achou uma rotina de limpeza que apagava a trilha de auditoria sem exportar, antes que ela rodasse em produção. Documentação é evidência, não instrução: confira contra o código antes de agir.

A validação vem antes da publicação, não depois. Nada entra no ar sem reconciliar contra a base de produção — e é isso que torna possível mexer em dado que já está em uso sem pedir que ninguém confie na promessa.