Estratégia de Migração: MySQL 5.1 para Cloud SQL¶

1. Visão Geral¶

Este documento detalha o pipeline de migração do banco de dados legado MySQL 5.1 para uma instância gerenciada no Google Cloud SQL (MySQL 8.0). O objetivo central é realizar a transição de 30 anos de dados (1993-2023) com máxima automação e integridade verificável.

[Image of Database Migration Architecture from Legacy to Cloud]

2. Abordagem Estratégica: "Load-then-Constrain"¶

A espinha dorsal técnica deste projeto é a separação rigorosa entre o carregamento de dados e a aplicação de restrições.

1. Criação do Schema "Bare": Tabelas são criadas sem chaves estrangeiras, índices ou constraints.
2. Carga em Massa (Bulk Load): Ingestão de alta velocidade via LOAD DATA LOCAL INFILE.
3. Aplicação de Constraints: Índices e chaves são aplicados apenas após os dados estarem no destino.

Benefícios desta Metodologia¶

• Performance: Redução drástica do downtime ao evitar a validação de constraints linha a linha durante a carga.
• Depuração Facilitada: Problemas de integridade (como chaves órfãs) não interrompem o carregamento, sendo tratados na fase final.
• Resiliência: O uso de um State Manager permite retomar o processo de qualquer ponto em caso de falha.

3. Arquitetura do Pipeline¶

O processo está dividido em quatro fases fundamentais, detalhadas nesta documentação:

4. Pilares de Qualidade¶

• Idempotência: Scripts projetados para serem executados múltiplas vezes sem efeitos colaterais (uso de DROP IF EXISTS).
• Higienização Dinâmica: Tratamento de inconsistências históricas como 0000-00-00 e conversão de latin1 para utf8mb4.
• Segurança: Uso de túneis criptografados via Cloud SQL Auth Proxy para a comunicação com a nuvem.

5. Mandato do Projeto e Abordagem Estratégica¶

Este documento descreve o plano detalhado para migrar um banco de dados legado MySQL 5.1 para uma instância moderna e totalmente gerenciada do Google Cloud SQL. O objetivo principal é executar esta migração com máxima automação, desempenho e integridade de dados verificável. O plano detalha uma abordagem em fases, automatizada e validada, projetada para a equipe de engenharia de dados implementar, fazendo a transição de nossa infraestrutura de dados para uma plataforma mais escalável e confiável.

O princípio estratégico central desta migração, alinhado com as melhores práticas do setor para transferências de dados em larga escala, é a separação da aplicação do schema do carregamento de dados. Primeiramente, criaremos as tabelas na instância de destino do Cloud SQL sem chaves estrangeiras, restrições (constraints) ou índices. Em seguida, o conjunto de dados completo será carregado em massa (bulk). Somente após a ingestão completa dos dados, aplicaremos as restrições e os índices. Essa metodologia foi escolhida por duas razões críticas:

1. Desempenho: Carregar dados em tabelas sem a sobrecarga de atualizações de índices e validação de restrições para cada linha inserida é significativamente mais rápido, reduzindo o tempo de inatividade (downtime) geral da migração.
2. Simplicidade na Depuração: Se existirem problemas de integridade de dados (ex: referências de chaves estrangeiras órfãs), eles não interromperão o carregamento de dados em alta velocidade. Em vez disso, esses problemas aparecerão de forma previsível durante a fase final de aplicação das restrições, permitindo uma depuração direcionada e eficiente sem a necessidade de um recarregamento completo dos dados.
3. Integridade Verificável: Esta abordagem facilita a validação rigorosa da integridade dos dados após a migração, uma vez que todas as transformações e higienizações de dados podem ser aplicadas de forma consistente antes do carregamento.
4. Flexibilidade Operacional: A separação das fases de schema e dados permite ajustes finos no processo de migração, como a aplicação seletiva de restrições ou índices com base em análises de desempenho pós-carregamento.
5. Redução de Riscos: Ao isolar o carregamento de dados das operações de schema, minimizamos o risco de falhas catastróficas que poderiam resultar em perda de dados ou corrupção durante a migração.
6. Escalabilidade: Esta metodologia é altamente escalável, permitindo que grandes volumes de dados sejam migrados eficientemente, mesmo em ambientes com recursos limitados.
7. Melhores Práticas do Setor: Esta abordagem é amplamente reconhecida como uma prática recomendada para migrações de banco de dados em larga escala, garantindo que estamos alinhados com os padrões da indústria.
8. Oportunidade de Modernização: A fase de aplicação de restrições pós-carregamento oferece uma oportunidade para revisar e otimizar o schema, implementando melhorias que podem não ter sido possíveis no ambiente legado.
9. Controle de estados utilizando uma espécie de State Manager: Em cada etapa do processo, (extração dos dados, carga dos dados e verificação da integridade) é feito registro do estado, para que em caso de falhas, possa ser resumido, sem a necessidade de reiniciar todo o processo do zero.

O projeto começa com a primeira grande fase: a extração e transformação automatizada do schema do banco de dados para prepará-lo para o ambiente de nuvem moderno.