Migrar dados antigos para o Amazon S3 Glacier parece a decisão de FinOps mais óbvia do mundo, mas uma simples regra de ciclo de vida (Lifecycle Rule) mal configurada pode multiplicar sua fatura de armazenamento da noite para o dia. A promessa de pagar frações de centavo por Gigabyte esconde taxas implacáveis de transação e metadados que punem arquiteturas baseadas em arquivos pequenos.
A Matemática Implacável dos Arquivos Pequenos
O Amazon S3 possui duas cobranças silenciosas que destroem qualquer economia ao movermos objetos minúsculos (como logs de 5 KB, recibos em texto ou pequenos JSONs) para as classes de armazenamento Glacier ou Glacier Deep Archive:
- Custo de Transição (Transitions): A AWS cobra uma taxa para cada objeto movido. Transições do S3 Standard para o Glacier custam cerca de US$ 0,05 por 1.000 requisições.
- Sobrecarga de Metadados (Metadata Overhead): Para cada objeto arquivado, o Glacier adiciona 32 KB de metadados faturados na taxa do S3 Standard, além de 8 KB adicionais faturados na taxa do Glacier.
Imagine que sua aplicação gere 100 milhões de pequenos arquivos de log de 2 KB por mês. Para “economizar”, você configura uma regra para enviar tudo ao Glacier após 30 dias.
Apenas para executar a movimentação, a AWS cobrará US$ 5.000,00 em taxas de transição. Pior ainda: os arquivos originais ocupavam apenas 200 GB. Com a sobrecarga de 32 KB por arquivo, você passará a pagar por 3,2 Terabytes de dados invisíveis. Você literalmente pagou milhares de dólares para aumentar o tamanho do seu armazenamento e perder o acesso imediato à informação.
Como Arquitetar o Armazenamento Frio Corretamente
Para que o S3 Glacier cumpra seu papel, a engenharia de dados precisa intervir antes que os objetos esfriem. O segredo não é a regra de transição, mas a preparação prévia.
Consolidação de Dados (Micro-batching) Nunca envie arquivos muito pequenos para o Glacier. Utilize o Amazon Kinesis Data Firehose na entrada dos dados para fazer um buffer de logs e entregá-los em blocos maiores. Para arquivos que já estão no S3 Standard, agende rotinas com AWS Glue ou Amazon EMR para ler milhares de pequenos arquivos e compactá-los em um único bloco colunar denso (como Apache Parquet) superior a 128 MB.
Filtros Inteligentes de Lifecycle Ao criar suas regras no S3, não aplique a transição para o bucket inteiro cegamente. Configure filtros na regra de Lifecycle especificando um tamanho mínimo de objeto (ObjectSizeGreaterThan). Assim, apenas arquivos pesados (backups de banco de dados, vídeos ou logs já consolidados) são movidos para o Glacier.
O verdadeiro FinOps não se baseia em clicar em botões no console para mudar a classe de armazenamento. Ele exige compreender a estrutura interna de precificação dos serviços e desenhar pipelines que consolidam a informação antes de arquivá-la, transformando o que seria uma multa por ineficiência em uma economia real.
