AWS cria nova arquitetura de rede que promete reduzir em até 40% o consumo de energia em datacenters

A Amazon desenvolveu uma nova topologia de rede para datacenters que promete ser até um terço mais rápida e até 40% mais eficiente em consumo de energia do que os modelos hierárquicos tradicionais. A arquitetura, chamada Resilient Network Graphs, ou RNG, é baseada em teoria de grafos aleatórios e já começou a ser implantada em regiões da AWS na Europa.

A proposta marca uma mudança relevante em relação ao desenho clássico de redes de datacenter, historicamente organizado em estruturas hierárquicas. Nesse modelo tradicional, os dispositivos de rede se comunicam seguindo uma espécie de cadeia de comando, semelhante a um organograma corporativo. Um equipamento fala com outro em nível superior, que encaminha a comunicação para outros pontos da rede.

Matt Rehder, vice-presidente de engenharia de rede global da AWS, explicou que esse modelo tem vantagens operacionais. A hierarquia cria uma estrutura previsível e simplifica as regras de roteamento, já que cada dispositivo não precisa conhecer todos os demais elementos da rede. Basta encaminhar o tráfego para o nível acima.

O problema é que essa organização também cria ineficiências. A estrutura em árvore pode concentrar o fluxo de dados em determinados pontos, gerando gargalos, enquanto outras partes da rede permanecem subutilizadas. Em datacenters de grande escala, essa diferença entre capacidade disponível e capacidade efetivamente usada pode impactar desempenho, custo de infraestrutura e consumo energético.

A ideia de usar grafos aleatórios em redes não é nova. Segundo Rehder, pesquisadores acadêmicos propuseram em 2012 uma topologia baseada em grafos randômicos para melhorar a eficiência das interconexões. Um dos projetos mais conhecidos nessa linha foi chamado Jellyfish.

O desenho do Jellyfish, detalhado por pesquisadores da Amazon, dependia de grafos verdadeiramente aleatórios e previa remover roteadores dos racks de servidores, posicionando-os de forma centralizada para simplificar o cabeamento. No entanto, essa abordagem aumentava a latência entre servidores dentro do mesmo rack, o que limitava sua aplicação prática.

Rehder afirmou que, apesar do potencial teórico, ninguém havia conseguido levar esse tipo de arquitetura à produção em escala. O desafio estava tanto no roteamento quanto no cabeamento físico. Em uma topologia aleatória, cada dispositivo precisaria de regras mais complexas para decidir como encaminhar o tráfego, mas equipamentos de rede possuem limitações de memória e capacidade para armazenar informações sobre todos os caminhos possíveis.

Outro obstáculo era a complexidade física. A hierarquia tradicional também existe porque facilita a construção da rede dentro do datacenter, mantendo os cabos organizados. Em uma rede realmente aleatória, o risco seria criar um ambiente difícil de operar, com cabeamento excessivamente complexo e pouco viável fora de um laboratório.

A AWS afirma ter resolvido parte desses problemas ao longo dos últimos anos, aproveitando sua experiência acumulada no desenvolvimento próprio de hardware e software de rede. Segundo Rehder, a empresa só conseguiu abordar o problema porque passou cerca de 15 anos aprimorando de forma iterativa seus componentes e sua capacidade de operar a infraestrutura de rede de ponta a ponta.

A principal diferença da RNG é que a rede não é totalmente aleatória. A arquitetura usa um grafo plano, no qual roteadores são interconectados por uma combinação de cabeamento determinístico e conexões randomizadas. Na prática, a AWS buscou preservar parte da eficiência dos grafos aleatórios, mas sem abrir mão da previsibilidade necessária para operar datacenters em escala.

O projeto começou a tomar forma há cerca de três anos, quando Seshadhri Comandur, Amazon Scholar e professor da Universidade da Califórnia em Santa Cruz, respondeu a uma mensagem interna no Slack publicada por Ratul Mahajan, também Amazon Scholar, especialista em redes de datacenter e professor da Universidade de Washington. Mahajan procurava um especialista em teoria dos grafos e roteamento.

Com apoio de Giacomo Bernardi, cientista aplicado principal da AWS, e de outros profissionais da empresa, a AWS afirma ter se tornado a primeira companhia a implantar uma rede plana de datacenter em grande escala. A expectativa é que a tecnologia melhore desempenho e confiabilidade para clientes da Amazon, ao mesmo tempo em que reduza bilhões de dólares em custos de hardware e diminua emissões de CO2.

Internamente, a nova estrutura foi inicialmente chamada de Penrose, porque o desenho original envolvia ladrilhos de Penrose, uma forma matemática de organizar padrões não periódicos. Com a evolução do projeto, a AWS adotou o nome Resilient Network Graphs para refletir melhor o benefício esperado para os clientes: uma rede mais resiliente e com melhor desempenho.

A arquitetura RNG depende de dois componentes centrais. O primeiro é um algoritmo de roteamento chamado Spraypoint, usado para identificar caminhos entre os nós da rede. O segundo é um dispositivo óptico chamado Shufflebox, responsável por misturar conexões entre roteadores.

Rehder descreveu o Shufflebox como uma das peças fundamentais para tornar a RNG viável. Em uma rede baseada em grafos aleatórios, não existe a mesma estrutura hierárquica que permite alinhar cabos de forma simples. O Shufflebox atua como um mecanismo físico para embaralhar as conexões: as fibras são conectadas de um lado do equipamento e saem reorganizadas por portas diferentes do outro lado.

Com isso, a AWS consegue fazer uma rede com características de aleatoriedade parecer mais estruturada do ponto de vista operacional. Essa abordagem ajuda a reduzir a complexidade de instalação e manutenção, evitando o problema de cabeamento desordenado em datacenters de grande porte.

A RNG será usada pela AWS como a nova rede para seus servidores principais de banco de dados. Para hardware de machine learning, a empresa continuará utilizando a rede UltraServer, já que cargas de trabalho de aprendizado de máquina exigem largura de banda total e padrões de comunicação diferentes.

Segundo Rehder, redes de servidores centrais podem ser superdimensionadas de forma mais eficiente porque nem todos os sistemas se comunicam entre si ao mesmo tempo. Essa característica permite que a RNG explore melhor a capacidade disponível, distribuindo tráfego de maneira mais eficiente em comparação com arquiteturas hierárquicas tradicionais.

A AWS já implantou a RNG na Irlanda, Alemanha e Espanha. O plano é levar a nova topologia para a maioria dos datacenters da companhia até o fim do ano.

Para clientes corporativos, a mudança pode se refletir em ganhos de desempenho, maior resiliência e menor custo operacional da infraestrutura subjacente aos serviços da AWS. Embora a arquitetura atue em uma camada invisível para a maioria dos usuários, melhorias desse tipo tendem a influenciar diretamente a eficiência de bancos de dados, aplicações distribuídas e serviços que dependem de baixa latência e alta disponibilidade.