Durante il keynote di apertura, il CEO di AWS, Matt Garman, ha delineato una visione ambiziosa per il futuro dell’IA, enfatizzando l’importanza di un’infrastruttura robusta per integrare milioni di agenti operativi nei sistemi aziendali. Le innovazioni presentate al re:Invent si concentrano su vari livelli della tecnologia, inclusi chip, server, networking, storage e sicurezza, creando una base per supportare reasoning, multimodalità e automazione avanzata.
Innovazioni nello stack di AWS
AWS ha avviato un significativo rinnovamento di tutti gli strati della sua architettura, tra cui compute, networking, storage, database e servizi avanzati. Questo approccio non è solo un miglioramento incrementale, ma mira a fornire alle aziende una piattaforma capace di gestire modelli più complessi e pipeline operative più dense, senza compromettere la governance e le performance.
Trainium3 UltraServers
Il nuovo traguardo è rappresentato dai Trainium3 UltraServers, che promettono di rivoluzionare l’addestramento e l’inferenza dei modelli di intelligenza artificiale nel cloud. Grazie a un chip progettato con tecnologia a 3 nm, i Trainium3 offrono prestazioni fino a 4.4 volte superiori, un’efficienza energetica aumentata di 4 volte e una larghezza di banda di memoria quasi quadrupla rispetto alla generazione precedente.
Ogni UltraServer ospita 144 chip Trainium3, raggiungendo oltre 362 PFLOPS in FP8, mentre la nuova rete riduce la latenza tra i chip a meno di 10 microsecondi. Questa combinazione è ideale per l’addestramento di modelli complessi e per gestire carichi di lavoro che richiedono un elevato scambio di dati.
Collaborazioni e nuove architetture
AWS ha anche ampliato la sua collaborazione con NVIDIA, lanciando i nuovi Amazon EC2 P6e-GB300 UltraServers, che utilizzano l’architettura NVIDIA GB300 NVL72.
Queste istanze GPU sono progettate per gestire modelli di grandi dimensioni, inclusi quelli con trilioni di parametri, e sono ottimizzate per carichi di lavoro multimodali e reasoning complessi.
Il design di questi UltraServers è ottimizzato per garantire un’elevata combinazione di memoria e potenza di calcolo, sfruttando il AWS Nitro System per garantire stabilità e performance, essenziali per orchestrare carichi di lavoro containerizzati su larga scala.
AI Factories e sovranità dei dati
Un’altra innovazione significativa è rappresentata dalle AWS AI Factories, infrastrutture dedicate all’intelligenza artificiale che vengono installate direttamente nei data center dei clienti. Questi sistemi sono progettati per soddisfare esigenze rigorose di sovranità dei dati e compliance normativa, combinando GPU NVIDIA, chip Trainium e servizi IA come Bedrock e SageMaker.
Le AI Factories funzionano come una regione AWS privata, mantenendo i dati localmente e consentendo un rapido deployment di infrastrutture avanzate che normalmente richiederebbero anni di integrazioni.
Riprogettazione di Amazon S3
Per supportare modelli sempre più complessi, AWS ha riprogettato Amazon S3, trasformandolo nel data layer per il reasoning e la multimodalità. L’introduzione di S3 Vectors consente di gestire fino a due miliardi di vettori per indice, migliorando le prestazioni fino a 3 volte rispetto alle soluzioni precedenti e riducendo i costi del 90%.
Inoltre, la dimensione massima degli oggetti è stata aumentata da 5 TB a 50 TB, per soddisfare le crescenti esigenze dei dataset video e scientifici. Le operazioni batch su S3 ora sono fino a 10 volte più veloci, consentendo una gestione più efficiente dei dati.
AWS ha avviato un significativo rinnovamento di tutti gli strati della sua architettura, tra cui compute, networking, storage, database e servizi avanzati. Questo approccio non è solo un miglioramento incrementale, ma mira a fornire alle aziende una piattaforma capace di gestire modelli più complessi e pipeline operative più dense, senza compromettere la governance e le performance.0
AWS ha avviato un significativo rinnovamento di tutti gli strati della sua architettura, tra cui compute, networking, storage, database e servizi avanzati. Questo approccio non è solo un miglioramento incrementale, ma mira a fornire alle aziende una piattaforma capace di gestire modelli più complessi e pipeline operative più dense, senza compromettere la governance e le performance.1
