In Breve
- Qual è la strategia di LinkedIn per l'investimento in hardware AI?
- LinkedIn non prevede di aumentare la spesa per hardware AI, mantenendo l'investimento in GPU sostanzialmente invariato.
- Come ha migliorato LinkedIn l'efficienza delle sue GPU?
- LinkedIn ha raddoppiato l'efficienza delle GPU esistenti grazie a miglioramenti nell'utilizzo e nell'allocazione dei carichi di lavoro.
- Qual è il contesto attuale di LinkedIn rispetto a Microsoft?
- LinkedIn adotta un approccio diverso rispetto a Microsoft, che sta espandendo significativamente la propria infrastruttura.
LinkedIn ha comunicato che nel prossimo anno fiscale non prevede di aumentare in modo significativo la spesa per l’hardware destinato all’intelligenza artificiale. L’investimento in GPU rimarrà sostanzialmente invariato, con l’obiettivo di mantenere l’impronta di calcolo e storage pressoché stabile.
Erran Berger, CTO dell’ingegneria, ha spiegato che la società è riuscita a raddoppiare l’efficienza delle GPU esistenti in un periodo di sei mesi. Questo risultato è stato ottenuto grazie a miglioramenti nei metodi di utilizzo delle GPU, nella distillazione dei modelli e nell’allocazione dei carichi di lavoro. LinkedIn intende ora utilizzare questo margine operativo per sviluppare nuove funzionalità, piuttosto che investire in nuovo hardware.
Questa strategia si colloca in un contesto in cui LinkedIn, controllata da Microsoft dal 2016, adotta un approccio diverso rispetto alla continua espansione infrastrutturale della casa madre. Microsoft ha registrato una spesa in conto capitale di 41 miliardi di dollari nell’ultimo trimestre, con l’aggiunta di 31 nuovi data center nel trimestre e 88 nell’anno, e prevede oltre 50 miliardi di spesa nel trimestre corrente.
In passato, LinkedIn aveva avviato un progetto di migrazione su Azure, noto come Blueshift, che è stato sospeso nel 2022. La società ha quindi deciso di puntare su data center propri, situati in Oregon, Texas e Virginia. Avere il controllo completo dell’intero stack tecnologico è stato descritto come un fattore abilitante, poiché consente di monitorare e ottimizzare ogni livello, trattando l’efficienza come un investimento continuo.
Raghu Hiremagalur, CTO per l’infrastruttura, ha sottolineato che mantenere invariati storage e calcolo per un anno è un risultato notevole, frutto di un lavoro significativo. I miglioramenti ottenuti sono il risultato di un approccio sistematico, piuttosto che di una singola innovazione tecnologica. Tra le misure adottate figurano un migliore utilizzo delle GPU, la riallocazione dei carichi di lavoro e la distillazione di modelli più grandi in versioni più piccole.
Questa scelta è anche motivata dalla crescente dinamica dei costi: il costo per singola query è aumentato, mentre la quantità di dati immagazzinati raddoppiava ogni anno, una tendenza considerata insostenibile. LinkedIn non sostiene di aver trovato una soluzione definitiva al problema; tuttavia, questa strategia rappresenta un’alternativa alla tendenza prevalente di crescita proporzionale dell’hardware. La sua efficacia dipenderà dalla capacità del programma di efficienza di mantenere i risultati nel tempo.
