La bolletta GPU sale, le dashboard sono verdi eppure i clienti aspettano. Questo episodio indaga come un caso forense sul perché l’inferenza Stable Diffusion con ONNX Runtime e TensorRT usa a malapena la GPU mentre la latenza cresce, e dimostra la soluzione con latenza, throughput e utilizzo GPU prima e dopo.Cosa scoprirai:Fallback su CPU: perché ONNX Runtime passa in silenzio al provider di esecuzione CPU e la latenza diventa da 10 a 30 volte più altaConflitti di versione tra driver, CUDA, cuDNN, ONNX Runtime e TensorRT che fanno perdere senza avvisi la fused attention e le ottimizzazioni FP16Container mal configurati: immagini gonfie, dispositivi GPU non montati, NVIDIA Container Toolkit e arena di memoria CUDAControlli di avvio per integrità e prestazioni: verifica dei provider, warm-up con prompt canary deterministici e fallimento esplicito invece del degrado silenziosoUn protocollo di correzione ripetibile con matrice delle versioni, engine TensorRT precompilati, IO binding, FP16 e rilasci blue-green con rollback automaticoPer ML engineer, platform engineer e team DevOps e SRE che eseguono inferenza GPU in container e vogliono vera accelerazione per ogni ora di GPU pagata.Questo episodio è una versione italiana doppiata con l’IA del video animato di M365 Show del Microsoft MVP Mirko Peters.▶ Guarda il video: https://youtu.be/7rNV_vcD-Fg🎧 Altri episodi: https://www.m365.fm🎤 M365Con – conferenza Microsoft online gratuita: https://m365con.net💼 Mirko Peters su LinkedIn: https://www.linkedin.com/in/m365showpodcast/

Questo episodio include contenuti generati dall’IA.