Tagihan GPU naik, dasbor berwarna hijau, tetapi pelanggan tetap menunggu. Episode ini menyelidiki layaknya kasus forensik mengapa inferensi Stable Diffusion dengan ONNX Runtime dan TensorRT nyaris tidak memakai GPU sementara latensi melonjak, lalu membuktikan perbaikannya dengan latensi, throughput, dan utilisasi GPU sebelum dan sesudah.Yang akan Anda pelajari:Fallback ke CPU: mengapa ONNX Runtime diam-diam beralih ke execution provider CPU sehingga latensi naik 10 hingga 30 kali lipatKonflik versi antara driver, CUDA, cuDNN, ONNX Runtime, dan TensorRT yang diam-diam menghilangkan fused attention dan optimasi FP16Kesalahan konfigurasi kontainer: image yang membengkak, perangkat GPU yang tidak di-mount, NVIDIA Container Toolkit, dan arena memori CUDAGerbang integritas dan performa saat startup: cek provider, warm-up dengan prompt canary deterministik, dan gagal tegas alih-alih penurunan diam-diamProtokol perbaikan yang dapat diulang: matriks versi, engine TensorRT siap pakai, IO binding, FP16, dan rilis blue-green dengan rollback otomatisUntuk engineer ML dan platform serta tim DevOps dan SRE yang menjalankan inferensi GPU di kontainer dan menginginkan akselerasi nyata untuk setiap jam GPU yang dibayar.Episode ini adalah versi Bahasa Indonesia dengan sulih suara AI dari video animasi M365 Show oleh Microsoft MVP Mirko Peters.▶ Tonton videonya: https://youtu.be/7rNV_vcD-Fg🎧 Episode lainnya: https://www.m365.fm🎤 M365Con – konferensi Microsoft online gratis: https://m365con.net💼 Mirko Peters di LinkedIn: https://www.linkedin.com/in/m365showpodcast/

This episode includes AI-generated content.