GPUの請求額は増え、ダッシュボードは緑なのに、顧客は待たされている。このエピソードでは、ONNX RuntimeとTensorRTによるStable Diffusion推論がほとんどGPUを使わないままレイテンシだけが上昇する原因を事件のように調査し、修正前後のレイテンシ、スループット、GPU使用率で解決策を裏付けます。このエピソードで学べること：CPUフォールバック：ONNX Runtimeが静かにCPU実行プロバイダーへ切り替わり、レイテンシが10～30倍になる理由ドライバー、CUDA、cuDNN、ONNX Runtime、TensorRTのバージョン不一致によって、Fused AttentionやFP16最適化が黙って失われる仕組みコンテナの設定ミス：肥大化したイメージ、マウントされていないGPUデバイス、NVIDIA Container Toolkit、CUDAメモリアリーナ起動時の整合性・性能ゲート：プロバイダーの確認、決定論的なカナリアプロンプトでのウォームアップ、静かな劣化ではなく明確な失敗再現可能な改善プロトコル：バージョンマトリクス、事前ビルドしたTensorRTエンジン、IOバインディング、FP16、自動ロールバック付きblue-greenデプロイコンテナでGPU推論を運用し、支払ったGPU時間に見合う本当の高速化を求めるMLエンジニア、プラットフォームエンジニア、DevOps・SREチーム向けです。このエピソードは、Microsoft MVP Mirko Peters による M365 Show のアニメーション動画をAIで吹き替えた日本語版です。▶ 動画を見る: https://youtu.be/7rNV_vcD-Fg🎧 他のエピソード: https://www.m365.fm🎤 M365Con – 無料のオンライン Microsoft カンファレンス: https://m365con.net💼 LinkedIn の Mirko Peters: https://www.linkedin.com/in/m365showpodcast/

This episode includes AI-generated content.