Рахунок за GPU зростає, дашборди зелені, а клієнти все одно чекають. У цьому випуску, як у криміналістичному розслідуванні, з’ясовуємо, чому інференс Stable Diffusion на ONNX Runtime і TensorRT майже не навантажує GPU, поки затримка зростає, а рішення підтверджуємо вимірюваннями затримки, пропускної здатності й завантаження GPU до і після.Що ви дізнаєтеся:Відкат на CPU: чому ONNX Runtime непомітно переходить на CPU-провайдер виконання, а затримка зростає в 10–30 разівКонфлікти версій драйвера, CUDA, cuDNN, ONNX Runtime і TensorRT, через які без попередження втрачаються fused attention та оптимізації FP16Помилки конфігурації контейнерів: роздуті образи, незмонтовані GPU-пристрої, NVIDIA Container Toolkit і арена пам’яті CUDAПеревірки цілісності та продуктивності під час запуску: контроль провайдерів, прогрів на детермінованих canary-промптах і явний збій замість тихої деградаціїВідтворюваний протокол виправлення: матриця версій, заздалегідь зібрані рушії TensorRT, IO binding, FP16 і blue-green-розгортання з автоматичним відкатомДля ML- і платформних інженерів, команд DevOps і SRE, які запускають інференс на GPU в контейнерах і хочуть справжнього прискорення за кожну оплачену GPU-годину.Цей випуск — українська версія з ШІ-дубляжем анімованого відео з M365 Show від Microsoft MVP Мірко Петерса.▶ Дивитися відео: https://youtu.be/7rNV_vcD-Fg🎧 Інші випуски: https://www.m365.fm🎤 M365Con — безкоштовна онлайн-конференція з Microsoft: https://m365con.net💼 Мірко Петерс у LinkedIn: https://www.linkedin.com/in/m365showpodcast/

This episode includes AI-generated content.