AI-generated content
Transcribed

Inférence GPU lente démasquée : repli sur CPU, conflits de versions CUDA/TensorRT et erreurs de conteneur (Doublage IA)

Nov 3, 2026 · 22m 27s
Inférence GPU lente démasquée : repli sur CPU, conflits de versions CUDA/TensorRT et erreurs de conteneur (Doublage IA)
Description

La facture GPU grimpe, les tableaux de bord sont au vert, et pourtant les clients attendent. Cet épisode mène l’enquête : pourquoi l’inférence Stable Diffusion avec ONNX Runtime et TensorRT...

show more
La facture GPU grimpe, les tableaux de bord sont au vert, et pourtant les clients attendent. Cet épisode mène l’enquête : pourquoi l’inférence Stable Diffusion avec ONNX Runtime et TensorRT n’utilise presque pas le GPU alors que la latence s’envole, preuves à l’appui en latence, débit et utilisation GPU avant et après correction.Au programme :Repli sur CPU : pourquoi ONNX Runtime bascule en silence sur le fournisseur d’exécution CPU, avec une latence 10 à 30 fois plus élevéeConflits de versions entre pilote, CUDA, cuDNN, ONNX Runtime et TensorRT qui font perdre discrètement l’attention fusionnée et les optimisations FP16Mauvaises configurations de conteneurs : images gonflées, périphériques GPU non montés, NVIDIA Container Toolkit et arène mémoire CUDADes contrôles d’intégrité et de performance au démarrage : vérifier les fournisseurs, préchauffage avec prompts canari déterministes et échec franc plutôt que dégradation silencieuseUn protocole de remédiation reproductible : matrice de versions, moteurs TensorRT précompilés, IO binding, FP16 et déploiements blue-green avec rollback automatiquePour les ingénieurs ML et plateforme, les équipes DevOps et SRE qui exploitent l’inférence GPU en conteneurs et veulent une vraie accélération pour chaque heure de GPU payée.Cet épisode est une version française doublée par IA de la vidéo animée du M365 Show présentée par le Microsoft MVP Mirko Peters.▶ Voir la vidéo: https://youtu.be/7rNV_vcD-Fg🎧 Plus d’épisodes: https://www.m365.fm🎤 M365Con – conférence Microsoft en ligne gratuite: https://m365con.net💼 Mirko Peters sur LinkedIn: https://www.linkedin.com/in/m365showpodcast/

This episode includes AI-generated content.
show less
Information
Author Mirko Peters M365, Azure & AI
Organization m365 FM
Website www.m365.fm
Tags

Looks like you don't have any active episode

Browse Spreaker Catalogue to discover great new content

Current

Podcast Cover

Looks like you don't have any episodes in your queue

Browse Spreaker Catalogue to discover great new content

Next Up

Episode Cover Episode Cover

It's so quiet here...

Time to discover new episodes!

Discover
Your Library
Search