חשבון ה-GPU עולה, הדשבורדים ירוקים – ובכל זאת הלקוחות מחכים. הפרק חוקר כמו תיק פלילי מדוע הסקה של Stable Diffusion עם ONNX Runtime ו-TensorRT כמעט לא מנצלת את ה-GPU בזמן שההשהיה מזנקת, ומוכיח את התיקון במדידות השהיה, תפוקה וניצולת GPU לפני ואחרי.מה תלמדו:נפילה ל-CPU: למה ONNX Runtime עובר בשקט לספק ההרצה של ה-CPU וההשהיה גדלה פי 10 עד 30התנגשויות גרסאות בין הדרייבר, CUDA, cuDNN, ONNX Runtime ו-TensorRT שבגללן אובדים בשקט ה-fused attention ואופטימיזציות FP16קונטיינרים שהוגדרו לא נכון: אימג'ים מנופחים, התקני GPU שלא נטענו, NVIDIA Container Toolkit וזירת הזיכרון של CUDAשערי תקינות וביצועים בעלייה: בדיקת ספקים, חימום עם פרומפטים קנריים דטרמיניסטיים וכשל מפורש במקום הידרדרות שקטהפרוטוקול תיקון שניתן לחזור עליו: מטריצת גרסאות, מנועי TensorRT מוכנים מראש, IO binding, FP16 ופריסות blue-green עם rollback אוטומטילמהנדסי ML ופלטפורמה ולצוותי DevOps ו-SRE שמריצים הסקה ב-GPU בתוך קונטיינרים ורוצים האצה אמיתית על כל שעת GPU שמשולמת.הפרק הזה הוא גרסה עברית בדיבוב AI של הסרטון המונפש מתוך M365 Show של Microsoft MVP מירקו פטרס.▶ לצפייה בסרטון: https://youtu.be/7rNV_vcD-Fg🎧 פרקים נוספים: https://www.m365.fm🎤 M365Con – כנס Microsoft מקוון בחינם: https://m365con.net💼 מירקו פטרס ב-LinkedIn: https://www.linkedin.com/in/m365showpodcast/

This episode includes AI-generated content.