Тихий алерт и три пожара: как один ночной apt уронил GPU-сервер
Утренний шторм в инфраструктуре не начинается с громких взрывов. Он стартует с тихого шёпота в алертах – с одного предупреждения, на которое глаз скользит мимо. Этот разбор про то, как рядовой warning про упавший systemd-юнит оказался единственным свидетелем зарождающейся катастрофы, которая через несколько минут уронила GPU-сервер в софтверный нокаут с перегревом процессора до 96 C. Всё, что ниже – реальный инцидент. Стек обезличен, но версии драйвера, команды и логика – настоящие и воспроизводимые на любом хосте с NVIDIA. ...