Тихий алерт и три пожара: как один ночной apt уронил GPU-сервер

Утренний шторм в инфраструктуре не начинается с громких взрывов. Он стартует с тихого шёпота в алертах – с одного предупреждения, на которое глаз скользит мимо. Этот разбор про то, как рядовой warning про упавший systemd-юнит оказался единственным свидетелем зарождающейся катастрофы, которая через несколько минут уронила GPU-сервер в софтверный нокаут с перегревом процессора до 96 C. Всё, что ниже – реальный инцидент. Стек обезличен, но версии драйвера, команды и логика – настоящие и воспроизводимые на любом хосте с NVIDIA. ...

24 июля 2026 · 8 минут · 1610 слов · DevOps Way

Ошибка, которой нет в логах: как не изобрести велосипед с LLM-мотором на дежурстве

Сказ о 12 мегапикселях и потерянном времени Пользователь Татьяна пытается скормить нашему AI-сервису фото со своего айфона. Картинка обычная: весит около 5 МБ, разрешение – 12 мегапикселей. Татьяна жмет кнопку "Сгенерировать" и видит лаконичную заглушку: "Что-то пошло не так". Вторая попытка с другим стилем дает тот же результат. Естественно, у девелоперов на локалках и тестовых стендах всё летает. Баг воспроизводится только у Татьяны и только на её конкретном файле. Мы открываем логи в надежде сразу всё починить, но там нас встречает классическая заглушка: ...

19 июня 2026 · 9 минут · 1837 слов · DevOps Way