cat ~/blog/ispmanager-mysql-restart-srvmon-cache.md
Как ISPmanager каждые 15 минут ронял наш MySQL после переезда (и при чём тут недокументированный кэш)
Разбираем случай, когда настройки MySQL в ISPmanager правильные, а srvmon продолжает перезапускать базу из-за старого hostname в недокументированном кэше.
Переезд крупного проекта на новую виртуальную машину — это всегда история про «мы всё проверили трижды, но сюрприз всё равно вылезет в продакшене». Предысторию самого переезда я подробно разбирал в прошлой статье, поэтому сразу к делу: мы развернули чистую ВМ с предустановленным ISPmanager, накатили бэкап, в час икс подменили базу данных, переключили трафик и выдохнули. Сайт открылся, всё летает.
А потом мы заглянули в логи Битрикса.
Каждые 15 минут с точностью швейцарских часов в error.log прилетала классика:
[Bitrix\Main\DB\ConnectionException] Mysql connect error [localhost]: (2002) No such file or directory (400)
Выглядело так, будто база регулярно уходит в астрал на пару секунд, а потом как ни в чём не бывало возвращается. Первая мысль — OOM Killer, кривые лимиты или тяжёлый крон-агент, который кладёт СУБД. Но нет: память в норме, запросов минимум, а в логах самого MySQL — вежливое Received SHUTDOWN from user <via user signal>. Кто-то на сервере целенаправленно дёргал systemctl restart mysql.service по расписанию.
Подозреваемый: встроенный мониторинг ISPmanager
Поскольку интервал рестартов чётко совпадал с периодом проверки служб, мы пошли смотреть логи самой панели (/usr/local/mgr5/var/srvmon.log). И вот он, виновник торжества:
Nov 16 23:58:01 [319893:1] proc EXTINFO Run 'systemctl restart mysql.service' pid 319900
Nov 16 23:58:06 [319893:1] rpc EXTINFO Query('func=problems.register&name=services%2Estop%2Eproblem&id=mysql...')
Демон мониторинга srvmon каждую проверку решал, что MySQL мёртв, заботливо перезапускал его и регистрировал инцидент в уведомлениях панели. Мы полезли в официальную базу знаний ISPmanager (статья про устранение частого перезапуска СУБД), перепроверили настройки службы в интерфейсе, поправили имя процесса на mysqld и путь к PID-файлу, вычистили уведомления. Чтобы не ждать по 15 минут между попытками, я специально скрутил интервал мониторинга с дефолтных 15 минут до 1 раза в минуту для быстрого дебага.
Спойлер: изменилась только частота падений. Если раньше сайт моргал раз в 15 минут, то теперь — каждую минуту. Удобно для отладки, но проблема никуда не ушла.
Включаем режим рентгена (`debug.conf`)
Когда веб-интерфейс говорит, что всё настроено правильно, а сервер продолжает жить своей жизнью, пора спускаться в консоль и включать максимальный уровень отладки для srvmon:
echo "srvmon.* 9" | sudo tee -a /usr/local/mgr5/etc/debug.conf
На ближайшей же 01-й секунде минуты лог выплюнул всю подноготную. Оказалось, что srvmon при проверке опирается на XML-конфиг, внутри которого для mysql значилось следующее:
<service>
<service_name>mysql</service_name>
<process_name></process_name>
<pid_file>/var/lib/mysql/fhmn8559shllr68f0nf9.pid</pid_file>
</service>
Откуда взялся этот набор символов fhmn8559shllr68f0nf9.pid? Это технический hostname, с которым разворачивался образ виртуальной машины до переименования. На Ubuntu 24.04 реальный PID-файл лежит в /var/run/mysqld/mysqld.pid, а поле process_name вообще оказалось пустым. srvmon честно искал несуществующий файл по старому имени хоста, не находил его, впадал в панику и перезапускал базу.
Самое смешное началось дальше. Мы полезли в SQLite-базу самой панели (/usr/local/mgr5/var/services.db), чтобы поправить это руками:
sudo sqlite3 /usr/local/mgr5/var/services.db "SELECT id, name, bin, pid FROM services WHERE name='mysql';"
# 2|mysql|mysqld|/var/run/mysqld/mysqld.pid
В базе всё уже было прописано идеально! Все наши правки через интерфейс туда доехали. Но srvmon продолжал упрямо читать старый XML.
Развязка длиной в две команды
Обычный grep по директории панели расставил всё по местам: старый путь намертво застрял в файле /usr/local/mgr5/var/srvmon_cache.xml. При обновлении параметров через UI панель записала новые данные в services.db, но кэш мониторинга при этом не инвалидировала (в официальной доке по решению этой проблемы, кстати, про необходимость ручной чистки srvmon_cache.xml — ни слова).
Лечится это банальным удалением кэша и перезапуском процесса панели, чтобы он пересобрал XML заново из базы:
sudo rm -f /usr/local/mgr5/var/srvmon_cache.xml
sudo /usr/local/mgr5/sbin/mgrctl -m ispmgr exit
И не забыть вернуть нормальный интервал мониторинга и убрать srvmon.* 9 из /usr/local/mgr5/etc/debug.conf, чтобы не забить диск отладочными логами.
После этого srvmon.log замолчал, аптайм MySQL пошёл вверх, а ошибка (2002) No such file or directory исчезла из логов Битрикса. Мораль простая: если после переезда на свежую ВМ панель управления ведёт себя так, будто игнорирует ваши настройки — не верьте интерфейсу, грепайте /usr/local/mgr5/var/ на предмет старого hostname.
Короткий чек-лист проверки ISPmanager после переезда на новую ВМ
Чтобы не ловить такие фантомные падения в первые часы после миграции, пробегитесь по этим пунктам сразу после смены hostname и разворачивания бэкапа:
- Проверьте артефакты старого hostname в кэше панели. Поищите старое имя хоста в каталоге
/usr/local/mgr5/var/(особенно вsrvmon_cache.xmlи базеservices.db) — при преднастройке ВМ из облачных образов туда часто попадают временные пути к.pid-файлам. - Сверьте пути к PID-файлам и имена процессов для ключевых служб. Убедитесь, что в
services.dbдля MySQL/MariaDB, Nginx, Apache и PHP-FPM указаны реальные бинарники (mysqld,nginx,sshd) и актуальные пути в/run/или/var/run/. - Понаблюдайте за
/usr/local/mgr5/var/srvmon.logпервые 20–30 минут. В штатном режиме этот файл должен оставаться пустым. Любая записьRun 'systemctl restart ...'означает, что мониторинг не видит живой процесс. - Проверьте
uptimeкритичных служб черезsystemctl status mysql nginx. Время непрерывной работы (active (running) since ...) должно расти без сбросов по расписанию крона. - Очистите отладочные настройки после диагностики. Если включали повышенный уровень логирования в
/usr/local/mgr5/etc/debug.confили менялиSrvMonitoringPeriodвispmgr.conf, верните значения в штатный режим.