cat ~/blog/ispmanager-mysql-restart-srvmon-cache.md

Как ISPmanager каждые 15 минут ронял наш MySQL после переезда (и при чём тут недокументированный кэш)

Разбираем случай, когда настройки MySQL в ISPmanager правильные, а srvmon продолжает перезапускать базу из-за старого hostname в недокументированном кэше.

Переезд крупного проекта на новую виртуальную машину — это всегда история про «мы всё проверили трижды, но сюрприз всё равно вылезет в продакшене». Предысторию самого переезда я подробно разбирал в прошлой статье, поэтому сразу к делу: мы развернули чистую ВМ с предустановленным ISPmanager, накатили бэкап, в час икс подменили базу данных, переключили трафик и выдохнули. Сайт открылся, всё летает.

А потом мы заглянули в логи Битрикса.

Каждые 15 минут с точностью швейцарских часов в error.log прилетала классика:

error.log
[Bitrix\Main\DB\ConnectionException] Mysql connect error [localhost]: (2002) No such file or directory (400)

Выглядело так, будто база регулярно уходит в астрал на пару секунд, а потом как ни в чём не бывало возвращается. Первая мысль — OOM Killer, кривые лимиты или тяжёлый крон-агент, который кладёт СУБД. Но нет: память в норме, запросов минимум, а в логах самого MySQL — вежливое Received SHUTDOWN from user <via user signal>. Кто-то на сервере целенаправленно дёргал systemctl restart mysql.service по расписанию.

Подозреваемый: встроенный мониторинг ISPmanager

Поскольку интервал рестартов чётко совпадал с периодом проверки служб, мы пошли смотреть логи самой панели (/usr/local/mgr5/var/srvmon.log). И вот он, виновник торжества:

srvmon.log
Nov 16 23:58:01 [319893:1] proc EXTINFO Run 'systemctl restart mysql.service' pid 319900
Nov 16 23:58:06 [319893:1] rpc EXTINFO Query('func=problems.register&name=services%2Estop%2Eproblem&id=mysql...')

Демон мониторинга srvmon каждую проверку решал, что MySQL мёртв, заботливо перезапускал его и регистрировал инцидент в уведомлениях панели. Мы полезли в официальную базу знаний ISPmanager (статья про устранение частого перезапуска СУБД), перепроверили настройки службы в интерфейсе, поправили имя процесса на mysqld и путь к PID-файлу, вычистили уведомления. Чтобы не ждать по 15 минут между попытками, я специально скрутил интервал мониторинга с дефолтных 15 минут до 1 раза в минуту для быстрого дебага.

Спойлер: изменилась только частота падений. Если раньше сайт моргал раз в 15 минут, то теперь — каждую минуту. Удобно для отладки, но проблема никуда не ушла.

Включаем режим рентгена (`debug.conf`)

Когда веб-интерфейс говорит, что всё настроено правильно, а сервер продолжает жить своей жизнью, пора спускаться в консоль и включать максимальный уровень отладки для srvmon:

debug.conf
echo "srvmon.* 9" | sudo tee -a /usr/local/mgr5/etc/debug.conf

На ближайшей же 01-й секунде минуты лог выплюнул всю подноготную. Оказалось, что srvmon при проверке опирается на XML-конфиг, внутри которого для mysql значилось следующее:

srvmon_cache.xml
<service>
  <service_name>mysql</service_name>
  <process_name></process_name>
  <pid_file>/var/lib/mysql/fhmn8559shllr68f0nf9.pid</pid_file>
</service>

Откуда взялся этот набор символов fhmn8559shllr68f0nf9.pid? Это технический hostname, с которым разворачивался образ виртуальной машины до переименования. На Ubuntu 24.04 реальный PID-файл лежит в /var/run/mysqld/mysqld.pid, а поле process_name вообще оказалось пустым. srvmon честно искал несуществующий файл по старому имени хоста, не находил его, впадал в панику и перезапускал базу.

Самое смешное началось дальше. Мы полезли в SQLite-базу самой панели (/usr/local/mgr5/var/services.db), чтобы поправить это руками:

services.db
sudo sqlite3 /usr/local/mgr5/var/services.db "SELECT id, name, bin, pid FROM services WHERE name='mysql';"
# 2|mysql|mysqld|/var/run/mysqld/mysqld.pid

В базе всё уже было прописано идеально! Все наши правки через интерфейс туда доехали. Но srvmon продолжал упрямо читать старый XML.

Развязка длиной в две команды

Обычный grep по директории панели расставил всё по местам: старый путь намертво застрял в файле /usr/local/mgr5/var/srvmon_cache.xml. При обновлении параметров через UI панель записала новые данные в services.db, но кэш мониторинга при этом не инвалидировала (в официальной доке по решению этой проблемы, кстати, про необходимость ручной чистки srvmon_cache.xml — ни слова).

Лечится это банальным удалением кэша и перезапуском процесса панели, чтобы он пересобрал XML заново из базы:

очистка кэша srvmon
sudo rm -f /usr/local/mgr5/var/srvmon_cache.xml
sudo /usr/local/mgr5/sbin/mgrctl -m ispmgr exit

И не забыть вернуть нормальный интервал мониторинга и убрать srvmon.* 9 из /usr/local/mgr5/etc/debug.conf, чтобы не забить диск отладочными логами.

После этого srvmon.log замолчал, аптайм MySQL пошёл вверх, а ошибка (2002) No such file or directory исчезла из логов Битрикса. Мораль простая: если после переезда на свежую ВМ панель управления ведёт себя так, будто игнорирует ваши настройки — не верьте интерфейсу, грепайте /usr/local/mgr5/var/ на предмет старого hostname.

Короткий чек-лист проверки ISPmanager после переезда на новую ВМ

Чтобы не ловить такие фантомные падения в первые часы после миграции, пробегитесь по этим пунктам сразу после смены hostname и разворачивания бэкапа:

  1. Проверьте артефакты старого hostname в кэше панели. Поищите старое имя хоста в каталоге /usr/local/mgr5/var/ (особенно в srvmon_cache.xml и базе services.db) — при преднастройке ВМ из облачных образов туда часто попадают временные пути к .pid-файлам.
  2. Сверьте пути к PID-файлам и имена процессов для ключевых служб. Убедитесь, что в services.db для MySQL/MariaDB, Nginx, Apache и PHP-FPM указаны реальные бинарники (mysqld, nginx, sshd) и актуальные пути в /run/ или /var/run/.
  3. Понаблюдайте за /usr/local/mgr5/var/srvmon.log первые 20–30 минут. В штатном режиме этот файл должен оставаться пустым. Любая запись Run 'systemctl restart ...' означает, что мониторинг не видит живой процесс.
  4. Проверьте uptime критичных служб через systemctl status mysql nginx. Время непрерывной работы (active (running) since ...) должно расти без сбросов по расписанию крона.
  5. Очистите отладочные настройки после диагностики. Если включали повышенный уровень логирования в /usr/local/mgr5/etc/debug.conf или меняли SrvMonitoringPeriod в ispmgr.conf, верните значения в штатный режим.

man zelenkindev

Горячие клавиши

/
поиск по модулям
?
эта справка
Esc
закрыть