Что делать, если удаленный сервер замолчал: набор отверток

Сегодня мы расскажем о том, что делать, если удаленный сервер перестал отвечать – распространенной ситуации, являющейся бичом для многих сисадминов. К счастью далеко не всегда при падении сервера, находящегося на другой конце города, приходится туда ехать – существует большое количество инструментов и тонкостей удаленного восстановления сетевого и серверного железа, не ограничивающихся одним лишь IPMI. Расскажем же о них подробнее.

Настраивая сеть удаленно – будь бдителен!

Желание сисадминов обновлять прошивку роутера или, например, добавлять правила в фаервол удаленно – вполне понятно. Однако в этом случае необходимо лучше продумывать свои действия, дабы избежать риска оказаться без доступа как к консоли с настройками, так и к локалке компании вообще. Хорошим подспорьем здесь будет либо резервный канал на втором маршрутизаторе, либо возможность автоотката настроек в случае невозможности их изменения, либо и то, и другое. Рассмотрим вариант с настройками пристальнее:

• D-link серии DFL предлагает простой, но надежный механизм защиты. Если админ не может зайти в консоль после применения настроек – они автоматически откатываются.
• Mikrotik имеет режим Safe Mod – вносимые в нем изменения в настройки не применяются до перевода в обычный режим. Если же связь прерывается под Safe Mod – через 9 минут происходит откат к настройкам обычного режима.
• Cisco с недавних пор предлагает возможность откатывать настройки по таймеру, если до этого момента не была введена команда configure confirm.

Следует отметить, что откатить неудачно установленные обновления как правило сложнее, чем вернуть настройки. Поэтому, обновляя ПО в удаленном офисе, лучше все же либо озаботиться надежным резервным каналом, либо не полениться и доехать до места проведения работ.

Не экономим на загрузках!

Бывают ситуации, когда у удаленного сервера нет IP-KVM или канал слишком узок, чтобы работать с дистрибутивом ISO. В таких случаях нужно задуматься о том, как загружать средства восстановления другим путем.

Самый ленивый (но не факт, что самый простой!) вариант – загрузочная флэшка с набором необходимых программ, которая будет лежать в серверной и которой сможет воспользоваться кто-то из сотрудников филиала, следуя вашим инструкциям по телефону. Однако следует заранее озаботиться тем, чтобы выбранный сотрудник не «учил в школе немецкий» или чтобы этот вариант не был сложен в использовании по иным причинам.

Самый популярный способ – веб-интерфейс модуля BMC, с которого начинается загрузка. Однако, используя его без IP-KVM, важно не забыть, чтобы при старте образа были отключены лишние вопросы. Если же IP-KVM есть, то в 9 из 10 случаев можно рестартнуть систему или загрузить образ по сети или из ISO-образа.

Наличие отдельного сервера для загрузки сети – не является обязательным условием. Так, упомянутые выше маршрутизаторы Mikrotik прекрасно справятся с раздачей образа по сети. Больше того, они могут помочь оснастить IT-инфраструктуру фирмы готовым «спасательным модулем», у которого будет как запасной беспроводной канал, так и набор разных образов.

Сам образ тоже лучше не оставлять без внимания. Кроме доступа к запускаемой удаленно системе, важно помнить про набор программ для восстановления. Наиболее универсальным решением является, пожалуй, Microsoft DaRT, позволяющий быстро откатить и восстановить любую ОС Windows. Все, что вам потребуется – запуск кем-то из филиала средства «Remote Connection» на проблемной машине и передачи вам данных тикета. Тогда, подключившись через DaRT Remote Connection Viewer вы сможете оперативно произвести реанимационные работы.

Непопулярные протоколы бывают полезны

Сегодняшние реалии таковы, что использование дырявого протокола управления серверами, к тому же, работающего по UDP можно смело приравнивать к вредительству. Понимая это, большинство вендеров, чьи веб-интерфейсы и так довольно удобны, не ленятся предоставлять альтернативные способы управления, однако используют их преимущественно службы мониторинга, а не сами сисадмины.

Вместо выводов

Подводя итог, можно сказать, что большая часть описанных проблем вообще не вставала бы перед сисадминами, если бы для любых сервисов можно было наладить резервирование. Однако мир, в котором мы живем, далек от идеала и кластерные решения спасают далеко не всегда. Соответственно, приведенный выше набор отверток может пригодиться каждому, кому время от времени приходится заниматься удаленным обслуживанием серверов.