← All posts tagged netbackup

freefd

Показательная история о привычке решения простых задач сложными методами.

Так случилось, что ещё одна изумительная история вынудила нас обновить VMware vSphere c 5.1U2 до 5.5U2. Обновление до 5.5U2 вынудило обновить Symantec NetBackup с версии 7.6.0.1 до 7.6.0.3, которая уже научилась vSphere 5.5.

Не трудно представить себе топологию кусочка среды резервного копирования: Master-сервер NetBackup (VM), который, к тому же, является и backup-host, то есть гоняет через себя весь трафик от VMware ESXi (а значит и с их Datastore, подключенных по Fibre Channel) к Media-серверу (тоже VM) с томами NFS, экспортированными, например, с какой-нибудь low-entry СХД Huawei или HP MSA. Используется обычный в NetBackup тип передачи данных по LAN — NBD (Network Block Device).

Упрощённая схема хождения данных при резервном копировании VM может быть такая, например:

HP 3PAR --FCP--> HP c7000 (VirtualConnect --FCoE--> BLXXX) --FCP--> VMware ESXi 5.5U2 --NFC--> NB Master --TCP/UDP--> NB Media --NFS--> Huawei OceanStor FileEngines --FC--> Huawei OceanStor Enclosure

Где

FCP — Fibre Channel Protocol
FCoE — Fibre Channel over Ethernet
NFC — VMware Network File Copy Protocol
TCP/UDP — подразумевается проприетарный стек протоколов NetBackup.
NFS — Network File System

(Продолжение в комментариях)

freefd

Как известно, Symantec NetBackup — это архисложная система костылей и подпорок, которая гордо именует себя Enterprise Backup and Restore System. И существует уже почти 30 лет.

Сегодня (уже вчера) мы обновились с 7.5.0.6 до 7.6.0.1, затаив дыхание после прочтения почти 50 страничного гайда аж второй версии (Upgrade Guide v2!). На первый взгляд ничего не отвалилось.

В 7.6 версии появилось очень много нового и интересного, ориентированного на виртуализацию, и, в первую очередь, на VMware экосистему. Самым вкусным, помимо обещанного ускорения бэкапирования VM, нововведением можно считать, конечно же, плагин для vCenter. Оный не только показывает красивую и информативную статистику, но и позволяет через визард восстанавливать машины прямо из интерфейса vCenter.

Плагин представляет собой обычный VM Appliance с CentOS 6.4 и софтом Symantec на борту. Обновление до 6.5 поломало некоторые функции, потому оставим как есть.

Самая магия случилась после перезагрузки этой VM. Так как оно игнорирует настройки хостнейма со стороны системы и применяет свои собственные с помощью инит-скрипта vaos, после перезагрузки я получил систему с localhost.localdomain. Не слишком продолжительное копание в очередном наборе bash скриптов с сомнительными зависимостями друг от друга привели меня к гениальному порождению сотрудников Symantec (а вдруг это аутсорсеры писали?) — скрипту vami_set_hostname. Он честно смотрел интерфейс, забирал IP и проверял обратную зону. Если обратная зона не резолвилась, то назначал localhost.localdomain в качестве имени хоста. Гениально же! К сожалению, они как-то совсем не учли, что хост может жить в серой сети и обратной зоны у него может и не быть.

Обыскал всю документацию по плагину и не нашёл никаких уточнений на такой случай. Будьте бдительны к сборищу костылей и подпорок по имени Symantec NetBackup. Эх, а ведь все мы отлично понимаем, что этому продукту нет замены на рынке по набору функционала, к сожалению.

freefd

Наконец-то за два года руки дошли плотно до Symantec NetBackup. Чем больше я погружаюсь в этот продукт, тем больше он мне нравится, несмотря на всего его интерфейсы, от которых хочется сделать lurkmore.to

История продукта насчитывает 26 лет. Учитывая ценник и ориентацию на корпоративный рынок, получаем продукт с безумно огромным функционалом. Боюсь, что наша компания использует всего лишь 5-10% от имеющегося арсенала.

Бэкапирование VMware инфраструктуры, физических машин, баз данных MSSQL/Oracle. Бэкап может создаваться как на медиа-серверы с HDD, так и на ленточные накопители. Бэкапирование по LAN, по SAN. Восстановление как отдельных файлов, так и полностью машин, образов виртуальных машин. Восстановление отдельных писем Exchange (!). Дедупликация на клиенте, на медиа-сервере. Шифрование. Кластеризация как мастер-серверов, так и медиа-серверов с холодным и горячим standby. Не очень логичный, но очень гибкий планировщик внутри каждой политики. Наличие клиентов для очень экзотичных архитектур, например, AIX, System p (RS/6000), HP-UX на IA64 и HP 9000 Series 800, не говоря уже о Windows, Mac OS X, Linux, Solaris.

Самой приятной из фич работы с VMware являются автоматические выборки виртуальных машин для резервного копирования по заранее указанным критериями параметров из vCenter. Выборки можно делать как на основе стандартных параметров (состояние машины, название кластера, версия VMX, etc), так и на основе дополнительных кастомных полей. До такого Veeam Backup & Restore ещё очень далеко, в этом году они только научились ленточные накопители в 7 версии.

К сожалению, нативные методы бэкапирования MySQL и PostgreSQL отсутствуют и предлагается приобретать Zmanda Agent for NetBackup. Но это легко решается альтернативными методами.

Более-менее полный список основного функционала расписан на en.wikipedia.org

freefd

В процессе попытки понять почему же все три мастер-сервера перестали дискаверить разные vCenter'ы как один с ошибкой 195, починил долгий дискавер vCenter посредством создания ключа DWORWD 32bit HKEY_LOCAL_MACHINE\SOFTWARE\VERITAS\NetBackup\CurrentVersion\Config\BACKUP\disableIPResolution (подробней symantec.com

Ну а ошибка 195 вылечилась удалением настроек подключения к vCenter и заново их добавлением. Удивительный, всё же, продукт этот NetBackup. Всё чудесатей и чудесатей.

freefd

Наблюдаю за развитием продуктов семейства Veeam уже несколько месяцев. И вот, 18 апреля, когда они анонсировали поддержку ленточных накопителей в своём софте, я осознал, что их продукты — это почти перерождённый Symantec NetBackup. Им осталось лишь добавить агентов для поддержки физических платформ, и компании, которые не могут позволить себе NetBackup, смогут покупать Veeam, практически не теряя в функционале.

freefd

Сегодня, проработав почти полгода под крайне низкой нагрузкой, накрылся медным SMART'ом один из 18 Seagate Barracuda ST3000DM001-9YN166 c китайской CC4C прошивкой, живший в медиа-сервере NetBackup. То бишь, абсолютно новый винчестер отработал ресурс в полгода и решил, что всё, пора. Учитывайте при покупке. Нет, понятно, что можно было взять WD Ent серию, но разница в цене и степень важности горячих бэкапов сыграли в пользу Seagate.

Кстати говоря, про версии прошивок для этой серии есть интересный комментарий саппорта Seagate:

Можем пояснить, что прошивки "CC9D" и "CC4C" являются полностью аналогичными, разница лишь в том, что прошивка "CC4C" фиксирует в S.M.A.R.T. все ошибки и погрешности в позиционировании считывающих магнитных головок и является актуальной на данный момент.
Прошивка "CC9D" не фиксирует ошибки которые были исправлены встроенной логикой винчестера (читай контроллера), отсюда такая разница в показаниях S.M.A.R.T.
По поводу различия версий прошивок для винчестеров одной партии: с прошивкой "CC9D" поставляются винчестеры Тайландской сборки, с прошивкой "CC4C" поставляются винчестеры Китайской сборки.
На данный момент, все винчестеры, независимо от сборки, идут с прошивкой версии "CC4C", которая является последней актуальной версией.
Из всего выше сказанного и показаний S.M.A.R.T., которые вы нам прислали, можно сделать заключение, что это нормальная работа винчестера.
Не стоит обращать внимание на ошибки позиционирования магнитных головок и ошибки чтения, если их на самом деле нет, это работа контроллера, он их исправляет, но записывает в техническую карту винчестера, такова логика работы.
Критическими показателями будет ситуация, если будут появляться переназначенные сектора или ошибки позиционирования/чтения перестанут обрабатываться контроллером и будут мешать нормальной работе винчестера — в этом случае советуем вам незамедлительно обратиться в Авторизованный Сервисный Центр, т.к. проблема затрагивает гарантийные обязательства фирмы Seagate.

freefd

И вот, зная как быстро и умирают винчестеры, как ломаются стриммеры, ты уже не доверяешь никаким носителям. Бэкапы систем на такие же ненадежные системы вгоняют в печаль. Почему так все любят энтерпрайз? Потому что это слово-миф даёт ложное чувство защищенности и надежности, а ломается чуть реже, ввиду резервирования, эти поломки реже заметны. Именно резервирование и бренды столько стоят.

freefd

И тут эти ребята из Symantec говорят мне

NetBackup has dropped support for 32-bit OS bits on Linux platforms unless otherwise noted in the NetBackup 7.x OS Compatibility List

и потом, как бы подмигивая

Solution

For NetBackup 7.x to work with 32-bit Linux clients there are two options:
1. Install NetBackup 6.5 client software on this server. NetBackup 6.5 supports 32-bit Linux platforms but before doing this confirm that the specific client operating system and architecture is supported by reviewing the NetBackup 6.5 Operating System Compatibility List (linked below in the Related Articles section). NetBackup 7.x Master/Media Servers support NetBackup 6.5.x clients.
2. Migrate the 32-bit Linux Client to a 64-bit platform (x86_64) that is supported by NetBackup 7.x, then install the NetBackup 7.x client software.

Хоть обратную совместимость для 6.5 оставили. Ну не энтерпрайз ли?