• дыбр погроммирование По мотивам #2851662.

    В пятницу вечером рабочий день заканчивается и можно нагружать E2E-систему мощными миграциями. Например, запланировать процедуру обновления всего оборудования всех клиентов, юзающих телефонию, на вечер пятницы. Впереди два выходных дня. Запланировать и забыть. Да, в E2E системе в процессе задействовано пять разных вендоров, и ещё сторонняя компания, которая занимается поддержкой зоопарка. Но ты об этом ничего не знаешь.

    Вот наступила пятница, менеджмент одобряет план задеплоить какой-нибудь важный апдейт для одной системы из всей цепочки. По процедуре это приведет к остановке одного сервера три раза на пару часов. Подумаешь, всего-то...

    Да вот только в процессе из полумиллиона апгрейдных заявок пиковая нагрузка придётся как раз на период остановки того самого сервера. И вот, добрая треть ордеров падает, сервер under maintenance, обновленное оборудование портится. И от этого страдает конечный бизнес заказчиков, они теряют прибыль.

    Да, хорошо выкатываться в продакшн в пятницу вечером!

    P. S. Все события вымышлены, все совпадения случайны.

Replies (5)

  • @agr, Да, хорошо выкатываться в продакшн в пятницу вечером!Если это случается в ночь среды, всё сразу становится лучше?
  • @belsnickel, Это не случается в ночь среды, потому что в среду никто в здравом уме не даст добро на остановку ни сервера, ни всей системы.
  • @agr, проблемы в самой системе обновления продакшна
    пост о том, что во всём виновата пятница
    Ясно.
  • @belsnickel, или я с утра читаю жопой, и это была просто прохладная история, а не критика моего поста? Энивей, написано поучительно
  • @belsnickel, Ага, панические настроения возникают не на ровном месте.
    Бывают ситуации, когда из-за деревьев леса не видно.