Разбор: почему Sponsr не работал и как его починили
11, 12 и часть дня 13 октября Sponsr не работал. Три крупных дата-центра Яндекса сгорели. Перестал работать не только Sponsr, но и много других сайтов. Мы всё восстановили и теперь Sponsr.ru работает в полном объеме. В этом посте расскажем детали произошедшего. Сделаем это в формате вопросов-ответов по результатам ваших обращений.
Что-то стало со Sponsr
— Изменится ли сайт или его адрес?
Адрес остался прежним Sponsr.ru. На сайте ничего не изменилось, все работает также как и раньше.
— Какой-то контент пропал?
Все на месте. Ничего не пропало. Тексты, аудио, видео, все доступно в полном объеме.
— Сохранятся ли подписки?
Все подписки сохранятся и продлеваются в обычном режиме. Подписки, что должны были продлиться в 11–13 октября — продлились в среду 14 октября.
— Почему я не получал письма и сообщения в телеграм?
После запуска сайта во вторник не работали уведомления о новых постах. В среду мы всё наладили и отправили письма, которые накопились за три дня.
Денежные вопросы
— Что с деньгами авторов?
Деньги авторов на месте и доступны к выводу в любом объеме с 14 октября. Проблема была в том, что не работали нужные кнопочки, поэтому после запуска сайта сутки мы не принимали заявки.
— Будет ли компенсация подписчикам?
Мы получали запросы от подписчиков, что раз два дня сайт не работал, то надо время следующего списания сдвинуть на два дня. Честно говоря, вообще не хочется размахивать офертами и положениями о форс-мажорах. Попробуем человеческими словами ответить. У нас нет штатного механизма для сдвига подписки. А еще минус два дня к нашим доходам — это серьезный финансовый удар для нас, особенно на фоне внезапных трат. Поэтому мы просим подписчиков оставить всё как есть. Если вы не согласны, напишите, пожалуйста, в службу поддержки.
— Дорого вам обошелся переезд?
Дорого. Переезд еще далек от завершения. Мы восстановили работу для пользователей, но «под капотом» еще очень много что нужно сделать. Это где-то 2 человеко-месяца работы квалифицированных DevOps. Плюс оплата новых хостингов (деньги за старый нам не вернут). Плюс простой команды разработки, которая лишилась инфраструктуры для работы, около 4 человеко-месяцев.
Если бы да кабы
— Почему не предусмотрели такой сценарий?
Мы рассматривали разные сценарии. Вопрос в цене. Можно зарезервироваться на все случаи жизни, но за это придется постоянно платить и главное постоянно обслуживать. Поэтому мы руководствовались разумной достаточностью, у нас был резерв на две географические зоны. Что сгорят три дата-центра в разных областях страны — к этому мы не были готовы.
— Можно было быстрее восстановить работу?
Да, мы планировали сделать все до окончания воскресенья. Но пострадали не только мы, поэтому множество компаний тоже начали спешно переезжать. Возник дефицит мощностей. И что-то типа пробок, какие бывают на дорогах. Это продолжается до сих пор и существенно усложняет работу.
— Вы вообще как там, спали хоть немного эти три дня?
Конечно, адреналина нам знатно подкинуло, до сих пор потряхивает! Но в целом норм. Спали относительно нормально, потому что сложные технические вещи лучше с туманной головой не делать.
—Чего ждать в будущем?
Вам, нашим дорогим авторам и их подписчикам — пользоваться Sponsr как обычно и ни о чем не беспокоиться. Нам — налаживать работу, устранять последствия и придумывать способы, как за умеренные деньги лучше защищаться от катастроф.
Благодарности
Спасибо всей технической команде и команде саппорта за то, что вывезли.
Дмитрий, Иван, Комитас, вы особенно кросавчеги палюбому!
Особенно приятно, что мы получили много поддержки и слов ободрения от наших авторов и подписчиков. Вместо того, чтобы ругать нас и требовать быстрее все починить, многие нас поддерживали и утешали. Это было неожиданно и трогательно. Воистину, друг познается в беде.
