Технологии
Roman Slobodyanyuk
17 510

«Яндекс» по человеческой ошибке безвозвратно удалил часть виртуальных машин пользователей в своём облаке Материал редакции

Компания извинилась, но некоторые данные не вернуть.

В закладки

16 мая по ошибке одного из сотрудников «Яндекса» в сервисе компании «Яндекс.Облако» безвозвратно удалились некоторые виртуальные машины пользователей в зоне «ru-central1-c». Об этом сообщил один из пользователей «Пикабу».

По словам пострадавшего, он заметил, что у него удалились «продакшн-сервера», но никакого предупреждения он не получил. Он написал техподдержку сервиса, где ему ответили, что в ходе технических работ из-за человеческого фактора были удалены виртуальные машины пользователей в зоне «ru-central1-c», которые хоть раз находились в статусе «suspended».

Сотрудник техподдержки «Яндекса» уточнил, что они остановили удаление после обнаружения ошибки, но некоторые виртуальные машины и их «загрузочные диски» были безвозвратно удалены.

Пользователь Пикабу уточнил, что за 10 лет он ни разу не столкнулся с человеческим фактором при использовании серверов Amazon. По его словам, у него остались резервные копии серверов на «Яндекс.Облаке», но часть данных всё равно утеряна.

Позже пострадавшему пользователю позвонил руководитель направления в «Яндекс.Облаке». В компании уточнили, что восстановление возможно, только если были сделаны «снимки» дисков.

Позвонил руководитель направления. Если кратко: у нас говнокод, программисты совершают ошибки, из-за этого потерялись данные. Просим понять и простить.

пользователь «Яндекс.Облака»

В блоге компании руководитель платформы «Яндекс.Облако» Ян Лещинский заявил, что 16 мая в сервисе проводились регулярные технические работы по удалению виртуальных машин в облаках пользователей, заблокированных из-за неоплаты или нарушения правил использования сервиса. По словам Лещинского, это стандартная процедура по высвобождению ресурсов «Облака».

Руководитель «Яндекс.Облака» уточнил, что выполнение команды по удалению остановили через 5 минут. В сервисе выяснили, что при формировании списка был применён неверный принцип фильтрации, из-за чего в список попали активные виртуальные машины. Лещинский уточнил, что в результате инцидента удалились 0,77% от общего числа виртуальных машин и «загрузочных дисков» в зоне «ru-central1-c».

Мы не считаем это рядовой ситуацией. Для нас важен каждый пользователь, и мы осознаём свою полную ответственность за надежность нашей платформы.

Ян Лещинский
руководитель «Яндекс.Облака»

Лещинский заявил, что для предотвращения подобных инцидентов в сервисе разделят остановку и удаление виртуальной машины и её дисков в рамках процедуры блокировок облаков, а промежуток между этими операциями будет составлять минимум неделю. Также при удалении диска будет автоматически создаваться его копия, которая позволит восстановить данные.

По словам Лещинского, в качестве компенсации, снимки дисков пострадавших пользователей не будут тарифицироваться в течение 90 дней, а им также начислят «гранты», размер которого определят индивидуально.

Мы хотим принести извинения каждому, кого затронул технический сбой в работе «Облака». На данный момент наша техническая поддержка работает в формате горячей линии, и мы оперативно помогаем каждому пользователю.

Ян Лещинский
руководитель «Яндекс.Облака»
Спасибо за наводку Антон Иванов
{ "author_name": "Антон Иванов", "author_type": "self", "tags": ["\u044f\u043d\u0434\u0435\u043a\u0441","\u043d\u043e\u0432\u043e\u0441\u0442\u0438"], "comments": 87, "likes": 94, "favorites": 14, "is_advertisement": false, "subsite_label": "tech", "id": 97662, "is_wide": false, "is_ugc": false, "date": "Fri, 17 May 2019 20:20:28 +0300", "is_special": false }
0
{ "id": 97662, "author_id": 132240, "diff_limit": 1000, "urls": {"diff":"\/comments\/97662\/get","add":"\/comments\/97662\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/97662"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 214344, "last_count_and_date": null }
87 комментариев
Популярные
По порядку
Написать комментарий...
97

Наконец, хорошие новости про яндекс

Ответить
55

Комментарий удален по просьбе пользователя

Ответить
62

Можно у Яровой попросить из пакета бекап вытащить

Ответить
3

В голос проорал))

Ответить
9

Проебала кстати часть российских данных. Нет данных, нечего изолировать.

Ответить
1

Гугл говорит, что это Silicon Valley, а какой контекст сцены?

Ответить
3

Они заключили контракт с порносайтом, чтобы те перенесли свои данные.
Чувак поставил бутылку виски на кнопку на клавиатуре и данные начали стираться.

Ответить
7

Текилы!

Ответить
3

Текилы "Три запятые", ведь я в клубе Трёх запятых!

Ответить
1

+ он их инвестор-самодур, которому 1000 баксов не хватило стать миллиардером, из-за чего он сильно страдал :):):):)

Ответить
35

в тред призываются девопсы. вот на хабре чувак пишет:

"Тут архитектурно-идеологическая ошибка, это же не железный сбой, не софтовый сбой нарушающий целостность данных, это отсутствие элементарной защиты от человеческого фактора.

Окей, пусть раздолбай админ снес часть облаков. Но почему они сразу были физически удалены? Почему не просто помечены удаленными? Ведь стандартная процедура это шаг 1) отключение вдс и шаг 2) удаление вдс. Почему яндекс выполнил оба этих шага одновременно? Ведь это элементарные «стандарты», в том числе на случай ошибок. Эти шаги должны быть разнесены по времени хотя бы на 24 часа, а то и больше.

Это все равно что админ ввел на сервере rm -rf / и всему пришел кирдык, потому что работал из под рута, а не из под юзера. Так не делается. Не на таком уровне."

Ответить
20

Так и шо я тут должен добавить? Все же правильно написали.

Ответить
0

добавьте деталей

Ответить
5

Ну, допустим, есть табличка в БД со списком виртуалок и полем STATUS. Вот админ-Васян решил покилять виртуалки, которые не использовались более года. Что делает Васян? Меняет поле статус на DELETED, уж не суть - sql-запросом или через гуи. Гипервизор видит записи с deleted и проверяет: если статус изменен 12-24-36-48 часов назад, то выпиливаем виртуалки с кластера. Причем никто не мешает пока прихранить образ удаленной виртуалки. Ресурсы, кроме пространства, освобождаются, но все еще есть путь назад.
В теории, это должно работать так.

Да и вообще, пора хоронить виртуалки: контейнеры и кубернетис - наше все

Ответить
5

Во-первых есть бекапы, во-вторых в реальности никто ничего не удаляет. Помечают как удаленное и все. Машины переносятся в дешевое медленное хранилище и хранятся ещё 3-4 месяца.

Ответить
2

Вообще удаления быть не должно. Я когда облако пилил - один из первых моментов - нам надо страховать ошибку пользователя. Ну и нашу заодно.

Ответить
0

Так я же не спорил

Ответить
1

Да я тоже, просто рассказал как у людей делается.

Ответить
4

У яндекса, скорее всего, все это есть, но какой-нибудь шаловливый мудачок с привилегированным доступом сделал то, что по регламенту делать не стоит

Ответить
2

У нас вообще руками никто ничего не делал. Для всего есть оттестированный скрипт.

Ответить
0

Судя по всему так и есть... Только мудачка уже нет, надеюсь только в Яндексе, а не физически. А то может тоже удалили полностью.

Ответить
0

А как-то запросить восстановление в этом случае теоретически можно из медленного хранилища?

Ответить
0

Можно, но это зависит от вашего облачного провайдера. Роман вот выше сказал что яндекс удаляет. Видимо у яндекса нельзя запросить восстановление :)

Ответить
0

Удаляют. Яндекс заебался хранить всякую хрень на своих кластерах что у него сейчас основная политика, что всё, что можно удалить - удалять

Ответить
2

а можешь обьяснить чем докер отличается от ну например вмваре? (KVM, OPenVZ)

Ответить
2

Ключевое отличие от виртуалки в том, что докер использует то же ядро, что и хост-ось (справедливо для линуксов, хотя винда по сути скоро тоже нативный докер обещает). Стало быть, у тебя доступ к аппаратному обеспечению хоста прямой. А лучше отдельной темой, потому что нюансов куча. Но когда я познакомился с докером... я ни с одной другой технологией таких эмоций не испытывал. Это очень крутая и объемная штука

Ответить
1

Виртуализация тоже бывает разная. Это я про Xen vs KVM.

Ответить
1

Openvz кстати ближе всего к докеру.

Ответить
0

или это надо было отдельной темой в вопросы постить?

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
0

Докер вставится на вдску)))0)

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
0

Это да, не нужно билд собирать, не нужно платить/поднимать свое реджестри.
Но я даже на простые проекты трачу пол часа своего времени и настраиваю ci/cd, а сейчас его без докера сложно представить.

Ответить
28

"Я что-то нажала и всё исчезло"
(с) Программисты Яндекс.

Ответить
25

Комментарий удален по просьбе пользователя

Ответить
12

А самое главное не написано, что произошло с этими всеми сотрудниками потом кто задействован в облаках. Погрозили им одним пальчиком или двумя. Ну не умеет яндекс в облака. Пусть уйдет с рынка сейчас, а то какая то рекламная акция других облачных сервисов. Место у яндекса кончилось? Яровую значит пишет место есть и суверенизацию облизывать, а под коммерческие данные клиентов места нет. Единственная компенсация - перевести пострадавших на бесплатный пожизненный тариф с какими то адекватными лимитами по числу виртуалок которые удалилились, если они платно продолжат пользоваться яндексом то они просто позволят себе издеваться над собой. Что такое 90 дней, это какой то демопериод за который яндекс удалит остальные данные?

Ответить
10

Единственная компенсация - перевести пострадавших на бесплатный пожизненный тариф

Это не по понятиям, ты чё.

Ответить
2

С яндекс диском когда он все потер же пожизненное место выдавали, в чем проблема тут?

Ответить
2

Действительно, в чем проблема. Яндекс облако это же как подписка на премиум аккаунт: либо есть, либо нет, ага.

Ответить
3

Вот это обосрамс.
Вспомнился другой подобный случай, когда всё было просрано из-за долбоебизма админов.
https://sohabr.net/post/227405/

Ответить
2

Вот что может произойти если не локать рабочий стол, когда у тебя дома кошка или маленький ребенок)

Ответить
1

Комментарий удален по просьбе пользователя

Ответить
3

Комментарий удален по просьбе пользователя

Ответить
0

Чё по digital ocean

Ответить
1

Мы на амазоне за 10 лет ни один раз не столнулись с человеческим фактором

Тут пишут, что и у Амазона такое дерьмо случается. Так что шило на мыло.
https://habr.com/ru/post/452238/#comment_20167144

Ответить
1

а в амазоне тоже человеческий фактор? Понимаю что если результат снос, то однохйуственно, но все же?

Ответить
1

Амазон вообще не пишет, какой фактор. Просто "сорян ребят, так бывает". Так что только физические сервера с бекапами данных на разных площадках.

Ответить
6

Как сказал один умный человек:
Независимо от того, насколько солидна контора - она может закрыться в любой момент без предупреждения. Если у Amazon будут проблемы, клиенты узнают про это последними.

Ответить
0

если брать 2011 то "Причиной стала ошибка в сетевых настройках кластера Amazon Elastic Block Store (“EBS”), спровоцировавшие перегрузку маршрутизаторов."

Ответить
1

после прочтения новости на тж ... ды щаз

Ответить
1

Щелчок Яндекса

Ответить
0

Ебааааа...... Не зря я не доверяю облакам.

Ответить
2

Да причём тут доверие. Это ж факт: чем больше копий у информации, тем больше она застрахована от уничтожения. Облака стали спасительным кругом для тех уникумов, которые забывают сделать копию перед форматированием системы или у тех, у кого даже прошлогодние фотки тяжело найти на диске.

Тут проблема другая, видимо: без облака никак тем людям. Если я всё правильно понял. Ну и человеческий фактор слишком, как оказалось, силён в работе Я.Д.

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
0

По идее, любые данные на облаках имеют резервную копию и распределены (физически) по разным местам.

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
0

Не совсем понял (в голову лишь пришла аналогия с торентами), объясни как пятилетнему.

Ответить
1

Комментарий удален по просьбе пользователя

Ответить
0

Яндекс чего простите?) Диска?) Тред об облаке!

Ответить
0

Да, проебался, сорян. Но сути моих слов не особо меняет.

Ответить
2

Комментарий удален по просьбе пользователя

Ответить
0

У меня всегда есть локальная копия.

Ответить
1

Комментарий удален по просьбе пользователя

Ответить
0

Ну, скажем так, недоверие началось когда в обиход только начали входить облачные хранилища. Так и повелось — не-ве-рю!

Ответить
2

Облачные хранилища технически ничем не отличаются от твоего сервака. И риски все те же самые. И даже если у тебя ЦОД запроектирован под тир 2 не долбоебом, ты ведь понимаешь, что это не 100% гарантия. Там, где люди - всегда ошибки. Помню, как в Сбере админ после 12-часовой схемы случайно скрипт чистки БД запустил на пром-сервере вместо тестового. Уронил процессинг, люди не могли платить картами несколько часов, пока бэкап не накатили.
Так что с физическим серваком у тебя под подушкой это мнимая надежность, особенно если у тебя не реалтайм бэкап

Ответить
0

Ну ладно, ладно, убедили. Но в облако переноситься я пока повременю)

Ответить
0

пилишь тж чтоли?

Ответить
1

Да ну... куда мне с Ширяевым тягаться. Ширяев - Богъ. От него сияние исходит.

Ответить
0

ну в общих чертах хоть

Ответить
0

Пилю время от времени сайтики масштаба города. Ничего интересного

Ответить
0

а как понять масштаба города?

Ответить
0

Ну, скажем Курхуяновская (70 тыщ голов) цветочная лавка... Курхуяновская больница...

Ответить
0

Разве амазон ленточные бэкапы не предлагает?

Ответить
0

С локальной копией тоже есть нюансы:
Диск с копией зашифрован? А то украдут диск и все, уплыли данные.
Или пожар, потом, извержение вулкана и нет резервной копии.

Ответить
0

измените заг на "из-за" и "ошибки", у меня кровотечение из глаз. Уже и по ктрл+ентер отправил. ну эй.

Ответить
3

связь с редакцией через спиритические сеансы

Ответить
0

у меня Яндекс.Диск удаляли все данные в хранилище (причём 2 раза) и ничего не компенсировали .. причём удаляли только мои...а те папки что "общие" не трогали... + в корзине ни каких следов...и даже в историю действий с Яндекс.Диск не предоставляли мне (и даже разбираться не хотели... могли хотя бы сказать с какого IP сделали это) ...хотя на Я.Диске 300Гб данных было... хорошо что всегда есть бэкапы не только на Я.Серверах.Диске

Ответить
1

Они могли нарушать авторское право? Ещё в договоре с Я.Д. указано, что они оставляют за собой право удалить или заблочить доступ к содержимому и не дают никаких гарантий его сохранности.

Ответить
0

это исключено

Ответить
0

В яндексе 5 тыщ человек, это увеличивает шанс ошибки, надеюсь вырулят и компенсируют челу какнибудь

Ответить

Комментарий удален

0

Я там зарегился, но так и не смог создать виртуалку - тупо писал «Нет доступа для выполнения данной операции»😂. Я подумал: ок, все с вами понятно

Ответить

Комментарий удален

Обсуждаемое
Путешествия
Я нашел лодки из клипа Аллы Борисовны 1978 года
Это короткая заметка о том, как ради клипа «Сонет Шекспира» я отправился в путешествие в другой город.
Новости
Учительница в Альметьевске заклеила первоклассникам рот скотчем. Теперь её действия проверит прокуратура
Педагог уволилась на следующий день по собственному желанию.
Новости
Фото: Торжественное открытие школьного сквера с поролоновыми русалками и тканевым прудом в Сахалинской области
Это обошлось бюджету региона в 500 тысяч рублей.
Популярное за три дня
Новости
В Новосибирске установили забор перед забором
ГИБДД называла такие ограждения обязательными.
Новости
«Медуза» нашла спонсора, из-за которого ФБК признали «иностранным агентом». Он не смог объяснить причину перевода
Кикбоксёр из Испании Роберто Монда не ответил на вопрос, как нашёл реквизиты, не зная русского языка.
Интернет и мемы
Penmanship Porn: коллекция видео с каллиграфией, приносящей эстетическое удовольствие
Пользователи Reddit уже семь лет записывают демонстрации своего красивого почерка, приравнивая ощущения от просмотра к «порно».

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovy", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "ccydt", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "chfbk", "p2": "gnwc" } } } ]