Из-за сбоя не открывались двери, но обошлось без «болгарки»: как Facebook стал жертвой своего же «умного» офиса
Крупный сбой парализовал не только работу соцсетей, но и всю компанию: сотрудники не могли зайти в офис и «переговорки», общаться через внутренние сервисы и добраться до серверов.
4 октября произошёл крупный сбой в Facebook — почти шесть часов не работала сама соцсеть, а также Messenger, Instagram и WhatsApp. Резкий наплыв пользователей на платформы конкурентов в свою очередь привёл к перебоям твиттера и тиктока, а также нагрузке на другие сервисы. Настолько масштабный сбой стал поводом для обсуждений и шуток.
Но проблема была не только в отсутствии доступа к Facebook со стороны пользователей. Вместе с соцсетями «упали» все внутренние системы и инструменты, необходимые для работы и коммуникации сотрудников компании, сообщила журналистка The New York Times Шира Френкель, автор книги про Facebook. По её данным, оказались затронуты даже системы безопасности, внутренний календарь и списки контактов сотрудников.
Источники Френкель пожаловались, что не могли звонить с выданных в Facebook телефонов и получать письма от людей вне компании. Внутренняя платформа Workplace тоже «упала», что буквально остановило работу тысяч сотрудников.
Работникам Facebook пришлось обратиться к «внешним» сервисам, включая Discord, LinkedIn и Zoom. Журналист Associated Press Филлип Краутер также сообщил, что коммуникация внутри Facebook несколько часов проходила через текстовые сообщения и Outlook. «Здесь полный хаос», — передал он слова источника.
Более того: некоторые сотрудники Facebook сообщили, что не смогли попасть в офис, потому что их электронные пропуска перестали работать. А те, кто утром уже был в здании, не могли обсудить проблему и пути её решения в конференц-залах — двери по умолчанию заблокированы, и открывали их с помощью подключённого к интернету планшета. Журналист NBC Кевин Коллир заметил, что Facebook помимо всего прочего стал жертвой собственного офиса, сделанного по принципу «интернета вещей».
Какое-то время специалисты Facebook не могли оценить масштаб проблемы и исправить её, потому что серверные зоны оказались заблокированы. Согласно внутреннему сообщению компании, доступ к которому получила The New York Times, небольшая команда сотрудников отправилась в дата-центр в Санта-Кларе для «ручной перезагрузки» серверов.
Дата-центр Facebook в Орегоне Фото CNet
Во время сбоя на Reddit появился пост от якобы участника «спасательной команды»: он рассказал в сабреддите r/sysadmin о том, как выглядит работа над устранением проблемы изнутри, но затем удалил комментарии и аккаунт в целом. Копии сообщений остались в твиттере и на форумах.
Есть люди, которые пытаются получить доступ к маршрутизаторам пиринговой сети. Но люди с физическим доступом отделены от тех, кто знает, как нужно аутентифицироваться в системе, и от тех, кто знает, что вообще нужно сделать [для исправления проблемы]. Так что есть большая логистическая проблема с «объединением» этих знаний.
Изначально в материале The New York Times утверждалось, что сотрудникам Facebook пришлось задействовать «болгарку», чтобы получить физический доступ к серверному оборудованию в Санта-Кларе. Но затем журналисты опровергли эту информацию.
#facebook #соцсети