Масштабное падение Facebook, Instagram, WhatsApp и всех остальных. Почему и как это произошло — объясняют IT-специалисты

Как произошёл, вероятно, крупнейший сбой из-за потери инфраструктурной сети в истории, и что это говорит об устройстве интернета и рисках для его стабильности.

Вечером 4 октября в работе сервисов компании Facebook — одноимённой социальной сети, Instagram и WhatsApp — произошёл глобальный сбой. Доступ к сервисам оборвался по всему миру примерно на шесть часов — это крупнейший сбой в истории компании. Официальной причиной неполадок назвали неверную конфигурацию маршрутизаторов.

Facebook восстановился и благополучно работает, но из-за множества терминов и тонкостей сбоя сходу сложно понять, что же стало его причиной, и может ли он повториться в будущем у других сервисов.

TJ пообщался с IT-специалистами о том, как произошёл, вероятно, самый масштабный сбой из-за потери инфраструктурной сети в истории, что это событие может рассказать об устройстве интернета, и почему между Facebook и Роскомнадзором проводят аналогии.

Согласно официальному сообщению Facebook по факту сбоя, специалисты неудачно обновили конфигурацию магистральных маршрутизаторов, которые координируют сетевой трафик. В результате произошёл разрыв связи, который «эффектом домино нарушил связь между дата-центрами». При этом работать перестали не только пользовательские сервисы, но и внутренние инструменты компании, поэтому восстановление затянулось.

Большую роль в падении фейсбука сыграл протокол BGP. Как он устроен:

Другой важный аспект падения фейсбука касается DNS-записей. Как они устроены:

Весь интернет поделён на соты, пчелиные соты. Каждая сота — это своя сеть, сеть вашего провайдера. Все эти соты пронумерованы: например, провайдеры говорят, что у нас есть адреса в соте номер №1. Другие провайдеры говорят тоже самое. Соты обмениваются адресами и образуется большая табличка с множеством адресов, которые передаются между провайдерами. Получается коммуникация.

Этот обмен называется протокол BGP. Он раскидывает пограничные маршрутизаторы, которые связываются с другими пограничными маршрутизаторами, перекидываются информацией, какие у кого соты, и прокидывают между собой наш трафик. Если вы сломаете этот пограничный маршрутизатор, то всё упадёт. О вас и вашем сервисе никто больше не знает, так как сеть упала.

Люди часто думают, что интернет — это такое сквозное полотно, но на самом деле это большой набор сетей, которые связаны друг с другом довольно хитрым образом. Есть специальные протоколы которые позволяют понять компьютерам, как из одной части сети отправить данные в другую часть сети. К ним относится BGP — это стандарт общения маршрутизаторов, которые рассказывают друг другу, как правильно отправить данные.

Любое крупное изменение в BGP системе приведёт к тому, что сервера потеряют видимость друг друга. Что и произошло — сеть интернета перестала видеть сеть внутри фейсбука, а разработчики фейсбука ведь тоже пользуются внешней сетью соцсети, например, через своего провайдера. Когда фейсбук сказал, что не знает, как попадать в нужную ему подсеть, чтобы изменить нужные ему настройки маршрутизации, всё и повалилось.

С BGP вообще много проблем. Существует понятие утечки BGP маршрута, когда сеть начинает анонсить как доступную другую сеть (они независимы друг от друга), а она маленькая и не может справиться со всем трафиком. Подобное случилось в 2017 году, когда упали сервисы Google: японский оператор неправильно настроил BGP, из-за чего мировой трафик ломанулся через этого японского оператора и успешно завалил его, а из других участков Google не был доступен. Но падение длилось минут 15.

Когда происходит такое изменения сети, как в случае с Фейсбуком, ребята, которые делают эти настройки, оказались в положении человека, забывшего дома ключи. Конфигурация сети изменилась, и они уже не могли физически попасть через сеть на эти компьютеры, чтобы поменять настройки обратно. Простого способа, кроме как прийти ногами к компьютерам, что занимаются маршрутизацией сети, нет. В условиях удаленки люди отвыкли от того, что нужно куда-то ногами идти. Всё это привело к таким задержкам.

Как часто происходит в случае таких аварий, совпали несколько факторов: инженеры потеряли доступ к оборудованию: по данным журналистов, они долго не могли попасть к офис для лучшей координации действий и к самому оборудованию. Пока официальных данных от Facebook нет, но из-за того, что проблема связана с протоколом маршрутизации интернета BGP, она оставила много следов, по которым примерно можно понять хронологию событий.

Данные от компании CloudFlare, которая как раз фиксировала проблему извне, показывают, что инженеры стали применять изменения на пограничных маршрутизаторах сети.

У них первоначально сломалась инфраструктура и внутренние сервисы, и это всё потянуло за собой, «взрыв» произошёл изнутри, поэтому они не могли так долго починить. Могло сломаться оборудование, которое не рассчитали и не учли, так что это повлекло за собой некие последствия. Возможен и человеческий фактор. Пока они сами не скажут, а они могут вообще никогда не сказать, мы ничего не узнаем.

На самом деле, не так уж и долго они не могли починить, просто раньше не было систем такого масштаба на три миллиарда пользователей. А подобные сбои случались и раньше: в 2001 году мессенджер Windows Live Messenger упал на семь дней, в августе 2008 года Gmail пролежал около шести часов. Я помню это хорошо: контора потеряла рабочий день, потому что ничего не работало.

Когда вы пишете в браузере Facebook.com, браузер идёт узнавать, на каких физических адресах находится этот адрес. Для этого нужна DNS-система, система имён, которая выдаёт IP-адреса.

Когда сервера не знают, куда обратиться, они обращаются в глобальную систему имён, а оттуда в систему NS-серверов, которые обычно управляются самой компанией (если она крупная). У фейсбука были такие NS-сервера, которые сообщали, что такое Facebook, WhatsApp или Инстаграм. Но так как фейсбук [невольно] выключил всю свою сеть из общего интернета, эти сервера стали недоступны. И потому ни одно из приложений по адресу Facebook.com не могло найти ничего.

DNS в этой истории почти не играет роли. Просто после падения сразу стало заметно, что домен Facebook.com пропал, а пропал он потому, что сервера DNS у Фейсбука тоже зависели от внутренней сети BGP, и они тоже упали.

Это просто перебои, потому что пользователи фейсбука и других сервисов перетекли в другие. Но перераспределение трафика могло повлиять на работу многих провайдеров: мы привыкли, что на круговом движении машина движется направо, а тут что-то поменялось, и часть провайдеров могла с этим не справиться.

Причины, почему пострадали другие сервисы, могут быть какие угодно. Возможно, взаимосвязь и есть, но мы её не видим и, возможно, никогда не узнаем. Например, сайт Ozon не грузился потому, что он для загрузки требовал законнектиться к фейсбуку.

Очень многие соцсети могли так же работать: из-за не очень грамотного встраивания в код авторизации через фейсбук страница не могла отрендериться, пока не подтянется код, а ему неоткуда подтянуться. Внешне для пользователей могло показаться, что сервис не работает. Конечно, был и наплыв. Telegram во время падения Facebook рассказал о 50 миллионах регистраций. Я вообще не понимаю, как он выжил.

У перебоев других сервисов две причины: во-первых, многие сайты используют скрипты, которые размещаются у Facebook, и из-за этого такие сайты перестали загружаться. Их владельцы стали менять источник загрузки, и после этого они заработали. Крупные сервисы просто оказались перегружены из-за наплыва пользователей, потому что им сложно быстро масштабироваться.

Это просто перетекание пользователей из фейсбука и инстаграма на другие ресурсы. Кроме того, вчера наблюдалась огромная нагрузка на колл-центры операторов. Люди, далёкие от технологий, как размышляют: «у меня не открывается фейсбук, значит сломался интернет, а интернет мне предоставляет Ростелеком». Звонишь туда и начинаешь орать почему не работает фейсбук, и всё каким-то волшебным образом должно починиться. Конечно, не чинится, потому что это разные компании, но люди начинают обрывают телефоны служб техподдержки операторов связи.

Кажется, сбылся анекдот. Мальчик пришёл в магазин за сметаной с бидоном, её положили, спросили, где денюжка, а он отвечает — на дне бидончика. У них получилось, что запасной план оказался на дне бидончика. Вся информация о сбоях (как починить и где починить) оказалась там куда они попасть не могли.

Фейсбук — крупнейшая телекоммуникационная система на планете, которая когда-либо существовала. Можно сделать парням скидку, ведь фиг знает, как этим управлять. На подобные случаи у компаний есть Disaster plan recovery, которая висит у всех инженеров на стене: в случае чего-то «выдернуть шнур и выдавить стекло» и вот это всё.

Проблема у фейсбука кроме централизации была ещё в том, что компания большая, маршрутизаторов много, и они находились в разных точках, а доступ к такому оборудованию есть только у конкретных людей. Удалённо им переслать нельзя, и пока они добирались до места лично, прошло какое-то время. Плюс у них отказала инфраструктура контроля учёта доступа. Шанс один на миллион, что такое произошло, но это произошло.

В таких компаниях предусмотрены строгие инструкции, которые должны предупреждать возникновение таких проблем. Есть множество инструкций на случай, если проблема всё же случилась, и обычно есть план B, C и D. То, что всё произошло именно так — очень удивительно.

Да, такие случаи происходили и происходят у различных IT-корпораций. И Google лажал, и Facebook лажал, и кто только не лажал. Постоянно где-то что-то падает. Чем больше IT-системой кто-то пользуется, тем больше она подвержена нагрузкам и давлению. С BGP проблемы случаются не по одному разу в день, но не такого масштаба. В корпорациях уровня фейсбука продуманная система, есть люди, которые занимаются решением этих вопросов. Их называют — NOC (Network Operation Center), их работа начинается, когда происходит что-то [из ряда вон]. А это происходит постоянно.

Подобное происходит регулярно и часто, в том числе с участием BGP, российские корпорации тоже от этого страдают периодически. Примерно половина всех отключений крупных продуктов связана с проблемами BGP.

В тех компаниях, где занимаются своим продуктом, его инфраструктурой, где любят и уважают своих пользователей, вероятность таких крупных сбоев меньше. Понятно, что неполадки бывают у всех, но то, сколько они продлятся, зависит в первую очередь от этого.

Во-первых, не все компании открыты, Фейсбук вообще не открытая компания в этом плане, они ни разу писали что у них случилось до конца, и я не уверен, что здесь мы до конца узнаем, что произошло. Это общая проблема — большая корпорация, особенно если она около государственная, или если какие-то государственные разборки, ничего не скажет.

Пример — 14 марта 2018 года сайт «ТрансТелеКом» (телекоммуникационная компания, 99% её акций принадлежат РЖД) падает из-за блокировок Роскомндазора. У всех провайдеров на руках есть доказательства, но официально компания ничего не сказала. Просто молчок. А если возвращаться к фейсбуку, то я считаю, что это самый масштабный сбой из-за потери инфраструктурной сети в истории.

Нет. Сервисы продажи доменных имён работают следующим образом — если доменное имя занято, то они его не продают. А если его не существует, то вы можете его купить, и то, что Facebook.com перестал формально существовать в интернете, привело к тому, что на подобных сервисах появилась возможность «купить» за домен, потому что он как бы свободный. На деле никто никому ничего не продал, это физически невозможно.

Чистейший пранк. Физически домен нельзя было бы продать. Конечно, бывают случаи, когда у небольших компаний/проектов угоняют домены, которые они забыли продлить, этим занимаются киберсквоттеры, причём это делается довольно быстро они составляю таблицу доменов и скрипты следят когда домен освобождается и тут же регистрируют его. Но вероятность того, что подобное произойдёт с фейсбуком, который ещё и сам регистратор доменов, стремится к нулю.

В конце сентября в сенате США вновь прошли слушания с участием руководителей Facebook, где власти задавали вопросы (а порой и открыто обвиняли сервис) об устройстве соцсети. Там поднимали темы негативного влияния, которое проект якобы оказывает на несовершеннолетних пользователей, жестокий контент и засилье фейковых новостей в фейсбуке.

4 октября бывшая сотрудница компании Фрэнсин Хауген обвинила Facebook в пренебрежении безопасностью людей ради выгоды, подкрепив слова корпоративными документами. На фоне этих скандалов и крупного сбоя соцсети, в интернете, в том числе и в телеграм-каналах, стали появляться размышления на тему возможного саботажа фейсбука.

Официально представители Facebook заявили, что вчерашний сбой не вызван действиями злоумышленников.

Да, вариант саботажа возможен, и все упомянули уже разбирательство в сенате. Внутренний саботаж мог быть с этим связан, а мог быть не связан, и вообще ситуация с внутренним врагом кажется многовероятной. Я не буду на 100% это утверждать, потому что тут и техника могла сломаться, но в принципе внутренний человек мог очень красиво всё сделать.

Очень теоретически это возможно, но на деле вряд ли. Инженеры, которые работают с BGP и маршрутизацией, это супер доверенные сотрудники, которые давно в компании, и если бы это это реально был саботаж, этот человек не то что никогда не устроился на работу, он бы сел на много лет. То есть, это люди, которые всегда под большим присмотром. Так что нет, это не саботаж, а просто обычная история с ошибками.

Не удивлюсь, если это так. Сейчас случился очередной скандал с фейсбуком, девушка [Фрэнсин Хауген] слила внутренние документы. Фейсбук — это же ещё и исследовательская корпорация, там социологи пасутся толпами, проводится много исследований, и эти бумаги утекли.

И в теории, и даже на практике — такое возможно. Это зависит от организации уровней доступов инженеров к оборудованию. Важно понимать, что почти во всех компаниях есть некоторая группа инженеров, которая имеет полный доступ ко всему сетевому оборудованию.

Любой из них мог устроить такую проблему. Такую вероятность нельзя исключать, но я бы не рассматривал такую версию, по крайней мере, пока. Как минимум потому, что доказать это будет проще простого, а ущерб от падения такой, что человек может оказаться за решёткой пожизненно.

DNS — это критическая структура, поэтому операторы больших доменных зон строят сложные отказоустойчивые структуры. Но с фейсбуком иначе, они всё усложнили. Во-первых, они зацентрализовали всё на себе. Все сервера их проектов, в том числе WhatsApp, Instragram и Workplace (приложение сотрудников фейсбука), «хранятся» в одном месте. Это связано с политикой компании по интеграции всех своих продуктов. Подобная гиперцентрализация — один из факторов, который привела к сбою системы.

Другие интернет-сервисы стремятся работать распределено, многократно друг друга резервирую: как раз для того, чтобы если NS-зона отказала для условного фейсбука, она будет работать для инстаграма или WhatsApp. Но в Facebook пошли по пути гиперцентрализации, и вот результат. К этой же ситуации ведёт нас Роскомнадзор.

В законе об автономном рунете сказано, что в случае «угроз» Роскомнадзор возьмёт на себя централизованное управление рунетом. Ведомство сможет управлять маршрутизацией трафика и блокировать доступ к тому или иному сайту без предупреждения.

Именно потому, что DNS не конфиденциален, а открыт, любой ресурс в интернете можно заблокировать (при условии, что информация о нём публична). Сейчас как раз идёт процесс осмысления, что, возможно, эта система может быть немного неправильной, поскольку все DNS-запросы открыты, это позволяет собирать данные о пользователях, и эти данные есть и у операторов связи. Поэтому это всё можно собирать и вести слежку.

Идёт процесс по разработке и внедрению более защищённых протоколов, грубо говоря, зашифрованных DNS. При этих условиях становится очень трудно узнать, на какой сайт заходил человек, и в этом случае блокировки станут фактически невозможными, потому блокировать придётся наугад.

Сбои, связанные с DNS (как в случае с Фейсбуком) периодически происходят и с конкретными сервисами, и в целом. DNS достаточно распределённая сеть корневых серверов, которые не зависят от конкретной страны или даже нескольких. [Однако] безопасность и конфиденциальность DNS — одна из самых больших проблем современного интернета.

Практически все DNS-запросы происходят в открытом виде и их могут перехватывать третьи лица, которые имеют доступ к каналу связи, например, провайдеры, спецслужбы или хакеры. Более того, можно подменять ответ на ложный, но не имеет большого смысла, потому что в браузер покажет предупреждение о неправильном сертификате, зато имеет смысл с целью цензуры, чем пользуется множество государств с не очень развитой системой блокировок.

Это, как и другие подобные инициативы, ломает суть интернета, который изначально задумывался как децентрализованная сеть, и сильно снижает стабильность его работы. Уже появлялись сообщения из-за сбоев в работе рунета из-за проблем с государственным DNS. В целом, DNS — это старая технология, которая не отвечает запросам современного мира. Есть технологии, которые позволяют шифровать DNS-запросы, вроде DoH или DNSSEC, но их внедрение идёт очень медленно.

Централизация опасна и противоречит сути интернета, но есть идеалы, а есть суровая реальность, когда большинство сервисов сосредоточены в США и принадлежит бигтех-компаниям. Это плохо, но пока в мире не появится полноценной финансовой и технологической альтернативы США, ситуация в этом смысле будет только ухудшаться.

И всё, что они делает с рунетом — ТСПУ (то есть, государственный DPI), централизация DNS, СОРМ — делает его менее надёжным. Особенно любопытно, что всё это подаётся под предлогами повышения его стабильности и устойчивости, что является ложью. К сожалению, в этом плане пока нет поводов для оптимизма ни в России, ни в остальном мире — скорее, будет только хуже.

Сбой фейсбука — это показательное выступление систем гиперцентрализации. Другой пример этому — Центр мониторинга и управлению сетью Роскомнадзора, [который создали в рамках закона об Автономном рунете]. Любой сбой в этом центре мониторинга приведёт к тому, что мы увидели в случае с фейсбуком. Можно прямо ссылаться — «Хотите как в Фейсбуке»?

Есть очень много систем, которые делают простую штуку: если вы меняете конфигурацию, то примерно через 15 минут вам нужно руками зайти и подтвердить эту конфигурацию. Если вы этого не делаете, то изменения конфигурации сбрасываются. Такими системами пользуется множество больших корпораций, Facebook решил этого не делать, вот и пострадал.

Во избежания таких случаев следует пересмотреть планы по Disaster Recovery, внести коррективы, снизить уровень централизации, добавить децентрализации. Планы которые смотрят в сторону централизации и управления сетей должны быть точно пересмотры, потому что пока, как мы видим, это приводит к серьёзным проблемам.

Американские бигтех-компании последнее время всё больше погружаются в политику и сращивание с государством, нежели фокусируются на продукте и его качестве. Я понимаю, что эта мысль может показаться далёкой от случившегося, но считаю, что главная причина произошедшего — именно в этом. Конечно, такие сбои могут быть и происходят у каждого сервиса, но в данном случае мы видим полный хаос в организации работы — как в случае с причиной сбоя, так и во время его устранения.

Я думаю, эта тема станет довольно популярной у [IT-компаний] для докладов в духе «Как мы положили сеть». Многие пересмотрят свои нормативы после проверок. Я очень сочувствую фейсбуку, понятно, что люди не спят сутками, у кого-то нервные срывы, и всё в этом духе, но внешне ситуация выглядит очень смешно. Так что, думаю, это станет обсуждаемой темой, и даже я где-нибудь посмотрю — вдруг у меня что-то упадёт и не сработает.

В подготовке материала участвовала Яна Ломакина.

#соцсети #Facebook #instagram #whatsapp #рунет #блокировки #роскомнадзор #интервью #лонгриды