Instagram не удалял ваши удалённые фотографии и личные сообщения со своих серверов

Независимый исследователь Сагат Покхарел (Saugat Pokharel) обнаружил в загруженных данных из Instagram фотографии и сообщения, которые он удалил из приложения больше года назад.

В Политике использования данных Instagram не сообщается о том, в течение какого именно времени компания в праве хранить удалённую информацию, однако источник сообщает, что обычно это занимает 90 дней. Также они заявили, что столь длительное хранение данных – это баг, который успешно устранен в этом месяце. Сагат сообщил о нем компании ещё в октябре 2019 года в рамках программы Bug Bounty.

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя.

Тренды интернета, истории из соцсетей, флешмобы, видеоблогеры.
{ "author_name": "badkid", "author_type": "self", "tags": [], "comments": 29, "likes": -13, "favorites": 2, "is_advertisement": false, "subsite_label": "internet", "id": 198634, "is_wide": true, "is_ugc": true, "date": "Fri, 14 Aug 2020 12:25:37 +0300", "is_special": false }
Конференция «Персональные данные: сбор, кража и защита»
6 октября Онлайн Бесплатно
Объявление на TJ
0
29 комментариев
Популярные
По порядку
Написать комментарий...
7

Смысл пожизненного хранения удаленных данных заключается в отсутствии фрагментации на серверах. Легче пометить 100кб картинку как удаленную и физически её оставить, чем дробить всю новую информацию и замедлить её скорость чтения.

Ответить
5

Да каждый год последние лет 12 появляется какой-то приколист, который об этом не знает и делает из этого новость

Это они еще не знают, что удаление с диска на их компах так же работает

Ответить
2

Перепись специалистов по фрагментации на TJ. Не пишите херни.

Ответить
2

Да там же просто будет ФРАГМЕНТааааЦИЯ, будут диски медленно работать, ты что не слышал про такое? А помнишь как мы в детстве диски дефрагментировли, в надежде что игра на них все-таки поместится? Ну воооот, тут тоже самое.

Ответить
0

Честно, поискал твой коммент ниже, не нашел, потрудись объяснить или отдельный пост написать :)

Ответить
2

1. Фрагментация дисков – это старая проблема HDD накопителей, которая влияла на производительность последовательного чтения. Для современных накопителей дефрагментация не только не нужна, но и вредна.

2. Стандартный размер дисковой страницы – 4кб. Это неделимый блок файловой системы. Каждая картинка занимает несколько страниц, каждая из которых учитывается отдельно. Смысла экономить на дополнительных 8 байтах адресации, теряя при этом 4кб пространства нет. Самый большой доступный размер страницы который мне известен – 128кб (ZFS). То есть скорее всего картинка занимает по крайней мере целую страницу, а не пакуется блобами внутри одной страницы.

3. Очевидно, что само содержание картинки не обязательно затирать из диска. Но тот факт, что картинка не пропала из индекса существующих картинок – это именно баг, и фрагментация тут уж точно не причем. Скорее всего Instagram окончательно удалял помеченные как удаленные в течении года картинки по расписанию, и этот скрипт не работал как ожидается.

4. Такого понятия как фрагментация индексов не существует – базы данных и так перебалансируют деревья индексов в реальном времени, даже если вы только добавляете и не удаляете данные. Таким образом, удаление изображения из индекса не должно сказываться на производительности в худшую сторону.

5. Единственная причина, по которой удаленное значение может остаться в БД, которую я вижу – использование MVCC БД (Multiversion concurrency control), таких как CouchDB. Но их использование оправданно только при необходимости обеспечения изоляции транзакций, которая не нужна для хранения картинок Instagram.

Ответить
0

По второму пункту: файловые системы давно используют экстенты - цельные группы блоков, размер которых плавает в очень широких диапазонах. Созданы экстенты в т.ч. и для борьбы с фрагментацией.

Ответить
1

Экстенты не борятся с фрагментацией данных – файловые системы с ними и без них в любом случае пытаются записать файл последовательно настолько, насколько это возможно. Экстенты позволяют экономить на inode, но при этом являются дополнительным механизмом адресации, и не заменяют классический.

Ответить
0

Секта свидетелей фрагментации

Ответить

Научный меч

Andre
1

На SSD не так.

Ответить
0

Теперь знают, спасибочки

Ответить
2

ELI5, кто-нибудь?

Ответить
2

Да ну нафиг. Если из БД удалить запись, то ничего на диске не фрагментируется.

Удаление из БД не значит, что с диска это удаляется и на это место что-то потом пишется. На диске остаётся, но удаленные данные из БД уже нельзя вернуть запросом.

А кто говорит, что не удаляет из-за фрагментации это лапша для легковерных, чтобы объяснить сбор данных)
Гугл тоже как-то говорил, что случайно из-за бага снифал уличные вайфай сети. Ага, терабайты данных получал и хранил чисто случайно))

Ответить
0

Так там же просто на место старых «единиц и нулей» записываются новые «единицы и нули», говоря простым языком

Ответить

Судебный глобус

Марк
0

Почему тогда каждый раз подобные штуки объясняют "багом" и кабанчиком чинят?

Ответить
2

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя
и прислали сообщение "ебать спасибо , братишка"

Ответить

Силовой щит

roos
2

 ебать спасибо, братишка, классный член кстати

Ответить
2

Можно вечно смотреть как горит огонь, как течёт вода и как зумеры открывают для себя интернет.

Ответить
1

Никто в этой параше не сидит. Для кого новость?

Ответить

Силовой щит

Eldar
0

Ну да, миллиард двести ежемесячно — это, считай, никто

Ответить
0

Сколько из них живых людей, а не китайской миллионой аудитории ботов с клик-ферм для подписок с раскруткой и закупленной массы лайк-ту-лайк аккаунтов?

Ответить
0

Ты не сидишь != никто не сидит.
Хотя я сам не понимаю, как можно пользоваться сервисом, который показывает сраное окошко "Войдите, чтобы посмотреть публикации" и, будучи сервисом картинок, не даёт их сохранить хотя бы через пкм -> сохранить(только через API или танцы с бубном).

Ответить

Нищий шмель

1

Неплохо.
А вконтакт в принципе ничего не удаляет, всё хранится.

Ответить
0

"Instagram не удаляет ваши фотографии и личные сообщения со своих серверов в течение года"

"фотографии и сообщения, которые он удалил из приложения больше года назад."

Так в течении года (это меньше года) или больше года?

Ответить

Силовой щит

Михаил
–1

Он удалил больше года назад. Заголовок надо подправить, да, спасибо!

Ответить
0

"Длительное хранение - баг "

Блин, ну вот опять эти мерзкие баги, о которых добрый и светлый фб не знал. Ну что за невезение

Ответить

Алюминиевый Илья

0

...как и любой другой сколь-нибудь популярный сервис??
Я сейчас сервис разрабатываю, мы и файлы и записи в бд просто помечаем удалёнными, чтоб не дёргать фрагментацию и VACUUM. Совершенно стандартная практика любой платформы. 

Ответить
0

Нормальные БД не фрагментируют блоб с данными, он постоянно растет и не уменьшается от удаления записей)
Чтобы уменьшить надо склонировать базу.

Ответить

Научно-Технический клуб

0

Невозможно удалить то, чего нет ( ͡° ͜ʖ ͡°)

Ответить
Обсуждаемое
Истории
Cмерть без паспорта: история «острова людоедов» времён советской паспортной кампании
6 тысяч человек депортировали в Сибирь и высадили на остров без еды, убежища и инструментов. В диких условиях выжили чуть больше 2 тысяч.
Новости
Историку Юрию Дмитриеву ужесточили наказание по делу о насилии. Ему увеличили срок с 3,5 до 13 лет колонии
Два других дела, по которым Дмитриева оправдали, отправили на пересмотр.
Новости
Минобороны Армении: турецкий истребитель сбил армянский военный самолёт на территории страны
Пилот погиб.
Популярное за три дня
Новости
Эммануэль Макрон призвал Александра Лукашенко добровольно покинуть пост президента
«Очевидно, что Лукашенко должен уйти», — сказал Макрон журналистам в преддверии своего визита в Литву и Латвию.
Новости
Der Spiegel: Меркель тайно навестила Навального в «Шарите»
Издание заявило, что таким «жестом» канцлер Германии подчеркнула «солидарность немецкого правительства» с основателем ФБК.
Дизайн и архитектура
«Эстетика и вкус. Помним, скорбим»: жители Владивостока принесли траурные венки к гранитным скамейкам в центре города
Они считают, что такие нововведения убивают красоту Владивостока.

Комментарии

null