(function(d, ids) {var content = d.querySelector('[data-content-id]');if (content) {var id = +content.getAttribute('data-content-id');if (ids.indexOf(id) === -1) {var topBanner = d.querySelector('.hp-branding-head');var bottomBanner = d.querySelector('.hp-branding-cover');if (topBanner) topBanner.style.display = 'block';if (bottomBanner) bottomBanner.style.display = 'block';}}}(document, [224847]));

Instagram не удалял ваши удалённые фотографии и личные сообщения со своих серверов

Независимый исследователь Сагат Покхарел (Saugat Pokharel) обнаружил в загруженных данных из Instagram фотографии и сообщения, которые он удалил из приложения больше года назад.

В Политике использования данных Instagram не сообщается о том, в течение какого именно времени компания в праве хранить удалённую информацию, однако источник сообщает, что обычно это занимает 90 дней. Также они заявили, что столь длительное хранение данных – это баг, который успешно устранен в этом месяце. Сагат сообщил о нем компании ещё в октябре 2019 года в рамках программы Bug Bounty.

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя.

Тренды интернета, истории из соцсетей, флешмобы, видеоблогеры.
{ "author_name": "badkid", "author_type": "self", "tags": [], "comments": 29, "likes": -15, "favorites": 2, "is_advertisement": false, "subsite_label": "internet", "id": 198634, "is_wide": true, "is_ugc": true, "date": "Fri, 14 Aug 2020 12:25:37 +0300", "is_special": false }
Промо
Киберпанк уже здесь. Что умеют протезы, экзоскелеты и другие устройства для людей с инвалидностью
Как технологии помогают людям с нарушениями здоровья.
Объявление на TJ
0
29 комментариев
Популярные
По порядку
Написать комментарий...
8

Смысл пожизненного хранения удаленных данных заключается в отсутствии фрагментации на серверах. Легче пометить 100кб картинку как удаленную и физически её оставить, чем дробить всю новую информацию и замедлить её скорость чтения.

Ответить
5

Да каждый год последние лет 12 появляется какой-то приколист, который об этом не знает и делает из этого новость

Это они еще не знают, что удаление с диска на их компах так же работает

Ответить

Честный украинец

Andre
2

Перепись специалистов по фрагментации на TJ. Не пишите херни.

Ответить

Честный украинец

Честный
2

Да там же просто будет ФРАГМЕНТааааЦИЯ, будут диски медленно работать, ты что не слышал про такое? А помнишь как мы в детстве диски дефрагментировли, в надежде что игра на них все-таки поместится? Ну воооот, тут тоже самое.

Ответить
0

Честно, поискал твой коммент ниже, не нашел, потрудись объяснить или отдельный пост написать :)

Ответить

Честный украинец

Andre
2

1. Фрагментация дисков – это старая проблема HDD накопителей, которая влияла на производительность последовательного чтения. Для современных накопителей дефрагментация не только не нужна, но и вредна.

2. Стандартный размер дисковой страницы – 4кб. Это неделимый блок файловой системы. Каждая картинка занимает несколько страниц, каждая из которых учитывается отдельно. Смысла экономить на дополнительных 8 байтах адресации, теряя при этом 4кб пространства нет. Самый большой доступный размер страницы который мне известен – 128кб (ZFS). То есть скорее всего картинка занимает по крайней мере целую страницу, а не пакуется блобами внутри одной страницы.

3. Очевидно, что само содержание картинки не обязательно затирать из диска. Но тот факт, что картинка не пропала из индекса существующих картинок – это именно баг, и фрагментация тут уж точно не причем. Скорее всего Instagram окончательно удалял помеченные как удаленные в течении года картинки по расписанию, и этот скрипт не работал как ожидается.

4. Такого понятия как фрагментация индексов не существует – базы данных и так перебалансируют деревья индексов в реальном времени, даже если вы только добавляете и не удаляете данные. Таким образом, удаление изображения из индекса не должно сказываться на производительности в худшую сторону.

5. Единственная причина, по которой удаленное значение может остаться в БД, которую я вижу – использование MVCC БД (Multiversion concurrency control), таких как CouchDB. Но их использование оправданно только при необходимости обеспечения изоляции транзакций, которая не нужна для хранения картинок Instagram.

Ответить
0

По второму пункту: файловые системы давно используют экстенты - цельные группы блоков, размер которых плавает в очень широких диапазонах. Созданы экстенты в т.ч. и для борьбы с фрагментацией.

Ответить

Честный украинец

alexfer…
1

Экстенты не борятся с фрагментацией данных – файловые системы с ними и без них в любом случае пытаются записать файл последовательно настолько, насколько это возможно. Экстенты позволяют экономить на inode, но при этом являются дополнительным механизмом адресации, и не заменяют классический.

Ответить

Заработный жар

Честный
0

Секта свидетелей фрагментации

Ответить

Долгий Гоша

Andre
1

На SSD не так.

Ответить
0

Теперь знают, спасибочки

Ответить

Заработный жар

Марк
2

ELI5, кто-нибудь?

Ответить
2

Да ну нафиг. Если из БД удалить запись, то ничего на диске не фрагментируется.

Удаление из БД не значит, что с диска это удаляется и на это место что-то потом пишется. На диске остаётся, но удаленные данные из БД уже нельзя вернуть запросом.

А кто говорит, что не удаляет из-за фрагментации это лапша для легковерных, чтобы объяснить сбор данных)
Гугл тоже как-то говорил, что случайно из-за бага снифал уличные вайфай сети. Ага, терабайты данных получал и хранил чисто случайно))

Ответить
0

Так там же просто на место старых «единиц и нулей» записываются новые «единицы и нули», говоря простым языком

Ответить

Немецкий Петя

Марк
0

Почему тогда каждый раз подобные штуки объясняют "багом" и кабанчиком чинят?

Ответить
2

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя
и прислали сообщение "ебать спасибо , братишка"

Ответить

Предвыборный диод

roos
3

 ебать спасибо, братишка, классный член кстати

Ответить
2

Можно вечно смотреть как горит огонь, как течёт вода и как зумеры открывают для себя интернет.

Ответить
1

Никто в этой параше не сидит. Для кого новость?

Ответить

Предвыборный диод

Eldar
0

Ну да, миллиард двести ежемесячно — это, считай, никто

Ответить
0

Сколько из них живых людей, а не китайской миллионой аудитории ботов с клик-ферм для подписок с раскруткой и закупленной массы лайк-ту-лайк аккаунтов?

Ответить
0

Ты не сидишь != никто не сидит.
Хотя я сам не понимаю, как можно пользоваться сервисом, который показывает сраное окошко "Войдите, чтобы посмотреть публикации" и, будучи сервисом картинок, не даёт их сохранить хотя бы через пкм -> сохранить(только через API или танцы с бубном).

Ответить

Безумный инструмент

1

Неплохо.
А вконтакт в принципе ничего не удаляет, всё хранится.

Ответить
0

"Instagram не удаляет ваши фотографии и личные сообщения со своих серверов в течение года"

"фотографии и сообщения, которые он удалил из приложения больше года назад."

Так в течении года (это меньше года) или больше года?

Ответить

Предвыборный диод

Михаил
–1

Он удалил больше года назад. Заголовок надо подправить, да, спасибо!

Ответить
0

"Длительное хранение - баг "

Блин, ну вот опять эти мерзкие баги, о которых добрый и светлый фб не знал. Ну что за невезение

Ответить

Далекий каякер

0

...как и любой другой сколь-нибудь популярный сервис??
Я сейчас сервис разрабатываю, мы и файлы и записи в бд просто помечаем удалёнными, чтоб не дёргать фрагментацию и VACUUM. Совершенно стандартная практика любой платформы. 

Ответить
0

Нормальные БД не фрагментируют блоб с данными, он постоянно растет и не уменьшается от удаления записей)
Чтобы уменьшить надо склонировать базу.

Ответить

Ничтожный парфюмер

0

Невозможно удалить то, чего нет ( ͡° ͜ʖ ͡°)

Ответить
Обсуждаемое
Истории
Гонг, волчок и минута: как за 45 лет поменялась игра «Что? Где? Когда?»
Путь от семейной викторины до главного интеллектуального шоу с конфликтами и скандалами.
Twitter
Запись в подсайте Twitter
Люди вышли на акции протеста из-за решения конституционного суда о запрете абортов в Польше (даже по мед. показаниям).
Спорт
Хабиб Нурмагомедов победил американца Гэтжи, сохранил чемпионский титул и объявил о завершении карьеры
Российский боец пообещал это матери после смерти своего отца.
Популярное за три дня
Истории
Гонг, волчок и минута: как за 45 лет поменялась игра «Что? Где? Когда?»
Путь от семейной викторины до главного интеллектуального шоу с конфликтами и скандалами.
Новости
Белорусы вышли на улицы в последний день перед «народным ультиматумом». Главное
Власти уже перекрыли метро, отключили связь в Минске и начали задерживать журналистов.
Новости
В МГУ нашли следы распада ракетного топлива в пробах воды с Камчатки. Раньше учёные отвергали эту версию
В пробах обнаружили два продукта распада известного компонента ракетного топлива.
null