Ищем разработчика, который без ума от JavaScript и клёвых анимаций
(function(d, ids) {var content = d.querySelector('[data-content-id]');if (content) {var id = +content.getAttribute('data-content-id');if (ids.indexOf(id) === -1) {var topBanner = d.querySelector('.hp-branding-head');var bottomBanner = d.querySelector('.hp-branding-cover');if (topBanner) topBanner.style.display = 'block';if (bottomBanner) bottomBanner.style.display = 'block';}}}(document, [224847]));

Instagram не удалял ваши удалённые фотографии и личные сообщения со своих серверов

Независимый исследователь Сагат Покхарел (Saugat Pokharel) обнаружил в загруженных данных из Instagram фотографии и сообщения, которые он удалил из приложения больше года назад.

В Политике использования данных Instagram не сообщается о том, в течение какого именно времени компания в праве хранить удалённую информацию, однако источник сообщает, что обычно это занимает 90 дней. Также они заявили, что столь длительное хранение данных – это баг, который успешно устранен в этом месяце. Сагат сообщил о нем компании ещё в октябре 2019 года в рамках программы Bug Bounty.

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя.

Тренды интернета, истории из соцсетей, флешмобы, видеоблогеры.
{ "author_name": "badkid", "author_type": "self", "tags": [], "comments": 29, "likes": -15, "favorites": 2, "is_advertisement": false, "subsite_label": "internet", "id": 198634, "is_wide": true, "is_ugc": true, "date": "Fri, 14 Aug 2020 12:25:37 +0300", "is_special": false }
Объявление на TJ
0
29 комментариев
Популярные
По порядку
Написать комментарий...
8

Смысл пожизненного хранения удаленных данных заключается в отсутствии фрагментации на серверах. Легче пометить 100кб картинку как удаленную и физически её оставить, чем дробить всю новую информацию и замедлить её скорость чтения.

Ответить
5

Да каждый год последние лет 12 появляется какой-то приколист, который об этом не знает и делает из этого новость

Это они еще не знают, что удаление с диска на их компах так же работает

Ответить

Одинаковый бинокль

Andre
2

Перепись специалистов по фрагментации на TJ. Не пишите херни.

Ответить

Одинаковый бинокль

Одинаковый
2

Да там же просто будет ФРАГМЕНТааааЦИЯ, будут диски медленно работать, ты что не слышал про такое? А помнишь как мы в детстве диски дефрагментировли, в надежде что игра на них все-таки поместится? Ну воооот, тут тоже самое.

Ответить
0

Честно, поискал твой коммент ниже, не нашел, потрудись объяснить или отдельный пост написать :)

Ответить

Одинаковый бинокль

Andre
2

1. Фрагментация дисков – это старая проблема HDD накопителей, которая влияла на производительность последовательного чтения. Для современных накопителей дефрагментация не только не нужна, но и вредна.

2. Стандартный размер дисковой страницы – 4кб. Это неделимый блок файловой системы. Каждая картинка занимает несколько страниц, каждая из которых учитывается отдельно. Смысла экономить на дополнительных 8 байтах адресации, теряя при этом 4кб пространства нет. Самый большой доступный размер страницы который мне известен – 128кб (ZFS). То есть скорее всего картинка занимает по крайней мере целую страницу, а не пакуется блобами внутри одной страницы.

3. Очевидно, что само содержание картинки не обязательно затирать из диска. Но тот факт, что картинка не пропала из индекса существующих картинок – это именно баг, и фрагментация тут уж точно не причем. Скорее всего Instagram окончательно удалял помеченные как удаленные в течении года картинки по расписанию, и этот скрипт не работал как ожидается.

4. Такого понятия как фрагментация индексов не существует – базы данных и так перебалансируют деревья индексов в реальном времени, даже если вы только добавляете и не удаляете данные. Таким образом, удаление изображения из индекса не должно сказываться на производительности в худшую сторону.

5. Единственная причина, по которой удаленное значение может остаться в БД, которую я вижу – использование MVCC БД (Multiversion concurrency control), таких как CouchDB. Но их использование оправданно только при необходимости обеспечения изоляции транзакций, которая не нужна для хранения картинок Instagram.

Ответить
0

По второму пункту: файловые системы давно используют экстенты - цельные группы блоков, размер которых плавает в очень широких диапазонах. Созданы экстенты в т.ч. и для борьбы с фрагментацией.

Ответить

Одинаковый

alexfer…
1

Экстенты не борятся с фрагментацией данных – файловые системы с ними и без них в любом случае пытаются записать файл последовательно настолько, насколько это возможно. Экстенты позволяют экономить на inode, но при этом являются дополнительным механизмом адресации, и не заменяют классический.

Ответить

Медленный корабль

Одинаковый
0

Секта свидетелей фрагментации

Ответить

Народный Даниль

Andre
1

На SSD не так.

Ответить
0

Теперь знают, спасибочки

Ответить

Медленный корабль

Марк
2

ELI5, кто-нибудь?

Ответить
2

Да ну нафиг. Если из БД удалить запись, то ничего на диске не фрагментируется.

Удаление из БД не значит, что с диска это удаляется и на это место что-то потом пишется. На диске остаётся, но удаленные данные из БД уже нельзя вернуть запросом.

А кто говорит, что не удаляет из-за фрагментации это лапша для легковерных, чтобы объяснить сбор данных)
Гугл тоже как-то говорил, что случайно из-за бага снифал уличные вайфай сети. Ага, терабайты данных получал и хранил чисто случайно))

Ответить
0

Так там же просто на место старых «единиц и нулей» записываются новые «единицы и нули», говоря простым языком

Ответить

Левый Артем

Марк
0

Почему тогда каждый раз подобные штуки объясняют "багом" и кабанчиком чинят?

Ответить
2

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя
и прислали сообщение "ебать спасибо , братишка"

Ответить

Вольный лолипоп

roos
3

 ебать спасибо, братишка, классный член кстати

Ответить
2

Можно вечно смотреть как горит огонь, как течёт вода и как зумеры открывают для себя интернет.

Ответить
1

Никто в этой параше не сидит. Для кого новость?

Ответить

Вольный лолипоп

Eldar
0

Ну да, миллиард двести ежемесячно — это, считай, никто

Ответить
0

Сколько из них живых людей, а не китайской миллионой аудитории ботов с клик-ферм для подписок с раскруткой и закупленной массы лайк-ту-лайк аккаунтов?

Ответить
0

Комментарий удален по просьбе пользователя

Ответить

Ленинский блик

1

Неплохо.
А вконтакт в принципе ничего не удаляет, всё хранится.

Ответить
0

"Instagram не удаляет ваши фотографии и личные сообщения со своих серверов в течение года"

"фотографии и сообщения, которые он удалил из приложения больше года назад."

Так в течении года (это меньше года) или больше года?

Ответить

Вольный лолипоп

Михаил
–1

Он удалил больше года назад. Заголовок надо подправить, да, спасибо!

Ответить
0

"Длительное хранение - баг "

Блин, ну вот опять эти мерзкие баги, о которых добрый и светлый фб не знал. Ну что за невезение

Ответить

Собственный дым

0

...как и любой другой сколь-нибудь популярный сервис??
Я сейчас сервис разрабатываю, мы и файлы и записи в бд просто помечаем удалёнными, чтоб не дёргать фрагментацию и VACUUM. Совершенно стандартная практика любой платформы. 

Ответить
0

Нормальные БД не фрагментируют блоб с данными, он постоянно растет и не уменьшается от удаления записей)
Чтобы уменьшить надо склонировать базу.

Ответить

Влюбленный паркур

0

Невозможно удалить то, чего нет ( ͡° ͜ʖ ͡°)

Ответить
Обсуждаемое
Новости
X5 Retail Group запустит новую сеть продуктовых магазинов — «жёсткие» дискаунтеры «Чижик»
Магазины будут отличаться небольшими площадями и низкими ценами.
Новости
Росстат: 64% молодых российских семей рассказали, что денег им хватает только на еду и одежду
Купить мебель и бытовую технику они уже не могут.
Новости
Муфтий Чечни обвинил Макрона в разжигании межнациональной розни из-за акций памяти убитого под Парижем учителя
Он посчитал оскорбительным показ карикатур на правительственных зданиях во Франции.
Популярное за три дня
Технологии
Шведский инженер построил «умную» кормушку для сорок, живущих во дворе. Она выдаёт еду в обмен на крышки от бутылок
Несколько лет разработчик приучал диких птиц к системе — и теперь они приносят крышки, тем самым убираясь в окрестностях.
Новости
Росстат: 64% молодых российских семей рассказали, что денег им хватает только на еду и одежду
Купить мебель и бытовую технику они уже не могут.
Беларусь
Прямая трансляция: общенациональная забастовка, протесты студентов и марш пенсионеров
Старая трансляция упёрлась в количество возможны блоков в статье, продолжаем тут. По просьбам комментаторов, теперь свежие записи будут в начале.
null