Ищем разработчика, который без ума от JavaScript и клёвых анимаций
(function(d, ids) {var content = d.querySelector('[data-content-id]');if (content) {var id = +content.getAttribute('data-content-id');if (ids.indexOf(id) === -1) {var topBanner = d.querySelector('.hp-branding-head');var bottomBanner = d.querySelector('.hp-branding-cover');if (topBanner) topBanner.style.display = 'block';if (bottomBanner) bottomBanner.style.display = 'block';}}}(document, [224847]));

Instagram не удалял ваши удалённые фотографии и личные сообщения со своих серверов

Независимый исследователь Сагат Покхарел (Saugat Pokharel) обнаружил в загруженных данных из Instagram фотографии и сообщения, которые он удалил из приложения больше года назад.

В Политике использования данных Instagram не сообщается о том, в течение какого именно времени компания в праве хранить удалённую информацию, однако источник сообщает, что обычно это занимает 90 дней. Также они заявили, что столь длительное хранение данных – это баг, который успешно устранен в этом месяце. Сагат сообщил о нем компании ещё в октябре 2019 года в рамках программы Bug Bounty.

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя.

Тренды интернета, истории из соцсетей, флешмобы, видеоблогеры.
{ "author_name": "badkid", "author_type": "self", "tags": [], "comments": 29, "likes": -15, "favorites": 2, "is_advertisement": false, "subsite_label": "internet", "id": 198634, "is_wide": true, "is_ugc": true, "date": "Fri, 14 Aug 2020 12:25:37 +0300", "is_special": false }
Объявление на TJ
0
29 комментариев
Популярные
По порядку
Написать комментарий...
8

Смысл пожизненного хранения удаленных данных заключается в отсутствии фрагментации на серверах. Легче пометить 100кб картинку как удаленную и физически её оставить, чем дробить всю новую информацию и замедлить её скорость чтения.

Ответить
5

Да каждый год последние лет 12 появляется какой-то приколист, который об этом не знает и делает из этого новость

Это они еще не знают, что удаление с диска на их компах так же работает

Ответить

Одинаковый бинокль

Andre
2

Перепись специалистов по фрагментации на TJ. Не пишите херни.

Ответить

Одинаковый бинокль

Одинаковый
2

Да там же просто будет ФРАГМЕНТааааЦИЯ, будут диски медленно работать, ты что не слышал про такое? А помнишь как мы в детстве диски дефрагментировли, в надежде что игра на них все-таки поместится? Ну воооот, тут тоже самое.

Ответить
0

Честно, поискал твой коммент ниже, не нашел, потрудись объяснить или отдельный пост написать :)

Ответить

Одинаковый бинокль

Andre
2

1. Фрагментация дисков – это старая проблема HDD накопителей, которая влияла на производительность последовательного чтения. Для современных накопителей дефрагментация не только не нужна, но и вредна.

2. Стандартный размер дисковой страницы – 4кб. Это неделимый блок файловой системы. Каждая картинка занимает несколько страниц, каждая из которых учитывается отдельно. Смысла экономить на дополнительных 8 байтах адресации, теряя при этом 4кб пространства нет. Самый большой доступный размер страницы который мне известен – 128кб (ZFS). То есть скорее всего картинка занимает по крайней мере целую страницу, а не пакуется блобами внутри одной страницы.

3. Очевидно, что само содержание картинки не обязательно затирать из диска. Но тот факт, что картинка не пропала из индекса существующих картинок – это именно баг, и фрагментация тут уж точно не причем. Скорее всего Instagram окончательно удалял помеченные как удаленные в течении года картинки по расписанию, и этот скрипт не работал как ожидается.

4. Такого понятия как фрагментация индексов не существует – базы данных и так перебалансируют деревья индексов в реальном времени, даже если вы только добавляете и не удаляете данные. Таким образом, удаление изображения из индекса не должно сказываться на производительности в худшую сторону.

5. Единственная причина, по которой удаленное значение может остаться в БД, которую я вижу – использование MVCC БД (Multiversion concurrency control), таких как CouchDB. Но их использование оправданно только при необходимости обеспечения изоляции транзакций, которая не нужна для хранения картинок Instagram.

Ответить
0

По второму пункту: файловые системы давно используют экстенты - цельные группы блоков, размер которых плавает в очень широких диапазонах. Созданы экстенты в т.ч. и для борьбы с фрагментацией.

Ответить

Одинаковый

alexfer…
1

Экстенты не борятся с фрагментацией данных – файловые системы с ними и без них в любом случае пытаются записать файл последовательно настолько, насколько это возможно. Экстенты позволяют экономить на inode, но при этом являются дополнительным механизмом адресации, и не заменяют классический.

Ответить

Медленный корабль

Одинаковый
0

Секта свидетелей фрагментации

Ответить

Народный Даниль

Andre
1

На SSD не так.

Ответить
0

Теперь знают, спасибочки

Ответить

Медленный корабль

Марк
2

ELI5, кто-нибудь?

Ответить
2

Да ну нафиг. Если из БД удалить запись, то ничего на диске не фрагментируется.

Удаление из БД не значит, что с диска это удаляется и на это место что-то потом пишется. На диске остаётся, но удаленные данные из БД уже нельзя вернуть запросом.

А кто говорит, что не удаляет из-за фрагментации это лапша для легковерных, чтобы объяснить сбор данных)
Гугл тоже как-то говорил, что случайно из-за бага снифал уличные вайфай сети. Ага, терабайты данных получал и хранил чисто случайно))

Ответить
0

Так там же просто на место старых «единиц и нулей» записываются новые «единицы и нули», говоря простым языком

Ответить

Левый Артем

Марк
0

Почему тогда каждый раз подобные штуки объясняют "багом" и кабанчиком чинят?

Ответить
2

Instagram выплатил вознаграждение в размере $6000 и поблагодарил пользователя
и прислали сообщение "ебать спасибо , братишка"

Ответить

Вольный лолипоп

roos
3

 ебать спасибо, братишка, классный член кстати

Ответить
2

Можно вечно смотреть как горит огонь, как течёт вода и как зумеры открывают для себя интернет.

Ответить
1

Никто в этой параше не сидит. Для кого новость?

Ответить

Вольный лолипоп

Eldar
0

Ну да, миллиард двести ежемесячно — это, считай, никто

Ответить
0

Сколько из них живых людей, а не китайской миллионой аудитории ботов с клик-ферм для подписок с раскруткой и закупленной массы лайк-ту-лайк аккаунтов?

Ответить
0

Комментарий удален по просьбе пользователя

Ответить

Ленинский блик

1

Неплохо.
А вконтакт в принципе ничего не удаляет, всё хранится.

Ответить
0

"Instagram не удаляет ваши фотографии и личные сообщения со своих серверов в течение года"

"фотографии и сообщения, которые он удалил из приложения больше года назад."

Так в течении года (это меньше года) или больше года?

Ответить

Вольный лолипоп

Михаил
–1

Он удалил больше года назад. Заголовок надо подправить, да, спасибо!

Ответить
0

"Длительное хранение - баг "

Блин, ну вот опять эти мерзкие баги, о которых добрый и светлый фб не знал. Ну что за невезение

Ответить

Собственный дым

0

...как и любой другой сколь-нибудь популярный сервис??
Я сейчас сервис разрабатываю, мы и файлы и записи в бд просто помечаем удалёнными, чтоб не дёргать фрагментацию и VACUUM. Совершенно стандартная практика любой платформы. 

Ответить
0

Нормальные БД не фрагментируют блоб с данными, он постоянно растет и не уменьшается от удаления записей)
Чтобы уменьшить надо склонировать базу.

Ответить

Влюбленный паркур

0

Невозможно удалить то, чего нет ( ͡° ͜ʖ ͡°)

Ответить
Обсуждаемое
Новости
В Ницце три человека погибли после нападения злоумышленника с ножом в базилике. Полиция его задержала
По данным СМИ, он успел обезглавить одну женщину. Мэр Ниццы распорядился закрыть все храмы в городе.
Новости
Муфтий Чечни обвинил Макрона в разжигании межнациональной розни из-за акций памяти убитого под Парижем учителя
Он посчитал оскорбительным показ карикатур на правительственных зданиях во Франции.
Новости
Мужчина с ножом, выкрикивая исламские лозунги, напал на полицейских во французском Авиньоне. Его застрелили
О пострадавших пока не сообщается.
Популярное за три дня
Технологии
Шведский инженер построил «умную» кормушку для сорок, живущих во дворе. Она выдаёт еду в обмен на крышки от бутылок
Несколько лет разработчик приучал диких птиц к системе — и теперь они приносят крышки, тем самым убираясь в окрестностях.
Разборы
В Белоруссии началась общенациональная забастовка. Первый день — это марши, жёсткие задержания и угрозы увольнений
К бойкоту присоединились сотрудники заводов, айтишники, студенты и пенсионеры.
Беларусь
Прямая трансляция: общенациональная забастовка, протесты студентов и марш пенсионеров
Старая трансляция упёрлась в количество возможны блоков в статье, продолжаем тут. По просьбам комментаторов, теперь свежие записи будут в начале.

Комментарии

null