{"id":912,"title":"\u041f\u043e\u0447\u0435\u043c\u0443 \u043a\u0430\u043d\u0430\u0434\u0441\u043a\u0438\u0435 \u043b\u044e\u0431\u0438\u0442\u0435\u043b\u0438 \u043a\u0432\u0430\u0434\u0440\u043e\u0446\u0438\u043a\u043b\u043e\u0432 \u043f\u043e\u043a\u0443\u043f\u0430\u044e\u0442 \u0437\u0430\u043f\u0447\u0430\u0441\u0442\u0438 \u0432 \u0420\u043e\u0441\u0441\u0438\u0438","url":"\/redirect?component=advertising&id=912&url=https:\/\/vc.ru\/pochta\/325041-kak-kanadskie-lyubiteli-snegohodov-i-kvadrociklov-otkryli-dlya-sebya-rossiyu&placeBit=1&hash=cd4c11b0c5494bf89049a9ca742e24d7dc78c6cc04a793c3204946531d5630c3","isPaidAndBannersEnabled":false}

Новый порядок: почему будущее за алгоритмическим, а не хронологическим формированием лент в соцсетях Статьи редакции

6 февраля СМИ распространили информацию о том, что Twitter начал тестировать алгоритмический способ формирования ленты взамен привычному хронологическому. Новость имела эффект разорвавшей бомбы: пользователи практически сразу принялись хоронить популярный сервис.

Однако 10 февраля Twitter всё же запустил спорную функцию, но сделал её опциональной.

По этому поводу шеф-редактор TJ объясняет, в чём сила алгоритмических лент и почему они рано или поздно могут стать основным стандартом во всех популярных соцсетях.

Когда Facebook отказался от хронологической ленты, многие российские пользователи демонстративно перестали заходить в эту соцсеть. Они крутили пальцем у виска и прочили детищу Марка Цукерберга скорую смерть.

Лента фейсбука - чертово собрание лайков друзей, хочется разлогиниться и не заходить туда никогда.

Однако начало 2016 года показало, что они ошибались. Число пользователей Фейсбука достигло 1,59 миллиарда, он побил даже самые смелые ожидания по прибыли в четвёртом квартале 2015-го, а также приготовился забрать корону главного видеосервиса планеты у YouTube.

В 2016 году ролики с Супербоула на Фейсбуке посмотрели почти столько же раз, сколько на YouTube

Однако с появлением первых слухов о готовности Twitter пойти путём Facebook, в сети появилась масса мрачных пророчеств о судьбе компании Джека Дорси — точно таких же, как когда-то писались про детище Цукерберга.

Печально. Лента твиттера станет лентой фейсбука. Можно уже сейчас уходить. https://t.co/hPtU0TjKAG
Нехронологическая лента в твиттере - это будет началом конца твиттера. https://t.co/VGEIxNflT7

И это при том, что сервис микроблогов уже давно топчется на месте, а стоимость его акций в феврале достигла исторического минимума.

Последнее, что нужно сейчас слушать руководству Twitter, так это требования «не убирать стену» и оставить всё как есть.

Если проанализировать «видовой состав» критиков алгоритмической ленты в Твиттере, то можно заметить, что они находятся в самой верхней и самой нижней прослойке его аудитории: это те, кто пользуются сервисом максимально активно и те, кто им почти не пользуется.

И тех, и других объединяет один важный нюанс: они имеют возможность читать хронологическую ленту целиком.

Активные пользователи Твиттера (например, редакторы TJ) проводят много времени перед монитором. Сервис для них важен прежде всего как оперативно обновляющийся и реагирующий на все заметные события источник информации.

А самым пассивным просто не нужны никакие сложности: они хотят потреблять контент от «А» до «Я», не пропуская ни единой записи.

Алгоритмические ленты придумали для пользователей, которые находятся где-то посередине между этими крайностями.

Занятые — но активные в соцсетях — люди могут пропускать в день тысячи записей, выхватывая из ленты лишь сотню случайных. И Facebook пытается сделать так, чтобы эта сотня была максимально полезной и релевантной.

Безусловно, алгоритм Фейсбука не совершенен и постоянно подвергается критике. Это сложный непрозрачный механизм, который каким-то образом принимает решения о том, что именно интересно пользователям.

Тем не менее даже в существующем виде алгоритм Facebook — это лучше, чем ежедневная трата нескольких часов жизни на чтение тысяч записей или обрывочное их изучение. Тем более, что большинство записей, которые мы пропускаем через себя в поисках чего-то важного — бесполезный информационный шум.

Алгоритмическое формирование ленты идёт на пользу не только потребителям контента, но и его производителям.

Если во «ВКонтакте» лайк — это всего лишь переключение счётчика, то в Фейсбуке — это тонкая настройка своих предпочтений.

Благодаря алгоритмической ленте записи в соцсети Марка Цукерберга не исчезают из поля зрения спустя несколько часов. По-настоящему хорошие или просто очень популярные посты в ней могут тиражироваться в течение нескольких дней, добиваясь максимального охвата. Успеха может добиться как какой-нибудь ролик, так и стена текста.

Кроме того, алгоритмическая лента выгодна СМИ и рекламодателям. Многие издания вынуждены публиковать в Твиттере важные новости по несколько раз, чтобы их смогли увидеть все читатели.

Тогда как рекламодатели не готовы тратить огромные суммы на продвижение записей, которые «смоет» другими твитами, пока представитель целевой аудитории отошёл в туалет. А это в свою очередь идёт во вред Twitter.

За кураторством — машинным или ручным — определённо будущее. Контента становится так много, что люди уже физически не способны успевать читать, смотреть и слушать всё, что им кажется интересным.

Фильтрование информации — это целая индустрия. Люди всё чаще готовы платить деньги за то, чтобы кто-то за них проходил игры, смотрел фильмы и сериалы, а затем советовал лучшие. То же самое необходимо и для записей в соцсетях.

Алгоритмическое формирование ленты уже доказало свою эффективность на примере Фейсбука, и команда Цукерберга непрерывно занимается его совершенствованием, делая акцент на новостных заметках и ликвидируя «кликбейты» и жёлтые заголовки.

Твиттер сегодня несомненно сделал шаг в верном направлении, пусть он и вряд ли когда-то сможет оказаться от хронологической ленты полностью. Сервисом каждый день пользуются сотни тысяч журналистов, которым важно держать «руку на пульсе», наблюдая за тем, как главные новости дня рождаются у них буквально на глазах.

Однако одними журналистами сыт не будешь, и Джеку Дорси, по-видимому, придётся научиться сидеть на двух стульях, чтобы сохранить уникальность своего детища, одновременно сделав его ещё более доступным и полезным для широких масс.

0
74 комментария
Популярные
По порядку
Написать комментарий...
Параллельный жар

Ненавижу алгоритм фейсбука. Всегда переключаюсь на хронологический порядок. А приложениях они его с каждым обновлением прячут все глубже в жопу.

В твиттере тоже всегда закрываю "пока вас не было".

Я сам слежу за чистотой своей ленты. Я не хочу видеть один и тот же пост по 5 раз, потому что какой-то мой друг там с кем-то общается в каментах

22
Параллельный жар

А ещё я почти ничего не лайкаю в фб. Только потому что мой лайк и то что я лайкнул увидят все мои друзья. А у меня в друзьях есть как серьезные взрослые люди, так и друзья-шутники. Кто-то из них не поймёт, если я буду лайкать смишняфки, а кто-то - если какую-нибудь узкоайтишную новость.

14

Комментарий удален

Параллельный жар

Как обычно: если ты не платишь, то ты то, чем торгуют.

2
Параллельный жар

Однако начало 2016 года показало, что они ошибались. Число пользователей Фейсбука достигло 1,59 миллиарда

Интересный вывод, а с хронологической лентой бы не достиг типа ?

7
Параллельный жар

Они делали A/B тест. Случайно делили людей на две группы с принудительно выключенным и включенными алгоритмами ленты. Алгоритмическая лента выиграла по разным метрикам, поэтому они приняли такое решение.

2
Параллельный жар

Опять нам что-то пророчат, на основе пары новостей)

7
Параллельный жар

ваще я очень надеюсь что любой сервис которые считает что он знает что нужно пользователям лучше самих пользователей в конце концов загнется.
и не важно кто за пользователя решает что ему важнее
журналист который вручную закрепляет на главной странице "клевую" по его мнению новость
или бот, который делает это на основе важных по его мнению лайков.

6
Параллельный жар

Ну так голосуй ногами. Вон видишь как фейсбук загибается.

0
Параллельный жар

так я и голосую, в фэйсбук транслируется моя лента из ВК и я заглядываю туда только чтобы ответить на каменты, нотификейшины о которых приходят ко мне на почту

0
Параллельный жар

TL; DR Будущее за алгоритмическим, а не хронологическим формированием лент в соцсетях, потому что миллионы мух не могут ошибаться.

5
Параллельный жар

Потому что люди просто не будут успевать всё читать. У меня на чтение моей основной Твиттер-ленты уходит где-то 2 часа в день или больше.

1
Параллельный жар

ну вот пример, я практически не пользуюсь фэйсбуком именно из-за непонятной ленты новостей.
при этом контенгент друзей там на 70% пересекается с вконтактовским.
и вот я раз в неделю открываю фэйсбук в надежде узнать какие-то новости у кого что произошло в жизни и все такое и что я вижу?
лента засрана говном, которые другие сочли интересным
в хронологическом виде эта запись бы давно ушла вниз не мозоля мне глаза, но в фэйсбуке мне приходитяс пролистовать вниз одни и теже посты, которые тупой бот счел для меня "интересными"

20
Параллельный жар

аминь

2
Параллельный жар

Ты не ставишь лайки, не настраиваешь алгоритм, алгоритм не работает, ты жалуешься на то, что он не работает.

Он же не угадывает твои предпочтения, он их определяет по твоим лайкам и комментариям.

Там рокет сайенс, который ты просто не используешь.

0
Параллельный жар

Я не ставлю лайки, я не хочу настраивать никакие алгоритмы и в гробу видел этот ваш рокет сайенс. Я не могу отключить алгоритм, чтобы видеть посты в хронологическом порядке, алгоритм не работает, показывая мне хер знает что. Профит, ёпт.

16
Параллельный жар

Я не могу отключить алгоритм, чтобы видеть посты в хронологическом порядке

Это очень многое о тебе говорит.

7
Параллельный жар

Угу, и через сколько настройка меняется обратно? День, два?

3
Параллельный жар

Два клика.

А ваша реакция натурально такая же, как у тех людей, которые просили вернуть стену во «ВКонтакте».

1
Параллельный жар

Нет, вопрос был в том, что галка с Most Recent через определенный промежуток времени опять возвращается на Top Stories, и как отключить эту фигню на постоянной основе.
А умение диагностики по фотографии вам еще развивать и развивать.

8
Параллельный жар

Новостные списки есть, там все по порядку.

0
Параллельный жар

Кроме того, ты явно даже поленился залезть в настройки.

1
Параллельный жар

Тогда ты для компании Facebook абсолютно бесполезный пользователь, мёртвый груз. Не стоит удивляться, что она не заботится о твоих интересах.

Вся работа FB строится на лайках.

0
Параллельный жар

"рокет сайенс" сильно завязан на восприятие
есть люди, которые настроены на бесконечное потребление одного и того же контента.
ты идешь в фэйсбук за котиками
ты лайкаешь котиков,
фэйсбук подсовывает тебе все больше котиков
ты их лайкаешь
твоя лента состоит на 99% из котиков и на 1% из рекламы и ты счистлив
но блин, это не для всех работает.
если бы я хотел котиков я бы ширнулся героином и не парился бы о всякой херне.
я иду в соцсети и на новостные сайты чтобы получить информацию о реальной картине мире.
если я не люблю политику, но в стране политический кризис я не хочу чтобы дебильный алгоритм держал меня в неведеньи
если какой-то зануты постил 2 года то что я не лайкал, я не хочу чтобы тупой бот спрятал от меня его пост о чем-то реально важном.
хватит блять думать за меня, я умнее и вас и ваших ботов!

7
Параллельный жар

В колонке нет ни слова о том, что алгоритм совершенен. Работа ведётся. Но со временем без такой фильтрации будет очень тяжело.

0
Параллельный жар

Твои комментарии говорят о том, что ты:
1. Не читал текст выше
2. Не очень понимаешь, как работает алгоритм. Про то, что он будет скрывать от тебя новости политики — очень смешно, но неправда.

0
Параллельный жар

Вроде никто не понимает, как работает алгоритм :)

2
Параллельный жар

речь шла не о фэйсбуке, а о подгонки результатов под пользователя
про политику просто воображаемый пример "из будущего"

0
Параллельный жар

Это воображаемый пример, который говорит о непонимании того, как это работает.

Система не по одному лайку делает выводы. Там действует закон больших чисел.

0
Параллельный жар

Вадим, не надо держать меня за идиота.
Я нигде не писал, что оно по одному лайку навсегда спрячет от меня что-то.

2
Параллельный жар

Тогда в чём проблема?

Комментарии формата «не пользовался, но критикую».

Я понимаю, что ФБ на запуске может выглядеть враждебно, но у меня сейчас лента настроена, и там — один за другим — идут крутые посты от журналистов.

0
Параллельный жар

проблема в том что я в фэйсбуке лет 6 если не больше
и я действительно хочу успешно и эффективно пользоваться этой сетью.
у меня там есть друзья апдэйты которых мне интересны.
но за эти 6 лет "рокет сайнс" фэйсбука только отнимал у меня время и нервы.
Вадим, просто примите тот факт что все люди разные.
и то что для кого-то "рокет сайнс" и - для других испорченный экспириенс и впустую потраченное время.
идеальных решений не бывает, именно поэтому вы можете например по посинения считать iphone лучшим и идеальным телефоном, но 50% людей осознанно выберут android.
тоже самое и с facebook, умные алгоритмы делают его идеальным для таких как вы и отторгают таких как я.

5
Параллельный жар

Те пользователи, которые не журналисты, читают Твиттер лишь затем, чтобы приятно провести время. Если у них правильно в ленте нет лишних аккаунтов, то они могут в любой момент открыть Твиттер и читать много интересного безо всякой фильтрации глупой программой.

9
Параллельный жар

*у них в ленте
Кстати, дополняя предыдущего оратора про "лента засрана говном, которые другие сочли интересным" — я подписан на несколько пользователей, которые твитят очень годные с моей точки зрения вещи, но при этом набирают один-два лайка и в среднем 0,3 ретвита. У таких юзеров нет ни единого шанса попасть в ленту, сформированную алгоритмически.

11
Параллельный жар

очень годные с моей точки зрения вещи, но при этом набирают один-два лайка и в среднем 0,3 ретвита. У таких юзеров нет ни единого шанса попасть в ленту, сформированную алгоритмически

Чушь же. Если тебе нравится этот аккаунт, то он будет включаться в подборку.

К тому же у Тви под алгоритмической лентой будет идти обычная.

2
Параллельный жар

Для того, чтобы алгоритм знал, что мне некий аккаунт нравится, я должен регулярно видеть его твиты в своей ленте и на них реагировать (а я не каждый твит ретвичу, ибо не все вещи, интересные мне, интересны и моим подписчикам, а лайк по прежнему использую в качестве закладок-избранного). Поэтому я не особо рассчитываю на то, что программисты продумают такой вариант, но может быть, я их и недооцениваю.

1
Параллельный жар

Это называется Positive Feedback Loop. Не знаю насчет Твиттера, но есть способы учитывать недопоказанные твиты для более оптимального ранжирования. Например, COEC и куча других.

http://www.wsdm-conference.org/2010/proceedings/docs/p351.pdf

2
Параллельный жар

P.S.
А не особо я рассчитываю потому, что при практическом отсутствии конкуренции у Твиттера нет особого стимула напрягаться и всё продумывать. В результате очень может быть, что (по крайней мере первое время) алгоритм будет простым (и дешёвым).

0
Параллельный жар

Если у них правильно в ленте нет лишних аккаунтов, то они могут в любой момент открыть Твиттер и читать много интересного безо всякой фильтрации глупой программой.

Только такие пользователи не очень интересны самой соцсети. Но для них, вероятно, сделают опциональную хронологию. На FB её тоже можно включить.

0
Параллельный жар

Только такие пользователи не очень интересны самой соцсети.

Я правильно понял — вы считаете, что большая часть пользователей подписана на "информационный шум" и не в состоянии (не догадывается, что можно?) сделать некоторое усилие, отписаться от менее интересного и таким образом увеличить соотношение сигнал/шум в своей ленте?

2
Параллельный жар

У многих моих друзей нет Твиттера по этой причине. В нём слишком много времени тратится в пустую. Не все аккаунты постоянно постят полезную информацию. Иногда 50/50, и ты не отписываешься из-за того, что тебе полезно, но вынужден разгребать и мусор.

Когда таких аккаунтов штук 20, ситуация становится плачевной.

1
Параллельный жар

Проблема понятна, но мне не знакома (подробнее ответил ниже).
Видимо, итого приходим к конфликту тех, кому жалко отписываться из-за "мусорных" твитов, даже если их аж половина, и тех, кто более строго блюдёт чистоту своей ленты. Радует в этом лишь то, что в данный момент администрация Твиттера не навязывает вторым алгоритмы, созданные для первых, но кто знает, как дело обернётся потом?

0
Параллельный жар

За примером далеко ходить не надо. В статье есть Timurse, который полдня постит офигенные ссылки, а полдня — как готовит себе ужин и ходит на вечеринки.

Он крутой, но мне нужно не всё от него)

1
Параллельный жар

Тем более, что большинство записей, которые мы пропускаем через себя в поисках чего-то важного — бесполезный информационный шум.

В правильно сформированной ленте Твиттера не должно быть информационного шума в заметных количествах. Если это не так, нужно отписаться от неинтересных аккаунтов (даже если они ваши друзья IRL, но твитят какую-то лажу).

3
Параллельный жар

Если ты отписываешься от человека, с которым типа дружишь IRL, то вы и не были друзьями, тогда какой вообще смысл продолжать коммуникацию и какое-либо взаимодействие? Никакого, так вижу.

0
Параллельный жар

Комментарий удален по просьбе пользователя

1
Параллельный жар

ИМХО, Твиттер — не социальная сеть.
Но если вы считаете иначе, вместо unfollow можете использовать mute.

0
Параллельный жар

Как-то увеличенный лимит на символы я больше хотел :(

2
Параллельный жар

Вся суть: "Кроме того, алгоритмическая лента выгодна СМИ и рекламодателям."

Жду когда электронные книги можно будет читать в порядке самых интересных глав. Читать хронологически - это для слишком консервативных пользователей. Активные хотят просто узнать чем дело кончилось и перейти к следующей книге.

2
Параллельный жар

Разве хронологическое формирование ленты не частный случай алгоритмического?

1
Параллельный жар

Вадим там вверху в общем то правильно заметил.
у фэйсбука есть вполне себе четкая целевая аудитория
- люди которые заходят туда для фана и для того чтобы узнать что в трэнде
фэйсбук максимально старается им угодить и все делает для того чтобы они сидели на сайте 24 часа в сутки, принося соцсети деньги.
и любая фишка которая приведетк увеличению количества пользователей будет немедленно заимплеменчена, даже если она вызовет гнев какие-то гиков.
все это применительно и к СМИ и к ТЖ, в конце концов главная задача у всех - заработать деньги.
непонятно только чем это все отличается от тенденции на ТВ, когда научные передачи транслируются ночью, а в праймтайм идет "аншлаг".
не вижу повода для восхищения этим

1
Параллельный жар

Комментарий удален по просьбе пользователя

0
Параллельный жар

Почему-то подумал, что Facebook каким-то образом можно подключить к твитдеку, озадачился, потом дошло.

0
Параллельный жар

Комментарий удален по просьбе пользователя

0
Параллельный жар

вот про твитдек сказал как иисус. сам им пользуюсь уже бог знает сколько времени, и веб версия мне кажется какой-то дикой убогой, и вообще не понимаю как ею пользоваться

1
Параллельный жар

В вк, кстати, рекомендации по новым фото в верхней части ленты новостей показываются на основе лайков друзей, так же как и раздел "наиболее интересные новости".
Не давно "интересные новости" обновились и стали показывать больше постов на основе нового алгоритма, при чем вне хронологического порядка, а в порядке неведомой релевантности. Так что вк уже в тренде.

0
Параллельный жар

а лайки как "тонкий инструмент" - это вообще пиздец
я столько раз получал нехилую порцию гемора из-за неудачного лайка.
на основе лайков строятся какие-то так называемые "интересы" , которые подтягивают и другие сайты.
в итоге люди которые не лайкают все подряд и не делают по 500 лайков день выглядят полными извращенцами
для которые главный интерес в жизни "профилированный брус" и "безпокрасочное востановление вмятин"

0
Параллельный жар

Джеку Дорси, по-видимому, придётся научиться сидеть на двух стульях

Жопу поднял, место потерял!

0
Параллельный жар

Один и тот же человек может постить контент на разные темы, а мне интересны только некоторые из них. Но с хронологической лентой я вижу весь его контент, включая тот, который мне вообще неинтересен.

0
Параллельный жар

Только вот алгоритм тут не поможет...

2
Параллельный жар

Потому что пока что нет хороших алгоритмов определения тематики?

0
Параллельный жар

Да. Он будет популярные твиты показывать.

0
Параллельный жар

Странно, почему-то у себя в ленте я такого не наблюдал. Может, я не подписываюсь на людей, которые часто постят на неинтересные мне темы, а может я этого не замечаю из-за субъективного искажения (типа https://en.wikipedia.org/wiki/Observer-expectancy_effect, например).

1
Параллельный жар

Мне кажется, алгоритмическая сортировка очень хороша для старых твитов (это частично реализовано уже было в твиттере, он подбирал несколько самых популярных твитов, затвиченных в отсутствие пользователя), но не очень актуальна для свежих твитов, все-таки свежую инфу почти все хотят видеть полностью и в режиме реального времени.

0
Параллельный жар

Если проанализировать «видовой состав» критиков алгоритмической ленты в Твиттере, то можно заметить, что они находятся в самой верхней и самой нижней прослойке его аудитории

Этот анализ где-то существует, или он на уровне "несомненно" и "безусловно"?

Сервисом каждый день пользуются сотни тысяч журналистов

И миллионы не-журналистов, не?

0
Параллельный жар

Выборка лучшего - это хорошо. Главное не навязывать эту ленту, не убирать хронологическую и ничего не ломать. Работает же.

0
Параллельный жар

А почему не рассматривается вариант фильтрации ленты самим пользователем? Все же если он хочет получать только интересный контент, то и подписываться нужно на соответствующие страницы, периодически удаляя все остальное.

0
Параллельный жар

А вдруг какой-то блогер 80% времени пишет хрень, а раз в полгода как выстрелит?)))

0
Параллельный жар

Если во «ВКонтакте» лайк — это всего лишь переключение счётчика, то в Фейсбуке — это тонкая настройка своих предпочтений.

Если это будет реально работать то я хочу данный алгоритм в вк,
т.к. иногда просто пропустить годный под пост, из за их количества и нехватки времени,а данная сортировка может решить все проблемы разом.Но facebook'ом не пользуюзь и не могу оценить как это работает там,но вижу у всех негативные отзывы,что feed book'a обновляется и показывает какую то шляпу !?
Походу не всё так гладко,поясните в чём проблема работы алгоритмов в facebook(

0
Параллельный жар

т.к. иногда просто пропустить годный под пост, из за их количества и нехватки времени

А может и хуй с ним? с годным постом?

1
Параллельный жар

Можеть быть да,а может и нет

1
Параллельный жар

Моё отношение к лентам новостей в социалках.

0
Параллельный жар

По мне так подобная фича вовсе не помешает. Если вы столь активный пользователь Твиттера, радеющий за каждую минуту - Tweetdeck и Tweetbot вам в помощь. Удобная фильтрация и создание отдельных стен по любым запросам. А если я захочу узнать счет игры моей любимой баскетбольной команды, спустя 5 часов после финала, то алгоритм поможет и поднимет нужный пост в начало ленты. Плюсом будет, если я смогу закрывать данный пост после прочтения. ;)

0
Параллельный жар

"А если я захочу узнать счет игры моей любимой баскетбольной команды, спустя 5 часов после финала, то алгоритм поможет и поднимет нужный пост в начало ленты. "

Это все равно что выбежать на улицу в надежде, что кто-то будет обсуждать интересующий вас матч. Про спортивные сайты слышали что-нибудь?

0
Параллельный жар

Верю что за ними будущее, но я ведь не интернет хомячок, у меня даже во ВК все в фильтре стоят ибо похуй на все то дерьмо из ленты.

Не знаю как с твиттером обстоят дела, но рядовые пользователи ФБ читают ленту от А до Я (сужу по коллегам) для них это основной сайт форева эва, но такие люди в целом не шибко "интернетчики" и изменения если и заметили то не восприняли близко к сердцу.

–1
Читать все 74 комментария
null