Илья Тумысов
12 544
Блоги

Искажения на карте

Поделиться

В избранное

В избранном

Всем привет! Я сомневался, стоит ли публиковать этот пост. Но, задав себе вопрос, будет ли правильно, если все-таки опубликую, я честно ответил себе, что да, будет. Поэтому поехали.

Прежде всего должен сказать, что хоть я и сижу в ридонли с первого года существования TJ, зарегистрировался я только неделю назад и только для того, чтобы поддержать одного из участников конкурса. Зайдя в мой профиль легко понять, за кого, срыва покровов нет.

TJ устроил крутой конкурс #местонакарте , но не придумал толковой механики определения победителей. И сейчас я объясню, почему.

Начинается все с двух комментариев к посту с объявлением конкурса:

То есть в прошлый раз редакцию «обвиняли в том, что представители TJ как-то не так голосовали». И в этот раз было решено передать функцию выбора зарегистрированным участникам, но вот методологию выбрали в корне неправильную.

Так почему же механика голосования крайне неудачная? Читайте ответ ниже.

Отбор 20-ти финалистов – плохая идея сама по себе

Социологи, которые подходят к составлению опросов профессионально, никогда не предложат вам выбирать 1 вариант среди 20. Человеческая психика имеет ограничения на восприятие 20-ти номинальных (т.е. равнозначных, как, например, имена) объектов одновременно и, тем более на их сравнение.

Здесь я подкреплю свою мысль так называемым «законом Миллера» (он же «Кошелек Миллера»). Джордж Миллер, будучи ученым-психологом, в ходе своих исследований выяснил, что «кратковременная человеческая память, как правило, не может запомнить и повторить более 7 ± 2 элементов». Элементами могут выступать числа, отдельные слова, как в классических экспериментах, или Названия конкурсных работ + их описания, как в случае голосования за #местонакарте

Что можно было бы сделать: изначально пропустить в финал не больше 9-11 вариантов. Это край, за которым наш мозг полностью теряется, начинает лениться и выбирает то, что попалось на глаза раньше, чтобы избежать дискомфорта (о возрастающем при увеличении вариантов психологическом дискомфорте и стремлении от него избавиться замечательно рассказывает психолог Барри Шварц). Я называю число 11, потому что это - максимальное число вариантов для единичного выбора по шкале известного американского социолога Луиса Терстоуна (правда он предлагал выбирать между шкалируемыми объектами по типу «от негативного к позитивному», «от холодного к теплому», но само количество интервалов, между которыми можно выбирать, было равно 5, 7, 9, но не больше 11).

Вывод: предлагать людям выбирать из 5-7 номинальных вариантов – хорошо и оптимально, из 9-11 – приемлемо, из 20 одновременно – неприемлемо.

Отсутствие рандомизации внесло сильное искажение в распределение голосов

Таким образом, мы выяснили, что с большой долей вероятности голосующие просто не могут «уместить» в голове все варианты одновременно, и поэтому мы наблюдаем имеющееся сейчас искажение – а именно: за верхние варианты голосуют больше, а за нижние – меньше. И линия тренда поможет нам это доказать:

Варианты слева-направо расположены в том же порядке, что и в голосовании. Варианты слева (верхние в голосовании) набирают больше

Однако, вы можете возразить мне, что на линию тренда мог повлиять вариант «Зюзино», который имеет максимальное количество голосов с отрывом. А давайте возьмем и поставим варианту «Зюзино» чисто для эксперимента усредненное количество голосов, равное 18 (получаем, поделив 360 (общее количество голосов) на 20 (количество участников)). И посмотрим на линию тренда снова:

Искажение создает вовсе не Зюзино, а порядок представления вариантов в голосовалке

Таким образом, линия тренда подсказывает нам, что искажение из-за порядка все равно присутствует: варианты сверху искусственно получают больше голосов, чем варианты снизу.

Что можно было сделать: раз уж организаторы на берегу договорились пропустить в финал 20 участников, нужно было обеспечить рандомное (т.е. случайное) перемешивание вариантов при каждом новом заходе на страницу. Текущее искажение в пользу первых вариантов довольно сильное с учетом относительно небольшого количества голосующих. И оно реально повлияло на окончательный результат.

Кстати, я писал об этом в комментариях, но меня проигнорировали:

Кстати, об этом не говорилось в тексте про шорт-лист...

А ведь прикрутить голосовалку с рандомизацией на сайт – это быстро.

Добавленные редакцией описания добавили искажений в восприятие вариантов

Идем далее. Добавленные редакцией описания только усугубили проблему с большим количеством объектов для сравнения. Каждый объект превратился в 2 предложения, две фразы вместо одной. Из школьного курса мы помним, что предложение – это законченная мысль. То есть выбирать стало нужно из 20-ти сложных парных вариантов.

Кстати, если кто-то не читал посты участников в течение месяца либо хочет вспомнить, что это были за истории, он никогда не будет открывать 20 вкладок (возвращаемся к пункту, что финалистов должно было быть гораздо меньше). Человек будет просто читать название + описание от редакции.

А теперь сравните, пожалуйста, пары описаний от редакции:

Хм, с этими тремя парами описаний что-то не то

Действительно, здесь есть кое-что, что в машинном обучении называют эмоциональным тоном текста или сентемент-тоном. Эти описания эмоционально окрашены и, тем самым, создают искажения для восприятия. Но не будем использовать нейросети. Будет достаточно проанализировать редакционные описания на коленке:

Как видим, они задают разный эмоциональный тон, и, таким образом, помогают одним вариантам набирать больше, а другим (в т.ч. и очень крутым) – становиться скучными и неинтересными для голосования.

Что нужно было сделать: отказаться от описаний. Так было бы минимизировано негативное влияние слишком большого количества объектов для выбора, и мы бы избежали искажений из-за разного эмоционального тона описаний.

Здесь нужно задаться правильным вопросом: а не влияет ли эмоциональная окраска или фишка названия конкурсного текста на то, как за него проголосуют? Ответ – да, влияет, и, возможно, даже больше чем то, фотографии какого качества представил автор или какой текст написал. Но это право автора называть свою работу. И да, тут некоторые схитрили с названиями. Но у пользователей есть право по своему усмотрению оценивать работы, а у авторов – право оформлять их в соответствии с правилами. Не запрещено = разрешено. Я же в этой статье хотел рассказать об искажениях, которые, как я верю, были допущены редакцией несознательно, но которые все-таки сильно изменили итоги конкурса. Двигаемся дальше. Там интересно и коротко.

2 добавленных участника совместно все-таки дали искажения. Один – точно.

UPD Мне совершенно верно указали на то, что пост «С Дарьей на карниз» изначально прошел в топ-20. Я же ранее написал, что его там не было и связал аномалию (у него голосов больше чем лайков, что наблюдается только у трех постов из 20) с тем, что пост был отдельно добавлен сверху 8 сентября. Приношу извинения читателям и автору поста. Текст ниже переписываю с учетом данного обстоятельства.

Попробуем разобраться, какое искажение дал эффект новизны. После обнуления голосования 8 сентября из всех вариантов справедливо убрали 2 поста (у двух авторов в финал попали по 2 работы), и вместо них добавили 2 поста сверху.

Это посты «Великий казахский каньон» и «Бугазская коса: анапский Джекилл-айленд или рай для кайтеров и меня». Сейчас они занимают 6-е и поделенное 3-е места по результатам голосования.

В общем-то, довольно неплохо для работ, которые изначально вообще не попали в топ-20, правда?

Взглянем на отсортированные по лайкам (помним, что это тоже несколько искаженная, но метрика) посты конкурса и посчитаем, на каких местах находятся два добавленных 8 сентября участника. Это 8-е и 37-е места. Пост, который сейчас на 6-м месте в голосовании(Великий казахский каньон), все-таки занимает 8-е место по лайкам.

А вот пост, который делит 3-е место в голосовании, занимает 37-место. То есть Никола-Ленивец и Бугазская коса в голосовании делят бронзу, а по лайкам один пост занимает 1-е место, а другой – 37-е. Кстати, заметьте, что даты публикации постов вряд ли вносили искаженя: Никола-Ленивец – 01:30, 30 августа, четверг. Бугазская коса – 01:26, 29 августа, среда. Неплохо?

И посмотрим новые пикчи. Сначала пикча, где участники расположены слева направо в том порядке, в каком они представлены в голосовании:

У нас три странно выглядящих объекта – те, где проглядывает оранжевый фон

Пройдемся по трем постам справа налево, попробуем интерпретировать эти отклонения.

Увидеть Занзибар и умереть – у поста сейчас уже 6 дизлайков (явно за то, что был опубликован за 9 минут до окончания приема работ) и 3 голоса. Здесь слишком малые числа, чтобы хоть как-то интерпретировать. Плюс уклон в дизы смял всю картину.

С Дарьей на Карниз – сразу был отобран редакцией в финал. Сейчас на 2-м месте по результатам голосования. А место по простому подсчету лайков сейчас делит 29-е. Но голосов набрал ровно в 2 раза больше, чем лайков. Какие искажения повлияли на такой результат? Позиция в верху списка голосования, «вдохновляющее» описание от редакции и весьма оригинальное название (что является полным правом автора, которым он успешно воспользовался).

Бугазская косасамое необычное отклонение, на котором и сработал эффект новизны. Как писал выше, позиция по количеству голосов – поделенное 3-е место, а по лайкам – 37-е. Какие искажения могли повлиять на такой результат? Позиция в самом верху списка, эффект NEW! и, все-таки, необычные описание и название (последнее – право автора).

Добавлю еще одну пикчу, которая покажет, какие места получили эти участники по итогам голосования:

С нашим опросом что-то не то

И последняя пикча также с распределением постов по количеству лайков. И на ней же видно, кто у нас какое место в голосовании получил:

Распределение мест, наложенное на распределение по лайкам. Ого, как раскидало!

Искажение есть причем настолько сильное, что подвинуты явные фавориты с очень сильными работами на 4-ое и т.д. места. Все мы понимаем, о ком речь.

Что нужно было сделать: остановиться на 18 участниках после исключения двух работ либо волевым решением добавлять еще двоих и обязательно рандомизацию при обновлении страницы.

---конец исправленной части текста---

В общем, извините меня за простыню текста. Неправильно будет понимать, будто я считаю, что вы голосовали неправильно. Нет. Правильно будет говорить, что вам неосознанно создали такие условия для выбора, в которых искажения все похерили.

А теперь вопрос: будем дальше считать, что голосование получилось правильным?

#местонакарте

{ "author_name": "Илья Тумысов", "author_type": "self", "tags": ["\u043c\u0435\u0441\u0442\u043e\u043d\u0430\u043a\u0430\u0440\u0442\u0435"], "comments": 124, "likes": 237, "favorites": 26, "is_advertisement": false, "section_name": "blog", "id": "76335", "is_wide": "" }
Популярные материалы
Показать еще
{ "is_needs_advanced_access": true }

Популярные комментарии

Дискуссии по теме
доступны только владельцам клубного аккаунта

Купить за 75₽
Авторизоваться

Преимущества
клубного аккаунта

  • отсутствие рекламы
  • возможность писать комментарии и статьи
  • общение с членами клуба
Подробнее

Преимущества
клубного аккаунта

  • отсутствие рекламы
  • возможность читать и писать комментарии
  • общение с членами клуба
  • возможность создавать записи

Сколько это стоит?

Членство в клубе стоит всего 75₽ в месяц. Или даже дешевле при оплате за год.

Что такое клуб?

Клуб ТЖ это сообщество единомышленников. Мы любим читать новости, любим писать статьи, любим общаться друг с другом.

Вступить в клуб

Комментарии Комм.

Популярные

По порядку

0

Прямой эфир

Вы не против подписаться на важные новости от TJ?

Нет, не против
[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "i", "ps": "cndo", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "ezfk" } } }, { "id": 6, "disable": true, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byswn", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "cndo", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223677-0", "render_to": "inpage_VI-223677-0-130073047", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=cndo&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudv", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "cndo", "p2": "fzvc" } } } ]