29 карточек из 270 собраны больше чем из одного объявления

Вакансия попадает к нам не из одного места. Один и тот же текст может лежать на джоб-борде, в телеграм-канале, на карьерной странице компании и в государственной базе — и если ничего с этим не делать, лента превращается в четыре одинаковые строки вместо одной. Как мы приводим объявления к одному виду, коротко написано на странице методики; здесь — только про третий её шаг, склейку.

Что видно на карточке

Внизу страницы вакансии есть список «Источники». Когда в нём больше одной строки, под списком появляется наша пометка: дубли этой вакансии объединены в одну карточку. На 27 сентября в ленте 270 карточек, и такая пометка стоит на 29 из них.

Раскладывается это так: у 25 карточек по два источника, у трёх — по три, у одной — четыре. Значит, 63 найденных объявления стали 29 карточками, и 34 записи не превратились в отдельные строки ленты.

У 14 из этих 29 рядом с пометкой стоит ещё и число — от 85 до 100 процентов. Это наша уверенность в склейке, то есть наша оценка, а не данные работодателя. Сами ссылки остаются все: любую копию можно открыть и сверить.

Мы не сравниваем всё со всем

Пара объявлений вообще не рассматривается, пока не совпало что-то одно из двух.

Первое — компания. Если работодатель у объявлений разный, это почти наверняка разная работа.

Второе — дословный перепост. Мы считаем отпечаток по первым сорока значимым словам описания, и если он совпал, объявления сравниваются даже без названия компании. Это правило существует ровно потому, что в телеграм-каналах работодателя часто не называют вовсе: пока сверялись только компании, один и тот же пост жил в ленте тремя карточками — у всех трёх компания неизвестна, а неизвестное с неизвестным не совпадает.

Живые числа подтверждают, что якорь нужен именно такой: из 29 склеенных карточек в 20 хотя бы одна копия пришла из телеграм-канала, а в 13 случаях склеены два канала между собой. Ещё в четырёх случаях это два джоб-борда, в трёх — канал и объявление, которое компания разместила у нас напрямую.

Что добавляет уверенности, а что отнимает

После якоря считаются признаки, и каждый двигает число в свою сторону.

• Почти одинаковые названия добавляют больше всего. Просто похожие — заметно меньше. Если названия разошлись совсем, спасает только одинаковая роль и одинаковый уровень, и то чуть-чуть; в остальных случаях пара отбрасывается.
• Один и тот же город добавляет. Два разных города — отнимают.
• Даты публикации в пределах двух недель добавляют, разница больше двух месяцев отнимает.
• Названные суммы в пределах десяти процентов друг от друга добавляют. Если одна сумма меньше половины другой — отнимает.

Объединяем с 72 процентов. Всё, что набрало от 50 до 72, попадает в очередь на ручную проверку, а в ленте остаётся двумя карточками. Правило простое: склеить две разные работы хуже, чем показать одну дважды. В первом случае читатель теряет вакансию и никогда об этом не узнает, во втором — просто видит лишнюю строку.

Какая из копий становится карточкой

Из группы берётся самая содержательная запись: там, где длиннее описание, названа сумма, указан город, перечислены навыки и уровень. Она и становится карточкой, остальные копии остаются ссылками в списке источников.

Дата публикации берётся самая ранняя из всех копий — работа началась тогда, когда её впервые опубликовали, а не когда мы нашли последнюю перепечатку. Дата подтверждения, наоборот, самая поздняя: она отвечает на вопрос, когда источник видел вакансию в последний раз. И внутренний номер вакансии сохраняется, если хотя бы один источник уже знаком: иначе появление новой копии обрывало бы историю изменений зарплаты и уровня.

Что с этим делать

• Не отправляйте отклик четыре раза. Все ссылки в списке источников ведут в одно и то же место; кнопка отклика на карточке ведёт на оригинал, и резюме мы не собираем.
• Увидели два похожих объявления одной компании не склеенными — это не обязательно наш промах. Мы намеренно оставляем раздельным то, в чём не уверены, и это вполне могут быть две разные позиции. Сверьте по тексту обязанностей.
• В числах по ролям и городам — например, на странице motion-дизайнеров или удалённой работы — одна работа считается один раз. 270 карточек на 27 сентября — это 270 работ, а не 270 объявлений.
• Нашли настоящий дубль, который мы пропустили, или, наоборот, склеенными две разные вакансии — напишите кнопкой «Нашли ошибку?» внизу любой страницы. Такие пары мы разбираем руками.