Яндекс.Толока

Яндекс.Толо́ка — краудсорсинговый проект, созданный в 2014 году[1] для быстрой разметки большого количества данных, которые затем используются для машинного обучения и совершенствования поисковых алгоритмов[2]. Как правило, размещаемые задания достаточно простые, для их исполнения не требуется специальная подготовка[3]. В основном они связаны с анализом и оценкой контента[4]. Поэтому любой желающий может выполнять задания и получать за них вознаграждение[5].

Яндекс.Толока
Основание 2014
Отрасль интернет
Сайт toloka.yandex.com

Названия сервиса

Толо́ка — это форма деревенской взаимопомощи в России, на Украине, в Беларуси, Эстонии, Латвии и Литве. Её организовывали в деревне для выполнения срочных работ, требующих большого количества работников: сбор урожая, вырубка леса, сооружение домов и т. д. Иногда толоку использовали для проведения общественных работ (строительство церквей, школ, дорог и т. п.).

Идея совместной полезной работы на общий результат сочетается с принципом краудсорсинга[6].

Виды заданий и область применения результатов

Совершенствование поисковых алгоритмов

Результаты разметки помогают улучшить качество поиска и эффективно настраивать алгоритмы распределения его результатов. Так, в августе 2017-го года Яндекс представил новый поисковый алгоритм «Королёв», при создании которого для обучения нейронных сетей использовались оценки толокеров. За два с лишним года существования сервиса они дали около двух миллиардов оценок, которые позволили разработчикам значительно усовершенствовать свой алгоритм[7].

Развитие машинного обучения

Чтобы машина поняла, как решать ту или иную задачу, необходимо показать ей огромное количество примеров, как положительных, так и отрицательных[8]. Пользователи сервиса Яндекс.Толока в числе других задач могут получать и задания по описанию объектов, определённых компьютером на изображении. Например, на фото помечены объекты, которые смог определить искусственный интеллект, но для применения этих данных в деле требуется точно знать, что это за объекты, чтобы обучить искусственный интеллект по массе таких определений человеком. Который, в свою очередь, получит за такую работу вознаграждение.[2] В другом задании даётся контекст диалога и шкала, по которой нужно оценить, является ли ответ робота в данном контексте уместным, интересным и так далее[9]. Кроме того, в Толоке производят проверку автоматически полученных черновиков словарных статей для Яндекс.Переводчика.[10]

Аудит и маркетинговые исследования

Проверка качества работы интернет-магазина, службы доставки, написание отзывов о продуктах и услугах. Например, в 2017-м году пользователи Толоки принимали участие в проверке качества работы сервиса возврата товара на Яндекс.Маркете. Подобные эксперименты позволяют контролировать качество работы сервиса и выявлять слабые места, над которыми в дальнейшем будет проведена работа по улучшению и устранению выявленных проблем.[11] В другом проекте пользователям предлагалось написать отзыв на товар из популярных категорий и снабдить его собственными фотографиями[12][13].

Выбор дизайна и названий новых продуктов и сервисов

Ответы на вопросы, связанные с выбором наиболее удачного названия и дизайна для нового продукта или сервиса[14], личными или потребительскими предпочтениями пользователей. В одном из таких опросов толокеры выбирали название для голосового помощника Яндекса[15]. Целью задания было — определить черты характера девушки с тем или иным именем. Для опроса взяли как нужные характеристики так и совсем неподходящие, и стали спрашивать: если у девушки вот такое имя, то она скорее добрая или агрессивная? С большим отрывом в опросе победило имя «Алиса».[16]

Вознаграждение и вывод средств

Задания в Толоке оплачиваются — сумма, которую можно заработать, указана рядом с заданием[8]. Для вывода средств можно воспользоваться системами: Юmoney (Бывшие Яндекс Деньги), PayPal, Skrill, Qiwi, Papara, Payoneer. Также деньги можно выводить на счёт мобильного телефона российских операторов МТС, Мегафон, Билайн, Теле2. На этапе отладки процессов со стороны Толоки вывод денег может занимать от нескольких минут до нескольких дней[6].

Мобильные приложения

Для решения задач, которые требуют работу «в поле» (например, пойти по адресу и проверить актуальность информации об организации), существует мобильная версия Толоки[6]. Сервисом разработаны два приложения — для Android и iOS.

Пользователи

Пользователи Толоки, или толокeры — люди, которыe за вознаграждeниe выполняют задания по тeстированию и улучшeнию систeмы на краудфандинговой площадкe Яндeкс.Толока[17]. В настоящее время в Толоке около 4 млн зарегистрированных пользователей[18] из России, Украины, Беларуси, Казахстана, Узбекистана, Турции, Франции, Индонезии и других стран[19], которые выставили более 2 млрд оценок[5]. В 2018 году в проектах в «Толоке» поучаствовало больше миллиона людей[18]. Большинство толокеров — это молодые люди до 35 лет (как правило, студенты технических вузов или мамы в декрете).[6] В основном исполнители рассматривают Толоку в качестве дополнительного источника денег, хотя многие отмечают, что им нравится выполнять полезную работу, делать интернет чище.[6] В 2017-м году интернет-холдинг Яндекс наградил 25-лeтнего челябинца Илью Михалeнко за наибольший вклад в совeршeнствованиe поисковой системы.[20] На цeрeмонии запуска нового алгоритма поиска чeлябинцу вручили статуэтку в видe ракeты как символа того, что вводимыe работниками Яндекса инновации сопоставимы с полётами людeй в космос.[1]

Заказчики

Все задания в Толоке размещают Заказчики. Основными заказчиками являются различные команды Яндекса[21]. Основные направления использования «Толоки» внутри проектов «Яндекса» — это сбор и обработка данных для проектов, связанных с машинным обучением, речевыми технологиями, компьютерным зрением, умными алгоритмами «Поиска» и т. д., модерация контента (разговоры в «Яндекс.Картах»), полевые задания (актуализация данных об организациях в «Справочнике»), оптимизация внутренних бизнес-процессов (поиск публикаций в соцсетях, разметка упоминаний Яндекса по тональности на позитивные и негативные). Поскольку над задачей одновременно работают как минимум сотни, а то и тысячи толокеров, результаты готовы в худшем случае на следующий день[2]. С 2016-го года Толока открыта для всех внешних заказчиков[22]. В апреле 2019 года «Толока» запустила партнёрскую программу, в рамках которой будет перенаправлять внешних заказчиков компаниям-партнёрам (или индивидуальным исполнителям) для подготовки соответствующих проектов и выполнения задач[18].

Исследования в Толоке

Толока — это не только инструмент для решения прикладных задач, но и площадка для научных исследований в разных предметных областях. В мае 2019 года команда сервиса начала публиковать наборы данных для некоммерческих, академических целей, чтобы поддержать научное сообщество и привлечь исследователей в Толоку. Датасеты могут быть интересны исследователям разных направлений: для лингвистических исследований, для задач компьютерного зрения, для тестирования моделей агрегации вердиктов исполнителей и обучения чат-ботов[23].

Примечания
  1. Яндeкс назвал своим лучшим толокeром житeля Чeлябинска, АН "Доступ" (23-08-2017).
  2. Александр Лычавко. «Зимой выхлопные газы кажутся лидару стеной». Как в минском офисе «Яндекса» разрабатывают беспилотники, dev.by (15-01-2018).
  3. Дмитрий Шихов. Uber в ритейле: как это работает, Rusbase (17-01-2018).
  4. Алексей Берилло. Конференция Nvidia GTC 2017 Europe: первым делом автопилоты, ixbt.com (23-10-2017).
  5. Роман Рожков. «Яндекс» подключил «Королева» к поискам, Комерстантъ (23-08-2017).
  6. TolokaTeam. Яндекс.Толока. Как люди помогают обучать машинный интеллект, habrahabr (20-07-2016).
  7. Денис Сухов. Компания «Яндекс» представила новый поисковый алгоритм «Королев», Комсомольская Правда (22-08-2017).
  8. Иван Кущ. Нейросети, космос, человек: «Яндекс» представил новый поиск, Будь мобильным! (23-08-2017).
  9. Михаил Зеленский. «Не то чтобы у нас была какая-то машинная комната, в которой мы можем регулятор хамства убавить» Глава управления машинного интеллекта «Яндекса» Михаил Биленко — об «Алисе», Meduza (20-10-2017).
  10. Екатерина Еникеева. Как робот-переводчик находит и выучивает новые слова, N + 1 (30-01-2018 г.).
  11. «Яндекс» запустил эксперимент «Контрольная закупка на Маркете», retail.ru (13-02-2017).
  12. В товарных отзывах на "Маркете" появятся фото, oborot.ru (05-04-2017).
  13. «Яндекс.Маркет» предложил пользователям писать отзывы к товарам за деньги, Афиша daily (20-02-2017).
  14. Саша Море. Дизайн продукта от начала до конца, vc.ru (02-02-2018).
  15. Василий Волнухин. Директор Яндекса по технологиям: программисты из России – это уже давно серьезный бренд (13-02-2018).
  16. Daria Khokhlova. Как «Яндекс» создавал «Алису», vc.ru (10-10-2017).
  17. Чем жила Челябинская область: главные новости недели, АН "Доступ" (27-08-2017).
  18. Татьяна Петрущенкова. «Мы хотим монетизировать экспертизу в краудсорсинге», Rusbase (08-04-2019).
  19. Давид Нармания. Двадцать лет спустя: как "Яндекс" стал не только поисковиком, РИА новости (23.09.2017).
  20. Челябинец стал лучшим тестером Яндекса, ГТРК “Южный Урал” (23-08-2017).
  21. Оксана Мамчуева. Обновлено: На Яндекс.Толоке можно скачать голосовые запросы к Яндексу, Обновлено: На Яндекс.Толоке можно скачать голосовые запросы к Яндексу (08-06-2017).
  22. Матвей Богданов. Толока, собственный Краудсорсинговый сервис Яндекса, открылся для внешних заказчиков. http://crowdsourcing.ru/ (23-07-2016).
  23. Яндекс открывает датасеты Толоки для исследователей. habr.com. Дата обращения: 2 июля 2019.

Ссылки
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.