А главное, стал понятен стратегический прицел браузера: прежде всего его создавали для работы на мобильных устройствах. Поэтому первичная негативная реакция имела место быть, но она была связана со спецификой моей работы: большие тексты невозможно писать на мобильных устройствах. Очевидно одно: «Яндекс» меняется. Статус публичной мировой компании, вхождение в элиту лучших, а значит, наиболее успешных в коммерческом плане поисковых компаний мира ставит перед Воложем и его командой новые задачи, а главное — новые вопросы, на которые, чтобы ответить, надо найти, а точнее, создать новые смыслы, запустить новые технологии, реализовать новые проекты. Одним из которых стал браузер «для реальных дорог» и мобильных устройств.
Глава 12
Персональная машина слежения
Персонализация поиска означает, что каждый шаг, точнее, каждый клик, свидетельствующий о предпочтениях пользователя в Сети, отслеживается и анализируется. По сути, на каждого пользователя составляется досье: куда пошел, что узнавал, чем интересовался и чем удовлетворился.
Эффективность персонализированного поиска была продемонстрирована еще в 2003 г., когда в рамках рекламной сети «Яндекса» удалось выявить педофила из Сочи, разместившего контекстную рекламу на сайте поисковика. Арест произвели сотрудники управления «К»[6].
С некоторых пор на главной странице «Яндекса» под красивой иконкой с портретом Льва Толстого (помните — «Мы работаем на Льва Толстого»?), скрипичным ключом и прочим появился слоган: «Персональный поиск “Яндекса” отвечает лично вам». Много лет шел «Яндекс» к этой фразе.
Чтобы закрепить отыгранные у Google очки, чтобы приобрести новый импульс в развитии, в 2009 г. была реализована технология «Матрикснет». «Главный прорыв у нас произошел в декабре 2009 г. Мы внедрили новую платформу поиска, которая называется “Матрикснет”. Она позволяет машине “Яндекса” одновременно анализировать не сотни, а тысячи факторов. Это как для астронома новый телескоп с разрешающей способностью на порядок большей, чем у аналогов», — не без удовольствия отмечал Волож в интервью «Ъ» начало нового технологического этапа в развитии компании. По сути, речь идет о переходе к качественно иному формату поиска, персональному, когда ответ на запрос делается уже с учетом привычек, интересов, местонахождения и других особенностей пользователя.
«Матрикснет» стал переворотом в поиске и, наверное, даже вывел «Яндекс» из технологического тупика, — а как следствие, и из тупика управленческого, а в некотором будущем — и коммерческого. Это, правда, на тот момент было очевидно лишь яндексоидам.
К тому же «Матрикснет» устойчив к переобучению. Дело в том, что поисковым системам свойственен так называемый эффект переобучения, когда поисковая машина начинает находить несуществующие закономерности.
С этого момента с помощью «Матрикснета» формируется формула ранжирования «Яндекса», которую теперь можно настраивать отдельно для достаточно узких классов запросов.
А это означает, что с этого времени каждый шаг, точнее, каждый клик пользователя в Сети отлеживается и анализируется, на каждого пользователя составляется досье: кто и куда пошел, что узнавал и чем интересовался.
Это нормальная слежка. Разумеется, не ради слежки и не только ради денег, но и чтобы ускорить и углубить, улучшить и разнообразить ответ на запрос пользователя, соответственно, расширить возможности монетизации. Более детальная, точнее, целевая работа с пользователем — это дополнительный крючок для рекламодателя.
В частности, у «Яндекса» улучшилась геозависимость, что означает возможность географически локализовать поиск для региональных пользователей. По статистике «Яндекса», 15–30 % запросов предполагают получение местной, региональной информации. «Матрикснет» позволил показывать локальные результаты поиска для пользователей из 1250 российских городов. Волож говорит об этом так: «Мы существенно улучшили региональный поиск. “Яндекс” сейчас показывает более релевантные результаты для пользователей из разных городов. Для мировых поисковых систем поиск разнится по странам, для нас — по городам».
В результате «Яндексу» удалось совершить качественный скачок в работе поиска. А это означает, что «Матрикснет» стал одним из мощнейших ответов компании Google в многолетней войне поисковиков.
В декабре 2010 г. «Яндекс» внедрил новую поисковую технологию «Спектр» (версия «Краснодар»), способную суммировать и анализировать потребности пользователей, неявно сформулированные в запросе. Строго говоря, поисковая машина начинает отслеживать информационные интересы, привычки и пристрастия пользователя «Яндекса». Проявлять признаки интеллекта, или, если кому нравится такое определение, — признаки Большого Брата.
16 августа 2011 г. «Яндекс» запустил новую поисковую платформу «Рейкьявик», которая, запоминая запросы пользователя и используемый им язык, способна определить, интересуют ли его англоязычные ресурсы.
«Платформа учитывает поведение пользователя: история запросов сохраняется для конкретного браузера, при этом она абсолютно анонимна — в ней не содержится никакой информации о человеке, задающем эти запросы», — пояснил суть новой персонализированной технологии поиска Ростислав Шоргин, руководитель отдела маркетинга поисковых сервисов «Яндекса». Один из смыслов «Рейкьявика» — удержание своей аудитории от перехода на Google в случае потребности в поиске информации на зарубежных ресурсах. «Мы много экспериментировали, пытаясь найти наилучший способ удовлетворить потребности и тех и других. В результате мы решили научить поиск учитывать языковые предпочтения пользователей и подстраиваться под них», — отмечает Денис Расковалов, руководитель отдела разработки качества поиска.
На середину августа 2011 г. ответы на английском языке предпочитали около 8 % пользователей «Яндекса». «Рейкьявик» обращает внимание только на запросы на английском языке. Он отфильтровывает латинскую транслитерацию русскоязычных запросов, адреса сайтов, ошибки раскладки клавиатуры и т. д. При этом сам англоязычный вопрос не всегда означает поиск такого же ответа, уточняют в компании. Например, по запросам beatles или rothko человек может искать и русские сайты. «Рейкьявик» учитывает, часто ли пользователь открывает из результатов поиска веб-страницы на английском. Собранная информация о том, нужны ли пользователю англоязычные ресурсы, используется при ранжировании. И если они нужны, человек видит среди первых результатов поиска больше ссылок именно на них. Новый поисковый алгоритм специалисты «Яндекса» характеризуют как первый шаг в направлении создания технологии персонализации англоязычного поиска.
«Рейкьявик» был следующим шагом в глобальной битве за лидерство поисковиков после 19 мая 2010 г., когда «Яндекс» предложил пользователям поиск по англоязычным ресурсам. А что делать, если русскоязычный мир ограничен по определению, по факту 7–10 % народонаселения планеты? Это Baidu — единственный на сегодня национальный конкурент «Яндекса» — может быть спокоен: у него поисковая база роста — четверть населения планеты, есть куда развиваться и без дополнительных усилий, а главное, инвестиций в освоение англоязычного сектора Сети. Я сейчас говорю даже не о финансовой составляющей роста, хотя и в этом смысле Baidu обеспечен перспективой, опираясь на крупнейшую после США экономику — экономику Китая.
Россия, конечно, растет, но не такими темпами, а русскоязычный мир за пределами страны, скорее всего, со временем будет сужаться. Поэтому единственный реальный способ роста — освоиться в англоязычном секторе Сети, как всегда самом крупном.
Кстати, в русле этой стратегии произошло открытие в 2011 г. собственного дата-центра в США.
С августа 2011 г. «Яндекс» в рамках соглашения с компанией WeSee (ориентировочной стоимостью в несколько миллионов долларов) реализовал технологию piFilter, позволяющую распознавать нежелательный контент в изображениях. Это означает, что «Яндекс» к умению распознавать порнографический контент по словам и ссылкам (с 2009 г.) добавил еще один фильтр. Причем сделал это первым из российских интернет-компаний.
В 2011 г. в качестве подарка к началу нового учебного года «Яндекс» внедрил технологию таргетинга медийной рекламы «Крипта». Это означает, что к умению таргетировать рекламу по географии и частоте показа «Яндекс» первым среди мировых поисковиков, торгующих контекстной рекламой, добавил способность разделять показы контекстной рекламы по возрасту, полу и доходам, сообщил директор по развитию медийных продуктов компании Лев Глейзер. «Крипта» создана на основе метода машинного обучения «Матрикснет», реализованного в 2009 г. «Крипта» умеет анализировать поведение пользователей в Интернете и разделять их на группы, основываясь на анализе около 300 показателей. Технологию определения характеристик посетителей отрабатывали на основе данных 1 млн пользователей социальной сети деловых контактов «Мой Круг». Например, реальный пол виртуального пользователя «Крипта» научилась определять с точностью в 70 %. Оказывается, что женщины составляют более длинные поисковые запросы (3,5 слова) и чаще используют в них вопросительные слова («что такое любовь», «как похудеть» и т. п.), а мужчины (3,2 слова) больше используют цифры и латиницу. При этом мужчины делают опечатки чуть чаще. Выяснилось также, что при деловом общении люди обычно указывают реальный возраст. Надежность данных в почтовом сервисе гораздо ниже.
Россия, конечно, растет, но не такими темпами, а русскоязычный мир за пределами страны, скорее всего, со временем будет сужаться. Поэтому единственный реальный способ роста — освоиться в англоязычном секторе Сети, как всегда самом крупном.
Кстати, в русле этой стратегии произошло открытие в 2011 г. собственного дата-центра в США.
С августа 2011 г. «Яндекс» в рамках соглашения с компанией WeSee (ориентировочной стоимостью в несколько миллионов долларов) реализовал технологию piFilter, позволяющую распознавать нежелательный контент в изображениях. Это означает, что «Яндекс» к умению распознавать порнографический контент по словам и ссылкам (с 2009 г.) добавил еще один фильтр. Причем сделал это первым из российских интернет-компаний.
В 2011 г. в качестве подарка к началу нового учебного года «Яндекс» внедрил технологию таргетинга медийной рекламы «Крипта». Это означает, что к умению таргетировать рекламу по географии и частоте показа «Яндекс» первым среди мировых поисковиков, торгующих контекстной рекламой, добавил способность разделять показы контекстной рекламы по возрасту, полу и доходам, сообщил директор по развитию медийных продуктов компании Лев Глейзер. «Крипта» создана на основе метода машинного обучения «Матрикснет», реализованного в 2009 г. «Крипта» умеет анализировать поведение пользователей в Интернете и разделять их на группы, основываясь на анализе около 300 показателей. Технологию определения характеристик посетителей отрабатывали на основе данных 1 млн пользователей социальной сети деловых контактов «Мой Круг». Например, реальный пол виртуального пользователя «Крипта» научилась определять с точностью в 70 %. Оказывается, что женщины составляют более длинные поисковые запросы (3,5 слова) и чаще используют в них вопросительные слова («что такое любовь», «как похудеть» и т. п.), а мужчины (3,2 слова) больше используют цифры и латиницу. При этом мужчины делают опечатки чуть чаще. Выяснилось также, что при деловом общении люди обычно указывают реальный возраст. Надежность данных в почтовом сервисе гораздо ниже.
Таргетированная реклама — ее ввели с 1 сентября 2011 г. на всех сервисах, кроме главной страницы и поиска — будет в полтора раза дороже обычной, зато более целевая. Иллюстрируя способности новой технологии, Глейзер привел реальный пример из процесса тестирования «Крипты». Когда баннер с рекламой дорогого автомобиля стали показывать только целевой аудитории, уменьшился процент «кликающих» на него посетителей. Анализ неожиданной на первой взгляд реакции показал, что рекламой элитных автомобилей в Интернете чаще интересуются посетители с недостаточными для их покупки доходами, то есть делают это просто из любопытства. Таргетированная реклама отсекает информационный шум.
В сентябре 2011 г. «Яндекс» за $15 млн приобрел миноритарную долю в 10 % в американской компании Blekko (поисковая система blekko). Специфика американского поисковика в использовании заранее определенных поисковых тематик («слештегов»), которые вводит пользователь рядом с основным запросом, используя слеш («/», например, «/sport»). Таким образом, по замыслу создателей blekko, происходит ограничение круга сайтов, по которым ищет система, и результаты поиска получаются более релевантными и защищенными от спама и бесполезного контента. Аркадий Волож, который вошел в совет директоров Blekko, заявил следующее: «…мы верим, что у этого направления есть будущее». Компания Blekko основана в 2007 г. бывшими сотрудниками Yahoo! и Google. Аудитория blekko составляла на тот момент около 650 000 пользователей, из которых треть приходилась на американский рынок.
«Яндекс» продолжил умело и последовательно набирать очки в мировой гонке создания искусственного интеллекта, объясняя перед обществом эти действия задачей ускорения информационного и рекламного поиска, а для себя — коммерческим интересом и конкурентной борьбой.
Причем осознанно, что вполне следует, например, из комментария Ильи Сегаловича: «Искусственный интеллект — это не только обработка массивов информации. Это еще и восприятие устройствами команд. Сегодня основной тип ввода — текстовый, но компьютеры начинают воспринимать фотографии и голос, и в достаточно близком будущем все эти механизмы станут работать на равных как в поиске, так и в социальных сетях. Веб-камера с высоким разрешением и два качественных микрофона станут обязательным приложением к любой рабочей станции. Настоящая революция произойдет именно в этой сфере».
12 декабря 2012 г. на базе платформы «Калининград» «Яндекс» запустил новый формат персонального поиска, предложив пользователям подсказки и ответы, учитывающие их личные интересы и предпочтения. Чтобы узнать предпочтения, надо следить за этим пользователем, отмечая его привычки и пристрастия, то есть вести досье на любого из более чем 90 млн своих посетителей.
Из обращения к пользователям после запуска поисковой платформы «Калининград»:
Мы учим «Яндекс» понимать пользователей… Причем каждого в отдельности, персонально. Первые шаги в этом направлении мы начали делать в прошлом году, запустив «Рейкьявик» — поисковую платформу, которая учитывает языковые предпочтения пользователей… Калининградский персональный поиск учитывает при ответе поведение каждого конкретного пользователя, его предпочтения. Также с оглядкой на это формируется набор поисковых подсказок… Останавливаться в ближайшее время не собираемся — будем учить «Яндекс» быть вам еще лучшим другом. Многие поисковые запросы можно истолковать по-разному. Например, «атлас»: один человек ищет шелковую ткань, другой — географические карты. Поиск «Яндекса» научился понимать, что хочет найти конкретный пользователь. Это значит, что теперь «Яндекс» не просто отвечает на вопрос — он отвечает лично вам. Ответ основан на анализе ваших предпочтений: какие вы задаете запросы, какие сайты выбираете из результатов поиска, на каком они языке. Чем больше вы спрашиваете «Яндекс», тем лучше он вас понимает… И конечно, как любой хороший друг, персональный поиск ненавязчив — в настройках у него есть кнопка отключения… У вас есть возможность настроить персональный поиск или вообще его отключить.
Новая технология поиска «Калининград» стала еще одним шагом на пути создания искусственного интеллекта. Результаты поиска теперь зависят не только от запроса, но и от того, кто этот запрос посылает.
Свершилось. В поиске «Яндекса» появились диалоговые подсказки. Они помогают людям, которые задали какой-нибудь неоднозначный запрос, мгновенно его уточнить. Искусственный интеллект стараниями «Яндекса» просыпается. «Яндекс» продолжает вытаскивать пробку из бутылки с надписью «искусственный разум».
«Люди разные, и на один и тот же вопрос им часто нужны разные ответы. Мы нашли решение, как использовать наши знания о пользователе, чтобы выбрать для него наилучший ответ из возможных. Можно сказать, что персональный поиск подстраивается под человека, опираясь на свой опыт общения с ним. Это позволяет улучшить качество ответов примерно на 75–80 % запросов пользователя», — комментировал проект один из его кураторов Денис Рогачевский.
По мнению блога «Хабрахабр», «Яндекс» первым из существующих поисковых систем «внедрил технологию, которая позволяет саджесту (поисковой подсказке. — В.Д.) учитывать предыдущий запрос пользователя и показывать ему контекстную подсказку. Теперь поисковые подсказки вступают с вами в диалог и меняются в зависимости от того, что вы только что искали. Задача “Яндекса” — отвечать на вопросы, как заданные, так и нет. Поиск — про заданные вопросы, но пользователю можно помочь их сформулировать».
В блоге «Хабрахабр» было также заявлено о том, что «поиск “Яндекса” научился понимать, что хочет найти конкретный пользователь. Это значит, что теперь “Яндекс” не просто отвечает на вопрос — он отвечает лично вам. Ответ основан на анализе ваших предпочтений: какие вы задаете запросы, какие сайты выбираете из результатов поиска, на каком они языке. Чем больше вы спрашиваете “Яндекс”, тем лучше он вас понимает».
30 мая 2013 г. «Яндекс» запустил новую поисковую платформу «Дублин», настроенную прежде всего на обработку сиюминутных запросов, которых по статистике больше половины. После «Рейкьявика» (2011), научившего «Яндекс» учитывать языковые предпочтения пользователей, «Калининграда» (2012), благодаря которому поиск стал подстраиваться под устойчивые интересы людей, появился еще один город — «Дублин».
Вот как «Яндекс» комментирует запуск «Дублина»:
До сих пор «Яндекс» пополнял свои знания об интересах пользователей раз в сутки. Это позволяло учитывать как долговременные интересы (например, любовь к футболу), так и менее продолжительные (скажем, к обоям в период ремонта). Новый поиск умеет реагировать и на сиюминутные интересы, которые возникают и быстро гаснут. Запросов, вызванных сиюминутными интересами, очень много — больше половины. Чтобы учитывать их при ответе на вопрос, «Яндекс» анализирует данные текущей поисковой сессии пользователя. Они начинают влиять на результаты поиска буквально через несколько секунд. Так, если человек только что спросил про кино, по запросу «Анна Каренина» «Яндекс» предложит ему в первую очередь фильм, а не книгу. Разумеется, как и прежде, в настройках «Яндекса» есть опция отключения персонального поиска.