Этап 4. Поисковые системы стали отслеживать поведение пользователей на ресурсе. Сколько времени человек провел на сайте, сколько страниц посмотрел, вернулся ли обратно в поиск или же остался удовлетворен полученной информацией.
К сожалению, это стало лишь полумерой, т. к. поведенческие факторы легко поддаются накрутке. Накручивать можно автоматически, с помощью специальных программ, эмулирующих деятельность человека. А можно привлечь армию «школьников», готовых за копейки совершать нужные действия искать заданные фразы, переходить на заданные сайты, кликать по заданным ссылкам и такие сервисы действительно есть. Получается не подкопаться реальные люди действительно просматривают реальные страницы, вот только выводы о полезности этих страниц оказываются ошибочными.
Этап 5. Очередным принципиальным шагом стало использование в алгоритмах элементов искусственного интеллекта, который позволяет «машине» видеть «глазами человека».
На современном этапе вычислительных мощностей даже самых быстрых супер-компьютеров недостаточно для создания полноценного искусственного интеллекта. И тем не менее, это направление очень бурно развивается и, несомненно будет играть все большую роль в работе поисковых машин.
Яндекс запустил новый алгоритм в 2009 году и назвал его MatrixNet. Нам нет нужды вдаваться в технические подробности, но понимание самой сути этого подхода настолько важно, что я посвятил этому вопросу отдельный параграф книги. Продвигая сайт, мы должны понимать КАК будет смотреть на него поисковая система.
1.2 Жизнь в Матрице или алгоритм MatrixNet от компании Яндекс
В ноябре 2009 года вышел новый алгоритм Яндекса под названием Матрикснет, или в англ, написании Matrixnet. Это принципиально новый подход к оценке сайтов и построению поисковой выдачи, в основе которого лежит самообучающийся алгоритм с элементами искусственного интеллекта.
Знать базовые принципы матрикснета очень важно создавая сайт, вы должны понимать, каким его увидит поисковая система, и как она его будет оценивать.
Моя дипломная работа в институте была связана с темой нейронных сетей, таким образом, я смог краешком прикоснуться к тем фантастическим возможностям, которые дают разработки в области Искусственного Интеллекта (в дальнейшем ИИ).
Прежде всего, нужно сказать, что в функционировании компьютеров существует два принципиально различных подхода. Это алгоритмы и нейронные сети (тот самый ИИ).
Алгоритмический, подход. Здесь все понятно. Грубо говоря, мы даем машине инструкцию вида: если)набор заданных условий} то ^выполнить набор заданных действий}.
По такому принципу и работали поисковые системы до введения Матрикснета. Оценивали набор факторов (релевантность текста, количество ссылок и прочее) и выдавали свой ответ какую позицию должен получить тот или иной сайт.
Алгоритмический подход отлично подходит для решения огромного круга задач. Это и поиск, и различные вычисления, да и все «бытовые» компьютерные программы, которыми мы пользуем, построены на основе алгоритмов. И, безусловно, компьютер работает в миллионы раз быстрее человека.
В то же время существует ряд трудноформализуемых задач, с которыми человек справляется просто и естественно, а машине они не под силу. Мы легко можем узнать знакомого нам человека, встретившись на улице даже если вокруг него толпа других людей, даже если он стоит далеко. Да что там мы можем узнать его даже со спины, по походке, по интонациям в голосе.
Никакими алгоритмами эта задача не решаема а задача между тем очень важная. Вариантов применения множество. Загрузил в компьютер фотографии людей, находящихся в розыске, дал доступ к уличным камерам и вот компьютер находится в режиме постоянного поиска. Стоит искомому попасть в поле зрения камеры на вокзале а компьютер уже шлет сигнал найден! Ан нет, не так то это просто не справляется компьютер с подобной задачей.
И вот тут мы приходим к тому самому искусственному интеллекту, элементы которого используются в Matrixnet.
Нейронные сети. Наш мозг состоит из огромного числа нейронов, каждый из которых в отдельности разумом не обладает и способен лишь на самые элементарные действия. Но объединенные вместе они представляют удивительную силу.
Нейронные сети построены по тому же принципу. Множество простых «вычислительных элементов», объединенных в единую структуру.
Нейронные сети. Наш мозг состоит из огромного числа нейронов, каждый из которых в отдельности разумом не обладает и способен лишь на самые элементарные действия. Но объединенные вместе они представляют удивительную силу.
Нейронные сети построены по тому же принципу. Множество простых «вычислительных элементов», объединенных в единую структуру.
Характерно, что базовая теория нейронных сетей была разработана еще в 1920-х годах, по сути, до появления компьютеров. И потом, на долгие 60 лет, эта наука оставалась мертвой теорией ИИ требует очень больших вычислительных мощностей. В 80-х, с появлением быстрых компьютеров, нейронные сети пережили второе рождение и бурно развиваются в настоящее время.
Принципы работы Matrixnet. Перейдем от теории к практике. Матрикснет решает не какие-то отвлеченные задачи, а оценивает сайты. Посмотрим, как он может это делать.
Суть любого ИИ заключается в том, что сначала машину нужно «научить». В Яндексе существует большая команда специальных людей, называемых асессорами. Их работа смотреть и оценивать сайты.
Задание асессору ставится в виде связки «поисковый запрос + сайт». И человек должен выставить свою оценку отвечает ли сайт на поставленный вопрос. Варианты оценок, которые ставит асессор:
сайт является официальным источником информации по данному запросу. Например, поиск по названию фирмы первым в выдаче должен стоять официальный сайт этой фирмы. Само собой, такого рода сайты есть не для всех поисковых запросов.
Чтобы было понятнее: поиск по слову «Semonitor» подразумевает вывод на первом месте моего сайта, т. к. человек явно и конкретно дал понять поисковой системе, что ему нужен именно этот, конкретный проект. А вот поиск по фразе «программа для раскрутки сайта» никакого единственного, официального источника не предполагает и в выдаче будет стандартная равная конкуренция между множеством ресурсов.
сайт полностью отвечает на запрос. Такая оценка дается авторитетным ресурсам, содержащим массу полезной информации как по конкретному запросу, так и по смежным темам. Такую оценку, для примера, может получить сайт SearchEngines.guru для запросов связанных с продвижением сайта ведь тут есть и статьи, и новости, и блог, и форум, и свое сформированное сообщество.
релевант плюс. Такая оценка дается сайтам, предлагающим полноценный и подробный ответ на запрос пользователя. Скажем, данная страница, которую вы сейчас читаете вполне может получить оценку «релевант +» для запроса «Матрикснет»
релевант минус. Страница частично содержит полезную информацию по теме, но неполную, или не подробную, или есть сомнения в достоверности. Ищете вы материалы про «отдых в Турции», и на некоем форуме кто-то вскользь упомянул о своей поездке в нужный вам отель или город. Информация, в принципе, не лишена некоторого смысла, но полноценным ответом на вопрос ее назвать нельзя;
нерелевантный. Страница вообще не имеет отношения к запросу. Это не говорит о том, что страница сама по себе плохая, просто она не по теме. Такая страница может попасть в выдачу из-за ошибки алгоритма.
спам. Тут все понятно. Страница-обманка псевдо-тематическая, не несущая ничего полезного, а созданная лишь для продвижения.
не по теме. Страница хорошая, содержит нужные слова, но не отвечает на запрос. Сам Яндекс приводит такой пример: запрос «ЛевТолстой» должен выдавать страницы о писателе. При этом страницам о львах, о людях с лишним весом или о других людях с фамилией «Толстой» не место в выдаче, и им будет присвоена оценка «не по теме».
Еще раз подчеркну, что эти оценки выставляются живыми людьми. Они могут нести в себе некую субъективность, но в целом, отличить хороший сайт от плохого человек способен за считанные секунды.
После того, как работа асессоров завершена, вся эта информация запросы + страницы + оценки «скармливаются» Матрикснету. Получая на вход сайты, и зная правильные ответы, Matrixnet «обучается» настраивает собственную формулу оценивая сайтов.
Если выборка учебных, тестовых ресурсов была достаточно большой и правильно подготовленной, то в дальнейшем Матрикснет сможет успешно выставлять рейтинг любым другим сайтам, которых не было в обучающей выборке. И самое удивительное оценка будет очень близка к той, которую выставил бы этому сайту человек!