Это был период, когда на всех seo-форумах бурно обсуждались вопросы об идеальной процентной плотности ключевых слов, количестве прямых вхождений заданной фразы в текст материала, количестве выделений жирным шрифтом и т. п.
Этап 3. Принципиальный шаг к решению этой проблемы совершила компания Google, введя понятие ссылочной цитируе-мости. Допустим, имеется две схожих страницы, одинаково полно отвечающих на заданный вопрос. Анализ текста не позволяет выявить, какая из этих страниц лучше – обе идеально соответствуют заданной теме.
В основу нового алгоритма легла идея, что лучшей является та страница, на которую больше ссылаются другие сайты. Это и понятно – если на некоторую информацию есть ссылки с других ресурсов, пользователи и вебмастера рекомендуют ее другим людям-значит эта информация полезна. И напротив, если текст вроде бы хороший, но никто его не рекомендует для прочтения – значит реальной пользы от этого материала нет.
Учитывалось не только количество ссылок, но и важность самих ссылающихся страниц («голос» с сайта CNN явно более весом, чем голос с домашней страницы «Васи Пупкина»).
Подобный подход совершил революцию в качестве поиска, и до сих пор остается тем фундаментом, на котором строятся современные алгоритмы ранжирования. Очевидно, что ссылками, размещенными на других сайтах, манипулировать на порядок труднее, чем просто разместить псевдо-полезные статьи на своем ресурсе.
Пару лет новые алгоритмы работали хорошо. Но в дальнейшем начала развиваться индустрия продажи ссылок. Если раньше оптимизатор размещал 10 псевдо-статей у себя на сайте, то теперь под каждую статью создавалось еще по 10–50 псевдо-новостей, псевдо-статей, псевдо-постов на форумах-все для того, чтобы получить нужное количество ссылок и подняться в результатах выдачи. Этот процесс идет и до сих пор, создаются целые сайты, не несущие ничего полезного, а применяемые исключительно под продажу ссылок.
Этап 4. Поисковые системы стали отслеживать поведение пользователей на ресурсе. Сколько времени человек провел на сайте, сколько страниц посмотрел, вернулся ли обратно в поиск или же остался удовлетворен полученной информацией.
К сожалению, это стало лишь полумерой, т. к. поведенческие факторы легко поддаются накрутке. Накручивать можно автоматически, с помощью специальных программ, эмулирующих деятельность человека. А можно привлечь армию «школьников», готовых за копейки совершать нужные действия – искать заданные фразы, переходить на заданные сайты, кликать по заданным ссылкам – и такие сервисы действительно есть. Получается не подкопаться – реальные люди действительно просматривают реальные страницы, вот только выводы о полезности этих страниц оказываются ошибочными.
Этап 5. Очередным принципиальным шагом стало использование в алгоритмах элементов искусственного интеллекта, который позволяет «машине» видеть «глазами человека».
На современном этапе вычислительных мощностей даже самых быстрых супер-компьютеров недостаточно для создания полноценного искусственного интеллекта. И тем не менее, это направление очень бурно развивается и, несомненно будет играть все большую роль в работе поисковых машин.
Яндекс запустил новый алгоритм в 2009 году и назвал его MatrixNet. Нам нет нужды вдаваться в технические подробности, но понимание самой сути этого подхода настолько важно, что я посвятил этому вопросу отдельный параграф книги. Продвигая сайт, мы должны понимать КАК будет смотреть на него поисковая система.
1.2 Жизнь в Матрице или алгоритм MatrixNet от компании Яндекс
В ноябре 2009 года вышел новый алгоритм Яндекса под названием Матрикснет, или в англ, написании Matrixnet. Это принципиально новый подход к оценке сайтов и построению поисковой выдачи, в основе которого лежит самообучающийся алгоритм с элементами искусственного интеллекта.
Знать базовые принципы матрикснета очень важно – создавая сайт, вы должны понимать, каким его увидит поисковая система, и как она его будет оценивать.
Моя дипломная работа в институте была связана с темой нейронных сетей, таким образом, я смог краешком прикоснуться к тем фантастическим возможностям, которые дают разработки в области Искусственного Интеллекта (в дальнейшем ИИ).
Прежде всего, нужно сказать, что в функционировании компьютеров существует два принципиально различных подхода. Это алгоритмы и нейронные сети (тот самый ИИ).
Алгоритмический, подход. Здесь все понятно. Грубо говоря, мы даем машине инструкцию вида: если)набор заданных условий} → то ^выполнить набор заданных действий}.
По такому принципу и работали поисковые системы до введения Матрикснета. Оценивали набор факторов (релевантность текста, количество ссылок и прочее) и выдавали свой ответ – какую позицию должен получить тот или иной сайт.
Алгоритмический подход отлично подходит для решения огромного круга задач. Это и поиск, и различные вычисления, да и все «бытовые» компьютерные программы, которыми мы пользуем, построены на основе алгоритмов. И, безусловно, компьютер работает в миллионы раз быстрее человека.
В то же время существует ряд трудноформализуемых задач, с которыми человек справляется просто и естественно, а машине они не под силу. Мы легко можем узнать знакомого нам человека, встретившись на улице – даже если вокруг него толпа других людей, даже если он стоит далеко. Да что там – мы можем узнать его даже со спины, по походке, по интонациям в голосе.
Никакими алгоритмами эта задача не решаема – а задача между тем очень важная. Вариантов применения множество. Загрузил в компьютер фотографии людей, находящихся в розыске, дал доступ к уличным камерам – и вот компьютер находится в режиме постоянного поиска. Стоит искомому попасть в поле зрения камеры на вокзале – а компьютер уже шлет сигнал – найден! Ан нет, не так то это просто – не справляется компьютер с подобной задачей.
И вот тут мы приходим к тому самому искусственному интеллекту, элементы которого используются в Matrixnet.
Нейронные сети. Наш мозг состоит из огромного числа нейронов, каждый из которых в отдельности разумом не обладает и способен лишь на самые элементарные действия. Но объединенные вместе они представляют удивительную силу.
Нейронные сети построены по тому же принципу. Множество простых «вычислительных элементов», объединенных в единую структуру.
Характерно, что базовая теория нейронных сетей была разработана еще в 1920-х годах, по сути, до появления компьютеров. И потом, на долгие 60 лет, эта наука оставалась мертвой теорией – ИИ требует очень больших вычислительных мощностей. В 80-х, с появлением быстрых компьютеров, нейронные сети пережили второе рождение и бурно развиваются в настоящее время.
Принципы работы Matrixnet. Перейдем от теории к практике. Матрикснет решает не какие-то отвлеченные задачи, а оценивает сайты. Посмотрим, как он может это делать.
Суть любого ИИ заключается в том, что сначала машину нужно «научить». В Яндексе существует большая команда специальных людей, называемых асессорами. Их работа – смотреть и оценивать сайты.
Задание асессору ставится в виде связки «поисковый запрос + сайт». И человек должен выставить свою оценку – отвечает ли сайт на поставленный вопрос. Варианты оценок, которые ставит асессор:
– сайт является официальным источником информации по данному запросу. Например, поиск по названию фирмы – первым в выдаче должен стоять официальный сайт этой фирмы. Само собой, такого рода сайты есть не для всех поисковых запросов.
Чтобы было понятнее: поиск по слову «Semonitor» подразумевает вывод на первом месте моего сайта, т. к. человек явно и конкретно дал понять поисковой системе, что ему нужен именно этот, конкретный проект. А вот поиск по фразе «программа для раскрутки сайта» – никакого единственного, официального источника не предполагает – и в выдаче будет стандартная равная конкуренция между множеством ресурсов.
– сайт полностью отвечает на запрос. Такая оценка дается авторитетным ресурсам, содержащим массу полезной информации как по конкретному запросу, так и по смежным темам. Такую оценку, для примера, может получить сайт SearchEngines.guru для запросов связанных с продвижением сайта – ведь тут есть и статьи, и новости, и блог, и форум, и свое сформированное сообщество.
– релевант плюс. Такая оценка дается сайтам, предлагающим полноценный и подробный ответ на запрос пользователя. Скажем, данная страница, которую вы сейчас читаете – вполне может получить оценку «релевант +» для запроса «Матрикснет»
– релевант минус. Страница частично содержит полезную информацию по теме, но неполную, или не подробную, или есть сомнения в достоверности. Ищете вы материалы про «отдых в Турции», и на некоем форуме кто-то вскользь упомянул о своей поездке в нужный вам отель или город. Информация, в принципе, не лишена некоторого смысла, но полноценным ответом на вопрос ее назвать нельзя;
– нерелевантный. Страница вообще не имеет отношения к запросу. Это не говорит о том, что страница сама по себе плохая, просто она не по теме. Такая страница может попасть в выдачу из-за ошибки алгоритма.
– спам. Тут все понятно. Страница-обманка – псевдо-тематическая, не несущая ничего полезного, а созданная лишь для продвижения.
– не по теме. Страница хорошая, содержит нужные слова, но не отвечает на запрос. Сам Яндекс приводит такой пример: запрос «ЛевТолстой» должен выдавать страницы о писателе. При этом страницам о львах, о людях с лишним весом или о других людях с фамилией «Толстой» не место в выдаче, и им будет присвоена оценка «не по теме».
Еще раз подчеркну, что эти оценки выставляются живыми людьми. Они могут нести в себе некую субъективность, но в целом, отличить хороший сайт от плохого человек способен за считанные секунды.
После того, как работа асессоров завершена, вся эта информация – запросы + страницы + оценки – «скармливаются» Матрикснету. Получая на вход сайты, и зная правильные ответы, Matrixnet «обучается» – настраивает собственную формулу оценивая сайтов.
Если выборка учебных, тестовых ресурсов была достаточно большой и правильно подготовленной, то в дальнейшем Матрикснет сможет успешно выставлять рейтинг любым другим сайтам, которых не было в обучающей выборке. И – самое удивительное – оценка будет очень близка к той, которую выставил бы этому сайту человек!
И вот теперь я перехожу к самой сути – АЛГОРИТМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА ПОЗВОЛЯЮТ ПОИСКОВОЙ СИСТЕМЕ ВИДЕТЬ САЙТ ПРАКТИЧЕСКИ ГЛАЗАМИ ЖИВОГО ЧЕЛОВЕКА.
Это делает бессмысленными попытки выйти в ТОП за счет всякого рода технических ухищрений. Если раньше машину можно было обмануть, то теперь с каждым годом сделать это будет все труднее и труднее. И именно качество сайта, его реальная полезность для людей, является ключевым моментом в успехе продвижения.
О том, какие сайты поддаются раскрутке, а на какие лучше не тратить времени – мы поговорим в следующей главе.
1.3. Какие сайты можно продвигать а какие обернутся лишь тратой времени и денег
Прежде, чем начать создание и продвижение своего ресурса, мы должны все здраво взвесить и ответить на ряд ключевых вопросов. О чем будет наш сайт? Каких затрат на раскрутку и содержание потребует? С кем придется конкурировать? Как мы будет извлекать прибыль?
1 базовый принцип.
Сайт должен быть полезным
Т.е. он должен предлагать что-то реально нужное людям – будь то товар, услуга или информация.
В предыдущей главе я писал, что поисковые системы умеют оценивать Интернет-ресурсы глазами человека. Так что, если сайт ваш, по сути своей, никому не нужен – забудьте о высоких позициях.
Примеры полезных сайтов. Навскидку:
– сайт гостиницы, с фотографиями номеров и прайс-листом (услуга);
– сайт салона красоты (услуга);
– сайт по уборке квартир в Москве (услуга);
– сайт фирмы, производящей и продающей деревянные лестницы (товар);
– сайт фирмы, устанавливающей пластиковые окна
(услуга + товар);
– SearchEngines.guru (информация + общение).
Здесь все понятно. Есть сайт, есть востребованная товар/услуга/информация, есть клиенты, которые через поиск находят то, что им нужно. Если с нашим Интернет-ресурсом все в порядке и пользователи действительно получают у нас то, что искали – ту или иную долю «поискового пирога» мы обязательно откусим. Большую или меньшую – зависит от удачи, знаний и вложенных усилий, но совсем без клиентов мы не останемся – это точно.
2 базовый принцип.
От бесполезного сайта лучше отказаться еще до создания
Никакие усилия и вложенные средства не дадут вам серьезного заработка, если сайт никому не нужен.
Примеры бесполезных сайтов:
– сайт новостей «супер-мега-мировые-новости. сот».
Я не хочу сказать, что сайты новостей бесполезные. Но подумайте, что вы можете предложить своим посетителям. У вас есть журналисты и корреспонденты в других городах и странах? Или ваши посетители будут читать «стыренные» с других ресурсов тексты? В лучшем случае такие сайты предлагают «рерайт» – т. е. берут текст новости у реального информ-агентства и переписывают его своими словами. Текст, вроде бы, получается уникальный, но реальной ценности в нем нет. Забудьте, вы не заработаете на таком сайте.
– сайт приколов и анекдотов
Юмор это хорошо. Только вот незадача – большинство хороших юморных сайтов люди знают в лицо. И заходят именно туда, без всякого поиска. Конкурировать с анекдот. ру и им подобными вы не сможете. И хотя потенциальная аудитория огромная, вам достанутся такие крохи, что о них лучше и не говорить. Забудьте, вы не заработаете на таком сайте.
– мега-форум обо всем на свете
Аналогично предыдущему пункту, форум есть, а людей на нем нет. И замкнутый круг – пока нет активного общения, нет новых пользователей, без которых, опять таки, нет активного общения. Забудьте, вы не заработаете на таком сайте.
Список можно продолжать еще очень долго, но, думаю, суть вы поняли. Хотя есть и успешные примеры. Мировые новости вам не потянуть, а новости своего города вполне. Я встречал городские порталы, поднятые практически с нуля и без вложения средств, и приносящие – пусть и небольшой – доход своим создателям. Начиналось все с энтузиазма и интересных статей «на злобу дня», потом подтянулись местные жители и завертелось общение, а потом пришли и местные рекламодатели (ставим окна-двери-кондиционеры, открылся детский клуб, услуги фотографа и т. д. и т. п).
Так что нет правила без исключения, просто нужно хорошо все обдумать.
3 базовый принцип.
Сайт должен быть как минимум не хуже своих среднестатистических конкурентов
10 – 15 лет назад можно было найти массу проектов, раскрутившихся с нуля. Т.е. создавался полупустой, полурабочий сайт, с помощью технических средств (а иногда и просто из-за отсутствия конкуренции) попадал в ТОП поисковых систем и в дальнейшем уже развивался за счет посетителей из поиска.
Проведя аналогию с обычной жизнью, такой сайт можно сравнить с магазином бытовых товаров, который на момент открытия выставил на продажу 1 сорт шампуня и 1 сорт мыла. Люди заходят, смотрят на пустые полки и уходят, но вслед за ними приходят все новые и новые, и так каждый день. Кто-то иногда покупает шампунь. Подзаработав немного денег, владелец магазина через месяц работы завозит памперсы и стиральный порошок. А месяца через три появляются ведра и гвозди. И только через пару лет работы магазин выходит на приличный уровень и хороший ассортимент.