Палех и RankBrain – алгоритмы машинного обучения

Главная цель новых алгоритмов Яндекса и Google – Палех и RankBrain – заключается в поиске информации по смыслу, а не ключевым словам и фразам. Это стало возможным благодаря внедрению в поиск нейронных сетей и машинного обучения.

Алгоритм Google RankBrain введен в работу с начала 2015г., и еще несколько месяцев усовершенствовался. Запуск Яндекс Палеха анонсирован 2 ноября 2016г.

Но каковы предпосылки внедрения искусственного интеллекта в процессы ранжирования? Почему именно сейчас, и зачем поиску нужны новые алгоритмы? Как нововведения влияют на выдачу, и что теперь делать вебмастеру для продвижения в ТОП?
 

Предпосылки для алгоритмов RankBrain и "Палех"

Идея создания самообучающихся машинных систем, которые понимали бы смысл контента (текста, графики, видео, аудио) без использования одних только ключевиков, развивается уже давно. Цель разработчиков заключается в том, чтобы научить программу понимать глубинный смысл поисковых запросов, находить семантические неявные совпадения и строить релевантную выдачу.

Для решения задачи система должна уметь:

- сопоставлять запрос пользователя с заголовком Title и содержимым страницы;
- учитывать прежний положительный/отрицательный опыт (основанный на поведенческих факторах);
- учиться на ошибках.



Ранее для этого в Яндексе использовался принцип больших чисел. Поисковые алгоритмы (в частности Митрикснет) анализировали поведенческую активность и еще примерно 800 параметров, подбирали тексты под ключевые фразы запросов и формировали релевантную выдачу с вероятностью в 70% (для сравнения даже в тестовом режиме нейронные сети повышают релевантность выдачи до 80%).

Если пользователь вводит слово "ВКонтакте", алгоритм понимает, что можно добавить ключи: "войти", "новости", "регистрация", "группа" и им подобные. Просто потому, что так прежде поступали миллионы людей, которые нашли, что искали. С частыми и распространенными запросами проблем нет, однако...

Ежемесячно в Яндекс поступает до 40% настолько редких запросов, что они используются всего 1-2 раза за всю историю поиска. В свою очередь, Google заявляет о ежедневных 15% абсолютно новых поисковых фраз, которые "видит" впервые.

Отчасти новизна поисковых фраз связана с появлением на рынках новых товаров и брендов, новых имен и событий, отчасти вызвана использованием речевых (голосовых) запросов вместо печатных (с клавиатуры). Современные смартфоны распознают речь, и это влияет на специфику обращений к поиску. Очевидно, что фраза, введенная с клавиатуры, будет отличаться от той, что произнесена вслух в повседневной речи.

Новые запросы низкочастотны и длинны (longtale-запросы более 3-5 слов). В этих фразах иногда отсутствуют ключевики, но есть разнообразный семантический шлейф ("хвост"). Для учета этих ключей требовались новаторские и эффективные решения, которыми стали алгоритмы RankBrain (в Google) и Палех (в Яндексе).

Примечание: не будем здесь описывать технические особенности алгоритмов. Не останавливаемся на работе нейронных сетей, тонкостях машинного обучения и специфике алгоритмических процессов. Если хотите подробностей - ищите официальные сведения и технические описания по RankBrain и Палеху по одноименным запросам.

Для практики важней понимать, что дают новые алгоритмы вебмастеру/оптимизатору, и как это использовать для улучшения сайтов. Просто запомните, что RankBrain и Палех:

1) Ищут соответствия между поисковыми запросами и контентом веб-страниц.
2) Влияют на выдачу, особенно по низкочастотным, новым и редким фразам.
3) Не принимают участия в наложении фильтров и штрафных санкций.
4) Учитывают поведенческие показатели.
5) Накапливают положительный и отрицательный опыт, самообучаются, запоминают историю.
6) Работают в комплексе с прочими алгоритмами поисковых машин.
 

Влияние RankBrain и Палеха на поисковую выдачу

Оценить новшество и актуальность поисковой выдачи можем на практике. Проведем 3 объективных эксперимента. Зададим Яндексу и Google одинаково сложные запросы, посмотрим на разницу и релевантность поисковой выдачи.

Примечание: аналогичные опыты можете провести самостоятельно, используя любые другие запросы. Новые алгоритмы работают, их легко протестировать.

1. Неявный запрос без ключевика

Если мы спросим у Google "Фильм, в котором дают 2 таблетки" и попытаемся отыскать "Матрицу", то в ТОП-10 увидим:

- на 1-2 месте ссылки на киноленту "Области тьмы";
- на 3 позиции упоминание фильма "Бункер" в Ответах Мэйл.ру;
- на 6 месте "Современные лекарственные средства" - нерелевантный результат, подмешанный в выдачу;
- на 7 позиции фильм "Матрица" (то, что нам нужно).



Значит, поисковая выдача Google релевантна и соответствует ожиданиям, за исключением "лекарственных средств", которые Google подмешал в выдачу, чтобы расширить тематику (машина не знает, что конкретно мы ищем, дает варианты).

Тот же запрос введем в Яндексе и увидим, что результаты здесь хуже, чем в Google:

- весь ТОП занимают "Области тьмы", обзоры и комментарии к фильму;
- на 22 месте статья о таблетках (которая вошла сюда из-за слова "фильм", случайно попавшего на страницу медицинской тематики);
- на 27 позиции упоминание "Матрицы", да и то лишь в Ответах Мэйл.ру.

2. Оценка сниппетов в выдаче

Введем в поиск Яндекса/Google запрос "Сколько лет Японии". В результатах Google на 2-м месте ссылка на историю Японии из Википедии, но в сниппетах явного ответа нет. Яндекс на той же 2-й позиции наглядно показывает, что Японии приблизительно 2675 лет.

Кроме того, в Яндексе справа отображается карта, указаны важные характеристики (площадь и население, столица и крупные города, код телефона и глава государства). То есть, получить общую информацию о Японии можно без переходов на сайты - прямо из поиска. Это весомый плюс Яндекса, а выдача Google оказалась хуже.

3. Коммерческий неявный запрос

Спросим у поисковиков "Заказать, чтобы сайт попал на первое место в поиске" и поищем SEO-услуги или платную помощь в продвижении сайтов. В результатах выдачи видим:

1) Google – информационная выдача. Есть 1 рекламное объявление, но это работа AdWords, а не RankBrain.
2) Яндекс – сплошь информационная выдача без коммерческих предложений.

Получается, оба поиска не распознали коммерческого подтекста даже притом, что использован ключ "заказать".

Суммируем результаты

В обоих случаях работа новых алгоритмов Палех и RankBrain заметна в низкочастотной выдаче по неочевидным запросам. При этом выдача Google более разнообразна, чем в Яндексе, и за счет этого немного точнее.

Минусы Яндекса можно связать с разным опытом алгоритмов – RankBrain работает дольше. В то же время мы видим, что оба алгоритма иногда ошибаются и не дают 100% релевантных ответов, все еще отталкиваются от ключевых слов.
 

Советы вебмастеру в условиях RankBrain и Палеха

1. Расширяйте разнообразие семантики.
2. Используйте в текстах синонимы, поисковые подсказки и рекомендации.
3. Используйте принципы LSI-копирайтинга.
4. Пишите для людей, а не поисковых машин естественным и простым языком.
5. Раскрывайте темы статей по максимуму и представляйте разносторонние взгляды.
6. Используйте разноформатный контент – текст, видео, картинки, инфографику, аудио и онлайн-сервисы.
7. Стремитесь к большей информативности и полезности, чем у конкурентов.
8. Выявляйте страницы с отказами и оптимизируйте их (ведь алгоритмы учитывают активность).
9. Предоставьте возможность для отзывов, мнений, вопросов и комментариев.
10. Устраните переспам по ключевым фразам.

Алгоритмы искусственного интеллекта RankBrain и Палех подталкивают к оптимизации сайта под расширенную семантику, но отказываться от разумного и умеренного использования SEO, на наш взгляд, еще рано.