Блог

Как всё таки Google сканирует JavaScript

Постоянное и все более усложняющееся развитие интернета, становится причиной создания таких веб-сайтов, которые обеспечивают максимальную интерактивность для пользователя. И если, для самих пользователей данная ситуацию является скорее преимуществом, то для разработчиков и владельцев сайтов, все более актуальным становится вопрос поисковой оптимизации таких ресурсов, а именно, может ли поисковая система, в частности Google, сканировать код написанный на JavaSript’е?

Однако, такая постановка вопроса является не совсем корректной. И дело вот в чем.

Если отрисовка кода, созданного при помощи JS-фреймворков, происходит на сервера хостинга, то, собственно говоря, никакой проблемы и нет. Однако, проблема возникает в том случае, если такие фреймворки производят весь рендеринг на стороне клиента, или проще говоря на компьютере посетителя вашего сайта.

Как устроен краулинг

Итак, для начала разберемся, что именно делают поисковые системы. Как правило, работа любого поисковика основана на трех основных моментах:

· Краулер
· Индексатор
· Движок запросов.

Так вот, когда мы говорим о JS-кодах и поисковой оптимизации, то, обычно подразумеваем первые два процесса работы поисковика. Не секрет, что Гугл использует своих ботов (Googlebot) в качестве краулера, а для индексации – систему Caffeine. Постарайтесь не перепутать их, поскольку они выполняют качественно разные задачи.

Во-первых, краулер. Это не что иное, как, робот, который находится в постоянном поиске URL адресов и их обработке. Просто? На самом деле – нет. В реальности краулер – сложнейшая подсистема поисковика, которая составляет источники URL-адресов, составляет расписание их сканирования, выстраивает адреса по-своему собственному рейтингу, а также, «изучает» html-код страницы, извлекая из него ссылки на любые веб-сайты.

При обнаружении изменений URL-адресов, или же при обнаружении новых URL-адресов, краулер передает соответствующую информацию в системы индексации. Она же, в свою очередь, «изучает» содержание страницы, ее релевантность, основываясь при этом на таких показателях, как шаблон страницы, PageRank и т.д.

Кроме того, система индексации также осуществляет рендеринг страницы, выполняя, таким образом, содержащийся на ней JS-код. В Гугле для этого используется WRS (Web Rendering Service). Кстати, не так давно, в сервисах Гугла появился инструмент «Сканер», которые покажет вам, то, как WRS «видит» вашу страницу.

Итак, эти две подсистемы, работают в постоянном «сотрудничестве». Карулер передает данные системе индексации, а она, передает новые адреса (из ссылок на страницах), как новые цели для посещения краулером. Вся проблема заключается в том, что, многие специалисты, даже из самого Google часто путают эти два понятия, и более того, в самой документации поисковой системы, эти понятия, часто указаны, как взаимозаменяемые (Googlebot=Caffeine).



После публикации данной документации был задан соответствующий вопрос Гэри Илшу. Ведь бот не должен производить рендеринг, это делает WRS, которая является частью системы индексации. И вот, что он ответил:

«Все верно, WRS является подсистемой Caffeine, как, например, и PageRank или алгоритм каноникализации».

Тем не менее, этот текст, все еще присутствует в официальной документации поисковой системы. Так что, SEO-специалистам позволяется путать эти понятия, хотя, это и не является правильным. Будем рассуждать далее. Исходя из имеющейся информации, при ответе на вопрос о том, сканирует ли бот JS-скрипты, необходимо ответить «ДА». Ведь, бот действительно в некоторой степени обрабатывает такие скрипты, «забирая» из него ссылки и выстраивая свой собственный рейтинг. Однако, в реальности, необходимо понимать, что эту работу выполняет все же не краулер, а система индексации. Тогда возникает вопрос о необходимости такого знания для SEO (и не только SEO) специалистов. И самым верным, будет ответить на него «Да, знать эту разницу необходимо!».

Хотя, боты и система индексации, сами по себе являются довольно громоздкими и сложными, обработка JS-содержимого сайта, отнимает у них немало времени. Владельцы сайтов, в свою очередь, использующие такой вид контента, фактически ставят перед поисковой системой условие обработки их страниц, наравне с теми страницами, которые не используют JS-скрипты. Ведь, все они хотят честного ранжирования, и, что, несомненно, является заслугой Гугла, он эту работу честно выполняет.

Однако, так не может продолжаться вечно. Когда-нибудь у Гугла просто-напросто не хватит ресурсов для выполнения такой задачи. И именно поэтому, сам Гугл обращается за помощью к владельцам сайтов. Для правильного сканирования, индексирования и каноникализированию, нам придется немного помочь поисковой системе. И только вот JS-скрипты мешают этому.

«Так что же», - скажете вы, «JS-скрипты снижают эффективность поисковой оптимизации?»

Попробуем ответить на него. В JS-скриптах все или часть ссылок, не являются частью исходного кода вебсайта и потому не сразу «видны» для краулера. Они становятся явными только после обработки такого сайта системой индексации, которая, впоследствии «отдаст» новые найденные ссылки краулеру, он их проанализирует и передаст вновь индексатору и…. так до бесконечности.

Очевидно, процесс индексации замедляется, и после каждой новой индексации, появляются новые внутренние ссылки, которые также требуют анализа. Все это может завершиться снижением важности основных страниц сайта из-за низкого ссылочного веса (помним, что бот не видит сразу все внутренние ссылки на страницах с JS-скриптами). Ну и наоборот, неважные страницы (но без JS-кодов приобретут более высокий уровень важности). Если еще и вспомнить, что расписание сканирования и анализа страниц, зависит от их важности, то в итоге, мы получим ситуацию, когда поисковая система будет тратить свое время и ресурсы на обработку простеньких и неважных страниц без JS-скриптов, отложив, в реальности важные страницы сайта, «на потом».

JS-скрипты влияют на SEO

Итак, действительно, мы приходим к выводу о том, что JS-скрипты снижают эффективность SEO.

Постепенно любой SEO специалист приходит к выводу о том, что чем проще сайт и представление контента на нем, тем легче он пробивается на верхние места в SERP. Так что, по своей сути, эффективное SEO означает лишь постоянную помощь поисковой системе в обнаружении и корректном сохранении в индексной базе копии вашего сайта. И скрипты туда явно не попадают...

Таким образом, вывод вполне очевиден. Если вы хотите высоких позиций в рейтинге, уходите от JS, переводя все ссылки и контент в обычный формат исходного html-кода.

А теперь вернемся к изначальному вопросу о том, сканирует ли поисковая система Google JavaSript. По факту (помним эффект JS) верный ответ получается «Нет». Однако, Гугл индексирует сайты c JS-скриптами, а необходимость их использования в ранжировании зависит от совершенства текущего алгоритма.