1. Пользовательское извлечение
2. Количество элементов в нумерованном списке
3. Обратные ссылки
4. Вытащить данные GA прямо в обход
5. Просматриваемые
6. Перетащите данные аналитики поиска в обход
7. Проверка статуса индексации
8. Проверка Robots.txt
9. Проверка XML-карты сайта
10. Узнать больше

Если вы не использовали его раньше, Кричащая лягушка это веб-сканер, с помощью которого вы можете сканировать веб-сайт так, как это делает поисковая система. В то время как он делает это, он выплевывает практически все данные, связанные с SEO, которые вы могли бы подумать на каждой странице.

Одна из замечательных особенностей Screaming Frog заключается в том, что существуют регулярные обновления, которые постоянно имеют отличные новые функции. Фактически, один из моих коллег прокомментировал (с неприкрытым лицом), что это единственная программа, для которой он на самом деле загружает обновления сразу и очень рад это сделать.

В прошлом году было выпущено три основных обновления, которые включали множество новых функций, с которыми мы играли здесь, на Distilled. В этом посте я расскажу о некоторых из этих новых функций и дам несколько примеров того, как они облегчат вашу жизнь.

Пользовательское извлечение

У Screaming Frog уже давно есть особенность поиска, которая позволяет вам фильтровать страницы, содержащие определенную строку. Это имеет много приложений, таких как проверка того, что код отслеживания Google Analytics одинаков для всего сайта, или поиск страниц, на которых есть кнопки социальных сетей.

В июльском обновлении версии 4.0 Screaming Frog расширил пользовательские функции поиска, добавив пользовательский параметр извлечения. Это позволяет вам не только находить страницы, содержащие строку, но и извлекать определенные части HTML на странице.

Эта функция невероятно мощная, так как она позволяет вам легко создавать отчет практически по любому элементу, присутствующему на странице, как показано в примерах ниже.

Существует три способа выбора элемента для извлечения: CSSpath, Xpath и соответствие регулярному выражению. Я обнаружил, что CSSpath, как правило, является наилучшим способом последовательного удаления нужного элемента со всех страниц, но это действительно зависит от структуры страниц на сайте и их согласованности. Сопоставление с регулярным выражением может быть очень полезным, если вы просматриваете что-то на страницах с разных сайтов, которые не имеют согласованной структуры страниц, как я покажу вам во втором примере ниже.

Чтобы найти CSSpath (или Xpath) элемента на странице, в Chrome есть очень быстрый и простой способ сделать это. Просто щелкните правой кнопкой мыши по элементу, который вы хотите очистить, щелкните по элементу проверки, затем щелкните правой кнопкой мыши фрагмент HTML в окне DevTools и скопируйте Xpath или CSSpath. Затем его можно вставить в Screaming Frog.

Вот несколько примеров этой функции в действии:

Количество элементов в нумерованном списке

Вы можете узнать, сколько предметов в списке. Например, вы можете узнать, сколько статей написал каждый автор на новостном сайте. Для этого я бы следовал следующему процессу:

1. Найдите пример страницы того типа, который вы хотите очистить. В этом случае я смотрю, сколько статей образец Опекунские журналисты написал. На каждого автора страница профиля , общее количество результатов сообщается. Щелкните правой кнопкой мыши по этому номеру и перейдите к проверке элемента.

2. В окне DevTools найдите HTML-код, который нужно удалить, щелкните правой кнопкой мыши и скопируйте CSSpath.

3. Откройте окно извлечения в Screaming Frog.

4. Вставьте CSSpath в окно извлечения.

5. Просмотрите список примеров URL-адресов и просмотрите текст выбранного HTML-элемента на вкладке «Пользовательский», а в раскрывающемся списке «Фильтр» выберите «Извлечение». Вы заметите, что в этом примере некоторые страницы ничего не возвращали в фильтре извлечения. Это связано с тем, что в этих случаях у авторов была только одна страница результатов, а элемент, который мы рассматривали, не существует. Это не совсем бесполезно, поскольку все же дает нам информацию о том, что автор написал менее 25 статей, необходимых для того, чтобы список занял две страницы.

Имея этот список извлечения, вы можете экспортировать его для обработки, например, в Excel, чтобы извлечь числа из экспорта для любых целей, которые вам требуются.

Обратные ссылки

Примером этой функциональности, использующей сопоставление с регулярным выражением вместо CCSpath или Xpath, является выполнение аудита обратных ссылок. Часто бывает так, что у вас есть список обратных ссылок на ваш сайт, но вы точно не знаете, на какую страницу они ссылаются. В этом случае вам нужно использовать совпадение с регулярным выражением, чтобы извлечь связанный URL.

1. Создайте шаблон регулярного выражения, который будет сопоставлять любую ссылку на любой странице вашего домена, и установите его в пользовательском окне извлечения. В этом примере шаблон регулярного выражения дляtilled.net:

(дистиллированная \ .net (.) {} 0,50)

Этот шаблон будет соответствовать чему-либо в html, начиная с дистиллированного.net, и сообщать следующие 50 символов. Этот метод немного грязный и потребует некоторой очистки после сканирования.

2. Просканируйте свой список обратных ссылок в режиме списка.

3. Экспортируйте вкладку «Пользовательский» с фильтром извлечения и используйте текст Excel в столбцах с символами «и» в качестве разделителей, чтобы изолировать URL-адреса. Теперь у вас есть чистый список страниц, на которые ведут ссылки на вашем сайте!

Вытащить данные GA прямо в обход

Эта функция была добавлена, когда версия 4.0 была выпущена в июле. Это позволяет перетаскивать данные Google Analytics непосредственно в обход Screaming Frog с помощью API. Это значительно упрощает процесс настройки вызовов API в скрипте или Google Sheets, а затем перекрестную ссылку на это с данными Screaming Frog.

Чтобы включить API GA в Screaming Frog, перейдите в «Конфигурация» -> «Доступ к API» -> «Google Analytics». Затем нажмите «Подключиться к новой учетной записи» и войдите в открывшееся окно браузера. После этого вы сможете выбрать любые учетные записи, свойства и представления, к которым у вас есть доступ.

Вы можете выбрать до 30 показателей для отображения и использовать каждый просканированный URL-адрес в качестве целевой страницы для сеанса или просто страницу, которую посетили в определенный момент сеанса.

Здесь нет ничего революционного - вы можете получить доступ ко всем этим данным через интерфейс Google Analytics или с помощью Дополнение к Google Sheets - но это может сделать вещи намного проще. Сейчас я покажу вам пример использования этой функции:

Просматриваемые

Возможно, вы захотите сканировать свой сайт, чтобы найти страницы с наибольшим количеством сеансов, включая эту страницу, из определенного сегмента вашей аудитории; и посмотрите, какие страницы получают наибольшее количество просмотров. Вы можете сделать это с помощью следующих шагов:

1. Прежде чем начать сканирование, подключите свою учетную запись GA и выберите интересующий вас вид и сегмент.

2. Отмените выбор всех показателей, кроме двух значений по умолчанию (сессий и показателя отказов), измерения «путь к странице» для каждого и диапазона дат, который вас интересует.

3. Затем просто запустите сканирование, как обычно. Вызовы API выполняются одновременно с обходом контента, поэтому он не должен выполняться заметно медленнее, чем при обычном сканировании.

Вы можете использовать эту функцию для просмотра любой метрики, которая вам нравится, включая коэффициенты конверсии, чтобы найти лучшие конвертирующие целевые страницы, или любое другое (не пользовательское) измерение, о котором вы только можете подумать.

Перетащите данные аналитики поиска в обход

Подобно API GA, теперь вы можете (начиная с версии 5.0) подключаться к API консоли поиска Google, который позволяет перетаскивать данные аналитики поиска в обход. К этим данным относятся данные, которые вы найдете в отчете Search Console Search Analytics, например количество кликов, показов и средняя позиция страницы в результатах поиска.

В раскрывающемся списке конфигурации вы можете выбрать, из какой учетной записи Консоли поиска вы хотите получать данные, и другие параметры, такие как диапазон дат, за который вы хотите просматривать данные.

Преимущество использования Screaming Frog для извлечения этих данных состоит в том, что может быть трудным пройти через интерфейс консоли поиска, вводя URL-адреса один за другим, чтобы увидеть данные по каждому из них. «Кричащая лягушка» делает это намного проще, тем более что отсутствует интеграция таблиц в стиле Google Analytics.

Проверка статуса индексации

Эту функцию можно использовать для регистрации, если Google индексирует что-то, что вы не хотите индексировать (например, если оно канонизировано на другой странице или имеет тег noindex). Это ни в коем случае не идеальный метод - недостатком является то, что он может очень легко пропустить страницы, если они проиндексированы, но случайно не получили никаких показов или кликов.

Метод заключается в следующем:

1. Подключитесь к API консоли поиска. Выберите свой диапазон дат. Для этого должно быть как можно больше времени в течение периода времени, когда страницы не должны быть проиндексированы.

2. Загрузите список страниц, которые не должны быть проиндексированы.

3. Запустите сканирование на этих страницах и откройте вкладку «Консоль поиска», чтобы увидеть, получили ли какие-либо из этих страниц клики. В этом случае никто не сделал, что означает, что эти страницы не показываются поисковикам.

Проверка Robots.txt

Эта функция была введена в версии 5.0, которая была выпущена в сентябре этого года. Это позволяет проверить, заблокированы ли страницы в обходе или в списке файлом robots.txt сайта. Ранее все URL-адреса, заблокированные robots.txt, были скрыты, если только вы не решили игнорировать директивы robots.txt, и в этом случае вы бы вообще не знали, заблокированы ли страницы или нет.

Теперь любые URL-адреса, обнаруженные пауком, появляются в сканере со статусом «заблокирован robots.txt». Это отображается на вкладках «Внутренний код» и «Коды ответов», что значительно упрощает просмотр заблокированных страниц. Если на вкладке «Коды ответов» вы отфильтровываете только URL-адреса, заблокированные файлом robots.txt, вы также можете увидеть, какая строка файла robots.txt отвечает за блокировку этой страницы. Это отличный способ отладки вашего файла robots.txt и проверки того, какое правило вызывает блокировку страницы.

Практическая реализация этой функции ниже:

Проверка XML-карты сайта

При загрузке XML-карты сайта целесообразно проверить ее с помощью Screaming Frog. Консоль поиска позволяет вам проверять карту сайта на наличие ошибок, но только действующие карты сайта, которые вы уже загрузили на свой сайт. «Кричащая лягушка» - единственный известный мне способ проверить карты сайта в масштабе, прежде чем размещать их на своем сайте.

Режим списка Screaming Frog позволил вам некоторое время загружать XML-карты сайтов и проверять основные требования URL-адресов в файлах Sitemap. Например, в отчете о директивах сообщается, не проиндексирована ли мета-роботами страница, а в отчете «Коды ответов» сообщается, возвращают ли URL-адреса коды 3XX или 4XX.

Новая возможность проверить, заблокированы ли страницы файлом robots.txt, позволяет проверить еще одну вещь, которая может привести к ошибкам карты сайта.

Вы можете сделать это следующим образом (этот пример с полностью воображаемой картой сайта, чтобы продемонстрировать концепцию):

1. В режиме списка загрузите карту сайта XML для сканирования.

2. На вкладке «Коды ответов» выберите «Заблокировано по Robots.txt». Теперь вы увидите все URL-адреса в карте сайта, к которым нет доступа из-за файла robots.txt.

Затем его можно экспортировать в виде файла CSV / XLSX для дальнейшей обработки и изучения.

Узнать больше

Если вы хотите узнать больше о том, для чего вы можете использовать Screaming Frog, то руководство В Seer Interactive обширный (дикое преуменьшение) и много полезных советов. Если у вас есть какие-либо другие способы использования этих новых функций или какие-либо другие хаки или советы, оставьте комментарий.

Похожие

Комментарии