Si hay una herramienta que un consultor SEO debe conocer al detalle ésta es sin duda Screaming Frog.
En el pasado hice una guía sobre cómo trabajar con Segmentos en Screaming Frog. Te recomiendo que le eches un vistazo si quieres analizar como un profesional.
Ahora te voy a contar 9 hacks que todos los consultores SEO deberíamos conocer para hacernos la vida más fácil con la herramienta de la ranita.
Índice de contenidos
- 1 1 – Uso de XPath para extracción personalizada
- 2 2 – Análisis Core Web Vitals automatizado
- 3 3 – Rastreo de datos JavaScript renderizados para Angular
- 4 4 – Filtro de Enlaces redireccionados internos
- 5 5 – Canibalización de keywords con Screaming Frog
- 6 6 – Automatizar informes de Screaming Frog con Looker Studio
- 7 7 – Detección de Contenido duplicado Interno
- 8 8 – Detección de páginas sin contenido
- 9 9 – Comparativa de Rastreos
1 – Uso de XPath para extracción personalizada
Cuando rastreamos un proyecto hay veces que nos faltan datos porque no los tenemos de forma estandarizada. Por ello Screaming Frog ha previsto que puedas extraer cualquier variable dentro de un proyecto. Te pongo un ejemplo.
Ejemplo 1: Extracción de fecha de publicación
Imagina que estás rastreando todos los post de un sitio web y quieres ordenarlos por fecha de publicación. Pero no tenemos el dato de la fecha. En este caso, tanto si está de forma pública en el front end como está dentro de los metadatos del header (datePublished) podemos extraerlo con xpath y el programa lo colocará en una columna para poder usarlo donde queramos.
Ejemplo 2: Comparativa de precios
Si quieres hacer una comparativa rápida de precios, y no tienes un sistema para poder hacerlo, puedes extraer el xpath del precio en un ecommerce y de esta forma el precio lo tendrás en formato columna y lo podrás usar para el análisis que quieras.
¿Cómo configurar extracción personalizada con Xpath en Screaming Frog?
Pinchamos en Configuración >> Personalizado >> Extracción personalizada
Pinchamos en añadir y ahí incluimos los valores que necesitemos.
2 – Análisis Core Web Vitals automatizado
Cuando analizamos un proyecto en Page Speed Insight o en Lighthouse (herramientas de Google), sólo analizamos una url en concreto, la que hayamos indicado para analizar. Si queremos analizar más de una url de forma manual deberíamos repetir una y otra vez el experimento y anotar los valores de forma manual.
Con Screaming Frog podemos automatizar el análisis de todas las urls del sitio web que queramos gracias a la API de Page Speed Insight.
¿Cómo configuramos la API de Page Speed Insight en Screaming Frog?
Lo primero que debemos hacer es obtener la API key de PSI. Para ello tenemos que ir a esta página:
https://developers.google.com/speed/docs/insights/v5/get-started?hl=es
y haremos clic sobre Obtener Clave
Una vez que estamos dentro seleccionamos el proyecto o creamos uno nuevo, generamos la clave, la visualizamos y la copiamos.
Ahora en Screaming Frog tenemos que entrar en Configuración >> Conectar APIs >> Page Speed Insight
Aquí es donde deberemos incluir la API y pinchar en conectar.
Una vez que se conecta la API, ya podemos realizar la búsqueda y obtendremos los datos de LCP, FCP, CLS… entre otros.
Precaución con la API Key de Page Speed Insight
Cuando activamos la API de PSI, para hacer el experimento Google tiene que hacer una visita real a la página. De esta forma tendremos una visita extra en GA4 por cada url que hayamos analizado.
el problema es que si rastreamos 5k urls tendremos 5k sesiones nuevas en GA4. Por eso es conveniente poner un filtro para evitar que estos datos desvirtúen las estadísticas reales.
3 – Rastreo de datos JavaScript renderizados para Angular
En la mayor parte de los casos solo necesitaremos el rastreo en modo texto del proyecto, para analizar toda la parte técnica del mismo. Pero hay veces que tiene partes en JS (JavaScript) y necesitamos renderizarlos.
¿En qué proyectos es obligatorio hacerlo?
En proyecto programados con frameworks como Angular, por ejemplo, necesitamos renderizar JS, de lo contrario no obtendremos datos reales.
¿Cómo activamos el renderizado Js?
Pinchamos en Configuración >> renderizado
Aquí tendremos que cambiar el selector de «solo texto» a «JavaScript»
4 – Filtro de Enlaces redireccionados internos
Uno de los datos importantes que necesitamos para comprobar la salud del seo técnico de un proyecto son los redireccionamientos.
Debemos recordar que en cada enlace redireccionado se desperdicia parte del presupuesto de rastreo. Además se va perdiendo parte de la autoridad asignada de forma inicial. Por este motivo es conveniente tener el menor número de enlaces redireccionados posibles.
Todo el mundo que usa Screaming Frog sabe visualizar las urls con status 30x. Pero, ¿Cómo visualizamos y exportamos los enlaces redireccionados?
Tenemos que situarnos sobre la pestaña «Códigos de Respuesta» y en el filtro seleccionar «Redirección interna 30x«.
Es importante que seleccionemos solo las redirecciones internas, es decir, las que se producen dentro en nuestro dominio.
Una vez que hemos visualizado todos las urls con status 30x (redirecciones temporales o permanentes) las seleccionamos todas y en la ventana de abajo pinchamos sobre la pestaña «Enlaces Internos«.
De esta forma podremos exportar todos los enlaces internos que tenemos en nuestra web que están apuntando a una página de nuestro sitio web que está redireccionada.
Precauciones que debemos tomar con la exportación de enlaces internos
Puede que algún enlace redireccionado esté en un menú, en el footer, o en un widget. Esto hace que se repita en todas y cada una de las páginas del sitio web. En estos casos la exportación de enlaces internos redireccionados puede ser un número muy grande. Si no queremos trabajar con datos repetidos, debemos identificar aquellos que forman parte de la estructura y tienen multitud de enlaces internos con redirección para no exportarlos.
Yo soy de los que recomienda que se exporten todos y en la hoja de cálculo, si nos estorban los enlaces duplicados (estos que decíamos) los eliminamos de forma masiva.
5 – Canibalización de keywords con Screaming Frog
Aunque la herramienta de la ranita no es la mejor para detectar canibalizaciones, la podemos usar para comprobar similitudes de palabras clave en el title, url, metadescripción…
Para ello deberemos crear un filtro de búsqueda, de forma que busquemos como se indica en la imagen con el comando «OR» en el title, url, metadescripción o metakeywords.
Por último, lo visualizamos en modo árbol, para comprobar dependencias, y de esta forma nos daremos cuenta si estamos hablando de un cluster donde la canibalización no es tal y si hay urls con la misma palabra fuera de ese cluster.
6 – Automatizar informes de Screaming Frog con Looker Studio
Cuando hablamos de esta herramienta como la navaja suiza del SEO nos quedamos cortos. Pero es que, además, tiene opciones que nos puede ayudar a ahorrar mucho tiempo: con las programaciones automáticas.
Pero es que, además, podemos hacer que estas programaciones se hagan sobre la misma tabla de google sheet y podemos monitorizar la evolución en Google Looker Studio.
¿Cómo programamos Screaming Frog?
Entramos en Configuración >> Programación
Añadimos una programación nueva conectamos la cuenta de Google Drive que queramos.
Una vez hecho esto, se programarán los rastreos con la frecuencia que le hayamos dicho. No hace falta que tengamos el programa abierto. Tan sólo tenemos que tener abierto el ordenador donde esté instalado el programa.
Hacemos una copia del Looker Studio por defecto de Screaming Frog y añadimos la nueva fuente de Google sheet.
Tienes más información de cómo hacerlo en este tutorial: https://www.screamingfrog.co.uk/seo-spider/tutorials/how-to-automate-crawl-reports-in-data-studio/
7 – Detección de Contenido duplicado Interno
Uno de los problemas que más me encuentro en mis auditorías es la duplicidad de contenido. Contaremos en otro post cómo detectar el contenido duplicado externo. Pero en el caso del contenido duplicado interno podemos analizarlo con screaming frog.
Hay veces que lo hacemos sin tener conocimiento que es un problema, pero en la mayoría de los casos se produce de forma involuntaria, por culpa del CMS. Por esta razón, es conveniente analizar y tomar medidas al respecto.
¿Cómo lo configuramos?
Entramos en configuración >> contenido >> duplicados
Aquí seleccionamos tanto «Comprobar solo páginas indexables para duplicados» como la opción de «Activar semiduplicados» con un porcentaje del 90%. De esta forma no nos dará falsos duplicados por la propia plantilla.
8 – Detección de páginas sin contenido
Cuando analizamos con la herramienta de la famosa rana verde cualquier sitio web, en cada una de las urls nos va a mostrar el conteo total de palabras que tiene ese sitio web.
Hay que tener en cuenta que la plantilla ya tiene un buen número de palabras, por lo que nunca estará a 0.
Lo mejor es hacer lo siguiente antes de comenzar el rastreo.
- Crear una página sin nada de contenido (ponemos como no index para no tener problemas).
- Iniciamos el rastreo.
- Ejecutamos el análisis del rastreo.
- Buscamos la url de la página fake que hemos creado sin contenido y nos fijamos en el número de palabras que tiene.
- Filtramos por número de palabras, siempre sabiendo cuál es el umbral de páginas sin contenido.
De esta forma podemos detectar fácilmente todas aquellas urls que no tienen contenido.
9 – Comparativa de Rastreos
Uno de los Modos de la herramienta que es totalmente desconocido por muchos es la comparativa de rastreos.
Si pinchamos en Modos, se nos abre un desplegable: Spider, lista, comparador.
Pinchamos en éste último y cargamos los dos rastreos que queramos comparar. Previamente estos rastreos los hemos tenido que ejecutar y descargar en el ordenador, ya sea de forma automática o manual.
En este caso podremos ver la información de la diferencia entre un rastreo y otro en multitud de apartados. Podemos, además, exportar un informe para poder trabajar con estos datos de forma recurrente.
¿Cuáles son tus hacks más interesantes de Screaming Frog? Entre todos podemos hacer una gran lista. Déjamelo en comentarios o escríbenos en cualquier medio.
Antonio López Tomás
Antonio López Tomás es fundador y Director SEO en Elblogdelseo.com y en Seostar.es. Profesor de SEO y Marketing digital en varias universidades (Unizar, UMU, UCAM, UNAE, U. Pompeu Fabra...) y Escuelas de negocios (EAE, IEBS. Marketing and Web, Seoworking, AulaCM...). Speaker en eventos de Marketing Digital y Autor de "Pensamientos Viajeros".
Yo he dejado de utilizar Screaming Frog y comencé a desarrollar scripts con Python. Es más difícil pero mucho más configurable.
Citar Comentario
Hola Alberto. Pues si tienes la posibilidad la verdad es que si. Pero es difícil imaginar ahora mismo algo que no se pueda configurar con Screaming Frog. Y además está el punto de programación. No todo el mundo sabe programar y con Python lo necesitas. Con SF, con saber alguna cosita de xpath y alguna cosita más… puedes hacer mogollón de cosas. Mil gracias Alberto por comentar.
Citar Comentario
Gran post, gracias por los trucos.
Citar Comentario
Gracias Ricardo. Me alegro que te haya gustado y espero que le puedas sacar partido.
Citar Comentario