Robots.txt en WordPress para mejorar la seguridad y el SEO

En digitalDot hemos querido tratar este punto del posicionamiento y factor de seguridad porque recientemente todas las auditorías de SEO que nos han llegado, tenían el fichero robots.txt, sin atribuir.

En nuestra agencia siempre intervenían, por un lado, nuestro consultor SEO que detectaba el fallo mediante una auditoría del tipo de contenido de la web y nuestro técnico de sistemas que lo implementaba y aportaba, de paso, las mejoras en seguridad web.

Por ello nos hemos embarcado en explicar la potencia que nos puede brindar el robots.txt en, por ejemplo, un WordPress.

¿Qué es el fichero Robots.txt?

Es un fichero txt que informa a arañas y buscadores si está permitida la rastreabilidad de una web, sobre que contenido, que velocidad y en que URLs puede navegar.

Este simple ficherito en txt tiene bastante potencia para nuestra página web.

Si nos sirve para restringir la parte de seguridad la tenemos clara, podemos bloquear aquellos robots que hagan uso de este fichero evitando rastreos o consumo de tráfico innecesarios para nuestro servidor Web y especificar el factor de la velocidad que queremos otorgarle.

¿Qué podría mejorar en seo el fichero Robot.txt?

Un punto importante para cualquier web es el sitemap, uno o varios ficheros que muestran la estructura jerárquica que posteriormente enviaremos a los buscadores.

¿Qué permite incluir el sitemap de una web? Sencillo, toda la información relevante de indexar para que los buscadores la encuentren, como las fotografías y la fecha de modificación, el contenido, rutas html de páginas, blogs, categorías que queramos indexar, etc.

Como consultores SEO debemos saber que las arañas, el primer fichero que rastrean, es el robots.txt por ello es tan importante prestarle atención, porque a través de él marcaremos la hoja de ruta para nuestra web.

Imaginad una tienda online con miles de páginas, con fichas de producto sin completar. Nuestra redacción de contenido puede tardar en completar toda esa información, por ello, podemos bloquear el rastreo o indexación y activar solo aquellas fichas de producto y categorías completamente trabajadas en factores SEO... seguir leyendo en el blog de SEO de digitalDot.

 

Ir al sitio web