Creación de robots.txt optimizado para seo en wordpress
El archivo robots.txt es una opción de optimización web de nivel medio de dificultad y está orientado al bloquear de zonas webs. Si tienes contenido duplicado o una categoría que no quieres que se indexe está es a mejor opción.
Qué es el archivo robots.txt y para qué sirve
El archivo robots.txt es un archivo de texto que se coloca en el servidor y su principal función es bloquear ciertas zonas de nuestra web a los bots de rastreo. Está siempre colgado del dominio principal www.midominio.es/robots.txt
Lo puedes usar para bloquear ciertos bots que no te interesen o para páginas de software o funcionalidades que no apartan nada al SEO de la web.
Cómo crear el archivo robots.txt en WordPress
Si tienes acceso via FTP al hosting y sabes como manejarlo lo puedes hacer con cualquier editor de texto y subirlo. En el caso de wordpress podemos utilizar también el plugin Yoast.
En principio tu robots.txt en una instalación wordpress sera:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Que nos indica que para todos los bots, no pueden entrar en wp-admin, menos al programa admin-ajax.
Y si lo que queremos es quitar todo lo que no está seo optimizado nos puede quedar:
#Carpetas de WordPress, el feed, los comentarios, las búsquedas, las etiquetas…
User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login
Disallow: /wp-admin
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /*/attachment/
Disallow: /author/
Disallow: *?replytocom
Disallow: /tag/*/page/
Disallow: /tag/*/feed/
Disallow: /comments/
Disallow: /xmlrpc.php
Disallow: /*?s=
Disallow: /*/*/*/feed.xml
Disallow: /?attachment_id*
Disallow: /search
#Segundo Bloque User-Agent: Googlebot
Allow: /*.css$
Allow: /*.js$
#Sitemap, puedes añadir más de uno
Sitemap: http://www.midominio.com/sitemap.xml
Con esto tendríamos casi un robots.txt perfecto para nuestra instalación en la que no indexariamos nada que no fuera necesario, así evitamos por ejemplo que los tags posiciones por encima de las categorías o que nuestra página de author se muestre en los resultados de búsqueda.