Creación de robots.txt optimizado para seo en wordpress

El archivo robots.txt es una opción de optimización web de nivel medio de dificultad y está orientado al bloquear de zonas webs. Si tienes contenido duplicado o una categoría que no quieres que se indexe está es a mejor opción.

Qué es el archivo robots.txt y para qué sirve

El archivo robots.txt es un archivo de texto que se coloca en el servidor y su principal función es bloquear ciertas zonas de nuestra web a los bots de rastreo. Está siempre colgado del dominio principal www.midominio.es/robots.txt

Lo puedes usar para bloquear ciertos bots que no te interesen o para páginas de software o funcionalidades que no apartan nada al SEO de la web.

Cómo crear el archivo robots.txt en WordPress

Si tienes acceso via FTP al hosting y sabes como manejarlo lo puedes hacer con cualquier editor de texto y subirlo. En el caso de wordpress podemos utilizar también el plugin Yoast.

En principio tu robots.txt en una instalación wordpress sera:

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Que nos indica que para todos los bots, no pueden entrar en wp-admin, menos al programa admin-ajax.

Y si lo que queremos es quitar todo lo que no está seo optimizado nos puede quedar:

#Carpetas de WordPress, el feed, los comentarios, las búsquedas, las etiquetas…

User-agent: *

Allow: /wp-admin/admin-ajax.php

Disallow: /wp-login

Disallow: /wp-admin

Disallow: /*/feed/

Disallow: /*/trackback/

Disallow: /*/attachment/

Disallow: /author/

Disallow: *?replytocom

Disallow: /tag/*/page/

Disallow: /tag/*/feed/

Disallow: /comments/

Disallow: /xmlrpc.php

Disallow: /*?s=

Disallow: /*/*/*/feed.xml

Disallow: /?attachment_id*

Disallow: /search

#Segundo Bloque User-Agent: Googlebot

Allow: /*.css$

Allow: /*.js$

#Sitemap, puedes añadir más de uno

Sitemap: http://www.midominio.com/sitemap.xml

Con esto tendríamos casi un robots.txt perfecto para nuestra instalación en la que no indexariamos nada que no fuera necesario, así evitamos por ejemplo que los tags posiciones por encima de las categorías o que nuestra página de author se muestre en los resultados de búsqueda.