Ejemplo de robots.txt: ¿Qué es y cómo funciona?

Nadie: …
Absolutamente nadie: Hablar una sola vez del robots.txt alcanza.
Yo: Bueno, vamos a complementar un poco el primer post del robots.txt con un ejemplo.

Aquí encontrarás un fichero robots.txt especialmente preparado para mejorar la seguridad de WordPress. Te será útil si no tienes ningún robots.txt o quieres mejorar el que tienes.

Pero bueno, aquí debajo te dejo el post anterior del robots. Y te pido que te quedes hasta el final que te voy a mostrar algo que seguramente no conoces.

¿Qué es el archivo robots.txt y por qué necesito un ejemplo?

Al archivo robots.txt lo explicamos en este otro post, y no vamos a entrar mucho en detalle. Lo que sí, vamos a comentar que este archivo, de texto plano, sirve para dar órdenes a los motores de búsqueda e indexación.

Entonces, vamos a poner un ejemplo de archivo robot, para los diferentes robots que están dando vueltas en la red. Pues, para que uno de estos te obedezca, lo que tenés que hacer es llamarlo por su nombre.

Ejemplo de Robots.txt en un Sitemap

El fichero robots.txt es importante por 2 motivos. El primero es que sirve para indicar la ubicación del fichero sitemap.xml, pues, Google lo usa para obtener un listado de las páginas existentes en el sitio y que debe indexar.

Evita que Google indexe por error ficheros con información privada y, que luego un atacante puede usar haciendo búsquedas en Google.

Esta técnica se llama Dorking, y es legalamente explicada a detalle en Google Hack o Google Dorks. Entonces, dado el caso, te pongo un ejemplo de una búsqueda peligrosa que puedes hacer ahora mismo en Google y, que sirve para encontrar copias de seguridad de sitios que no tienen un fichero robots.txt que los proteja.

inurl:/wp-content/uploads/filetype:sql

Como puedes ver tener un fichero robots correctamente configurado es muy importante para proteger tu sitio.

Sin embargo, no es posible modificar el fichero robots.txt desde el escritorio de WordPress donde solo hay una opción que permite activar/desactivar la indexación en los buscadores.

Así, WordPress deja la tarea de realizar configuraciones más complejas a plugins como Yoast. Si no quieres usar Yoast u otro plugin puedes subir tú mismo un fichero robots.txt usando una cuenta FTP o el administrador de archivos.

Los desarrolladores tienen la opción de usar el filtro robots.txt para hacer modificaciones en el robots virtual de WordPress que genera dinámicamente un robots.txt con base en una programación dada.

Dónde subir el robots.txt

Cuando subas tu fichero robots.txt tienes que hacerlo a la raíz del sitio —si tienes un cPanel súbelo en la carpeta public_html— y para probar que funciona visita esta dirección en el navegador:

https://tupacbruch.com/robots.txt

Este es el resultado si se crea un archivo Robots estándar que funciona bien:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Aunque, en mi caso, tengo un par de detalles extra, porque, principalmente, me interesa marcar los sitemaps; que los buscadores no sigan todo lo relacionado con el admin (salvo el JavaScript asincrónico); y tampoco, algunos formularios.

Sitemap: https://tupacbruch.com/sitemap.xml
Sitemap: https://tupacbruch.com/news-sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/wpforms/

Usar Yoast para crear el robots.txt

Usando Yoast puedes crear o modificar el ficheros robots.txt de desde el escritorio de WordPress.

Encontrarás el editor clicando en el menú SEO » Herramientas » Editor de archivos. Tan solo tienes que editar el contenido y guardar los cambios.

Ejemplo robots.txt seguro para WordPress

Este robot fue diseñado para mejorar la seguridad de un WordPress, pues, está basado en el proyecto WPHardening que es una herramienta para fortificar WordPress desde la consola de comandos.

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /? Disallow: /.php$
Disallow: /.js$ Disallow: /.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

Sin embargo, el que tengo en mi sitio no funciona de esta manera, pues, a mí, en lo particular, me interesa indexar la mayoría de las URLs.

Sitemap: https://tupacbruch.com/sitemap.xml

No indexar copias de seguridad

Disallow: /.sql$ Disallow: /.tgz$
Disallow: /.gz$ Disallow: /.tar$
Disallow: /*.svn$

Reglas para bots conocidos

Sí bien, el Googlebot es el más conocido y utilizado, no es el único. Veamos cuales tenemos:

User-agent: Googlebot

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

Algo a destacar, es que en la primera línea del sitemap, tenemos lo siguiente: https://tupacbruch.com/sitemap.xml, sirve para establecer la URL que le corresponde al fichero sitemap.xml del propio sitio. Este valor lo lee Google durante el rastreo. Es importante que pongas la URL adecuada, sobre todo si el sitio no está registrado en la Search Console de Google.

Este ejemplo de robots.txt para WordPress está pensado para mejorar la seguridad de tu sitio web. Es un punto de partida para empezar la personalización, desactivando otros bots o bloqueando la indexación de carpetas con contenido privado.

Conclusión

Bueno, en este post simplemente comentamos un ejemplo más específico de cómo crear un archivo robots con un ejemplo. También podés consultar información sobre Google Dorks, pues, con esa técnica podemos entender la importancia del Robots conforme al hacking.

Sin nada más por agregar, me despido con un regalo de 25 dólares, para que puedan crear vuestro próximo sitio en WordPress.com. Lo único que hay que hacer, es cliquear en el banner, y seguir las instrucciones.