Hacking SEO Técnico

Ejemplo de robots.txt: Qué es y cómo funciona este complemento para tu sitio web WordPress y otros CMS

Nadie: …
Absolutamente nadie: Hablar una sola vez del robots.txt alcanza.
Yo: Bueno, vamos a complementar un poco el primer post del robots.txt con un ejemplo.

Aqu√≠ encontrar√°s un fichero robots.txt especialmente preparado para mejorar la seguridad de WordPress. Te ser√° √ļtil si no tienes ning√ļn robots.txt o quieres mejorar el que tienes.

Pero bueno, aquí debajo te dejo el post anterior del robots. Y te pido que te quedes hasta el final que te voy a mostrar algo que seguramente no conoces.


¬ŅQu√© es el archivo robots.txt y por qu√© necesito un ejemplo?

Al archivo robots.txt lo explicamos en este otro post, y no vamos a entrar mucho en detalle. Lo que s√≠, vamos a comentar que este archivo, de texto plano, sirve para dar √≥rdenes a los motores de b√ļsqueda e indexaci√≥n.

Entonces, vamos a poner un ejemplo de archivo robot, para los diferentes robots que están dando vueltas en la red. Pues, para que uno de estos te obedezca, lo que tenés que hacer es llamarlo por su nombre.


Ejemplo de Robots.txt en un Sitemap

El fichero robots.txt es importante por 2 motivos. El primero es que sirve para indicar la ubicaci√≥n del fichero sitemap.xml, pues, Google lo usa para obtener un listado de las p√°ginas existentes en el sitio y que debe indexar.

Evita que Google indexe por error ficheros con informaci√≥n privada y, que luego un atacante puede usar haciendo b√ļsquedas en Google.

Esta t√©cnica se llama Dorking, y es legalamente explicada a detalle en Google Hack o Google Dorks. Entonces, dado el caso, te pongo un ejemplo de una b√ļsqueda peligrosa que puedes hacer ahora mismo en Google y, que sirve para encontrar copias de seguridad de sitios que no tienen un fichero robots.txt que los proteja.

inurl:/wp-content/uploads/filetype:sql

robots.txt en owrdpress
filetype:sql

Como puedes ver tener un fichero robots correctamente configurado es muy importante para proteger tu sitio.

Sin embargo, no es posible modificar el fichero robots.txt desde el escritorio de WordPress donde solo hay una opción que permite activar/desactivar la indexación en los buscadores.

As√≠, WordPress deja la tarea de realizar configuraciones m√°s complejas a plugins como Yoast. Si no quieres usar Yoast u otro plugin puedes subir t√ļ mismo un fichero robots.txt usando una cuenta FTP o el administrador de archivos.

Los desarrolladores tienen la opci√≥n de usar el filtro robots.txt para hacer modificaciones en el robots virtual de WordPress que genera din√°micamente un robots.txt con base en una programaci√≥n dada.


Dónde subir el robots.txt

Cuando subas tu fichero robots.txt tienes que hacerlo a la ra√≠z del sitio ‚ÄĒsi tienes un cPanel s√ļbelo en la carpeta public_html‚ÄĒ y para probar que funciona visita esta direcci√≥n en el navegador:

https://tupacbruch.com/robots.txt

Este es el resultado si se crea un archivo Robots est√°ndar que funciona bien:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Aunque, en mi caso, tengo un par de detalles extra, porque, principalmente, me interesa marcar los sitemaps; que los buscadores no sigan todo lo relacionado con el admin (salvo el JavaScript asincrónico); y tampoco, algunos formularios.

Sitemap: https://tupacbruch.com/sitemap.xml
Sitemap: https://tupacbruch.com/news-sitemap.xml
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-content/uploads/wpforms/


Usar Yoast para crear el robots.txt

Usando Yoast puedes crear o modificar el ficheros robots.txt de desde el escritorio de WordPress.

Encontrar√°s el editor clicando en el men√ļ SEO ¬Ľ Herramientas ¬Ľ Editor de archivos. Tan solo tienes que editar el contenido y guardar los cambios.

Ejemplo robots.txt seguro para WordPress

Este robot fue dise√Īado para¬†mejorar la seguridad de un WordPress, pues, est√° basado en el proyecto¬†WPHardening¬†que es una herramienta para fortificar WordPress desde la consola de comandos.

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /? Disallow: /.php$
Disallow: /.js$ Disallow: /.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

Sin embargo, el que tengo en mi sitio no funciona de esta manera, pues, a mí, en lo particular, me interesa indexar la mayoría de las URLs.

Sitemap: https://tupacbruch.com/sitemap.xml

No indexar copias de seguridad

Disallow: /.sql$ Disallow: /.tgz$
Disallow: /.gz$ Disallow: /.tar$
Disallow: /*.svn$

Reglas para bots conocidos

S√≠ bien, el Googlebot es el m√°s conocido y utilizado, no es el √ļnico. Veamos cuales tenemos:

User-agent: Googlebot

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

Algo a destacar, es que en la primera línea del sitemap, tenemos lo siguiente: https://tupacbruch.com/sitemap.xml, sirve para establecer la URL que le corresponde al fichero sitemap.xml del propio sitio. Este valor lo lee Google durante el rastreo. Es importante que pongas la URL adecuada, sobre todo si el sitio no está registrado en la Search Console de Google.

Este ejemplo de robots.txt para WordPress está pensado para mejorar la seguridad de tu sitio web. Es un punto de partida para empezar la personalización, desactivando otros bots o bloqueando la indexación de carpetas con contenido privado.


Conclusión

Bueno, en este post simplemente comentamos un ejemplo más específico de cómo crear un archivo robots con un ejemplo. También podés consultar información sobre Google Dorks, pues, con esa técnica podemos entender la importancia del Robots conforme al hacking.

Sin nada m√°s por agregar, me despido con un regalo de 25 d√≥lares, para que puedan crear vuestro pr√≥ximo sitio en WordPress.com. Lo √ļnico que hay que hacer, es cliquear en el banner, y seguir las instrucciones.

Consigue 25 dólares para tu sitio WordPress
Consigue 25 dólares para tu próximo sitio WordPress

2 Comments

  1. Hey pana mio, saludos desde Colombia. quiero saber todo lo necesario para empezar seo desde este momento! pero no puedo agregar el robots a mi pajina de wordpress Te felicito por tus post, tienes una energía bien bien cabrona me encanta!!

    • Te recomiendo que me sigas en las redes para estar al tanto de los nuevos post.
      Muchas gracias por tu comentario.
      Saludos.

Deja un comentario

%d