Ejemplo de robots.txt: Qué es y cómo funciona este complemento para tu sitio web WordPress y otros CMS

Nadie: …
Absolutamente nadie: Hablar una sola vez del robots.txt alcanza.
Yo: Bueno, vamos a complementar un poco el primer post del robots.txt con un ejemplo.

Aquí encontrarás un fichero robots.txt especialmente preparado para mejorar la seguridad de WordPress. Te será útil si no tienes ningún robots.txt o quieres mejorar el que tienes.

Pero bueno, aquí debajo te dejo el post anterior del robots. Y te pido que te quedes hasta el final que te voy a mostrar algo que seguramente no conoces.


¿Qué es el archivo robots.txt y por qué necesito un ejemplo?

Al archivo robots.txt lo explicamos en este otro post, y no vamos a entrar mucho en detalle. Lo que sí, vamos a comentar que este archivo, de texto plano, sirve para dar órdenes a los motores de búsqueda e indexación.

Entonces, vamos a poner un ejemplo de archivo robot, para los diferentes robots que están dando vueltas en la red. Pues, para que uno de estos te obedezca, lo que tenés que hacer es llamarlo por su nombre.


Ejemplo de Robots.txt en un Sitemap

El fichero robots.txt es importante por 2 motivos. El primero es que sirve para indicar la ubicación del fichero sitemap.xml, pues, Google lo usa para obtener un listado de las páginas existentes en el sitio y que debe indexar.

Evita que Google indexe por error ficheros con información privada y, que luego un atacante puede usar haciendo búsquedas en Google.

Esta técnica se llama Dorking, y es legalamente explicada a detalle en Google Hack o Google Dorks. Entonces, dado el caso, te pongo un ejemplo de una búsqueda peligrosa que puedes hacer ahora mismo en Google y, que sirve para encontrar copias de seguridad de sitios que no tienen un fichero robots.txt que los proteja.

inurl:/wp-content/uploads/filetype:sql

filetype:sql

Como puedes ver tener un fichero robots correctamente configurado es muy importante para proteger tu sitio.

Sin embargo, no es posible modificar el fichero robots.txt desde el escritorio de WordPress donde solo hay una opción que permite activar/desactivar la indexación en los buscadores.

Así, WordPress deja la tarea de realizar configuraciones más complejas a plugins como Yoast. Si no quieres usar Yoast u otro plugin puedes subir tú mismo un fichero robots.txt usando una cuenta FTP o el administrador de archivos.

Los desarrolladores tienen la opción de usar el filtro robots.txt para hacer modificaciones en el robots virtual de WordPress que genera dinámicamente un robots.txt con base en una programación dada.


Dónde subir el robots.txt

Cuando subas tu fichero robots.txt tienes que hacerlo a la raíz del sitio —si tienes un cPanel súbelo en la carpeta public_html— y para probar que funciona visita esta dirección en el navegador:

http://example.org/robots.txt

Este es el resultado si funciona bien:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php


Usar Yoast para crear el robots.txt

Usando Yoast puedes crear o modificar el ficheros robots.txt de desde el escritorio de WordPress.

Encontrarás el editor clicando en el menú SEO » Herramientas » Editor de archivos. Tan solo tienes que editar el contenido y guardar los cambios.

Ejemplo robots.txt seguro para WordPress

Este robots fue diseñado para mejorar la seguridad de un WordPress, pues, está basado en el proyecto WPHardening que es una herramienta para fortificar WordPress desde la consola de comandos.

Sitemap: http://example.org/sitemap.xml

User-Agent: *
Allow: /wp-content/uploads/
Allow: /feed/$
Disallow: /wp-
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /?s=
Disallow: /search
Disallow: /archives/
Disallow: /index.php
Disallow: /? Disallow: /.php$
Disallow: /.js$ Disallow: /.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

No indexar copias de seguridad

Disallow: /.sql$ Disallow: /.tgz$
Disallow: /.gz$ Disallow: /.tar$
Disallow: /*.svn$

Reglas para bots conocidos

Sí bien, el Googlebot es el más conocido y utilizado, no es el único. Veamos cuales tenemos:

User-agent: Googlebot

User-agent: Googlebot-Image
Disallow: /wp-includes/
Allow: /wp-content/uploads/

User-agent: Mediapartners-Google*
Disallow:

User-agent: ia_archiver
Disallow: /

User-agent: duggmirror
Disallow: /

User-agent: noxtrumbot
Crawl-delay: 50

User-agent: msnbot
Crawl-delay: 30

User-agent: Slurp
Crawl-delay: 10

User-agent: MSIECrawler
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: libwww
Disallow: /

La primera línea: Sitemap: http://example.org/sitemap.xml, sirve para establecer la URL que le corresponde al fichero sitemap.xml del propio sitio. Este valor lo lee Google durante el rastreo. Es importante que pongas la URL adecuada, sobre todo si el sitio no está registrado en la Search Console de Google.

Este ejemplo de robots.txt para WordPress está pensado para mejorar la seguridad de tu sitio web. Es un punto de partida para empezar la personalización, desactivando otros bots o bloqueando la indexación de carpetas con contenido privado.


Conclusión

Bueno, en este post simplemente comentamos un ejemplo más específico de cómo crear un archivo robots con un ejemplo. También podés consultar información sobre Google Dorks, pues, con esa técnica podemos entender la importancia del Robots conforme al hacking.

Sin nada más por agregar, me despido con un regalo de 25 dólares, para que puedan crear vuestro próximo sitio en WordPress.com. Lo único que hay que hacer, es cliquear en el banner, y seguir las instrucciones.

Consigue 25 dólares para tu próximo sitio WordPress

12 comentarios en “Ejemplo de robots.txt: Qué es y cómo funciona este complemento para tu sitio web WordPress y otros CMS”

  1. Pingback: ⛓⛓ Redirección 301: ¿Qué es y para qué sirve? • Tupac Bruch

  2. Pingback: Herramientas de Google: 👻🎃 necesitas conocerlas • Tupac Bruch

  3. Pingback: Google Dorks: Un hacking pero no tan hacking • Tupac Bruch

  4. Pingback: 😹😏 Lazy Loading: Las cargas diferidas de recursos • Tupac Bruch

  5. Pingback: 🤖👻 Robots.txt y su importancia para Google • Tupac Bruch

  6. Pingback: 🧙🤏 ¿Qué es la segmentación de mercados? • Tupac Bruch

  7. Pingback: 🏃💨 ¿Qué es el Dwell Time? • Potencia tu UX • Tupac Bruch • Blog curso

  8. Pingback: 🤑💚 ¿Qué es el contenido evergreen? • Tupac Bruch

  9. Pingback: Estrategias del océano azul y el océano rojo • Tupac Bruch

  10. Pingback: Google Tag Manager: ¿Qué es y para qué sirve? Guía • Tupac Bruch

  11. Hey pana mio, saludos desde Colombia. quiero saber todo lo necesario para empezar seo desde este momento! pero no puedo agregar el robots a mi pajina de wordpress Te felicito por tus post, tienes una energía bien bien cabrona me encanta!!

Deja un comentario Cancelar respuesta

Metodología Agile: qué es y cómo aplicarla a tu proyecto de alto rendimiento en tu flujo de trabajo

Cuando hablamos de cambios y procesos tecnológicos relacionados con la transformación digital, tendremos una gran cantidad de nuevos conceptos dentro de la nube de ideas de temas relacionados. Sin embargo, sí hablamos propiamente de la gestión de proyectos, un concepto se destaca por sobre el resto, estoy hablando, de la metodología Agile. Entonces, hablando netamente

Read More »

Mindset: Aprende sobre el poder de la mentalidad positiva o growth mindset «progresivo» y a detectar tu propio mindset con ejemplos

Este es un tema muy propio del desarrollo personal, pues, tener una mentalidad correcta, es crucial para tu crecimiento. Entonces, toca hablar del Mindset, y de los marcos mentales relacionados con el mismo. El Mindset es un término que ha ganado mucha popularidad en los últimos años. Este concepto es simple y la verdad, no

Read More »

Liderazgo: Aprende qué es este concepto con definiciones y ejemplos, los tipos de líderes, algunas frases

Bueno, se viene un post cortito y serio sobre Liderazgo y desarrollo personal. El liderazgo es una cualidad importante que tienen todas las personas, independientemente de su área de interés; pues, el liderazgo se encuentra a muchos niveles y tiene muchos matices. En este post, intentaré definir el liderazgo, y mencionar los tipos de liderazgo

Read More »

Diseño web: Aprende qué es y como un diseño profesional puede ayudarte a posicionar tu sitio web con este post tutorial

Bueno, el diseño web es un área enfocada en el desarrollo de interfaces digitales, como el diseño de sitios y aplicaciones para web «Progressive Web App». Para ello, los diseñadores web crean sitios utilizando lenguajes de programación como HTML, CSS, JavaScript, e incluso otros tantos más. Pero, siempre, el motivo del diseño debe estar orientado

Read More »

Diseño: Cuando el diseño es tu pasión nada puede malir sal

— La idea de este post ocurrió mientras estaba escuchando la siguiente canción que seguramente comparta por aquí debajo. Mientras lo hacía, no paraba de pensar en el meme que dice: «el diseño gráfico es mi pasión«. Bueno, siendo justos, tampoco soy un gran maestro del diseño, pues, todo lo que engloba al diseño requiere

Read More »
error: Content is protected !!