Directrices SEO para configurar el robots.txt

Los archivos robots.txt sirven para indicar a las arañas y bots de los buscadores qué partes de una web deben indexar e incorporar a su buscador y qué partes deben obviar.  No es necesario contar con el archivo robots.txt obligatoriamente, pero sí que lo podemos usar si queremos que no se registre alguna parte de la página web que gestionamos y mejorar el SEO. Es uno de los primeros elementos a analizar cuando un consultor SEO es embarca en un proyecto, pues puede que estemos limitando capacidades de nuestra web si no está correctamente configurado. También puede ocurrir lo contrario, y que estemos guiando a las arañas que marcan el posicionamiento en buscadores hacia páginas que no tienen calidad ni contenido de valor. Esto repercutiría negativamente en el SEO de nuestro site.

Por qué en SEO debemos utilizar el archivo robots.txt

Al hilo de la introducción, os especificamos en detalle las razones por las que un consultor SEO debe tener en cuenta a este elemento si quiere implementar mejoras en el posicionamiento en buscadores:

• Centrar el rastreo de buscadores solo de los contenidos que nos interesan.
• Evitar que se indexen contenidos personales.
• Optimizar el uso de la red.
• Mejorar el posicionamiento SEO de la web.
• Evitar duplicidades y por tanto penalizaciones innecesarias.

Configuración adecuada de robots.txt para un mejor posicionamiento en buscadores

Se puede poner un archivo robots.txt predefinido pero, para evitar futuras complicaciones, es preferible crearlo uno mismo y configurarlo de la manera más adecuada para obtener un buen posicionamiento en buscadores. Para poder configurar el archivo robots.txt y así evitar el rastreo de ciertas zonas de una web, lo principal es tener acceso a la raíz de tu FTP (el lugar donde tienes subida tu página web). El archivo hay que colocarlo en la base o root del FTP para que los rastreadores lo tengan en cuenta. Si utilizas algún gestor de contenido, del tipo wordpress, lo más probable es que puedas configurar este elemento con algún plugin, aunque como verás a continuación, los códigos que maneja este archivo no son complejos.

Por lo tanto, podremos crearlo manualmente con cualquier procesador de texto o incluso con el bloc de notas. A continuación ofrecemos los pasos que hay que seguir para configurar correctamente un archivo robots.txt y conseguir que influya positivamente en el posicionamiento en buscadores.

• Crear un archivo de texto (.txt) llamado robots.txt
• Se escribe user-agent: seguido del robot al que van dirigidas las restricciones. Por ejemplo Googlebot en el caso de que quisiésemos enviar directrices a las arañas de Google.
• Se escribe Disallow: seguido de la dirección URL del contenido en concreto que queramos bloquear para los buscadores
• Por último, el comando Allow: seguido de la URL del contenido que queramos que los bots encuentren dentro de un lugar que hayamos bloqueado. Este comando es como abrir una excepción SEO dentro de la directriz general.
• Hay que dejar una línea en blanco entre un User-agent y otro.
• Entre las reglas de Disallow no hay que dejar ninguna línea en blanco.

Diccionario para robots.txt y directrices para mejorar el SEO

A continuación de explicamos las sencillas líneas de código que deberás introducir en tu .txt para guiar a los buscadores a los recovecos de tu web que más te convenga. Con una adecuada configuración puedes mejorar el SEO de tu web y, en consecuencia, mejorar el posicionamiento en buscadores.

• Si queremos bloquear el sitio completo → Disallow:/
• Para bloquear sólo un directorio y sus contenidos→ Disallow:/aquí-directorio/
• Impedir el rastreo de una página→ Disallow:/aquí-pagina.html
• Impedir el rastreo de una imagen→

User-agent:Googlebot-Image

Disallow:/images/nombre.jpg

• Prohibido leer las imágenes de mi site →

User-agent:Googlebot-Image

Disallow:/

• Que Google no lea los archivos de un tipo específico (por ejemplo los .gif)→

User-agent:Googlebot

Disallow:/*.gif$

Con estas directrices conseguirás limitar el acceso a Google a ciertas partes de tu web, poniendo en valor aquellos elementos que aportan contenido de calidad y sí son valorados a la hora de mejorar el posicionamiento en buscadores. Un archivo muy importante en la labor de un consultor SEO, como explica el hecho de que robots.txt haya cumplido recientemente 20 años desde su creación.