TucoWeb punto Com …pensando en el futuro!
Related Articles
Crear un archivo robots.txt puede facilitar a los motores de búsqueda en la indexación del sitio.
Para aquellos que no saben lo que es, es simplemente una pista de instrucciones que los motores de búsqueda siguen durante el spiderrastreo (ve spiderastrear es decir el lado de google araña u otros motores de búsqueda, para pasar las páginas y índexar en los registros) del sitio
En práctica, gracias a este simple texto de archivo le decimos que partes del sitio dejar en paz, y luego esto aumenta a potenciar a las partes en las que el motor debe spiderrastrear.
Simplemente podemos crear archivos robots.txt con el Bloc de notas o cualquier otro editor de texto. Sólo recuerda de guardarlo en formato .txt y con el nombre robots.txt
Después tienes que subirlo a la raíz de la página web.
La base del código para un archivo robots.txt es el siguiente, pueden copiarlo y utilizarlo para su sitio web hecho con WordPress.
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: /trackback/
Disallow: /tag/
Disallow: /category/
Disallow: /author/
Disallow: /backup/
Disallow: /cgi-bin/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
