Mostrando entradas con la etiqueta posicionamiento. Mostrar todas las entradas
Mostrando entradas con la etiqueta posicionamiento. Mostrar todas las entradas

08 abril 2009

Sitemap de Blogger

Blogger genera ficheros XML automáticamente tanto para feeds como sitemaps. En concreto, puede utilizar el sitemap que se encuentra alojado en sublog.blogspot.com/atom.xml para intentar entrar en la indexación de Google de las entradas de su blog de Blogger.
Para ello acceda desde su cuenta Google a las herramientas para webmaster. Añada su blog como sitio a verificar como haría con cualquier otra web. Genere el código de verificación, que es algo parecido a esto:
<meta name="verify-v1" content="dPj4....
que hay que pegar en la plantilla del blog dentro de la etiqueta head. Por ejemplo, para que no quede mezclado con estilos y variables, justo detrás de la etiqueta head de apertura.
Posteriormente, en la pestaña sitemaps, añadir el archivo atom.xml como sitemap a revisar y comprobará las URL que estas herramientas envían automáticamente para ser indexadas en Google.

Artículos relacionados:

Sitemaps en XML (II)
Sitemaps en XML
robots.txt

06 abril 2009

Sitemaps en XML. (II)

Si quiere confeccionar un sitemap en XML de su web por usted mismo, aquí tiene un ejemplo:
(si hace copy-paste use un editor de texto plano como Notepad)

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">

<url>
<loc>http://www.escueladeartetalavera.com/</loc>
<priority>0.95</priority>
<lastmod>2009-04-04T10:51:44+00:00</lastmod>
<changefreq>monthly</changefreq>
</url>


<url>
<loc>http://www.escueladeartetalavera.com/mapaweb.htm</loc>
<priority>0.95</priority>
<lastmod>2009-04-04T10:51:44+00:00</lastmod>
<changefreq>monthly</changefreq>
</url>


<url>
<loc>http://www.escueladeartetalavera.com/bachillerato.htm</loc>
<priority>0.72</priority>
<lastmod>2009-04-04T10:51:44+00:00</lastmod>
<changefreq>monthly</changefreq>
</url>

...............
............(etc.)

</urlset>


Como puede verse, comienza y acaba con las etiquetas urlset y cada URL particular se encuentra dentro de la etiqueta loc, que usted habrá de sustituir por las URL de su web. Un grupo de etiquetas semejantes por cada página que desee indexar.
loc es la dirección de cada página que pretendemos indexar.
priority es la importancia relativa que le asignamos a cada URL.
lastmod es la fecha y hora de la última modificación.
changefreq es la frecuencia de cambio de la página y admite el valor monthly, weekly, daily, yearly, never, etc., según el caso.

Algunas apreciaciones:

-Puede introducir tantas URL como desee indexar en su sitemap, si bien un sitio complejo puede ser partido en tantos sitemaps como quiera (por diversas secciones) para su posterior envío a los servicios de directorio e indexación, como Google.
-Guárdelo como un archivo XML con un nombre como sitemap.xml o algo parecido.
-Súbalo al servidor, a su directorio raíz, porque no se rastrean las URL que se encuentran en directorios superiores a donde se encuentre el sitemap.
-No le de la misma prioridad a todas las páginas si no quiere volver loco a los motores de búsqueda. Puede jugar con varias combinaciones de valores. Déle la máxima prioridad a la página que más se actualiza del sitio web, a la principal, etc.
-Sugiéralo a un sitio que admita sitemaps como las herramientas para webmasters de Google.
-Introduzca una línea en su fichero robots.txt para notificar a los motores de búsqueda de la existencia de este sitemap. La línea ha de ser del tipo, por ejemplo:

Sitemap: (y aquí la dirección URL de su sitemap)

Esta línea puede ir en cualquier posición del fichero robots.txt, por ejemplo debajo del User-agent.

Si no está familiarizado con el archivo robots.txt, lea este post

robots.txt

Puede encontrar sistemas de generación de sitemaps automáticos on line en internet o componentes en gestores de contenido como Joomla (Joomap) para sitios web dinámicos. Si se fía lo suficientemente o si su sitio web es tan complejo que no le merece la pena hacerlo por usted mismo, inténtelo, siempre que se lo relacionen correctamente y de forma gratuita, que es otro cantar.
Y, por otro lado, le sugiero que use la redundancia, esto es, tenga adicionalmente un mapa del sitio con las categorías principales de su sitio web con enlaces a las páginas principales en modo de texto estático (nada de imágenes, ni Flash, ni mapas de imagen, ni enlaces dentro de elementos Javascript,...) en una página publicada dentro del sitio, e introduzca la URL de este mapa web en su sitemap XML.
Que tenga suerte en la indexación y en la promoción de su sitio web.


Artículos relacionados:

Sitemaps en XML
robots.txt

Sitemaps en XML

Cuando comentábamos en posts anteriores la redacción de servidores de noticias, o feeds RSS, en XML, se hacía la propuesta de poder usar este lenguaje como un sitemap de un sitio web. Será conveniente hacer algunas precisiones.
Suele confundirse (por razones obvias) un sitemap con un mapa del sitio. Un mapa del sitio es una página web donde se representan los enlaces más significativos de un website en modo de texto estático que sirve tanto para la navegación de un visitante que en un determinado momento puede acceder fácilmente a las categorías más interesantes del sitio web; así como a los rastreadores, robots, spiders o motores de búsqueda para que sigan determinados enlaces y faciliten su indexación.
Hay quienes usan este mapa del sitio en modo de imagen con vínculos, a partir del que genera Dreamweaver, por ejemplo, si bien su alcance es muy limitado pues tiene una función exclusiva de navegación interna a través del web.
En mi opinión, un sitemap es algo más. Es un fichero semejante a los servidores de noticias RSS, si bien tienen funcionalidades distintas. El servidor de noticias o feed tiene como finalidad informar de las novedades del sitio web a los sistemas de sindicación, lectores del tipo Google Reader y demás, así como a las páginas sindicadas y a nuestros suscriptores en general.
El sitemap es una colección de enlaces, de direcciones, de URL en suma, cuya finalidad suele ser la notificación a los motores de búsqueda de la totalidad de páginas de nuestro sitio u, ocasionalmente, de las páginas más significativas.
También puede usarse en formato HTML para navegar por el sitio y, en este sentido, un sitemap sirve también como un mapa del sitio.
Como puede verse, algunas veces los conceptos de mapa del sitio, sitemap y feed puede confundirse o solaparse.
En el siguiente post le enseñaremos a confeccionar un sitemap en XML por usted mismo y sacarle el mayor partido posible.

06 abril 2007

robots.txt

El fichero robots.txt puede llegar a ser de utilidad en un sitio web y generalmente está disponible en modo automático en los gestores de contenido, que ya te lo dan escrito y optimizado, si bien puede ser modificado.
Cuando uno se lo quiera hacer a mano, debe saber qué es, para qué sirve y como se optimiza.
En esencia es un fichero de texto plano, o texto sin formato, editado con un editor tipo bloc de notas (Notepad) que tiene una serie de órdenes para comunicarse con los robots que rastrean e indexan una web para ser incluidas en sus correspondientes directorios de los buscadores a los que sirven.
En realidad, cuando un robot o un spider llega a una web, lo primero que busca es la existencia de este fichero robots.txt (eso dicen), que le da instrucciones acerca de los permisos y prohibiciones que se le dan para rastrear archivos y carpetas.
Esencialmente hay dos tipos de instrucciones:
User-agent: para referirse a un robot en particular.
Disallow: para deshabilitar el permiso de una carpeta en particular.

Será que como son robots, su lenguaje es bastante reducido y se limita a buscar aparcamiento y pedir café con leche, que es lo esencial en la vida moderna.

Además se usa el caracter comodín * para hacer referencia a todos los robots o a todas las carpetas, con la misma convención que viene usándose desde el viejo Ms-DOS. (¡quién se acuerda ya del pobre!).

Pongamos por ejemplo que queremos deshabilitar el que un robot rastree determinadas carpetas, denominadas por ejemplo flash (donde se encuentran nuestros archivos Flash), dado que no sé si saben que Google, por ejemplo, indexa las películas Flash (*.swf) publicadas en un sitio web como ficheros adjuntos (resultados suplementarios, los llama) y eso supone tiempo de rastreo.
O, por ejemplo que tenemos una carpeta de pruebas, llamada pruebas o algo más inteligente, o una carpeta con notas de diseño, llamada notes, u otra con nuestros scripts CGI llamada cgi-bin, u otra llamada scripts, etc.
Revisar por un robot todas esas carpetas se traduce en tiempo y en cabreos del robot, ya que la dedicación que nos da a revisar nuestro website es limitada y no conviene marearlos, que son muy sensibles a las pérdidas de tiempo, que tienen varios millones de webs en cola de espera.
Otra técnica que puede usarse es la de que no vuelva a pasar por una carpeta cuyo contenido principal sabemos que ya está indexado en el directorio del buscador correspondiente, modificando periódicamente el robots.txt para hacerle que vaya a nuevas carpetas aún no revisadas y deshabilitando las ya miradas y remiradas por un periodo largo de tiempo.
Un posible fichero robots.txt con estas finalidades podría ser de la siguiente forma:

User-agent: *
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/conf/
Disallow :/flash/
Disallow :/error_docs/
Disallow :/Scripts/
Disallow :/_private/
Disallow :/pruebas/
Disallow :/templates/

etc.

Con esto le estamos hablando a cualquier robot y le prohibimos que revise las carpetas mencionadas, para que no invierta tiempo en contenidos irrelevantes para él.

También podemos hablarle a cada robot en particular, solo debemos saber como se llama, por ejemplo, el de Google tiene dos, el Googlebot que es el genérico y el Googlebot-Image, que es el utilizado para incluir imágenes en su directorio. El de Altavista se llama Scooter, etc. Así podríamos ir añadiendo bloques de texto como el anterior habilitando y deshabilitando carpetas, según los contenidos que vayamos viendo que están indexados en los diferentes directorios de los múltiples buscadores.

p. ej:

User-agent: Googlebot
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/conf/

User-agent: Googlebot-Image
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/conf/

User-agent: Scooter
Disallow :/cgi-bin/
Disallow :/bin/
Disallow :/images/

¿Qué finalidad puede tener esto? Con el asterisco como comodín podríamos haberlo hecho para todos. Yo le encuentro dos: la primera porque no todos los robots indexan e incluyen las páginas de forma igualitaria y puede que ya tengamos contenidos en ciertos directorios y en otros no, que nos interesa poner a disposición de unos y de otros ya no sea necesario. En segundo lugar, lo que yo llamo el efecto sicológico de las fuerzas irracionales de la informática, dado que con decir "Españoles todos: bla, bla, bla,...", quedamos todos los españoles incluidos en el llamamiento, pero no es lo mismo que el que nos fueran llamando a cada uno por nuestro nombre. Supongo que es más directo y cortés llamar a los robots de nuestro interés por su nombre directo que de una forma genérica. Una locura inútil como otra cualquiera.

Por último, el fichero ha de ser publicado en el directorio raiz del sitio web, en el más alto al que tengamos acceso. Pero seguro que ustedes pueden encontrar fácilmente en internet opiniones más precisas que las mías y, seguramente, más altamente especializadas. No obstante, le doy el consejo que no se me pide: desconfíe de las leyendas urbanas y sólo crea de lo que se dice en internet y en sus foros aquello que usted haya comprobado por sí mismo con sus experiencias y experimentos.