# Ce fichier contrôle l'indexation des pages de présentation
# Les autres pages situées sous la hiérarchie http://www.cru.fr/
# peuvent contenir la balise
# <META NAME="ROBOTS" CONTENT="ALL | NONE | NOINDEX | NOFOLLOW">

User-agent: *
Disallow: /listes/              # Espace bounces
Disallow: /arc/                 # archives
Disallow: /cgi-bin/             # Scripts
Disallow: /notforrobots/        # Ne pas se laisser faire par les brigands
Disallow: /plongeon/            # pollueur
Disallow: /sympa/arc/biblio-fr
Disallow: /prive/
#Disallow: /sympa/			# WWSympa
Disallow: /sympa/arc              # 16/12/2004
Disallow: /wws/arc               # 09/01/09

User_agent: Googlebot
Disallow: /sympa/arc/ecolesart
Allow: /sympa/arc/creda-concurrence
Request-rate: 1/5         # maximum rate is one page every 5 seconds
Visit-time: 0200-0600

User-agent: GoogleMini (Enterprise; M2-JKT8FMAKUA2AS; serge.aumont@cru.fr)
Disallow: /listes/              # Espace bounces
Disallow: /arc/                 # archives
Disallow: /cgi-bin/             # Scripts
Disallow: /notforrobots/        # Ne pas se laisser faire par les brigands
Disallow: /plongeon/            # pollueur