User-agent: * Disallow: /admin/ Disallow: /files/ Disallow: /images/ Disallow: /cgi-bin Disallow: /500 Disallow: /400 Disallow: /401 Disallow: /403 Disallow: /404