# robots.txt

# Sitemap referenzieren
Sitemap: http://www.ingo-untiedt.de/sitemap.xml

# Zugriff auf alle Dateien außer AKZ-Seiten erlauben
User-agent: *
Disallow: /akz/

# Zugriff auf private Seiten verbieten, die niemanden außer den Befugten was angehen :-)
User-agent: *
Disallow: /Junggesellenabschied_Christoph_August_2007/

# aggressive Roboter im Zaum halten

# Linkwalker (www.seventwentyfour.com)
User-agent: LinkWalker
Disallow: /

# psbot (www.picsearch.com)
User-agent: psbot
Disallow: /

# detectionserver.de
User-agent: http://modellbau.detectionserver.de
Disallow: /

# internetseer.com
User-agent: sitecheck.internetseer.com
Disallow: /

# Zugriff des Yahoo-Robot etwas reduzieren
# klappt aber auch nicht so richtig: In deren FAQ ist ein Hochsetzen
# auf einen Wert von 5-10 empfohlen, um eine Reduzierung der Belastung zu erreichen.
# Das bringt jedoch gar nix....
# Bei einem Wert von 50 mag man sich einbilden, daß es ein wenig was hilft
# Mas abwarten, was bei 100 passiert....
# Update: Hmmmm, leider auch nicht viel besser :-(
User-agent: Slurp
Crawl-delay: 100

# Voila
# This is a strange bot since it seems to ignore the robots.txt convention
# although it reads this file EVERY SINGLE TIME before it does access any other file
# on this site. And it is doing a lot of crawling which seems strange since there is just some
# static content to find here which almost never changes.
# So why does any robot need to read all the unchanged files hundreds of times every week?
# But maybe they will become reasonable sometime and start obeying the following entry.....
# Update: not yet....
User-agent: VoilaBot 
Disallow: /