# ==============================================================
# ROBOTS.TXT
# Erstellung: 01.02.2007
# Modifiziert: 12.11.2007
# Author: sfluri(at)format-ag.ch
# Version: $1.0
# 
# Anfragen fuer Aenderungen
# Request for Updates
# http://www.domain.dd.ch/de/kontakt
# ==============================================================

#
# Collectors & Spambots und alle anderen die wir nicht wollen!
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: EmailCollector
Disallow: /

User-agent: Java
Disallow: /

#
# Bots die den gesamten Inhalt fuer Offlineverwendung kopieren.
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#  

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent: Zealbot
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: Fetch
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebZIP
Disallow: /

User-agent: linko
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: Microsoft.URL.Control
Disallow: /

User-agent: Xenu
Disallow: /

User-agent: larbin
Disallow: /

User-agent: libwww
Disallow: /

User-agent: ZyBORG
Disallow: /

User-agent: Download Ninja
Disallow: /

User-agent: WebReaper
Disallow: /

#
# Anweisung fuer Google
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: Googlebot
Disallow: /*/admin/
Disallow: /*/auth/
Disallow: /*/login/
Disallow: /*/master/
Disallow: /*/script/
Disallow: /*/scripts/
Disallow: /*/style/
Disallow: /*/styles/
Disallow: /*/tmp/
Disallow: /*/temp/
Disallow: /*/templates/
Disallow: /*/wDirectory.php$
Disallow: /*/weblication.xml$
Disallow: /*.bak$
Disallow: /*.eml$
Disallow: /*.js$
Disallow: /*.csv$
Disallow: /*.css$
Disallow: /*.tpl$
Disallow: /*.wLocked$
Allow: /*?$

#
# Anweisung fuer Microsoft
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#	

User-Agent: msnbot
Disallow: wDirectory.php$
Disallow: weblication.xml$
Disallow: *.bak$
Disallow: *.eml$
Disallow: *.js$
Disallow: *.css$
Disallow: *.csv$
Disallow: *.tpl$
Disallow: *.wfb$
Disallow: *.wLocked$
Allow: /*?$

# 
# Inhalte die nicht indiziert werden duerfen
# An die Betreiber: Bitte halten Sie sich an die robots.txt-Anweisungen!
#

User-agent: *

Disallow: /admin/
Disallow: /auth/
Disallow: /de/login/
Disallow: /de/weblication/
Disallow: /demo/
Disallow: /error/
Disallow: /format/
Disallow: /login/
Disallow: /shared/
Disallow: /spam/
Disallow: /temp/
Disallow: /tmp/
Disallow: /weblication/
Disallow: /abcx.xml
Disallow: /u.xml

# 
# Fuer Alle die wir hier wollen ;-)
# Bots und Spiders duerfen folgende Inhalte indizieren
# 

Allow: /de/
Allow: /de/aktuelles/
Allow: /de/content/
Allow: /de/empfehlen/
Allow: /de/dok/
Allow: /de/global/
Allow: /de/global/content/navigations/standard.wNavigation.php
Allow: /de/global/content/navigations/stichwortverzeichnis.wNavigation.php
Allow: /de/img/
Allow: /de/impressum/
Allow: /de/inhalte/
Allow: /de/inhaltsverzeichnis/
Allow: /de/kontakt/
Allow: /de/list/
Allow: /de/liste/
Allow: /de/listen/
Allow: /de/seite-empfehlen/
Allow: /de/sitemap/
Allow: /de/stichwortverzeichnis/
Allow: /de/suche/
Allow: /de/tellafriend/
Allow: /de/wContent/
Allow: /de/weiterempfehlen/
Allow: /de/wGlobal/
Allow: /de/wGlobal/content/navigations/standard.wNavigation.php
Allow: /de/wGlobal/content/navigations/stichwortverzeichnis.wNavigation.php
Allow: /de/wList/
Allow: /de/wTellAFriend/
Allow: /de/index.php
Allow: /de/sitemap/index.php   
Allow: /de/standard.wNavigation.xml
Allow: /favicon.php
Allow: /index.php
Allow: /index_right.php
Allow: /info.txt
Allow: /robots.txt 
#Allow: /xmlsitemap.php
#Allow: /xmlsitemap.php?wai=1

#
# Sitemap-Adressen fuer Suchmaschinen
# 

#Sitemap: http://www.domain.dd.ch/xmlsitemap.php
#Sitemap: http://www.domain.dd.ch/xmlssitemap.php?wai=1