# robots.txt fuer http://www.miradlo.org/ und alle nicht ausgeschlossenen Unterverzeichnisse # Zugriff auf alle Dateien erlauben User-agent: * Disallow: /admin/ # Adminbereich Disallow: /configuration/ # Adminbereich Disallow: /cgi-bin/ # Adminbereich Disallow: error.php #Fehlerseiten Disallow: forbidden.php #Fehlerseiten Disallow: /css/ # google indiziert sonst Disallow: *.css Disallow: /images/logos # google indiziert sonst Hintergründe Disallow: /downloads/ # google indiziert sonst #Blogfeeds nur teilweise indizieren Disallow: */feed/ Allow: /feed/ Disallow: /usage/ # Fuers Blog und gegen doppelten Content neu ab 7/08 Disallow: /wp- Disallow: /search Disallow: /feed/$ Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ #Versuch page raus, da google ueber DC bei utele schimpft Disallow: /bloggt/page/$ Disallow: /bloggt/page Disallow: /bloggt/wp-login.php #doppeltes und falsches raus am 3.12. klappt das? Disallow: /bloggt/wp-content/plugins/feed-statistics.php Disallow: /*/comment-page-1 Disallow: /*/*/comment-page-1 Disallow: /*/*/*/comment-page-1 Disallow: /*/*/*/*/comment-page-1 Disallow: /*/page/$ Disallow: /*/*/page/$ Disallow: /*/*/*/page/$ Disallow: /*/*/*/*page/$