Suchmaschinenoptimierung
   
 
 

Warum registrieren?

Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website. So kannst Du Deine eigenen Fragen auf einen Blick anzeigen lassen und hast die volle Übersicht über neue interessante Themen im Forum für Suchmaschinenoptimierung. Jetzt kostenlos registrieren.
 
Schnellsuche!:  

Spider-Liste?
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen Druckversion
 Signatur von adwords etc. :: Aktualisierung der sitemap.txt?  
Autor Nachricht
sword
PostRank 3
PostRank 3


Anmeldungsdatum: 08.07.2006
Beiträge: 67
BeitragVerfasst am: 21.02.2009, 14:31    Titel: Spider-Liste? Antworten mit Zitat Nutzer zur Ignorier-Liste hinzufügen
Hallo

Bin seit längerem auf der Suche nach einer aktuelleren Liste aller bekannten Spider, insbesondere auch von bösen Bots.

Wo findet man sowas? Hier im Forum gibts zwar den Thread "Wichtig: Datenbank: Suchmaschinen Robots/Spider/Crawler", allerdings ist der 4 Jahre alt

Danke für Eure Hilfe!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Andre (KM)
PostRank 7
PostRank 7


Anmeldungsdatum: 18.08.2006
Beiträge: 640
Wohnort: Hamburg
BeitragVerfasst am: 21.02.2009, 15:02    Titel: Spider-Liste? Antworten mit Zitat Nutzer zur Ignorier-Liste hinzufügen
#Despictable and evil robots to keep out

User-agent: grub-client
Disallow: /

User-agent: grub
Disallow: /

User-agent: looksmart
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: larbin
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: NetMechanic
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: ia_archiver/1.6
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: RMA
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: asterias
Disallow: /

User-agent: httplib
Disallow: /

User-agent: turingos
Disallow: /

User-agent: spanner
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: WebmasterWorldForumBot
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: moget
Disallow: /

User-agent: hloader
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Openfind data gathere
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: searchpreview
Disallow: /
_________________
Diverse Webprojekte zum Verkauf, http://www.prepaidia.de/Webprojekte.pdf
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
webpilot
PostRank 6
PostRank 6


Anmeldungsdatum: 24.03.2007
Beiträge: 380
BeitragVerfasst am: 21.02.2009, 15:27    Titel: Spider-Liste? Antworten mit Zitat Nutzer zur Ignorier-Liste hinzufügen
Ich glaube nicht, dass es hier um die robots.txt geht...? Falls doch:

Die Liste wird so zu lang. Ich würde die Schreibweise wie folgt bevorzugen:

Code:

[...]
User-agent: Oracle Ultra Search
User-agent: MSIECrawler
User-agent: PerMan
User-agent: searchpreview
Disallow: /
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
sword
PostRank 3
PostRank 3


Anmeldungsdatum: 08.07.2006
Beiträge: 67
BeitragVerfasst am: 21.02.2009, 15:33    Titel: Spider-Liste? Antworten mit Zitat Nutzer zur Ignorier-Liste hinzufügen
Danke... stimmt, ich dachte eher an htaccess, böse bots wollen sich ja nicht an die robots.txt halten.

Aber eine Liste oder sogar Datenbank mit guten und bösen Bots würde schon reichen.
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
webpilot
PostRank 6
PostRank 6


Anmeldungsdatum: 24.03.2007
Beiträge: 380
BeitragVerfasst am: 21.02.2009, 15:38    Titel: Spider-Liste? Antworten mit Zitat Nutzer zur Ignorier-Liste hinzufügen
Diese Idee hat allerdings zwei Nachteile:

1. Zeitintensiv, da die Liste in der hatccess immer aktuell gehalten werden muss
2. Bei grossen Listen leidet die Performance

Mein Tipp: Airport1's Bot-Trap (www.bot-trap.de)

Die Liste wird stetig aktualisiert und du brauchst dir keine Gedanken zu machen. Funktioniert top!
Nach oben
Benutzer-Profile anzeigen Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen
Seite 1 von 1


 





Ähnliche Beiträge
Thema Autor Forum Antworten Verfasst am
Keine neuen Beiträge Spider findet "unseriöse", ... bugscout Spiders / Robots Themen 9 25.07.2010, 15:44 Letzten Beitrag anzeigen
Keine neuen Beiträge Liste aller .com Domains lifeofguenter Spiders / Robots Themen 4 23.07.2010, 17:48 Letzten Beitrag anzeigen
Dieses Thema ist gesperrt, du kannst keine Beiträge editieren oder beantworten. [B] Social Bookmarks (händisch, günst... TryTryTry Marktplatz: Dienstleistungen 0 23.07.2010, 16:54 Letzten Beitrag anzeigen
Keine neuen Beiträge zusätzliche Formatierung zu <h...&... abakusformaximumlevel Ich hab' da mal 'ne Frage 9 04.06.2010, 18:46 Letzten Beitrag anzeigen
Keine neuen Beiträge Gibt es eine Liste... ChrGro Ich hab' da mal 'ne Frage 15 05.04.2010, 20:35 Letzten Beitrag anzeigen
Keine neuen Beiträge Google Products - Liste mit Deutschen... seoße Universal Search 0 26.03.2010, 16:42 Letzten Beitrag anzeigen
Keine neuen Beiträge URL Liste der Homepagebesucher bombilla Web Analytics & Controlling 3 03.03.2010, 20:44 Letzten Beitrag anzeigen

Suchmaschinenoptimierung Angebote
Suchmaschinenoptimierung | Latent Semantische Optimierung (LSO) | SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Online Marketing

Impressum

Powered by phpBB © 2001, 2005 phpBB Group


Sie lesen gerade: Spider-Liste?