Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

MIA-Bot der TU-Berlin

Neues Thema eröffnen   Neue Antwort erstellen
 Intervall Indizierung Google festlegen- Webmaster Tools? Seiten mit bestimmter Linkstruktur nicht spidern lassen  

MIA-Bot aussperren oder crawlen lassen ?
aussperren
50%
 50%  [ 2 ]
crawlen lassen
50%
 50%  [ 2 ]
Stimmen insgesamt : 4

PhpAss

pr


: 10.02.2011
: 15



: 20.12.2012, 09:35    : MIA-Bot der TU-Berlin
Von: PhpAss
PhpAss
00 20.12.2012, 09:35
Antworten mit Zitat Antworten mit Zitat

Morgen !

Seit einigen Tagen geistert ein Crawler der "Technischen Universität Berlin" auf einem Projekt von mir herum und macht nun doch schon einiges an Traffic aus. Kennt vielleicht jemand diesen Crawler, bzw. sollte ich diesen besser aussperren ?

Folgende Informationen dazu konnte ich recherchieren:

Bot-Name / Version: MIA DEV/search:robot/0.0.1
Bot-Beschreibung: MIA Bot for research project MIA
Bot-Projekt: www.MIA-marktplatz.de
Crawler: http://www.neofonie.de/spider - bzw. http://spider.neofonie.de

Hier noch ein Video mit einigen Hintergründen zum Projekt:
http://www.digital-zeitschrift.de/mediathek.php?type=digitalk&id=329

So wie ich das verstehe, crawlen die "angeblich" das gesamte Web und verkaufen dann später die "aufbereiteten (semantischen)" Daten an Interessierte. Was habe ich, als Webseiten-Betreiber der die Inhalte zur Verfügung stellt denn von dem ganzen Spass ? Momentan sieht es für mich so aus, das MEINE Inhalte gecrawlt werden und später "aufbereitet" zum Verkauf angeboten werden, womit ich grundsätzlich natürlich nicht einverstanden wäre.

Hat jemand dazu eventuell weitere Informationen ? Den Crawler besser aussperren, oder doch nicht ?

Zum Thema passende Beiträge / Antworten sind gern gesehen ...

Gruß
00
Nach oben
PhpAss Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

elmex

pr


: 03.05.2005
: 931



: 20.12.2012, 12:53    : MIA-Bot der TU-Berlin
Von: elmex
elmex
00 20.12.2012, 12:53
Antworten mit Zitat Antworten mit Zitat

Ich habe mal analysiert, was das Ding so treibt auf meinen Seiten, gefällt mir nicht!

Der saugt mir in viel zu schneller Zeit (anscheinend ohne Delay) zu viele Seiten, hat zwar Querabfragen auf die robots.txt gemacht aber zumindest in einem Fall sich nicht dran gehalten.

Werde es weiter beobachten und ggf. ins bottrap setzen, danke für den Hinweis @PhpAss!

Wer mittlerweile alles mit den daten anderer Geld machen will
00
Nach oben
elmex Private Nachricht senden
Rem

pr


: 08.12.2005
: 3683



: 22.12.2012, 10:46    : MIA-Bot der TU-Berlin
Von: Rem
Rem
00 22.12.2012, 10:46
Antworten mit Zitat Antworten mit Zitat

Steht ja in gut Deutsch auf mia-marktplatz.de:

"Ein besonderes Merkmal des Projekts ist es, dass das deutschsprachige Internet inklusive seiner Historie als Datenbasis für Analysen und Mehrwertdienste bereitgestellt werden soll."

Sie klauen Deine Inhalte, um sie dann kostenpflichtig weiterzuverkaufen.
00
Nach oben
Rem Private Nachricht senden
elmex

pr


: 03.05.2005
: 931



: 22.12.2012, 18:28    : MIA-Bot der TU-Berlin
Von: elmex
elmex
00 22.12.2012, 18:28
Antworten mit Zitat Antworten mit Zitat

Also, wer Bot-Trap nutzt, der Bot ist dort bereits seit Februar oder so ausgesperrt...

Es scheint also definitiv besser, den zu bannen
00
Nach oben
elmex Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
[B] Praktikum Business Development - Startup Berlin ab Ja... [B] Praktikum Business Development - ... Campusjaeger Stellenbörse: Stellenangebote und -gesuche 0 05.10.2018, 10:56 [B] Praktikum Business Development - Startup Berlin ab Ja...
[B] Domain Thema Berlin Tourismus [B] Domain Thema Berlin Tourismus rabox66 Marktplatz: Dienstleistungen 0 09.07.2018, 19:57 [B] Domain Thema Berlin Tourismus
[B] Account Manager Berlin m/w [B] Account Manager Berlin m/w Campusjaeger Stellenbörse: Stellenangebote und -gesuche 0 25.05.2018, 11:31 [B] Account Manager Berlin m/w
Content Writer Deutsch (m/w) Festanstellung/Vollzeit/Berlin Content Writer Deutsch (m/w) Festanst... Nexern GmbH Stellenbörse: Stellenangebote und -gesuche 0 13.09.2017, 08:36 Content Writer Deutsch (m/w) Festanstellung/Vollzeit/Berlin
[B] Biete Artikelplätze für Anwälte in Berlin [B] Biete Artikelplätze für Anwälte i... mdh Marktplatz: Dienstleistungen 0 13.08.2017, 12:04 [B] Biete Artikelplätze für Anwälte in Berlin
[B] Artikelplätze Berlin-Tourismus - reales Projekt [B] Artikelplätze Berlin-Tourismus - ... rabox66 Marktplatz: Dienstleistungen 0 08.06.2017, 20:39 [B] Artikelplätze Berlin-Tourismus - reales Projekt
[S] SEO Manager Offpage (m/f) Berlin [S] SEO Manager Offpage (m/f) Berlin Nexern GmbH Stellenbörse: Stellenangebote und -gesuche 0 06.04.2017, 14:52 [S] SEO Manager Offpage (m/f) Berlin


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

MIA-Bot der TU-Berlin MIA-Bot der TU-Berlin - Österreich MIA-Bot der TU-Berlin - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: MIA-Bot der TU-Berlin