Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Infos, News & SEO Gerüchte
 

Archive.org beachtet nicht mehr die Robots.txt

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite 1, 2  Weiter
 Blockst du mich, block ich dich Kostenloses SEO Tool für ABAKUS Mitglieder  
superolli

pr


: 22.07.2007
: 698



: 10.05.2017, 08:44    : Archive.org beachtet nicht mehr die Robots.txt
Von: superolli
superolli
00 10.05.2017, 08:44
Antworten mit Zitat Antworten mit Zitat

So wie ich das verstehe, will archive.org die robots.txt nicht mehr beachten:

https://blog.archive.org/2017/04/17/robots-txt-meant-for-search-engines-dont-work-well-for-web-archives/

Oder lest ihr das anders bzw. was haltet ihr eigentlich davon?

Ich finde es eine Frechheit. Wenn ich jemandem sage "bleib draussen, du betrittst mein Haus nicht", dann hat er sich gefälligst dran zu halten.

Schönes für Ihr Kind | Malvorlagen für Kinder
00
Nach oben
superolli Private Nachricht senden E-Mail senden Google+
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

top

pr


: 14.07.2005
: 570



: 10.05.2017, 09:51    : Re: Archive.org beachtet nicht mehr die Robots.txt
Von: top
top
00 10.05.2017, 09:51
Antworten mit Zitat Antworten mit Zitat

superolli hat Folgendes geschrieben:
...

Ich finde es eine Frechheit. Wenn ich jemandem sage "bleib draussen, du betrittst mein Haus nicht", dann hat er sich gefälligst dran zu halten.


Schon klar, aber seine Haustür schließen die meisten Menschen auch ab, so dass man bei jedem Besuch entscheiden kann wen man ins Haus lassen will.

Webseiten sind in der Regel aber für jedermann offen wie ein Einkaufszentrum. Wenn man da zuverlässig sicherstellen will, dass dort niemand unerwünschtes das Gebäude betritt, reicht es nicht wenn dafür Hinweistafeln an den Eingängen angebracht werden. Wer sich schon ein Hausverbot vom Betreiber hat einfangen lassen, den interessieren solche Verbotsschilder meistens auch nicht mehr. Große Spielkasinos nutzten daher schon seit einiger Zeit Videoüberwachung mit automatischer Gesichtserkennung. Wer da einmal bei 17und4 beim Kartenzählen erwischt wurde, muss damit rechnen, dass er weltweit schon beim Betreten eines Spielkasinos nachhaltig gebeten wird das Gebäude freiwillig zu verlassen.

Auf Webseiten übertragen: Du musst deinen Server schon so einrichten, dass unerwünschte Besucher an der IP erkannt werden und entsprechend gefiltert wird. (Und selbst das ist kein 100%tiger Schutz um die bösen Jungs draußen zu lassen.)
00
Nach oben
top Private Nachricht senden
superolli

pr


: 22.07.2007
: 698



: 10.05.2017, 13:14    : Archive.org beachtet nicht mehr die Robots.txt
Von: superolli
superolli
00 10.05.2017, 13:14
Antworten mit Zitat Antworten mit Zitat

Also wenn Du im Stadtpark ein Schild siehst "Betreten verboten" gehst Du da trotzdem weiter, weil man ja auch einen hohen Zaun hätte bauen können und die Gemeinde es ja selber Schuld ist wenn sie so eine schöne Wiese dahin setzt? Also jetzt nicht du persönlich ..

Also ich weiss nicht. Wenn ich auf technischer Ebene klar formuliere, dass ich keinen Besuch vom Crawler will, dann muss ich nicht mit dem diskutieren, ob er nicht vielleicht doch darf. Und dass die dann mit dem Argument der geparkten Seiten zu kommen, ist echt eine Frechheit.
Klar ist das für die ein Problem, aber deswegen müssen sie doch trotzdem weiterhin die Beschilderung beachten und können deren Problem nicht zu meinem machen.

Leider gibt es auch sehr viele SEO Bots aus Deutschland (auch hier agierende) die sich genauso ignorant verhalten.

Ich weiss, dass ich das effektiver sperren kann -. wie ich ja auch meine Haustür abschließe - aber richtig ist das trotzdem nicht.

Schönes für Ihr Kind | Malvorlagen für Kinder
00
Nach oben
superolli Private Nachricht senden E-Mail senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

arnego2

pr


: 23.02.2016
: 1058



: 10.05.2017, 15:25    : Re: Archive.org beachtet nicht mehr die Robots.txt
Von: arnego2
arnego2
00 10.05.2017, 15:25
Antworten mit Zitat Antworten mit Zitat

top hat Folgendes geschrieben:

Webseiten sind in der Regel aber für jedermann offen wie ein Einkaufszentrum.


Tja nur die Lagerräume darf das Publikum im Allgemeinen nicht betreten. Und gerade im Webseiten Bereich gibt es so einige Dateien die offlimit und für die Indexierung irrelevant sind

Arnego2
00
Nach oben
arnego2 Private Nachricht senden WWW
RH666

pr


: 17.10.2015
: 140



: 10.05.2017, 17:58    : Archive.org beachtet nicht mehr die Robots.txt
Von: RH666
RH666
00 10.05.2017, 17:58
Antworten mit Zitat Antworten mit Zitat

Ist halt wie im echten Leben ..die Gesellschaft verroht zusehends.

Regeln und Respekt finden immer weniger Beachtung.
00
Nach oben
RH666 Private Nachricht senden
top

pr


: 14.07.2005
: 570



: 11.05.2017, 17:33    : Archive.org beachtet nicht mehr die Robots.txt
Von: top
top
00 11.05.2017, 17:33
Antworten mit Zitat Antworten mit Zitat

Man liest hier ja auch immer wieder von (in Anführungsstrichen) "Experten" die DC vermeiden wollen, indem sie unerwünschte (aber nicht vermeidbare) Seiten mit fast identischen Inhalt mit "noindex" kennzeichnen. Wenn archiv.org sich daran hält, landet man beim Navigieren der entsprechenden Archiv-Seiten ständig auf Fehlerseiten.

Und bevor Google betont hat, dass auch css- und js-Dateien vom Bot durchsuchbar sein sollten um Seiten komplett bewerten zu können, hatte manch einer die entsprechenden Verzeichnisse per robot.txt gesperrt um den Bot nicht mit unnötigen Ballast zu füttern in der Hoffnung, dass dann mehr Wert auf die Keywörter im Quelltext gelegt wird. Solche Seiten machen sich dann auch nicht gut im Archiv - ohne die entsprechenden css-Dateien.

Manch einer will vielleicht auch nur vermeiden, dass bestimmte Bilder nicht in der Bildersuche auftauchen (weil man damit ja nur Bilderdiebe anlockt) und sperren den entsprechenden Ordner - ganz unabhängig ob ihnen das auch fürs Webarchiv wichtig wäre.

archive.org will ja auch keine Suchmaschine werden für die die robots.txt in der Regel geschrieben sind. In so fern überwiegen für mich persönlich die Argumente für deren Entscheidung.
00
Nach oben
top Private Nachricht senden
nerd

pr


: 15.02.2005
: 3745



: 12.05.2017, 01:48    : Re: Archive.org beachtet nicht mehr die Robots.txt
Von: nerd
nerd
10 12.05.2017, 01:48
Antworten mit Zitat Antworten mit Zitat

arnego2 hat Folgendes geschrieben:

Tja nur die Lagerräume darf das Publikum im Allgemeinen nicht betreten. Und gerade im Webseiten Bereich gibt es so einige Dateien die offlimit und für die Indexierung irrelevant sind

Deswegen verschliesst man die lagerraeume ja auch hinter einem login, statt ein "nur fuer mitarbeiter"-schild an der tuer anzubringen und darauf zu hoffen dass niemand versehentlich reinlaeuft, und sich dann ueber die respektlose und verrohende gesellschaft zu beschweren ...

Ich hab das mal im Internet gelesen!
10
Nach oben
nerd Private Nachricht senden
multiple

pr


: 10.07.2005
: 225



: 12.05.2017, 11:04    : Archive.org beachtet nicht mehr die Robots.txt
Von: multiple
multiple
00 12.05.2017, 11:04
Antworten mit Zitat Antworten mit Zitat

Wie man den Kommentaren beim Blogeintrag von archive.org entnehmen kann, soll eine E-Mail an info@archive.org das Problem lösen, heißt: Löschung vorhandenen Contents und Ausschluss weiterer Crawl-Versuche.00
Nach oben
multiple Private Nachricht senden
superolli

pr


: 22.07.2007
: 698



: 12.05.2017, 12:43    : Re: Archive.org beachtet nicht mehr die Robots.txt
Von: superolli
superolli
00 12.05.2017, 12:43
Antworten mit Zitat Antworten mit Zitat

nerd hat Folgendes geschrieben:
arnego2 hat Folgendes geschrieben:

Tja nur die Lagerräume darf das Publikum im Allgemeinen nicht betreten. Und gerade im Webseiten Bereich gibt es so einige Dateien die offlimit und für die Indexierung irrelevant sind

Deswegen verschliesst man die lagerraeume ja auch hinter einem login, statt ein "nur fuer mitarbeiter"-schild an der tuer anzubringen und darauf zu hoffen dass niemand versehentlich reinlaeuft, und sich dann ueber die respektlose und verrohende gesellschaft zu beschweren ...


Auf keinen Fall. Wenn da steht "nur für Mitarbeiter" hat das gefälligst zu reichen. Jeder nicht SEO wird das so sehen. Aber egal.

Mich würde ernsthaft interessieren, welchen Sinn archive.org überhaupt hat. Ich mache von meinen Seiten Backupws. Wofür brauche ich das Archiv?

Schönes für Ihr Kind | Malvorlagen für Kinder
00
Nach oben
superolli Private Nachricht senden E-Mail senden
RH666

pr


: 17.10.2015
: 140



: 12.05.2017, 13:01    : Archive.org beachtet nicht mehr die Robots.txt
Von: RH666
RH666
00 12.05.2017, 13:01
Antworten mit Zitat Antworten mit Zitat

Naja, ist halt so ne art Online-Museum. Konnte dort mal ein paar Bilder und auch infos von Webseiten die schon seit zig Jahren gelöscht waren (bankrott gingen) finden00
Nach oben
RH666 Private Nachricht senden
multiple

pr


: 10.07.2005
: 225



: 12.05.2017, 15:24    : Archive.org beachtet nicht mehr die Robots.txt
Von: multiple
multiple
00 12.05.2017, 15:24
Antworten mit Zitat Antworten mit Zitat

@superolli: Ich hatte mal einen Fall, da hat jemand eine (sehr gemäßigte) Rechnung (keine Abmahnung) wegen Urheberrechtsverletzung nicht zahlen wollen. Das ging vor Gericht und dort hat er behauptet, der entsprechende Bereich wäre passwortgeschützt gewesen und ich hätte mich irgendwelcher Computerkriminalität durch Eindringen in diesen Bereich schuldig gemacht (Strafanzeige vorbehalten). Aber dann gibt es eben so was wie archive.org, wo mit Datum vermerkt ist, wie die Seite aussah. Dem Gericht war das übrigens egal, denn selbst in einem geschützten Bereich ist eine Veröffentlichung eine Veröffentlichung. Aber für mich war das Reichsparteitag, innerer, weil da auch noch ein paar andere Schoten vorher gelaufen sind.00
Nach oben
multiple Private Nachricht senden
superolli

pr


: 22.07.2007
: 698



: 12.05.2017, 15:36    : Archive.org beachtet nicht mehr die Robots.txt
Von: superolli
superolli
00 12.05.2017, 15:36
Antworten mit Zitat Antworten mit Zitat

Aber darauf will ich hinaus. Für mich als Webseitenbetreiber fällt mir kein einziger Vorteil ein. Ausser dass ich bei andren spionieren kann. Egal ob mal jetzt für den guten Zweck oder nicht.

Das ist der Grund, warum ich deren Argumente für an der Realität vorbegehend halte.

Schönes für Ihr Kind | Malvorlagen für Kinder
00
Nach oben
superolli Private Nachricht senden E-Mail senden
marc77

pr


: 22.05.2007
: 838



: 13.05.2017, 10:23    : Archive.org beachtet nicht mehr die Robots.txt
Von: marc77
marc77
00 13.05.2017, 10:23
Antworten mit Zitat Antworten mit Zitat

und was spricht dagegen einfach den user-agent ia_archiver zu blockieren? Den werden sie ja wohl nicht faken und sich als firefox etc ausgeben...00
Nach oben
marc77 Private Nachricht senden
superolli

pr


: 22.07.2007
: 698



: 16.05.2017, 07:31    : Archive.org beachtet nicht mehr die Robots.txt
Von: superolli
superolli
00 16.05.2017, 07:31
Antworten mit Zitat Antworten mit Zitat

Ich fand es zum einen bemerkenswert, weil ich auf allen Seiten auch hier im Forum aktiver SEOs lese, dass archive.org die robots.txt beachten würde.

Weil ich zusätzlich auf vielen renommierten Seiten lese, dass man einen guten Bot daran erkennt, dass er die Angaben in der robots.txt beachtet.

Und weil ich Aussagen wie Deine Frage merkwürdig finde.

Schönes für Ihr Kind | Malvorlagen für Kinder
00
Nach oben
superolli Private Nachricht senden E-Mail senden
Can

pr


: 30.10.2010
: 1041



: 16.05.2017, 08:41    : Archive.org beachtet nicht mehr die Robots.txt
Von: Can
Can
00 16.05.2017, 08:41
Antworten mit Zitat Antworten mit Zitat

Als Stümper SEO wie die meisten User es hier sind jeden Tag den Datenschutz mit Füßen treten aber dann meckern wenn Archive.org eine Robots.txt Datei ignoriert und sich wie ein echter Besucher im Netz bewegen kann.

Lächerlich. Danke den Jungs von Archive. So eine super Seite, so ein super Service. Das Internet ist öffentlich, Besucher beachten deine Robots.txt auch nicht. Archive macht einen tollen Job.
00
Nach oben
Can Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Infos, News & SEO Gerüchte

Gehe zu Seite 1, 2  Weiter
Seite 1 von 2
Gehe zu Seite 1, 2  Weiter
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Bio vs. Nicht-Bio Bio vs. Nicht-Bio biodelvera Ich hab' da mal 'ne Frage 5 22.05.2018, 21:30 Bio vs. Nicht-Bio
Startseite rankt nicht - interne Verlinkung Startseite rankt nicht - interne Verl... cat_123 Ich hab' da mal 'ne Frage 4 22.05.2018, 19:19 Startseite rankt nicht - interne Verlinkung
archive.org: nur Homepage aber keine Bilder archive.org: nur Homepage aber keine ... Levent Offtopic, Spaßecke und alle sonstigen Themen 7 22.05.2018, 11:39 archive.org: nur Homepage aber keine Bilder
[B] Artikelplätze zu mehr als 30 Themen [B] Artikelplätze zu mehr als 30 Themen Starreporter Marktplatz: Dienstleistungen 0 12.05.2018, 13:55 [B] Artikelplätze zu mehr als 30 Themen
Gegenseitig Verlinkt = Top Platzierung! Seltsam oder nicht? Gegenseitig Verlinkt = Top Platzierun... Levent Google Forum 4 08.05.2018, 19:16 Gegenseitig Verlinkt = Top Platzierung! Seltsam oder nicht?
Wir wissen leider nicht mehr weiter Wir wissen leider nicht mehr weiter Cookie1987 Ich hab' da mal 'ne Frage 20 17.04.2018, 10:35 Wir wissen leider nicht mehr weiter
Website wird indexiert aber nicht gerankt Website wird indexiert aber nicht ger... Ersthelfer Ich hab' da mal 'ne Frage 13 14.04.2018, 18:20 Website wird indexiert aber nicht gerankt


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Archive.org beachtet nicht mehr die Robots.txt Archive.org beachtet nicht mehr die Robots.txt - Österreich Archive.org beachtet nicht mehr die Robots.txt - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Archive.org beachtet nicht mehr die Robots.txt