Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Ich werde von Robot-Bots blockiert - Hilfe !

Neues Thema eröffnen   Neue Antwort erstellen
 Indizierung von Endless timelines und Ajax content "Important page is blocked by robots.txt"-was kann  
torstenv

pr


: 10.06.2014
: 51



: 16.03.2015, 11:51    : Ich werde von Robot-Bots blockiert - Hilfe !
Von: torstenv
torstenv
00 16.03.2015, 11:51
Antworten mit Zitat Antworten mit Zitat

Hallo,

ich habe einen Server, auf dem 35 Webshops aufen.
Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt, weil SEO-Spider / Bots drauf zugreifen... !

Was kann ich tun, um dies zu verhindern ?

Meine robots.txt sieht derzeit so aus:

User-agent: *
Disallow: /xtLogs/
Disallow: /xtFramework/
Disallow: /xtCore/
Disallow: /xtAdmin/
Disallow: /templates/
Disallow: /templates_c/
Disallow: /cache/
Disallow: /conf/
Disallow: /db/
Disallow: /ioncube/
Disallow: /export/
Disallow: /lic/
Disallow: /plugins/
Disallow: /logs/
Disallow: /xtLogs/
Disallow: /pre_includes/
Disallow: /plugin_cache/
Disallow: /*?popup=true
Disallow: /*search
Disallow: /*cart
Disallow: /*customer
Disallow: /*checkout

Vielen Dank für Eure Hilfe !

VG,

Torsten
00
Nach oben
torstenv Private Nachricht senden Google+
ABAKUS


: Werbung 

Suchmaschinenoptimierung für PrestaShop

Erfolgreiche und optimale Nutzung mit PrestaShop Systemen!
Nutzen Sie unsere jahrelange Erfahrung mit Suchmaschinenoptimierung und lassen Sie sich beraten!


Informieren Sie sich über die wichtigsten PrestaShop-Optimierungsmaßnahmen oder kontaktieren Sie uns direkt unter: 0511 / 300325-0.

bbnetch

pr


: 02.06.2005
: 869
: Philippinen


: 16.03.2015, 15:39    : Ich werde von Robot-Bots blockiert - Hilfe !
Von: bbnetch
bbnetch
00 16.03.2015, 15:39
Antworten mit Zitat Antworten mit Zitat

du solltest die spider direckt sperren, entweder per useragent, oder noch besser direckt die ip.
die meisten "boesen" spider ignorieren die robots.txt sowiso, darauf achten nur gerade serioese suchmaschinen.

wie man das macht findest du 1000fach im web.
https://www.google.de/search?q=htaccess+spider+aussperren

ich nutze dazu allerding ein service, der kostet allerdings einiges, aber damit hast du entgueltig ruhe, und kannst gezielt nach ip, proxy, tor, laender, sprachen und x andere dinge sperren.

https://www.blocked.com
absolut hammer das ding, und jeden cent wert

Geld verdienen im Schlaf und so ...Webmasterforum

Suche Linktausch Thema: Reisen, Philippinen, Ferienwohnung/Apartment, Tauchen, Urlaub etz. PN bitte!
.
00
Nach oben
bbnetch Private Nachricht senden WWW
nerd

pr


: 15.02.2005
: 3669



: 16.03.2015, 22:39    : Re: Ich werde von Robot-Bots blockiert - Hilfe !
Von: nerd
nerd
00 16.03.2015, 22:39
Antworten mit Zitat Antworten mit Zitat

torstenv hat Folgendes geschrieben:

Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt

Prozentrechnung geht aber anders...

torstenv hat Folgendes geschrieben:

Meine robots.txt sieht derzeit so aus:

Die robots txt ist lediglich eine empfehlung, keine regel an die sich irgendwer halten muesste. Entweder du blockst die bots schon bevor sie bei dir aufschlagen mit einem externen dienst, oder du versuchst es mit .htaccess

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
ralf-isi

pr


: 03.01.2012
: 121
: Bülach / Schweiz


: 17.03.2015, 08:18    : Ich werde von Robot-Bots blockiert - Hilfe !
Von: ralf-isi
ralf-isi
00 17.03.2015, 08:18
Antworten mit Zitat Antworten mit Zitat

oder du versuchst es mit bot-trap. setze ich schon lange ein und funktioniert.00
Nach oben
ralf-isi Private Nachricht senden
Rem

pr


: 08.12.2005
: 3606



: 20.03.2015, 18:13    : Re: Ich werde von Robot-Bots blockiert - Hilfe !
Von: Rem
Rem
00 20.03.2015, 18:13
Antworten mit Zitat Antworten mit Zitat

nerd hat Folgendes geschrieben:
torstenv hat Folgendes geschrieben:

Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt

Prozentrechnung geht aber anders...


Das meint 4 Kerne mit jeweils 100% Auslastung...
00
Nach oben
Rem Private Nachricht senden
seonewbie

pr


: 21.10.2006
: 1939



: 21.03.2015, 08:14    : Ich werde von Robot-Bots blockiert - Hilfe !
Von: seonewbie
seonewbie
00 21.03.2015, 08:14
Antworten mit Zitat Antworten mit Zitat

Das hat nix mit Bots zu tun du hast einfach einen miesen Administrator.
Dein Server Swapped!!!

1 MySql tunen
2. Apache tunen
3. Firefall aufspielen
4 Den Kernel gegen dDos konfigurieren

Gerade das letzte bremst jeden Bot aus.

Gruß

Micha

Suche Linktausch zum Thema Mode. Bitte PM
Backlink-Generator | Artikelverzeichnis | PageRank | SEnuke X
Don't smoke, don't fight, don't light no cigarettes,
Or else you'll wind up in the can!
No jokes, no rights, sit tight, don't fool around,
You are a guest of Uncle Sam!
AC/DC "I'll be damned"
00
Nach oben
seonewbie Private Nachricht senden
nerd

pr


: 15.02.2005
: 3669



: 25.03.2015, 02:14    : Re: Ich werde von Robot-Bots blockiert - Hilfe !
Von: nerd
nerd
00 25.03.2015, 02:14
Antworten mit Zitat Antworten mit Zitat

Rem hat Folgendes geschrieben:
nerd hat Folgendes geschrieben:
torstenv hat Folgendes geschrieben:

Dier ist aber zur Zeit nicht erreichbar, da meine CPU-Auslastung über 400% liegt

Prozentrechnung geht aber anders...


Das meint 4 Kerne mit jeweils 100% Auslastung...


Moeglich; allerdings sollte man wohl den durchschnitt der einzelnen kerne nennen um die CPU auslastung zu bestimmen, statt einfach last1+last2 usw. zu addieren.
Wenn ich an 4 steckdosen 230V messe habe ich trotzdem keine 920V strom im haus

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
Rem

pr


: 08.12.2005
: 3606



: 27.03.2015, 23:52    : Ich werde von Robot-Bots blockiert - Hilfe !
Von: Rem
Rem
00 27.03.2015, 23:52
Antworten mit Zitat Antworten mit Zitat

Na ja. Du kannst aber auch keine Potentialdifferenz (vereinfacht also Druck von Wasser aus dem Wasserschlauch, der mit einem Stausee verbunden ist) mit einer Arbeitsleistung vergleichen.

Der Druck ist gleich. Aber mit vier gleichgrossen Schläuchen fliesst tatsächlich viermal soviel Wasser ab. Also in Watt. LOL

Aber klar: was Du meinst. Ob eine Software viermal so schnell läuft, hängt von der Programmierung ab.

Die wirklich interessante Frage ist doch, wie die Prozessorlast überhaupt gemessen wird. Denn wenn 100% oder 400% angezeigt wird, dann ist das so gegeben. Egal wieviel Reibung durch schlechte Programmierung entsteht. Es kann ja auch sein, dass die Messung an sich das Messergebnis bereits verfälscht etc.
00
Nach oben
Rem Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Benötige Hilfe wegen Anwaltsforderung Benötige Hilfe wegen Anwaltsforderung pimpi Internet-Recht & -Gesetz 6 01.02.2018, 09:53 Benötige Hilfe wegen Anwaltsforderung
Suche Hilfe für Implementierung einer sicheren Registrierung Suche Hilfe für Implementierung einer... fenomeno0chris Webprogrammierung, Templatedesign & Microformats 2 21.11.2017, 19:19 Suche Hilfe für Implementierung einer sicheren Registrierung
Werde ich von Google abgestraft  2 verschiedene Domains? Werde ich von Google abgestraft 2 ve... OlliK Ich hab' da mal 'ne Frage 11 18.11.2017, 15:33 Werde ich von Google abgestraft  2 verschiedene Domains?
[S] Suche bezahlte Hilfe nach Umstellung auf https [S] Suche bezahlte Hilfe nach Umstell... Camillo24 Marktplatz: Dienstleistungen 0 17.11.2017, 10:12 [S] Suche bezahlte Hilfe nach Umstellung auf https
"[...]Methoden von Social Bots und Fake-Accounts[...]&q "[...]Methoden von Social Bots u... hanneswobus Social Media & Content-Marketing 2 14.09.2017, 10:43 "[...]Methoden von Social Bots und Fake-Accounts[...]&q
Google Ranking Unterschied Groß- Kleinschreibung?! HILFE! Google Ranking Unterschied Groß- Klei... Dreome Google Forum 1 09.09.2017, 10:05 Google Ranking Unterschied Groß- Kleinschreibung?! HILFE!
Werde angegriffen - was würdet ihr tun? Werde angegriffen - was würdet ihr tun? Hanzo2012 Offtopic, Spaßecke und alle sonstigen Themen 30 23.08.2017, 07:33 Werde angegriffen - was würdet ihr tun?


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Ich werde von Robot-Bots blockiert - Hilfe ! Ich werde von Robot-Bots blockiert - Hilfe ! - Österreich Ich werde von Robot-Bots blockiert - Hilfe ! - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Ich werde von Robot-Bots blockiert - Hilfe !