cuil-spider nervt

catcat · : 02.08.2006 : 10205 : Litauen

Moinsen,
der verdammte spider von www.cuil.com hat die letzten 2 Tage meine shops besucht und zig GB-Traffic verursacht *narf
Ich hab den jetzt gesperrt. Aus die Maus.

Der google-bot ist irgendwie schlauer.
Der spidert wenigstens meine Produktattribute nicht durch.

Gib Dir das mal: Der spidert alle Produktattribute durch... Wenn 1 Artikel in 3 Farbkombinationen erhältlich ist, ich 40 Farben habe und 6 Größen dazu... dann sind das 40³x6 Seiten je Artikel. Im Schnitt habe ich ca. 250 Artikel in jedem Shop.
Das macht: 40³x6x250 Seiten = 96Mio.
Und dann geht das Mistding noch in die Suche und macht da weiter...

User nicht mehr aktiv
catcat.cc

profo · : 18.01.2007 : 1709

Cuil ist der Moritz unter den Suchmaschinen...

3DCG · : 22.01.2006 : 545 : FFM

Nach der Lachnummer die die geboten haben scheinen die es jetzt wieder zu versuchen die suchmaschine zu werden

.

jackwiesel · : 09.09.2007 : 5835 : Bochum

Mich würde viel eher interessieren, wer den Spider von bigfinder.de programmiert hat. Ich hab hier ne winzige Handwerker-HP mit fünf Inhaltsseiten und der lutscht das Ding (da wurde seit drei Jahren nix geändert) im Schnitt 20 mal am Tag aus. Seit nem Monat darf er nicht mal drauf, "klopft" aber artig weiter in der gleichen Frequenz an...

Suche Links zu diversen Themen: Präsente, Technik/Industrie, professionelle Pferdezucht

catcat · : 02.08.2006 : 10205 : Litauen

bigfinder? Dem hab ich schon lange die Rote gegeben. Der spider ist von Eike gecoded worden, wetten?

Aber mal ne Frage: In welcher Sprache weden eigentlich spider und bots geschrieben? In C? C++ oder wat? Und welche Serverhardware wird da eigentlich benötigt? So ne Dinger verursachen doch sicher ne irre Serverlast, oder?

User nicht mehr aktiv
catcat.cc

Alda · : 27.01.2009 : 4591 : Kaiserslautern

profo · : 18.01.2007 : 1709

seonewbie · : 21.10.2006 : 1759

Da Cuil nicht auf die robtots.txt hört hatte ich den
Privider angeschrieben. Der fühlte sich nicht zuständig.

Eigentlich sollte das hier reichen:
User-agent: twiceler
Crawl-Delay: 10
Disallow: /

Geht der Bot aber einfach drüber. Das ist echt igorantes Pack
sowohl bei Cuil wie bei softlayer.com.!

Nun gut ich habe auf allen Routern die ich betreue
softlayer.com auf REJECT gesetzt.

Das IP Netz ist: 174.36.0.0-174.36.0.127

Solltet ihr auch machen wer sich nicht mal an die robots.txt
hält gehört überall ausgesperrt!

Suche Linktausch zum Thema Mode. Bitte PM
Backlink-Generator | Artikelverzeichnis | PageRank | SEnuke X
Don't smoke, don't fight, don't light no cigarettes,
Or else you'll wind up in the can!
No jokes, no rights, sit tight, don't fool around,
You are a guest of Uncle Sam!
AC/DC "I'll be damned"

catcat · : 02.08.2006 : 10205 : Litauen

Danke seonewbie!
Hätt ich auch von selbst draufkommen können. Bin ich aber nicht

Hat eigentlich irgendwer nennenswerten traffic von cuil erhalten? Also ich nicht. Kein einziger user... nur ne bot-party in meinen shops.

Zeitweilig gaben sich da 3 bots von denen gleichzeitg die Kante. 110GB traffic. Find ich nich lustig. Die kommen mir nicht wieder ins Haus.

User nicht mehr aktiv
catcat.cc

Nullpointer · : 22.04.2005 : 4788 : West Berlin

man müßte sowas wie ne botfalle implementieren

Ich kann gar nicht so viel kotzen, wie ich fressen möchte.

catcat · : 02.08.2006 : 10205 : Litauen

Man müsste den cuil-bot dazu bringen, die google-Serverfarmen zu spidern

HARHAR.
Das wäre mal fies^^

User nicht mehr aktiv
catcat.cc

smilla · : 28.07.2008 : 161

Ich hatte mit denen mal richtig stress, ich meinte dass ich deren Server auch mal spidern werde und dann drohten die mir gleich mit Anzeige

Ich wollte die immer noch Fragen welche IP's die haben, damit ich deren Bots keinen Content liefere, sondern einen Kackhaufen. Mich würde interessieren, was die darauf antworten würden

seonewbie · : 21.10.2006 : 1759

Das sind übrigens ein paar ehemalige Google Azubis die wohl nicht
übernommen wurden (Klar angeblich haben sie sich Selbstständig
gemacht weil sie es besser als Google machen wollten LOL)
und haben und jetzt aus Frusst Cuil gegründet.
Schlimm daran ist das die auch noch einen Geldgeber gefunden haben
der ihnen ermöglicht ihre Experimente ausserhalb des Klassenzimmers
zu veranstalten.

Die haben bei einem Kunden mehrere WordpressMU Server vollständig
lahm gelegt. Die Shopserver die ich betreue sind nur nicht in Mitleidenschaft
gezogen worden da alle PHP Seiten als html gecached werden. Ich bin
mir sicher das das eine Schadensersatzklage nach sich gezogen hätte
wenn die gestanden hätten.

Mich wundert das Cuil in den USA noch nicht verklagt wurde oder zumindest
beid er Cyber Crime Devision angezeigt wurde, da der
Robot wirklich so aggressiv ist das er normale PHP Systeme komplett
in die Knie zwingt wenn er sich einmal festgefressen hat.

Suche Linktausch zum Thema Mode. Bitte PM
Backlink-Generator | Artikelverzeichnis | PageRank | SEnuke X
Don't smoke, don't fight, don't light no cigarettes,
Or else you'll wind up in the can!
No jokes, no rights, sit tight, don't fool around,
You are a guest of Uncle Sam!
AC/DC "I'll be damned"

SeriousBadMan · : 16.06.2008 : 3749 : Welt

Aber Cuil ist toll. Meine Seite, die seit nem Jahr in 1000 Filtern ist, rankt bei Cuil auf den Hauptkeys auf Rang1

catcat · : 02.08.2006 : 10205 : Litauen

User nicht mehr aktiv
catcat.cc