|
|
viggen
: 12.05.2003
: 6268
: Villach
|
| : 23.10.2003, 19:10 : Crawler Alert |
|
|
Bei diesem englischsprachigem Service kann man sich gratis anmelden, dann bekommt man einen kurzen Code, diesen dann in die Seite einfügen, und man wird mittels Email benachrichtigt wann ein Suchmaschinen-Robot die Seite besucht hat.
http://www.crawler-alert.com/
----- Vertriebspartner Gesucht ----- |
|
| Nach oben |
|
 |
CMA
: 16.07.2003
: 1017
|
| : 23.10.2003, 19:17 : Crawler Alert |
|
|
Den Dienst gibt es zwar schon eine Weile soweit ich weiß, ist aber ein tolles Tool welches flott informiert, somit verpasst man nix.  |
|
| Nach oben |
|
|
viggen
: 12.05.2003
: 6268
: Villach
|
|
| Nach oben |
|
|
regeurk78
: 15.05.2003
: 277
|
| : 23.10.2003, 21:08 : Crawler Alert |
|
|
Gibts schon ein paar Wochen. Habs im SEO-Chat gelesen.
 |
|
| Nach oben |
|
|
bugscout
: 23.06.2003
: 2595
: Neufundland
|
| : 25.10.2003, 00:33 : Crawler Alert |
|
|
moin moin,
so gehts auch
| Code: |
<?
$url = $_SERVER['PHP_SELF'] ;
if ($_SERVER['QUERY_STRING']!='') {$url="$url?".$_SERVER['QUERY_STRING'];}
$UserAgent =strtolower($_SERVER['HTTP_USER_AGENT']);
if (stristr($UserAgent ,"googlebot")) {$robot="Google";}
if (stristr($UserAgent ,"voilabot")) {$robot="Voila";}
if (stristr($UserAgent ,"slurp")) {$robot="Inktomi";}
if (stristr($UserAgent ,"fast")) {$robot="Fast";}
if (stristr($UserAgent ,"teoma")) {$robot="Ask Jeeves - Teoma";}
if (stristr($UserAgent ,"exabot")) {$robot="Exalead";}
if (stristr($UserAgent ,"scooter")) {$robot="Altavista";}
if (stristr($UserAgent ,"zyborg")) {$robot="Wisenut";}
if (stristr($UserAgent ,"archiver")) {$robot="Alexa";}
if (stristr($UserAgent ,"mirago")) {$robot="Mirago";}
if ($robot != "")
{
$date = date('Y-m-d H:i:s');
$host = $_SERVER['HTTP_HOST'];
$addr = $_SERVER['REMOTE_ADDR'];
$body = " ".$robot." hat am ".$date."\n folgende URL besucht ".$host.$url."\n\n remote_adress = ".$addr;
mail('Adresse@meineDomain.de',$robot.' war da',$body);
}
?> |
da muss noch die emailadresse geändert und das ganze als
tracker.php abgespeichert werden. in die zu kontrollierende
datei kommt
| Code: |
<?php
include($DOCUMENT_ROOT.'/tracker.php');
?> |
hat den vorteil, dass ich nicht von einem zweiten server abhängig bin
, dass ich auch alle möglichen anderen crawler aufnehmen kann
und ich sehe schon im subject welcher crawler da war.
muss nur kontrolliert werden, ob die ip-adresse auch stimmt, weil die spassvögel mit googlebot als kennung auch mitgezählt werden.
grüsse
Diese Regierung macht nichts falsch. Für einige Leute
ist die Politik von Vorteil - nur wir sind nicht dabei.
Georg Schramm |
|
| Nach oben |
|
|
regeurk78
: 15.05.2003
: 277
|
| : 25.10.2003, 11:45 : Crawler Alert |
|
|
Da bekommt man aber tausende Mails  Ich schreib das einfach in eine Text-Datei, die ich mir dann per FTP runterlade, kann man natürlich auch in eine Datenbank schreiben 
| Code: |
<?php
$suma[] = 'Googlebot';
$suma[] = 'MSN';
$suma[] = 'Scooter';
$suma[] = 'Fast';
$suma[] = 'Slurp';
$suma[] = 'Firefly';
$suma[] = 'Mirago';
$suma[] = 'Heinrich';
$suma[] = 'Ask Jeeves/Teoma';
$suma[] = 'Overture';
$suma[] = 'Grub';
if ( !$_SERVER['QUERY_STRING'] )
{
$file = "http://www.domain.tld" . $PHP_SELF;
}
else
{
$file = "http://www.domain.tld" . $PHP_SELF . "?" . $_SERVER['QUERY_STRING'];
}
$datum = date("d.m.Y");
$zeit = date("H:i:s");
$ip = getenv("REMOTE_ADDR");
$browser = getenv("HTTP_USER_AGENT");
$dir = dirname("$PHP_SELF");
$dateiname = "dateiname.txt";
for ( $i = 0; $i < count ($suma); $i++ )
{
if ( stristr($HTTP_USER_AGENT, $suma[$i]) )
{
$fp = fopen($dateiname,"a+");
fputs($fp,"$datum\t$zeit\t$ip\t$browser\t$file\n");
fclose($fp);
}
}
?>
|
Man kann dann auch beliebig viele Bots hinzufügen |
|
| Nach oben |
|
|
