Gluten Free Crawler/1.0

/Affilitiv/ · **/Affilitiv/** » 03.01.2016, 01:04 **Gluten Free Crawler/1.0**

ich habe Heute in meinem Counter eine zusätzlich tabelle angelegt
dort sammel ich jetzt UserAgents

und eben schu ich was da so drin ist

agent: Mozilla/5.0 (compatible; Gluten Free Crawler/1.0; +https://glutenfreepleasure.com/)

noch was ernsthaftes
Da ist ein UA

Code: Alles auswählen


ip&#58; 66.249.64.250
ts&#58; 1451772384
ts2&#58; 1451777925
rc&#58; 3
os&#58; Mac
browser&#58; Safari
agent&#58; Mozilla/5.0 &#40;iPhone; CPU iPhone OS 8_3 like Mac OS X&#41; AppleWebKit/600.1.4 &#40;KHTML, like Gecko&#41; Version/8.0 Mobile/12F70 Safari/600.1.4 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;





ip&#58; 66.249.64.89
ts&#58; 1451769813
ts2&#58; 1451777531
rc&#58; 17
os&#58; Spider
browser&#58; Googlebot
agent&#58; Mozilla/5.0 &#40;compatible; Googlebot/2.1; +http&#58;//www.google.com/bot.html&#41;

66.... ist Google?

mein Script hat hier Browser und BS gefunden; darum steht jetzt nicht "Spider & Google" in der SQL; sollte ich mein Script ändern

gibts auch Freaks die mit "GoogleBot"UA unterwegs sind?
ja die gibts; war selbst mal so einer;
wieviele gibts dafon?

Melegrian · **Melegrian** » 03.01.2016, 08:38 **Gluten Free Crawler/1.0**

/Affilitiv/ hat geschrieben:66.... ist Google?

66.249.64.0 - 66.249.95.255 gehört wohl mit zu Google.

/Affilitiv/ hat geschrieben:sollte ich mein Script ändern

Mir wurde es leid, nur für eine allgemeine Übersicht da alle Zugriffe von Bots zu speichern, die sich oft für mich nicht zuordnen ließen. Deshalb speichere ich die jetzt in einer eigenen Tabelle, jedoch nur die, die sich als Bot zu erkennen geben. Speichere auch nicht jeden einzelnen Zugriff, sondern beim ersten Besuch wird ein neuer Bot angelegt und bei weiteren Besuchen wird der dann nur noch mit +1 hochgezählt. In der Übersicht erscheint der dann mit dem Datum des ersten und des letzten Zugriffes und mit der Summe aller Zugriffe innerhalb eines Zeitraums.

/Affilitiv/ hat geschrieben:wieviele gibts dafon?

Keine Ahnung, die hat wohl noch keiner gezählt und jeder Versuch einer Zählung wäre wohl sinnlos. Wie viele Tools mag es geben, bei denen jeder seine Wunsch-Kennung vorgeben kann und die dann eine ähnliche Spur hinterlassen?

/Affilitiv/ · **/Affilitiv/** » 03.01.2016, 09:22 **Gluten Free Crawler/1.0**

Melegrian hat geschrieben:Speichere auch nicht jeden einzelnen Zugriff, sondern beim ersten Besuch wird ein neuer Bot angelegt und bei weiteren Besuchen wird der dann nur noch mit +1 hochgezählt.

wie bei mir

ts = INSERT INTO
ts2 = UPDATE ON DUPLICATE
rc = rc+1 // Request Counter

Melegrian hat geschrieben:beim ersten Besuch wird ein neuer Bot angelegt

wie machste Das?
(also; meine Tabelle ist ja jettz für "alle" UAs)

hab gestern überlegt

strpos ... (compatible;
danach steht dann der Bot z.B. (compatible; Googlebot/2.1;
funktioniert auch bei Yahoo und so

gibt aber auch Andere
z.B. GigaBlastBot/1.0 ..... da steht nur das im UA

nochmal nachkuck

Code: Alles auswählen

SELECT * FROM Counter_UAList WHERE agent LIKE '%blast%'


id&#58; 24
ip&#58; 65.132.59.34
ts&#58; 1451772428
ts2&#58; 1451806298
rc&#58; 81
os&#58;
browser&#58;
agent&#58; GigablastOpenSource/1.0

hääääää; da steht jetzt kein "bot" drin ..... hääää

ähm, der Google "Mac Safari" ist ein Bot? oder ist das eventuell ein Qualitirater der den "Bot-ich-bin String" im UA hat?

ich kuck mal was mein Counter macht

Melegrian · **Melegrian** » 03.01.2016, 10:04 **Gluten Free Crawler/1.0**

/Affilitiv/ hat geschrieben:
Melegrian hat geschrieben:beim ersten Besuch wird ein neuer Bot angelegt
wie machste Das?

Code: Alles auswählen

// Zuererst schauen, ob bereits in der Tabelle vorhanden.

 SELECT COUNT&#40;bots&#41; as vorhanden
   FROM ...bots
  WHERE bots = '". $eine_var ."'
  
// Je nach dem Ergebnis von COUNT, welches in $pruefe gespeichert wurde, anlegen oder updaten&#58;

if &#40;$pruefe == 0&#41; INSERT INTO
if &#40;$pruefe == 1&#41; UPDATE mit +1

Und vorher:

Code: Alles auswählen

    if &#40;stristr&#40;$this->welcher,"bot"&#41;         !== false&#41; ...
elseif &#40;stristr&#40;$this->welcher,"spider"&#41;      !== false&#41; ...
elseif &#40;stristr&#40;$this->welcher,"crawler"&#41;     !== false&#41; ...
elseif &#40;stristr&#40;$this->welcher,"http&#58;//"&#41;     !== false&#41; ...

/Affilitiv/ · **/Affilitiv/** » 05.01.2016, 00:24 **Gluten Free Crawler/1.0**

Melegrian hat geschrieben:

Code: Alles auswählen

    if &#40;stristr&#40;$this->welcher,"bot"&#41;         !== false&#41; ...
elseif &#40;stristr&#40;$this->welcher,"spider"&#41;      !== false&#41; ...
elseif &#40;stristr&#40;$this->welcher,"crawler"&#41;     !== false&#41; ...
elseif &#40;stristr&#40;$this->welcher,"http&#58;//"&#41;     !== false&#41; ...

schnucklich klein; der Coder
(aber den Giga... hast da nicht drin)
agent: GigablastOpenSource/1.0
und da ist noch ein ioBOT ....

oder
4* agent: finbot
651* (inkoknito) agent:
533* agent: GigablastOpenSource/1.0
11* (der kriegste doch) agent: I0-B0T
1* agent: ia_archiver
6* agent: Go-http-client/1.1
1* agent: Java/1.8.0_66
1* agent: WWW-Mechanize/1.73

1* agent: python-requests/2.7.0 CPython/2.7.6 Linux/3.13.0-36-generic
3* (eine Software?) agent: Mozilla/3.0 (compatible; WebCapture 2.0; Auto; Windows)

3*(der aus der Zukunft kommt; die Anderen sind nur Moz5) agent: Mozilla/6.0 (compatible)

bei mir ist es
INSERT INTO
UPDATE OB Duplicate...

für die UA Sammlung
die SpiderErkennung hatte ich schon vorher ..... nicht so schnucklich

Code: Alles auswählen


    $agent = str_replace&#40;"Mozilla/" , '', $_SERVER&#91;HTTP_USER_AGENT&#93;&#41;;
    
    $Clint_OS='';
    if     &#40; stristr&#40;$agent, "Windows"  &#41; &#41; $Clint_OS = "Win";
    elseif &#40; stristr&#40;$agent, "Linux"    &#41; &#41; $Clint_OS = "X11";
    elseif &#40; stristr&#40;$agent, "bsd"      &#41; &#41; $Clint_OS = "Bsd";
    elseif &#40; stristr&#40;$agent, "X11"      &#41; &#41; $Clint_OS = "X11";
    elseif &#40; stristr&#40;$agent, "OS2"      &#41; &#41; $Clint_OS = "OS2";
    elseif &#40; stristr&#40;$agent, "Apple"    &#41; &#41; $Clint_OS = "Mac";
    elseif &#40; stristr&#40;$agent, "Mac"      &#41; &#41; $Clint_OS = "Mac";
    elseif &#40; stristr&#40;$agent, "Macintosh"&#41; &#41; $Clint_OS = "Mac";
    elseif &#40; stristr&#40;$agent, "BeOS"     &#41; &#41; $Clint_OS = "Beos";
    elseif &#40; stristr&#40;$agent, "Zeta"     &#41; &#41; $Clint_OS = "Beos";
    elseif &#40; stristr&#40;$agent, "WAP Proxy"&#41; &#41; $Clint_OS = "Handy";
    elseif &#40; stristr&#40;$agent, "Win"      &#41; &#41; $Clint_OS = "Win";
    $Clint_Browser='';
    if     &#40; stristr&#40;$agent, "Safari"   &#41; &#41; $Clint_Browser = "Safari";
    elseif &#40; stristr&#40;$agent, "Shiira"   &#41; &#41; $Clint_Browser = "Shiira";
    elseif &#40; stristr&#40;$agent, "AOL"      &#41; &#41; $Clint_Browser = "AOL";
    elseif &#40; stristr&#40;$agent, "iCab"     &#41; &#41; $Clint_Browser = "iCab";
    elseif &#40; stristr&#40;$agent, "Galeon"   &#41; &#41; $Clint_Browser = "Galeon";
    elseif &#40; stristr&#40;$agent, "Epiphany" &#41; &#41; $Clint_Browser = "Epiphany";
    elseif &#40; stristr&#40;$agent, "Konqueror"&#41; &#41; $Clint_Browser = "Konqueror";
    elseif &#40; stristr&#40;$agent, "Mozilla"  &#41; &#41; $Clint_Browser = "Mozilla";
    elseif &#40; stristr&#40;$agent, "Firefox"  &#41; &#41; $Clint_Browser = "Firefox";
    elseif &#40; stristr&#40;$agent, "Netscape" &#41; &#41; $Clint_Browser = "Netscape";
    elseif &#40; stristr&#40;$agent, "Gecko"    &#41; &#41; $Clint_Browser = "Mozilla";
    elseif &#40; stristr&#40;$agent, "Gecko"    &#41; &#41; $Clint_Browser = "Gecko";
    elseif &#40; stristr&#40;$agent, "Opera"    &#41; &#41; $Clint_Browser = "Opera";
    elseif &#40; stristr&#40;$agent, "Links"    &#41; &#41; $Clint_Browser = "Links";
    elseif &#40; stristr&#40;$agent, "Lynx"     &#41; &#41; $Clint_Browser = "Lynx";
    elseif &#40; stristr&#40;$agent, "RSS"      &#41; &#41; $Clint_Browser = "RSS";
    elseif &#40; stristr&#40;$agent, "MSIE"     &#41; &#41; $Clint_Browser = "Explorer";
    elseif &#40; stristr&#40;$agent, "Explorer" &#41; &#41; $Clint_Browser = "Explorer";
    elseif &#40; stristr&#40;$agent, "Qwantify"        &#41; &#41;&#123;$Clint_Browser = 'Qwantify';         $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "seoscanners"     &#41; &#41;&#123;$Clint_Browser = 'seoscanners';      $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Googlebot"       &#41; &#41;&#123;$Clint_Browser = 'Googlebot';        $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "bingbot"         &#41; &#41;&#123;$Clint_Browser = 'bingbot';          $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Yahoo! Slurp"    &#41; &#41;&#123;$Clint_Browser = 'YahooSlurp';       $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "AhrefsBot"       &#41; &#41;&#123;$Clint_Browser = 'AhrefsBot';        $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Exabot"          &#41; &#41;&#123;$Clint_Browser = 'Exabot';           $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "YandexBot"       &#41; &#41;&#123;$Clint_Browser = 'YandexBot';        $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "DotBot"          &#41; &#41;&#123;$Clint_Browser = 'DotBot';           $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Baiduspider"     &#41; &#41;&#123;$Clint_Browser = 'Baiduspider';      $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "OpenLinkProfiler"&#41; &#41;&#123;$Clint_Browser = 'OpenLinkProfiler'; $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "MetaJobBot"      &#41; &#41;&#123;$Clint_Browser = 'MetaJobBot';       $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Mojeek"          &#41; &#41;&#123;$Clint_Browser = 'Mojeek';           $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "DeuSu"           &#41; &#41;&#123;$Clint_Browser = 'DeuSu';            $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "ia_archiver"     &#41; &#41;&#123;$Clint_Browser = 'ia_archiver';      $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Google favicon"  &#41; &#41;&#123;$Clint_Browser = 'Google favicon';   $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Y!J-ASR"         &#41; &#41;&#123;$Clint_Browser = 'Y!J-ASR';          $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Sogou"           &#41; &#41;&#123;$Clint_Browser = 'Sogou';            $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Plukkie"         &#41; &#41;&#123;$Clint_Browser = 'Plukkie';          $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Scopia"          &#41; &#41;&#123;$Clint_Browser = 'Scopia';           $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;
    elseif &#40; stristr&#40;$agent, "Wayback"      &#41; &#41;&#123;$Clint_Browser = 'Wayback';    $Clint_OS = 'Spider';&#125;

Melegrian · **Melegrian** » 05.01.2016, 07:54 **Gluten Free Crawler/1.0**

Du hast aber Browser mit Bots gemischt. Sind zwar alles User Agents, doch bei mir sieht das in der DB dann so aus.

1. Tabelle - Besucher: Hier sind alle Zugriffe über externe Referrer enthalten, mit den User Agents. Direkte Aufrufe werden nicht erfasst, doch die sind ja notfalls in den Serverlogs zu finden.

2. Tabelle - Seiten: Hier werden alle Seitenaufrufe gespeichert, die ein Cookie vom ersten Seitenaufruf zu liegen haben, aber nur wenn der im Cookie enthaltene Zeitstempel nicht älter als 20 Minuten ist, jedoch auch nicht kürzer als x Sekunden (ein bot hätte weniger als x Sekunden) und wenn der Referrer von der eigenen Seite kommt. Somit wird in dieser Tabelle nicht erfasst, wer da zum Beispiel innerhalb von 20 Minuten noch einmal in den Serps klickt. Alles was in der Tabelle liegt, kann dann zur Bestimmung der Verweildauer ausgewertet werden.

3. Tabelle - Bots: In dieser haben halt Browser nichts verloren, sondern nur die Bots, die sich als solche zu erkennen geben. Die meisten benutzen irgendwo einen Teilstring mit bot oder stellen sich auf einer +http:// Seite vor.

Davor hatte ich ein Script, wo alle aufgeführt wurden, da war dann zum Beispiel auch zu sehen, wenn Bots, die sich tarnten, nach einer login-Seite suchten und dabei alle Varianten durchprobierten. Doch das wurde einfach zu viel, die kommen ohnehin täglich, hatte keine Lust mehr mich damit die DB vollzumüllen.

Eine ähnliche Variante wie Du benutze ich dann erst bei der Ausgabe, um festzustellen, welche Browser in Tabelle 1 enthalten sind, wobei dann mit substr die Version mit ausgelesen wird. Mag sein, dass das nicht alles perfekt ist, doch für eine Übersicht genügte es mir bisher. Beispiel:

Code: Alles auswählen

elseif &#40;strstr&#40;$data, "Firefox"&#41;&#41;  $data = substr&#40;strstr&#40;$data, "Firefox"&#41;, 0, 11&#41;;

$data wird dann mit Version ausgegeben, wie zum Beispiel Firefox 43.