Hallo!
Seit ein paar Tagen versuche ich nun schon vergebens die Session ID aus den Crawling-Ergebnissen bei Sistrix zu bekommen.
Shop: XT Commerce 4.1
Bei Sistrix ist es möglich einen User Agent zu vergeben, z.B. sistrixtz
Ich habe schon versucht die Session ID über:
/xtFramework/library/bots/bots.txt
dort erst sistrixtz reingeschrieben und schon andere Kombinationen mit bot oder crawl.
und über die robots.txt zu sperren
User-agent: sistrixtz
Disallow: /*?sessionid
Nun weiß ich vorerst keine Möglichkeit mehr die man austesten könnte.
Ich würde eher versuchen, das Ganze nicht über Einstellungen auf Deiner Website zu lösen, sondern Sistrix selbst zu kontaktieren.
Die Frage wäre, ob Sistrix sich überhaupt über die Angaben in der robots.txt schert. Die Crawler von Google tun es ja auch nicht und indexieren fröhlich fast alles.
Kann Dir aber nur Sistrix beantworten Rein technisch sollte es eigentlich zu lösen sein, die Session IDs rauszufiltern.
Noob.. einfach nächstes Mal die von xt commerce mitgelieferte bots.txt nicht mit nem Texteditor öffnen sondern mit dreamweaver, sublime etc.
User-Agent bei Sistrix manuell festlegen und dann klappt die Sache auch.