Welche Domains haben eine identische IP Adresse

Michael

Hi,

ich habe mal wieder ein wenig gebastelt. Herausgekommen ist ein kleines Wordpress Plugin, mit dem es möglich ist, alle Domains anzuzeigen, die unter der gleichen IP-Adresse zu erreichen sind.

Aktuell sind schon fast 6.000.000 Domains in der Datenbank und der Spider läuft weiter. Ich schätze mal, er wird bis Ende der Wochen noch die 6.000.000 Marke knacken.

Ausprobieren kann man das Plugin unter https://www.dieletztedomain.de/ipinfo/. Wer es selbst in seine Wordpress Installation einbinden möchte, kann mir eine kurze Nachricht hier im Forum hinterlassen. Ich schicke die Zip Datei dann per Mail. Im offiziellen Wordpress Plugin Repository habe ich es noch nicht abgelegt.

PS: Keine Angst wegen der Datenmenge. Die Daten werden über eine JSON-API bei bedarf geladen und nicht lokal gespeichert. Das Plugin benötig insgesamt auf dem Server weniger als 10 kB.

OK, beim lesen fällt mir direkt auf, was hier als erstes stehen wird. "Das sind nie alle Domains zu einer IP-Adresse" ...
Hier schon mal die Antwort vorab: Stimmt, aber es werden täglich mehr.
Als schönes Beispiel möchte ich hier noch einen meiner Favoriten verlinken "https://1br.de/ipinfo". Fast 3000 Domains unter einer IP-Adresse ... Wow!

Wer findet mehr?

Kristian

Interessantes Tool.
Ich frage mich allerdings, was der Vorteil gegenüber Bing ist.
Die DNS-Abfrage bekommt man glaube ich hin und wenn man dann bei Bing nach IP:123.123.123.123 sucht bekommt man die Domains.
Mehr als 3000? Ich habe mich gerade weggelegt, als ich durch dich inspiriert eine Kunden abgefragt habe.
Bei dir finde ich 22, das ist OK.
Bing findet über 9000.... ...und ich habe mich über die Speed-Schwankungen gewundert.

Michael

Nett, die Bing Suche nach IP Adresse kannte ich noch nicht und die findet tatsächlich mehr als mein Teilchen. Da hätte ich mich wohl mahl besser informieren sollen ....

Wieso als Wordpress-Plugin? Was hat das mit Wordpress zu tun?

Michael

Wieso nicht als Wordpress Plugin?
Eigentlich hat das nichts mit Wordpress zu tun, aber ich betreibe meine Website mit Wordpress und so konnte ich dieses kleine Tool optimal in meine Website integrieren.
Evtl. mache ich auch noch ein Widget, aber nachdem ich gelernt habe, dass Bing die Funktion auch hat, werde ich mir das wohl sparen ...

Maturn

Bei Bing findet er halt auch noch die Unterseiten und zählt sie mit.
Die müsste man jetzt auch wieder scrapen und aussortieren.

Die Sache ist doch eher was man vor hat. Willste nen Allgemeinen Index aufbauen? Das sind im Moment circa ~200 Mio Domains das wird dann noch ne weile dauern.

Nicht ganz ausser Acht sollte man dann lassen das man das Regelmässig neu scrapen muß weil die Daten sich ja ändern.

Also wenn man die alle hat kann man sicher lustige Statistiken erstellen von wegen welcher Hoster hat den größten Zuwachs, wo laufen alle weg usw. Aber ob das sinnvoll ist?

Nichtsdestotrotz würde ich nen Dump nehmen wenn du sie vollständig hast

Michael

@Maturn
Was ich vorhabe weiß ich noch nicht. Ich brauchte nur mal eine kleine Abwechslung in der Mittagspause und das ist dabei herausgekommen. Aber Deine Idee bzgl. Statistiken finde ich gut.
Über einen (nicht ganz vollständigen

) Dump können wir gerne mal reden. Was hast Du denn im Austausch zu Bieten? Alternativ kann ich Dir auch gerne den Link zum API Interface nennen:

https://api.dieletztedomain.de/ip-info/ ... p=heise.de
https://api.dieletztedomain.de/ip-info/ ... ?ip=gmx.de
https://api.dieletztedomain.de/ip-info/ ... -united.de
https://api.dieletztedomain.de/ip-info/ ... ofollow.de
...
Raus kommt ein Stück JSON Code, den man dann ganz einfach weiterverarbeiten kann.

Viel Spaß damit.

PS: Bitte nicht übertreiben, der Server hat schon genug zu tun

elmex

Welche Kennung sendet Dein Spider und wo klärst Du über den Spider auf? Beachtest Du die Reglen für Spider und wie kann ich verhindern, dass meine Domains oder IPs davon erfasst werden?

Inter47

elmex hat geschrieben:Welche Kennung sendet Dein Spider und wo klärst Du über den Spider auf? Beachtest Du die Reglen für Spider und wie kann ich verhindern, dass meine Domains oder IPs davon erfasst werden?

... Da kommen wir Deutschen wieder vor.- Für das sind wir weltweit bekannt ... Das Schlimme: Alle die so etwas schreiben haben ein Smartphone und meistens sogar auch ein Tablet

Michael

@elmex
Kein HTTP Spider, der nach Links auf irgendwelche Domains sucht
Keine Aufklärung
Keine Möglichkeit irgendwas zu verhindern.

Warum auch? Gibt es irgendwelche Gesetze, gegen die ich verstoße?

elmex

@Inter47
Ich habe weder Smartphone noch Tablet und nehm auch keine Tabletten

@Michael
Ob das gegen iwelche Gesetze verstösst habe ich keine Ahnung, aber es gehört sich nicht, einfach so rumzuspidern

Wenn du so weitermachst, wirst als Bad Spider gebrandmarkt werden.

https://www.w3.org/wiki/Write_Web_Crawler

Michael

@elmex
rumzuspidern hört sich nicht nett an. Zum Glück tut mein Spider das nicht. Web Scraping habe ich noch nie gemocht. Mein Spider nutzt nur Inhalte, die von den Anbietern kostenlos angeboten werden.

PS: Ich bin einfach ein API Fan

Inter47

elmex hat geschrieben:@Inter47
Ich habe weder Smartphone noch Tablet und nehm auch keine Tabletten

@Michael
Ob das gegen iwelche Gesetze verstösst habe ich keine Ahnung, aber es gehört sich nicht, einfach so rumzuspidern Wenn du so weitermachst, wirst als Bad Spider gebrandmarkt werden.

https://www.w3.org/wiki/Write_Web_Crawler

Aber das Internet nutzt Du ja ... Also hat sich damit die Hauptfrage schon erledigt.

Warum gehört es sich nicht, rumzuspidern? Vielleicht solltest Du das Internet nicht mehr benutzen.

elmex

@Michael
Dann habe ich das mit dem Spider wohl falsch verstanden. Allerdings wenn Dein Programm nur iwelche APIs abfragt, wäre Spider wohl nicht die richtige Bezeichnung.

@Inter47
Was für eine Hauptfrage meinst Du, oder willst nur trollen? Ob und wie ich das Internet nutze, geht Dich gar nichts an und verbieten lasse ich mir das von Dir bestimmt nicht

Und übrigens, warum es sich nicht gehört rumzuspidern (das verrät Dir gerne Google), wenn Du das nicht selber weißt, bist Du zumindest technisch in dem Bereich vielleicht nicht so goldrichtig aufgehoben?!

Inter47

elmex hat geschrieben:@Michael
Dann habe ich das mit dem Spider wohl falsch verstanden. Allerdings wenn Dein Programm nur iwelche APIs abfragt, wäre Spider wohl nicht die richtige Bezeichnung.

@Inter47
Was für eine Hauptfrage meinst Du, oder willst nur trollen? Ob und wie ich das Internet nutze, geht Dich gar nichts an und verbieten lasse ich mir das von Dir bestimmt nicht Und übrigens, warum es sich nicht gehört rumzuspidern (das verrät Dir gerne Google), wenn Du das nicht selber weißt, bist Du zumindest technisch in dem Bereich vielleicht nicht so goldrichtig aufgehoben?!

Es spricht nichts gegen Spidern. Im Grunde macht es jeder. Nur bei solchen Eingangsfragen wie hier, stellt sich die Frage, ob für Dich die Internetnutzung sinnvoll ist. Da Du aber anscheinend an Trolle glaubst, dürftest Du der eigentlichen Zielgruppe entsprechen.