» Suchmaschinenbots erkennen, aber nicht übertreiben!

mgutt · 20.02.2009, 02:22

Mir ist gerade aufgefallen, dass ich an die 100 verschiedenen Bot-Kennungen jedesmal prüfe, sobald ein Gast auf die Seite kommt.

Das macht wenig Sinn, denn grundlegend geht es bei der Boterkennung, nur um zwei Dinge:

die Sessions-Datenbank soll von Bots nicht belastet werden
die Session-IDs sollen nicht in den URLs auftauchen

Daher habe ich die ganzen Regeln entfernt und prüfe nur noch ob diese Textstrings im USER_AGENT vorkommen:
bot, crawler, java, search & spider

Wenn einer der Wörter auch nur zum Teil z.B. bei Googlebot oder MSNBOT das "bot" oder beim Yahoo! Slurp in der URL das "search", dann wird der Besucher als Bot gewertet. Alle anderen Bots, die nicht bei dieser Prüfung erfasst werden, sind in aller Regel uninteressant.

Damit konnte ich die 100 Regeln auf gerade mal 5 reduzieren. Das macht viel aus, denn die Bots können nur über eine Schleife geprüft werden und umso weniger es sind umso schneller ist die Schleife bekanntlich beendet.

Wer also eine Boterkennung hat, sollte ebenfalls darüber nachdenken.

programmierer-forum.de · Gast

Mach mit!

Wenn Dir die Beiträge zum Thread "Suchmaschinenbots erkennen, aber nicht übertreiben!" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:

Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
✔ keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...

Autor	Nachricht
mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52434 Wohnort: Lohmar Meine eBay-Auktionen:	20.02.2009, 02:22 zitieren Mir ist gerade aufgefallen, dass ich an die 100 verschiedenen Bot-Kennungen jedesmal prüfe, sobald ein Gast auf die Seite kommt. Das macht wenig Sinn, denn grundlegend geht es bei der Boterkennung, nur um zwei Dinge: die Sessions-Datenbank soll von Bots nicht belastet werden die Session-IDs sollen nicht in den URLs auftauchen Daher habe ich die ganzen Regeln entfernt und prüfe nur noch ob diese Textstrings im USER_AGENT vorkommen: bot, crawler, java, search & spider Wenn einer der Wörter auch nur zum Teil z.B. bei Googlebot oder MSNBOT das "bot" oder beim Yahoo! Slurp in der URL das "search", dann wird der Besucher als Bot gewertet. Alle anderen Bots, die nicht bei dieser Prüfung erfasst werden, sind in aller Regel uninteressant. Damit konnte ich die 100 Regeln auf gerade mal 5 reduzieren. Das macht viel aus, denn die Bots können nur über eine Schleife geprüft werden und umso weniger es sind umso schneller ist die Schleife bekanntlich beendet. Wer also eine Boterkennung hat, sollte ebenfalls darüber nachdenken. Gefällt mir Teilen twittern
▲	pn email

programmierer-forum.de Gast	20.02.2009, 02:22 zitieren Mach mit! Wenn Dir die Beiträge zum Thread "Suchmaschinenbots erkennen, aber nicht übertreiben!" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden: Registrierte Mitglieder genießen die folgenden Vorteile: ✔ kostenlose Mitgliedschaft ✔ keine Werbung ✔ direkter Austausch mit Gleichgesinnten ✔ neue Fragen stellen oder Diskussionen starten ✔ schnelle Hilfe bei Problemen ✔ Bilder und Videos hochladen ✔ und vieles mehr...
▲

	Re: √	Letzter Beitrag
Synology NAS läuft, aber nicht erreichbar (anpingen geht auch nicht) Ich habe seit gerade eben das Problem, dass ich nicht mehr auf das NAS zugreifen kann. Ping auf die feste IP geht nicht. Die Fritz!Box zeigt aber an, dass die IP vergeben wurde und zeigt das NAS als "CloudStation" an. Ich komme weder auf das... von mgutt	3 59.886	07.03.2014, 19:18 mgutt
EJ9 Hupe geht nicht mehr Relais vorhanden aber Kabel nicht mehr Hier mein Problem EJ9 Baujahr 1995 Hupe macht nicht nicht mal nen „Klick“ das geile es gehen zwar die Kabel vom Lenkrad weg (BlauRot) gehen aber nicht zum Relais was eigentlich dafür zuständig ist finde auch kein Kabel was da rein passt Hab schon alles... von EJ9Spike	10 733	13.05.2018, 11:13 EJ9Spike
ZV öffnet aber schließt nicht Hi Leute! Der Titel des Threads sagt schon fast alles. Bei meinem 94 Del Sol öffnet sich zwar die Türverriegelung, wenn man an der Fahrertür aufsperrt, aber sie verriegelt nicht. Jetzt habe ich mal die Türverkleidung beifahrerseitig demontiert und... von LoRDxRaVeN	3 330	19.08.2011, 07:39 LoRDxRaVeN
So kommt man aber nicht auf die Website Ok, der ist nerdig, aber ich fands lustig... von mgutt	5 343	06.12.2011, 08:09 mgutt
Endstufe Funzt aber SUB nicht ??? Hiho , Habe eben Karre wieder zusammen gebaut. Endstufe geht , jedenfalls leuchtet Power Grün :D. Aber der Sub geht nicht ! kommt nichts raus =(. Woran kanns liegen? Masse hab ich Schraube von Rücksitzbank genommen und schön Blank geschliffen!.... von Destiny	4 3.432	24.02.2012, 16:54 Destiny
Geblitzt aber nicht selber gefahren Konnte nichts passendens zu dem Thema finden. Also wenn man sein auto verleiht und derjenige wird geblitz (probefahrt zb.) dann bekommt man 1woche später das schreiben, aber weiß nicht wer gefahren ist. Muss man dann das Bußgeld... von Hondissimo	7 2.953	23.03.2011, 09:33 SaschaOF
Endstufe geht nicht an?? aber wieso... -.- Hallo zusammen, ich habe mir heute das JVC KD-R421 gekauft und nu stehe ich vor dem problem das meine endstufe nicht mehr angeht das wäre die Phase Evolution RS 4. sicherungen habe ich alle gecheckt alle in Ordnung. ich habe eine kleine skizze auf dem... von Smokee	5 2.869	13.05.2011, 12:05 Ralf
FS gekauft, weiss aber nicht wie einbauen?! Hallo erstmal, Ich habe mir gestern ein paar Hifonics Warrior WR62CX als Frontsystem gekauft und würde sie gerne einbauen und anschliessen.. nunja! Das erste Problem: Die einbautiefe ist zwar passend (41mm) aber da die Boxen sehr flach sind stehen sie... von exe	10 968	05.08.2006, 18:15 exe
Feder in Führung aber nicht bis Anschlag Update... siehe mein letzter post! Heute war eigentlich der Federneinbau für hinten geplant... war schon alles draußen, auf einmal gibt am Domteller die Nut für den 5er Imbus nach. Ist rund, also alles wieder rein. (Bild 1) Dann hat sich die... von Eaves	8 685	08.07.2008, 13:03 Eaves
BB2 ASB eingebaut, aber 2. drosselklappe schaltet nicht zu Hi leute, Ich ahbe meine BB2 ASB nun eingebaut aber ich merke nach wie vor kein unterschied :( Ein Kumpel von mir der KFZ mechatroniker ist und Ahnung eig hat, hat mir gesagt dass die zweite drosselklappe nicht zuschaltet ab 4000 u/min. genau so... von HessenPrelude	5 384	14.02.2011, 15:59 HessenPrelude