» Suchmaschinenbots erkennen, aber nicht übertreiben!

UPDATE View-Counter per Zufall (Performance Tipp)Neuen Thread eröffnenNeue Antwort erstellenGoogle weiterleiten, falls Session ID in der URL steht
AutorNachricht
Administrator 

Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 50629
Chats: 11159
Wohnort: Hennef


Meine eBay-Auktionen:
20.02.2009, 02:22
zitieren

Mir ist gerade aufgefallen, dass ich an die 100 verschiedenen Bot-Kennungen jedesmal prüfe, sobald ein Gast auf die Seite kommt.

Das macht wenig Sinn, denn grundlegend geht es bei der Boterkennung, nur um zwei Dinge:
  1. die Sessions-Datenbank soll von Bots nicht belastet werden
  2. die Session-IDs sollen nicht in den URLs auftauchen
Daher habe ich die ganzen Regeln entfernt und prüfe nur noch ob diese Textstrings im USER_AGENT vorkommen:
bot, crawler, java, search & spider

Wenn einer der Wörter auch nur zum Teil z.B. bei Googlebot oder MSNBOT das "bot" oder beim Yahoo! Slurp in der URL das "search", dann wird der Besucher als Bot gewertet. Alle anderen Bots, die nicht bei dieser Prüfung erfasst werden, sind in aller Regel uninteressant.

Damit konnte ich die 100 Regeln auf gerade mal 5 reduzieren. Das macht viel aus, denn die Bots können nur über eine Schleife geprüft werden und umso weniger es sind umso schneller ist die Schleife bekanntlich beendet.

Wer also eine Boterkennung hat, sollte ebenfalls darüber nachdenken.


pn email
Gast 
20.02.2009, 02:22
zitieren

Mach mit!

Wenn Dir die Beiträge zum Thread "Suchmaschinenbots erkennen, aber nicht übertreiben!" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:



Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...

Zu hallo zusammen, ich habe mir heute das jvc kd-r421 gekauft und findest Du weitere passende Themen in der Suche.


Neuen Thread eröffnenNeue Antwort erstellen
Ähnliche BeiträgeRe:
Letzter Beitrag
Synology NAS läuft, aber nicht erreichbar (anpingen geht auch nicht)
Ich habe seit gerade eben das Problem, dass ich nicht mehr auf das NAS zugreifen kann. Ping auf die feste IP geht nicht. Die Fritz!Box zeigt aber an, dass die IP vergeben wurde und zeigt das NAS als "CloudStation" an. Ich komme weder auf das...
von mgutt
3
13.056
07.03.2014, 19:18
mgutt
Endstufe Funzt aber SUB nicht ???
Hiho , Habe eben Karre wieder zusammen gebaut. Endstufe geht , jedenfalls leuchtet Power Grün :D. Aber der Sub geht nicht ! kommt nichts raus =(. Woran kanns liegen? Masse hab ich Schraube von Rücksitzbank genommen und schön Blank geschliffen!....
von Destiny
4
2.375
24.02.2012, 16:54
Destiny
Geblitzt aber nicht selber gefahren
Konnte nichts passendens zu dem Thema finden. Also wenn man sein auto verleiht und derjenige wird geblitz (probefahrt zb.) dann bekommt man 1woche später das schreiben, aber weiß nicht wer gefahren ist. Muss man dann das Bußgeld...
von Hondissimo
7
2.612
23.03.2011, 09:33
SaschaOF
Endstufe geht nicht an?? aber wieso... -.-
Hallo zusammen, ich habe mir heute das JVC KD-R421 gekauft und nu stehe ich vor dem problem das meine endstufe nicht mehr angeht das wäre die Phase Evolution RS 4. sicherungen habe ich alle gecheckt alle in Ordnung. ich habe eine kleine skizze auf dem...
von Smokee
5
2.334
13.05.2011, 12:05
Ralf
ZV öffnet aber schließt nicht
Hi Leute! Der Titel des Threads sagt schon fast alles. Bei meinem 94 Del Sol öffnet sich zwar die Türverriegelung, wenn man an der Fahrertür aufsperrt, aber sie verriegelt nicht. Jetzt habe ich mal die Türverkleidung beifahrerseitig demontiert und...
von LoRDxRaVeN
3
254
19.08.2011, 07:39
LoRDxRaVeN
Federung härter aber nicht tiefer?!
Gibts möglichkeiten das Fahrwerk härter zu machen ohne dabei tiefer zu gehen? Also quasi Sportfedern die nicht tiefer legen? Hab im Moment Supersport Dämpfer drin und original Federn. Vorne kommt er durch den Motor sowieso 3 cm tiefer und hinten hab...
von ToxiT
9
673
20.11.2006, 16:23
oeschie
Privatkopie: Kopieren verboten, aber nicht strafbar
Überall liest man, dass Privatkopien verboten sind, wenn man dadurch einen wirksamen Kopierschutz umgangen hat. Das ist auch...
von mgutt
0
90
13.10.2013, 20:04
mgutt
Motorwarnleuchte funzt nicht, aber Glühbirne ist ok
Hi Leute...bei meinem EC8 leuchtet die Motorwarnleuchte (ist ein D13B2 mit Steuergerät) garnicht, aber die Glühbirne ist ok, habs getestet...woran kann es nun...
von RH.onda
7
101
18.10.2009, 18:35
honda civic DX
air intake eingetragen, aber nicht eingebaut
Hallo ! Darf ich mit meinem Auto rumfahren, wenn ich ein Air intake zwar eingetragen habe, es aber nicht mehr eingebaut habe und durch die Werksteile ersetzt habe...
von Xeal
9
242
21.03.2006, 18:59
FaHrStUhL
Sicherung raus! Weiß aber nicht welche!
Baue gerade mein Ej9 um, habe Dauerplus, Plus vom Dimmer, Minus-Masse vom Radio entnommen,Türschalter minus vom Türschalter. Jetzt hatte ich ausversehen noch die Batterie angeschlossen gehabt und habe einen Kurzen bekommen. Die Sicherung unter...
von Norman1990
7
725
10.01.2009, 19:32
Jonas | back in white
© 2004 - 2016 www.programmierer-forum.de | Communities | Impressum |