» flock() Alternative mkdir() optimiert

PHP constant: Nicht gesetzt, obwohl definiertNeuen Thread eröffnenNeue Antwort erstellenVerlinkung abgrenzen funktioniert nicht
Seite 1 von 1 [1 Beitrag]
AutorNachricht
Administrator 

Name: Marc
Geschlecht:
Anmeldedatum: 28.08.2004
Beiträge: 46851
Chats: 11138
Wohnort: Hennef


Meine eBay-Auktionen:
28.10.2011, 09:40
zitieren

Hi,

nach diversen Tests kann ich sagen, dass flock() ein Performancekiller ist.

Nicht weil der Befehl an sich langsam ausgeführt wird, sondern weil es schnell zu Staus kommt, wenn hunderte verschiedene Prozesse parallel einen flock() ausführen.

Erstmal zu unserer Testumgebung:
Wir haben eine Community mit ca. 100.000 Impressionen pro Tag (Du bist gerade hier ;)). Um die Datenbank zu entlasten, nehmen wir die häufigsten Datenbankabfragen, die sich so gut wie nie ändern und hinterlegen sie in einem Cache. Aktuell nutzen wir dazu einen filecache.

Das Ergebnis der Abfrage kommt also in eine Datei:
   Code:
	function mkfile($filename, $data='', $chmod=0644) {
$h = @fopen($filename, 'w');
@fwrite($h, $data);
@fclose($h);
@umask(0000);
@chmod($filename, $chmod);
return $data;
}


Nun stellt man sich vor, dass sich das Abfrageergebnis ändert. Der Cache muss also aktualisiert werden. Jetzt kommt das Problem. Innerhalb von einer Sekunde können theoretisch mehrere hundert Besucher den Cache neu erstellen. Umso mehr Daten in der Cachedatei liegen, umso häufiger resultieren parallele Schreibvorgänge.

Es gibt nun zwei Lösungsansätze für dieses Problem:
A) der Cache wird immer nur von einem Besucher aktualisiert z.B. wenn der Administrator die Seite nutzt.
B) man sperrt die Datei, solange der Schreibprozess stattfindet

Üblicherweise nutzt man zum Sperren von Dateien die Funktion flock(). Liest man nun die zahlreichen Kommentare bei php.net stellt man fest, dass sich viele über Probleme bei gespiegelten Systemen bzw. Timeoutprobleme äußern:
http://php.net/manual/de/function.flock.php

Daraus resultieren verschiedene Lösungsansätze mit LOCK_NB und sogar $wouldblock:
   Code:
	function mkfile($filename, $data='', $chmod=0644) {
if (($h = @fopen($filename, 'w')) && flock($h, LOCK_EX | LOCK_NB, $wouldblock) && !$wouldblock) {
@fwrite($h, $data);
@fclose($h);
@umask(0000);
@chmod($filename, $chmod);
flock($h, LOCK_UN);
return $data;
}
}


Allerdings haben unsere Tests ergeben, dass auch das mangelhaft ist. Denn obwohl LOCK_NB angeblich ein Timeout verhindert, so haben wir festgestellt, dass das nicht der Fall ist. Und manchmal ist der Prozess kaum aufzuhalten. So als würden hunderte Dateihandles im Raum schweben und auf alle muss noch ein flock() angewendet werden. Soll heißen, dass der PHP Prozess den Server sogar zum Absturz gebracht hätte, wenn wir das Script nicht gekickt hätten.

Aber in den Kommentaren war auch ein Hinweis auf mkdir() bzw. ich fand dazu diesen Thread bei stackoverflow:
http://stackoverflow.com/questions/6967553/php-flock-alternative

Auch das habe ich dann natürlich getestet. Allerdings war auch hier das Ergebnis ernüchternd. Scheinbar wurde auch hier hundertfach parallel mkdir() ausgeführt und die Abarbeitung dessen führte ebenfalls zum Timeout.

Aber das Problem konnte ich schnell lösen, in dem ich mit file_exists() zuerst prüfte, ob mkdir() etwas geschrieben hat. Und damit kommen wir zu meiner finalen Empfehlung:
   Code:
	function mkfile($filename, $data='', $chmod=0644, $flock=false) {
if (($h = @fopen($filename, 'w')) && (!$flock || (!file_exists($filename . '_lock') && @mkdir($filename . '_lock')))) {
@fwrite($h, $data);
@fclose($h);
@umask(0000);
@chmod($filename, $chmod);
if ($flock) rmdir($filename . '_lock');
return $data;
}
return false;
}


Wie man sieht kann man $flock optional einsetzen.

Gruß


pn email
Gast 
28.10.2011, 09:40
zitieren

Mach mit!

Wenn Dir die Beiträge zum Thread "flock() Alternative mkdir() optimiert" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:



Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...

Zu alternative autodata, autodata alternative und mkdir php findest Du weitere passende Freds in der Suche.


Seite 1 von 1 [1 Beitrag]
Neuen Thread eröffnenNeue Antwort erstellen
Ähnliche BeiträgeRe:
Letzter Beitrag
mktree / mkdirs - oder mkdir rekursiv
Die folgende Funktion erstellt mehrere Verzeichnisse. Hilfreich in PHP4, wo rekursives mkdir() nicht verfügbar ist. function mktree($path, $mode=0777) { $dirs = explode('/', $path); unset($dirs[...
[PHP]von mgutt
0
1.592
24.02.2008, 16:51
mgutt
2video.de wurde optimiert
Ab sofort akzeptiert www.2video.de nur noch Links, die auf HTML-Seiten verweisen. Damit werden fehlerhafte Links abgewiesen und beeinflussen so nicht mehr die allgemeine Performance von 2video.de. Weiterhin wurde ein Fehler im Eingabe-Formular...
von mgutt
3
2.305
22.12.2008, 13:53
mgutt
Automatische Bilderverkleinerung beim Anschauen optimiert
Alle Bilder in Beiträgen werden bekanntlich verkleinert, wenn diese größer sind als die aktuell eingesetzte Bildschirmauflösung. Bisher galt das nur für fremdgehostete Bilder. Das wurde jetzt auch auf Bilder erweitert, die bei uns hochgeladen wurden....
von mgutt
22
1.592
20.04.2010, 10:12
mgutt
Mehr Funktionalität: Bedienung weiter optimiert
Ebenfalls modifiziert wurde die Mittelkonsole: Sie nimmt nun die Digitaluhr auf und bietet einen vergrößerten und leichter erreichbaren Warnblickschalter. Im unteren Bereich findet sich jetzt - ebenfalls leichter erreichbar - der Zigarettenanzünder. Ein...
von mgutt
0
447
21.10.2007, 19:01
mgutt
Webalizer Tuning - Wie man die Auswertung optimiert
Der Webalizer wird häufig unterschätzt, weil er angeblich "falsche" Daten auswirft. Fakt ist aber, dass der Webalizer in der Standardeinstellung einfach nur alles auswertet, was er in den Logfiles findet und das macht er richtig. Gerne wird...
[Allgemein]von mgutt
1
12.486
12.02.2009, 18:00
mgutt
Bilstein 10 Härtestufen Fahrwerk muss eingestellt und optimiert werden.Weis jmd wo(berlin)
Vorne Rechts knackt es permanent egal ob beim gerade aus fahren oder abbiegen werkstatt sagt fahrwerk gibts noch andere gründe ? Spurstange wie kopf ist in ordnung...
von civicberlin
2
198
07.05.2012, 10:07
civicberlin
Zusatzbatterie Alternative ?
Hallo Leute, wollt mich mal wegen einer neuen Zusatzbatterie informieren. Ich weiß die "guten" sogleich auch teuren haben verlässliche hohe Werte wie z.b. eine PurePower100 mit einer Leistung von 4100 Ampere. Aber wenn man auf die...
von Bas[S]ti
13
368
11.07.2012, 13:33
Ralf
Alternative Autodata?
hey leute. ich wollt mal nachfragen ob jemand eine alternative zu autodata kennt? vllt etwas was besser oder gleichwertig als autodata is? ich habe win7 x64 und darunter läuft autodata nicht...daher suche ich nun ein ähnliches programm. mfg...
von Th33xitus
3
3.818
14.12.2011, 23:28
mbboy
Alternative Energiequellen
Hallo! Ich muss in der Schule eine Art Referat über alternative Energien in Betreieben halten. Nun muss ich eine Kosten Nutzen Analyse machen und habe leider wenig Ahnung von dem Thema. Hat jemand schonmal etwas über dieses Thema halten...
von DaFadory
5
378
09.03.2006, 01:14
Simmie
Alternative Anmeldung
Hallo zusammen, ich versuche mal nen kurzen Überblick zu geben, was ich vor habe...leider weiß ich nicht genau wie ich das ganze umsetzten soll! Google hat zwar ein paar Treffer ausgeworfen, aber leider nichts was mir wirklich geholfen hätte und die...
von Gellan
1
93
18.04.2012, 07:44
Gellan
© 2004 - 2014 www.programmierer-forum.de | Communities | Impressum |