php Anzahl forks der CPU Auslastung anpassen

Re(8): php Anzahl forks der CPU Auslastung anpassen

zeddicus — Tue, 23 Feb 2016 08:48:11 GMT

Ein "Deadlock" kann aus reiner CPU-Load (ohne RT-Priority bzw. einen Bug im
Scheduler) nicht folgen; die Verwendung dieses Begriffs ist hier falsch.

Das war eher in dem Sinn gemeint, dass durch CPU Überlastung queries länger dauern, somit länger locks setzen, und dadurch wiederrum die Queries länger dauern. Das verselbstständigt sich ab einem gewissen Punkt und sorgt für eine Performancesenkung statt einer Steierung. Aber danke für den Tipp, schau ich mir an

Re(7): php Anzahl forks der CPU Auslastung anpassen

colo — Tue, 23 Feb 2016 08:32:15 GMT

sched_setscheduler(2)
nice(2)

Diese beiden Syscalls sind (unter Linux) die Loesung fuer dein Problem, ohne dass du grosz an einem eigenen Fork-Manager herumbasteln musst.

Ein "Deadlock" kann aus reiner CPU-Load (ohne RT-Priority bzw. einen Bug im Scheduler) nicht folgen; die Verwendung dieses Begriffs ist hier falsch.

Re(7): php Anzahl forks der CPU Auslastung anpassen

Paulas_Papa — Fri, 19 Feb 2016 12:16:55 GMT

Das heißt, du willst bewußt neben deinen Prozessen etwas headroom überlassen. Vielleicht solltest du das im Originalbeitrag auch erwähnen!

Das würde ich eher übers Betriebssystem lösen - CPULIMIT oder was immer Linux da bietet.

mfg lukas

Re(6): php Anzahl forks der CPU Auslastung anpassen

zeddicus — Fri, 19 Feb 2016 12:10:42 GMT

Ehrlich, ich verstehe dein Problem
nicht!

Das glaub ich dir

"CPU dicht" ist der Wunschzustand jedes Betreibers! Genau um das geht es ja.
Dann rennt das Werkel am effektivsten.

Nein. CPU dicht ist der Wunschzustand wenn du nur einen Prozess hast. Wenn nebenbei aber andere Sachen laufen ist es das ganz und gar nicht. Dann kommt es auf das nice handling, den Aufbau der anderen Prozesse etc. an. Das artet dann eher in Glücksspiel aus.

Re(6): php Anzahl forks der CPU Auslastung anpassen

zeddicus — Fri, 19 Feb 2016 12:10:42 GMT

Ehrlich, ich verstehe dein Problem
nicht!

Das glaub ich dir

"CPU dicht" ist der Wunschzustand jedes Betreibers! Genau um das geht es ja.
Dann rennt das Werkel am effektivsten.

Nein. CPU dicht ist VIELLEICHT der Wunschzustand wenn du nur einen Prozess hast. Kann aber zu Deadlocks führen. Wenn nebenbei aber andere Sachen laufen ist es das sowieso ganz und gar nicht. Dann kommt es auf das nice handling, den Aufbau der anderen Prozesse etc. an. Das artet dann eher in Glücksspiel aus.

Re(5): php Anzahl forks der CPU Auslastung anpassen

Paulas_Papa — Fri, 19 Feb 2016 11:26:36 GMT

"CPU dicht" ist der Wunschzustand jedes Betreibers! Genau um das geht es ja. Dann rennt das Werkel am effektivsten.

Ehrlich, ich verstehe dein Problem nicht!

mfg lukas

Re(4): php Anzahl forks der CPU Auslastung anpassen

zeddicus — Fri, 19 Feb 2016 11:10:17 GMT

Äh, nochmal:
Das RAM ist nicht das Problem. Die CPU ist dicht, oder idlet zu sehr. Das ist genau der Grund warum ich nach Anpassung an CPU Auslastung frage, und nicht nach RAM

Re(3): php Anzahl forks der CPU Auslastung anpassen

Paulas_Papa — Fri, 19 Feb 2016 08:46:04 GMT

Wenn dir die Returnzeit des einzelnen fork egal ist, fork das Ding zu bis das RAM dicht ist. Der Gesamtdurchsatz ist dann maximal.

mfg lukas

Re(2): php Anzahl forks der CPU Auslastung anpassen

zeddicus — Fri, 19 Feb 2016 08:41:08 GMT

Meine Erfahrung aus der Dampfcomputerzeit ist, dass es mehr Sinn macht, auf
die Auslastung des RAM's zu achten. Bei den aktuellen Betriebssystemen und
CPU's ist der Kontextswitch höchst effizient implementiert. Ob da 500 oder 600
Threads parallel laufen, ist relativ egal. Wichtig ist, dass kein Thrashing
einsetzt.

Meine Erfahrung aus meinem Anwendungsfall ist, dass es mehr Sinn macht auf die CPU zu achten, weil meine Forks kaum RAM brauchen aber jede Menge CPU, darum die Frage nach der CPU

Wenn es für dich hingegen wichtig ist, dass einige deiner forks
"deterministisch" innerhalb gewisser Timelimits fertig werden, ist das eine
andere Aufgabe. Dann mußt du klarerweise auf die CPU achten.

Ist überhaupt nicht meine Anforderung.

Re: php Anzahl forks der CPU Auslastung anpassen

Paulas_Papa — Fri, 19 Feb 2016 08:35:45 GMT

Meine Erfahrung aus der Dampfcomputerzeit ist, dass es mehr Sinn macht, auf die Auslastung des RAM's zu achten. Bei den aktuellen Betriebssystemen und CPU's ist der Kontextswitch höchst effizient implementiert. Ob da 500 oder 600 Threads parallel laufen, ist relativ egal. Wichtig ist, dass kein Thrashing einsetzt.

https://en.wikipedia.org/wiki/Thrashing_(computer_science )

Wenn es für dich hingegen wichtig ist, dass einige deiner forks "deterministisch" innerhalb gewisser Timelimits fertig werden, ist das eine andere Aufgabe. Dann mußt du klarerweise auf die CPU achten.

mfg lukas

Re: php Anzahl forks der CPU Auslastung anpassen

matchbox — Thu, 18 Feb 2016 17:02:49 GMT

$core_nums = trim(shell_exec("grep -P '^processor' /proc/cpuinfo|wc -l"));

Falls das ein Linux Host ist:
Die Anzahl der CPUs/Kerne/Threads könntest du auch über nproc herausfinden (das spart ein paar pipes/processes).

lg. mb

php Anzahl forks der CPU Auslastung anpassen

zeddicus — Thu, 18 Feb 2016 15:00:39 GMT

Ich hab bei mir ein php script, welches kontinuierlich läuft, eine Anzahl von forks erzeugt, und in den children jeweils einen Teil der Daten abarbeitet, wartet bis die forks fertig sind, dann im parent bissl was macht und dann geht das ganze wieder von vorn los.

Jetzt ist es so, dass sich, speziell nach einem Serverreboot dieses script erst "einlaufen" muss. Sprich, solange der Cache leer ist, braucht es relativ viel CPU, nach und nach immer weniger, und ich kann eigentlich öfter forken, will ja die CPU nicht brach liegen lassen.

wäre folgende Herangehensweise einigermaßen zielführend, oder gibts da ev. was anderes wie man das macht, oder ...?

<?php

$noForks = 2;
$upperLimitCPU = 75;
$targetCPU = 65;

while(true
{

$loads = sys_getloadavg();
$core_nums = trim(shell_exec("grep -P '^processor' /proc/cpuinfo|wc -l"));
$load = round($loads[1]/($core_nums + 1)*100, 2);

if ($load < $targetCPU)
$noForks++;
else if ($load > $upperLimitCPU && $noForks > 2)
$noForks--;

//=> create $noForks forks...
.
//do some stuff
.
//close forks

}