JSON performance

JSON performance (18 Beiträge, 732 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Servus, ich hab mal wieder 2 Fragen bezüglich meines kleinen Projektes:

1) JSON decoding / encoding scheint ja relativ CPU lastig zu sein. Aktuell hab ich ein PHP script, welches von einem API server zyklisch JSON respones per get_file_contents abholt, decoded, mit einer gecachten Version vergleicht und im Fall des Falles per mysqli Updates/Inserts/Deletes in meiner DB ausführt.

Nun ist das ganze aber sobald man ein paar mal forkt doch ziemlich ressourcenfressend in Hinblick auf die CPU. Jetzt meine Frage: Nachdem JSON ja eigentlich für JS entwickelt wurde, wäre es performancetechnisch wesentlich besser das in JS abzuhandeln? Ich weiß schon, ich könnt es selber benchmarken, aber ich nehme an diese Überlegung wird schon öfter wer angestellt haben.

2) Meine Seite arbeitet viel mit Tabellen / Diagrammen, wo doch einiges an Daten zusammenkommt. Wäre es ev. sinnvoll beim AJAX call nicht das gerenderte HTML Klartext sondern als JSON String zu übertragen und dann im complete event zu decoden?

Für viele von euch klingen diese Fragen sicher noobig, kommt daher dass ich da in diese Thematik wirklich ohne Vorwissen einsteig

__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

Was genau meinst du mit "auf JS umsteigen"? node.js?
PHP ist langsam, vor allem verglichen mit Java oder node.js.
Aber was genau machst du denn, bist du sicher, dass die Performance der JSON Verarbeitung ein Problem darstellt?
Wie viele Aufrufe führst du pro Sekunde aus und wie groß sind die JSON Daten?
JSON Verarbeitung in JS ist auf jeden Fall nicht von Haus aus schneller als in anderen Sprachen, der Vorteil ist, dass man einen JSON String einfach in ein JS Objekt verwandeln kann.

AJAX call nicht das gerenderte HTML Klartext sondern als JSON String zu
übertragen

Genau dorthin geht der Trend zur Zeit immer noch: Leichtgewichtige JSON APIs (Ob und wie viel davon RESTful ist sei dahingestellt) und Rendering am Client mit templating engine oder databinding framework. Ich würde dir dafür handlebars.js empfehlen, das hat man nach ein paar Minuten verstanden. Denn Clients werden immer leistungsfähiger und somit kann sich der Server Bandbreite und Renderzeit sparen.

Was genau meinst du mit "auf JS umsteigen"? node.js?
PHP ist langsam, vor allem verglichen mit Java oder node.js.

zB, ja

Aber was genau machst du denn, bist du sicher, dass die Performance der JSON
Verarbeitung ein Problem darstellt?

Jo, relativ. Recht viel mehr Logik steckt in genanntem Script nicht die mysqli Sachen schlagen sich wie zu erwarten auf die CPU Belastung des mysqld nieder, aber es geht eben auch rein vom php script rauf. Ein Schnelltest mit einer Loop die x* einen meiner JSON Strings encodiert bzw. rekursiv auf ein assoziatives Array decodiert (geht ja mit nochmaligem encode und drauffolgendem decode einfach) zeigt auch dass sich das ordentlich auf die CPU niederschlägt.

An JSON Daten kommen so 3-5 Megabyte / s rein. Bin jetzt aber da noch am schaun ein paar Sachen zu optimieren. Das Blöde ist, dass deren Server stupide auf Requests / s / IP limitieren, und ich somit abhängig von meiner Hardware schneller sein kann wenn ich etliche Daten in einem Rutsch anforder und die verwerf, als wenn ich zuerst kleine Pakete zur Überprüfung anforder.

Ich werd jetzt aber mal noch an ein paar Stellen MD5 Hashes erstellen und cachen, damit ich die vergleich und mir im Falle des Falles das decoding sparen kann wenn der Hash gleich ist. MD5 sollt ja eigentlich noch halbwegs CPU "freundlich" sein

Genau dorthin geht der Trend zur Zeit immer noch: Leichtgewichtige JSON APIs
(Ob und wie viel davon RESTful ist sei dahingestellt) und Rendering am Client
mit templating engine oder databinding framework. Ich würde dir dafür
handlebars.js empfehlen, das hat man nach ein paar Minuten verstanden. Denn
Clients werden immer leistungsfähiger und somit kann sich der Server
Bandbreite und Renderzeit
sparen.

Jo, handlebars ist mir in meiner Recherche mal untergekommen, da werd ich mich mal bissl drüber informieren. Danke auf jeden Fall für den Tipp
__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

3-5 Megabyte / s

Das ist tatsächlich nicht ganz wenig. (Ob denen so viel Traffic überhaupt recht ist?)
Je nachdem wie viel du in deiner Datenbank speicherst könntest du auch alles in memory erledigen anstatt die Daten in einer DB zu speichern.
Falls du es noch nicht getan hast könntest du versuchen auf PHP 7 umzusteigen. Das soll signifikant schneller sein.

Schon mal nachgedacht über eine grundlegend schneller Technologie? (Java)

Je nachdem wie viel du in deiner Datenbank speicherst könntest du auch alles
in memory erledigen anstatt die Daten in einer DB zu speichern.

Eher nicht, liegt momentan so bei einer halben Milliarde Datensätze, Tendenz steigend

Schon mal nachgedacht über eine grundlegend schneller Technologie? (Java)

NOCH nicht
__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

Deutlich bessere wäre es (wenn möglich) das du gleich nur die Änderungen bekommst - also nen Timestamp mitgibst welche Version du hast - und nur einmal Nachts vielleicht alles aktualisierst.

PHP ist dafür generell langsam - du könntest das Ganze ja auch per PHP an ein serverseitiges Script (Phyton) oder Programm (Java/C#) übergeben, welches dir dann die Vergleiche macht, und die DB aktualisiert.

Deutlich bessere wäre es (wenn möglich) das du gleich nur die Änderungen
bekommst - also nen Timestamp mitgibst welche Version du hast - und nur einmal
Nachts vielleicht alles
aktualisierst.

Hab mich da ev. unglücklich ausgedrückt. Die API Server sind vom Spielestudio, da hab ich keine Chance Änderungen zu erwirken.

C# fällt leider weg, da ich einen Linux Server hab. Phyton und Java wär ev. eine Möglichkeit. Da wie gesagt gar nicht so viel Logik in dem Script steckt, sollt ich das sogar mit viel Google hinbekommen. Auch das Upgrad auf PHP7 um mir zumindest ein wenig mehr Zeit zu verschaffen für die Umstellung bin ich am Behirnen, allerdings muss ich erst schaun ob die von mir verwendeten libs kompatibel sind. Wie es scheint, können PHP5 und PHP7 allerdings nicht koexistieren, was den Test zur Umstellung etwas aufwändiger gestaltet
__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

Wie es scheint, können PHP5 und PHP7 allerdings nicht koexistieren, was den
Test zur Umstellung etwas aufwändiger gestaltet
__________________________

Sicher geht das. Warum denn nicht? Hab ich selber so im Einsatz auf nem Testsystem (5.6 und 7.0RC1)

auf nem linux system?

also soweit ich die installation mitbekommen hab werden da etliche symlinks gedreht, die php5 genauso verwendet. und ein paar plugins (xdebug, redis) haben da auch probleme (wobei's bei denen wohl noch am einfachsten zum drehen wär). davon abgesehen dass ich ohnehin eine zweite apache instanz bräuchte (was ja net das problem wär).

Aber inzw. eh wurst, läuft seit Mittag

__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

In dem Fall auf nem Server 2012.

Aber habe auch Ubuntu Instanzen mit mehrere Versionen (allerdings pre 7.0)

Aber hauptsache es läuft

C# fällt leider weg

C# hat jetzt volle Unterstützung auf Linux!
Wer auf asp.net steht kann es unter Linux verwenden:
http://dotnet.github.io/getting-started/
http://blog.tonysneed.com/2015/05/25/develop-and-deploy-asp-net-5-apps-on-linux/

Ich selbst habe aber keine Erfahrung mit asp.

Nur so nebenbei für die interessierten Mitleser:
Auf Anregung von Diabolo2000 hab ich heut mit viel Bauchweh das Upgrade auf PHP7 durchgeführt. Bis jetzt läuft mal alles, aber sind erst 2h. Sowohl RAM als auch CPU Nutzung sind stark gesunken, muss jetzt aber erst mal unterschiedliche Lastzustände abwarten (mehr User am Apache etc.)

Bis jetzt schaut der Schritt aber mal erfolgreich aus

__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

Da du gerade bei der Infrastrukturoptimierung bist empfehle ich dir auch noch vollständig auf HTTP/2 & https umzusteigen.

Warum nicht eine Datenbank verwenden, die mit JSON umgehen kann? Dann ersparst du dir die Verarbeitung mit PHP, sondern steckst einfach die Daten direkt in die Datenbank und bei der Abfrage der Daten bekommst du ebenfalls JSON und lieferst sie 1:1 an den Client aus.

2) Meine Seite arbeitet viel mit Tabellen / Diagrammen, wo doch einiges an Daten zusammenkommt. Wäre es ev. sinnvoll beim AJAX call nicht das gerenderte HTML Klartext sondern als JSON String zu übertragen und dann im complete event zu decoden?

Ein sehr ähnlicher Fall dazu wird in einem Artikel in der aktuellen c't
beschrieben. Facebook hat dafür eine Bibliothek, React.js, entwickelt. Das
mixt JSON und HTML zusammen und arbeitet mit einem "virtual DOM", das nur die
Stellen im echten DOM ersetzt, die sich auch geändert haben. Das macht die
Seite am Client sehr schnell. Vielleicht ist das ja was für dich? Ausgabe
2/1026, ab A 162: "Webseiten Reaktor - Facebooks JavaScript Bibliothek React
für datenlastige Websites".

Danke, c't Abo ist vorhanden, werd ich mir bei Gelegenheit zu Gemüte führen
__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

1) JSON decoding / encoding scheint ja relativ CPU lastig zu sein. Aktuell hab
ich ein PHP script, welches von einem API server zyklisch JSON respones per
get_file_contents abholt, decoded, mit einer gecachten Version vergleicht und
im Fall des Falles per mysqli Updates/Inserts/Deletes in meiner DB ausführt.

Wie wärs einfach einen md5 über den JSON String zu berechnen und den mit deinem Cache vergleichen?

hatte ich auch schon angedacht
__________________________________________________________________________________ Statistiken und Trends für World of Tanks: http://www.wotzilla.com

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung