Perl Performance Probleme

Re(7): Perl Performance Probleme

japh — Thu, 12 Jun 2008 12:48:52 GMT

fein.

wenn du noch weiter optimieren willst, kannst du den hash auch durch ein array ersetzen, nachdem du nur numerische werte als key hast. die "luecken" sollten bei ca. 7000 werten nicht so tragisch sein. ein array lookup ist sehr viel schneller als ein hash lookup.

Re(6): Perl Performance Probleme

Norret — Thu, 12 Jun 2008 11:14:37 GMT

Nein, das hat das Ding gar nicht geschafft

War im Zuge eines Performancetests, 7 Mio mal den Pfad einer Datei zu berechnen.

Was soll ich sagen, hat ca 3h gedauert. Heute habe ichs umgestellt wie von dir beschrieben, und das ganze hat sich auf gerade einmal eine Minute und 28 Sekunden verkürzt. Also eine Menge

Ist jetzt sogar schneller als unser altes System.

Vielen Dank für die Tipps!!

Re(5): Perl Performance Probleme

japh — Wed, 11 Jun 2008 20:59:35 GMT

und man darf nicht vergessen dass diese Operation ca 7 Millionen Mal durchgeführt wird.

hoppala ... doch hoffentlich nicht pro sekunde?

in dem fall bringt es was, moeglichst alles hinzuoptimieren. also erstmal die prototypen weglassen - $$$ beim aufruf, ausser du brauchst sie wirklich, bringt ein bisserl was.

dann kannst du auch das kopieren aus @_ komplett weglassen, bringt wieder ein bisschen was (wenn auch minimal).

also:


sub getPathByHash { # getPathByHash($hashref,$id,$countdone);
  my @shares = @{$_[0]->{$_[1]}}; #"id" aus deinem code sollte wohl $id sein 
  return $shares[$_[2] % @shares]."\\".$_[1];
}

eine optimierung bleibt dir dann noch, ein "globales" %hash, dann sparst du auch noch was beim passing by reference:


my %hash = ...; # global %hash
...

sub getPathByHash { # getByHash($id,$countdone);
  my @shares = @{$hash{$_[0]}}; # global %hash
  return $shares[$_[1] % @shares]."\\".$_[0];
}

die kopie @shares wegzuoptimieren (beim passing by reference von %hash) ist wahrscheinlich kontraproduktiv, weil doppeltes derefen teurer sein duerfte, sonst koenntest du schoen "line noise" produzieren:


sub getPathByHash { # getPathByHash($hashref,$id,$countdone);
  $_[0]->{$_[1]}->[$_[2] % @{$_[0]->{$_[1]}}]."\\".$_[1];
}

Re(4): Perl Performance Probleme

Norret — Wed, 11 Jun 2008 16:48:55 GMT

Ja, ist er.
ca. 700 Keys mit jeweils einem Array von ca. 8 Skalaren als Value.

EDIT:
und man darf nicht vergessen dass diese Operation ca 7 Millionen Mal durchgeführt wird.

Re(4): Perl Performance Probleme

Norret — Wed, 11 Jun 2008 16:48:55 GMT

Ja, ist er.
ca. 700 Keys mit jeweils einem Array von ca. 8 Skalaren als Value.

Re(3): Perl Performance Probleme

japh — Wed, 11 Jun 2008 15:28:32 GMT

wirkt sich ziemlich sicher positiv aus. bei dir wird ja der ganze hash lokal kopiert. obwohl mich etwas wundert, dass das so merkbar teuer ist - der hash ist wohl recht riesig.

Re(2): Perl Performance Probleme

Norret — Wed, 11 Jun 2008 15:20:51 GMT

super danke, werde es morgen @work gleich mal ausprobieren.

Weißt du ob sich das auf die Performance auswirkt? Oder wird da unterm Strich dasselbe rauskommen?

Re: Perl Performance Probleme

japh — Wed, 11 Jun 2008 12:59:18 GMT


my @shares = @{$hashref->{id}};

Re: Perl Performance Probleme

japh — Wed, 11 Jun 2008 12:59:18 GMT


my @shares = @{$hashref->{id}};

bzw. gleich auf das arrayelement:


$hashref->{id}->[$countdone % $nr_shares];

Re: Perl Performance Probleme

japh — Wed, 11 Jun 2008 12:59:18 GMT

my @shares = @{$hashref-id}};

Perl Performance Probleme

Norret — Wed, 11 Jun 2008 11:39:52 GMT

Hi!

Wir stellen in der Arbeit unsere Fileserver um und ich habe dafür einige Scripts entwickelt. Leider hat sich eines davon als ziemliches Bottleneck herausgestellt.

Ich habe eine Funktion getPathByHash der ich eine Referenz auf einen Hash, eine ID (Nummer der Datei) und eine Zählvariable (um die Zugriffe auf die Shares gleichmäßig zu verteilen).

Der Hash enthält als Key Werte von 0 bis ca 7000 und als Value jeweils eine Referenz auf ein Array, welches jeweils Pfade auf Netzwerkfreigaben enthält, auf welcher sich die Datei befindet. Das heißt, Datei Nummer 1234 liegt in allen Shares, welche als Value für den Key 1234 im Hash eingetragen ist.

Mein Skript retuniert nun einen Pfad auf einen Netzwerkshare der die Datei enthält. Ich gehe dabei folgendermaßen vor:

sub getPathByHash($$$){
my ($hashref,$id,$countdone) = @_;
my %hash = %{$hashref}; <-- SEEEEEEEHR langsam

my @shares = @{$hash{id}};
my $nr_shares = @shares;
return $shares[$countdone % $nr_shares]."\\".$id;
}

Der markierte Call in dem die Hash Referenz in einen Hash umgewandelt wird ist der, der das Bottleneck verursacht.

Wie kann ich diesen Call vermeiden, und mir von der Referenz auf den Hash gleich das Array herausholen, bzw. wie kann man in einem Schritt, ohne die Referenzen umzuwandeln, den Pfad retunieren?

Besten Dank!