Perl Performance Probleme

Perl Performance Probleme (11 Beiträge, 187 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

Hi!

Wir stellen in der Arbeit unsere Fileserver um und ich habe dafür einige Scripts entwickelt. Leider hat sich eines davon als ziemliches Bottleneck herausgestellt.

Ich habe eine Funktion getPathByHash der ich eine Referenz auf einen Hash, eine ID (Nummer der Datei) und eine Zählvariable (um die Zugriffe auf die Shares gleichmäßig zu verteilen).

Der Hash enthält als Key Werte von 0 bis ca 7000 und als Value jeweils eine Referenz auf ein Array, welches jeweils Pfade auf Netzwerkfreigaben enthält, auf welcher sich die Datei befindet. Das heißt, Datei Nummer 1234 liegt in allen Shares, welche als Value für den Key 1234 im Hash eingetragen ist.

Mein Skript retuniert nun einen Pfad auf einen Netzwerkshare der die Datei enthält. Ich gehe dabei folgendermaßen vor:

sub getPathByHash($$$){
my ($hashref,$id,$countdone) = @_;
my %hash = %{$hashref}; <-- SEEEEEEEHR langsam

my @shares = @{$hash{id}};
my $nr_shares = @shares;
return $shares[$countdone % $nr_shares]."\\".$id;
}

Der markierte Call in dem die Hash Referenz in einen Hash umgewandelt wird ist der, der das Bottleneck verursacht.

Wie kann ich diesen Call vermeiden, und mir von der Referenz auf den Hash gleich das Array herausholen, bzw. wie kann man in einem Schritt, ohne die Referenzen umzuwandeln, den Pfad retunieren?

Besten Dank!

Picasa Webalbum

my @shares = @{$hashref->{id}};

bzw. gleich auf das arrayelement:

$hashref->{id}->[$countdone % $nr_shares];

11.06.2008, 16:34 Uhr - Editiert von japh, alte Version: hier

super danke, werde es morgen @work gleich mal ausprobieren.

Weißt du ob sich das auf die Performance auswirkt? Oder wird da unterm Strich dasselbe rauskommen?

Picasa Webalbum

wirkt sich ziemlich sicher positiv aus. bei dir wird ja der ganze hash lokal kopiert. obwohl mich etwas wundert, dass das so merkbar teuer ist - der hash ist wohl recht riesig.

Ja, ist er.
ca. 700 Keys mit jeweils einem Array von ca. 8 Skalaren als Value.

EDIT:
und man darf nicht vergessen dass diese Operation ca 7 Millionen Mal durchgeführt wird.

Picasa Webalbum

11.06.2008, 19:42 Uhr - Editiert von Norret, alte Version: hier

und man darf nicht vergessen dass diese Operation ca 7 Millionen Mal durchgeführt wird.

hoppala ... doch hoffentlich nicht pro sekunde?

in dem fall bringt es was, moeglichst alles hinzuoptimieren. also erstmal die prototypen weglassen - $$$ beim aufruf, ausser du brauchst sie wirklich, bringt ein bisserl was.

dann kannst du auch das kopieren aus @_ komplett weglassen, bringt wieder ein bisschen was (wenn auch minimal).

also:

sub getPathByHash { # getPathByHash($hashref,$id,$countdone);
  my @shares = @{$_[0]->{$_[1]}}; #"id" aus deinem code sollte wohl $id sein 
  return $shares[$_[2] % @shares]."\\".$_[1];
}

eine optimierung bleibt dir dann noch, ein "globales" %hash, dann sparst du auch noch was beim passing by reference:

my %hash = ...; # global %hash
...

sub getPathByHash { # getByHash($id,$countdone);
  my @shares = @{$hash{$_[0]}}; # global %hash
  return $shares[$_[1] % @shares]."\\".$_[0];
}

die kopie @shares wegzuoptimieren (beim passing by reference von %hash) ist wahrscheinlich kontraproduktiv, weil doppeltes derefen teurer sein duerfte, sonst koenntest du schoen "line noise" produzieren:

sub getPathByHash { # getPathByHash($hashref,$id,$countdone);
  $_[0]->{$_[1]}->[$_[2] % @{$_[0]->{$_[1]}}]."\\".$_[1];
}

Nein, das hat das Ding gar nicht geschafft

War im Zuge eines Performancetests, 7 Mio mal den Pfad einer Datei zu berechnen.

Was soll ich sagen, hat ca 3h gedauert. Heute habe ichs umgestellt wie von dir beschrieben, und das ganze hat sich auf gerade einmal eine Minute und 28 Sekunden verkürzt. Also eine Menge

Ist jetzt sogar schneller als unser altes System.

Vielen Dank für die Tipps!!

Picasa Webalbum

fein.

wenn du noch weiter optimieren willst, kannst du den hash auch durch ein array ersetzen, nachdem du nur numerische werte als key hast. die "luecken" sollten bei ca. 7000 werten nicht so tragisch sein. ein array lookup ist sehr viel schneller als ein hash lookup.

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung