awk, sed, cut -f -d

awk, sed, cut -f -d (24 Beiträge, 169 Mal gelesen)

Du bist nicht angemeldet. [ Login/Registrieren ]

gibt es jemand, der sich mit awk oder sed auskennt.
konkret möchte ich eine datei zeile für zeile einlesen, und dann ein paar dinge substringen.

ich möchte meine apache logs in eine db laden...ein schlichtes cut reicht in diesem fall nicht, weil sich der zeileninhalt verschiebt (error_log)

also ich muss irgendwie "delimiter" verwenden... z.b. "[" oder "]"
wie kann ich jetzt hergehen, und sagen, lies' die zeile zeichen für zeichen ein und wenn du bei "[" ankommst, schneide alles davor aus und in eine variable umleiten, und dann weiterlesen bis ein "]" kommt, dann alles zwischen "[" und "]" ausschneiden und und in eine zweite variable speichern, und alles was nach "]" kommt ausschneiden und in eine dritte variable umleiten

*yeah*

ich blick' das nicht durch

https://startpage.com/do/search?hl=de&ie=UTF-8&oe=UTF-8&q=awk+length+substr&btnG=Google+Suche&meta=

mit welcher sprache kann ich das am besten umsetzen, gibt's beispiele

bitte gebt's ma einen denkanstoss

------------------------------------------------------------------------------
die welt wird von dummen regiert, nur weil die klügeren immer nachgeben
------------------------------------------------------------------------------

^ Forum Programmierung #945888
	Re: awk, sed, cut -f -d

Psychopath

13.07.2003, 18:21:23

Fuer sollte sed reichen, denk ich. So àla sed s/\[(.*)\]/$1/ - ohne Garantie. Fuer Details irgendein regexps-Tutorial. D.b. Perl regular expressions quick start oder Perl regular expressions tutorial (auch wenn nicht alle regexp-Implementationen ganz gleich sind, so ist das doch einmal ein guter Anfang)

Psycho@Home
--
The only antidote to mental suffering is physical pain. -- Karl Marx

danke für deine antwort. das mit sed check ich noch immer nicht und von perl habe ich 0 ahnung

einge examples fuer awk, sed, etc. gibts unter

http://www.bordergatewayprotocol.net/~jon/helpful_stuff/unix/awk.txt

bzw. sed.txt

ich loes sowas meistens in perl, weil mir die syntax von den beiden anderen programmen (noch) nicht ganz so vertraut ist...

kannst du mal einen beispielstring posten?

das txt file ist sehr interessant, ich werde mal herumprobieren, wenn ich zuhause bin

danke

> kannst du mal einen beispielstring posten?

klar

$ p1 = F$ELEMENT(0,"-",line)
$ p1 = F$EXTRACT(0,''F$LENGHT(p1)'-1,p1)
$ p2 = F$ELEMENT(0,"[",line)
$ p2 = F$EXTRACT(''F$LENGHT(p2)'+1,17,line)
$ p3 = F$ELEMENT(0,"]",line)
$ p3 = F$EXTRACT(''F$LENGHT(p3)'+2,35,line)

------------------------------------------------------------------------------
die welt wird von dummen regiert, nur weil die klügeren immer nachgeben
------------------------------------------------------------------------------

you rule man!

das ist was ich gesucht habe!

awk 'BEGIN { FS = "-" } { print $1 | "sort" }' /var/www/logs/access_log
awk 'BEGIN { FS = "[" } { print $2 | "sort" }' /var/www/logs/access_log | cut -c1-26
awk 'BEGIN { FS = "]" } { print $2 | "sort" }' /var/www/logs/access_log

*rotfl* es geht wirklich

mjo, da muss man halt auf mehrere etappen arbeiten...

in perl geht das schoen einfach mit regexp, ich weiss nicht inwieweit sich das auf sed/awk umnuppeln laesst...

(mal schaun ob das forum die tags frisst)


#!/usr/bin/perl

use strict;
use warnings;

my $line = 'cc125510-a.hnglo1.ov.home.nl - - [16/Jul/2003:02:07:21 +0200] "GET /images/beachparty/beachparty_68.jpg HTTP/1.1" 404 251 "h
ttp://www.amd.co.at/images/beachparty/beachparty_68.jpg" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"';

if ($line =~ /^(.*)(\s\-){2}\s\[(.*)\](.*)$/) {

  my ($host, $timestamp, $zeugdanach) = ($1, $3, $4);
  print("Host: $host, Time: $timestamp, Zeug: $zeugdanach\n");

} else {
  print("I didn't match, honey\n");
}

Hab's nicht probiert, sollte es aber mit (einer der vielen Varianten von) sed gehen, denk ich.

Psycho@Home
--
The only antidote to mental suffering is physical pain. -- Karl Marx

wahnsinn!

ich habe den sourcecode einfach ins vi kopiert und:

$ perl getdata.pl
Host: cc125510-a.hnglo1.ov.home.nl, Time: 16/Jul/2003:02:07:21 +0200, Zeug: "GET /images/beachparty/beachparty_68.jpg HTTP/1.1" 404 251 "http://www.amd.co.at/images/beachparty/beachparty_68.jpg" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
$

die variable hat man selbst definieren müssen, und ich probiere mal herauszufinden, wie ich einen loop erzeugen kann, der den input aus einem file holt

am einfachsten ist sowas mit einem

while () {
$line = chomp($_);
print("$line\n");
}

zu realisieren, und dann einfach ueber ein "cat logfile | lustigesskript.pl" die daten uebergeben...

falls du vor hast mehr mit perl machen zu wollen empfiehlt sich http://www.amazon.de/exec/obidos/ASIN/0596001320/qid=1058578979/sr=2-1/ref=sr_aps_prod_1_1/028-5919386-8938146

grarg

sollte


while () {

sein...

dann mal so

while (<STDIN>

{

ich gebs auf, ich hoff es ist verstaendlich *nirg*

wir brauchen wohl ein [code]...[/code] feature

Marinos J. Yannikos <mjy@geizhals.at>

Terror ist der Krieg der Armen, Krieg ist der Terror der Reichen.
Beide sind gleichermaßen unmoralisch. (Sir Peter Ustinov)

Sagst, schläft denn bei euch keiner?

Biite nicht mit den eckigen Klammern... - die sind so oed zu tippen

Psycho@Home
--
The only antidote to mental suffering is physical pain. -- Karl Marx

so kann ich einen loop erzeugen, dieser liest die ganze zeile ein (variable $_) und gibt sie dann am bildschirm aus... so wie cat data.log...

-----

$ cat justread.pl
#!/usr/bin/perl
open(INFILE,  "data.log")       or die "Can't open data log: $!";
while () {
print ("$_");
}
$

-----

my $line = 'cc125510-a.hnglo1.ov.home.nl - - [16/Jul/2003:02:07:21 +0200] "GET /images/beachparty/beachparty_68.jpg HTTP/1.1" 404 251 "h
ttp://www.amd.co.at/images/beachparty/beachparty_68.jpg" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"';

if ($line =~ /^(.*)(\s\-){2}\s\[(.*)\](.*)$/) {

  my ($host, $timestamp, $zeugdanach) = ($1, $3, $4);
  print("Host: $host, Time: $timestamp, Zeug: $zeugdanach\n");

} else {
  print("I didn't match, honey\n");
}

ich schaffe es nicht, die zeilen oberhalb dieser zeile in den while loop einzubauen

geht das überhaupt? man müsste irgendwie definieren können, dass $line = "$_"

ausserdem bin ich mir nicht sicher, ob man if zeugs mit while zeugs mischen kann

I LOVE PERL

$ cat getdata.pl
#!/usr/bin/perl
$file = 'data.log' ;
open(INFILE, "<$file") ;
@lines = <[INFILE]>; #hier natürlich ohne eckige klammer

close(INFILE) ;
foreach $line (@lines)
{
if ($line =~ /^(.*)(\s\-){2}\s\[(.*)\](.*)$/) {

  my ($host, $timestamp, $zeugdanach) = ($1, $3, $4);
  print("Host: $host, Time: $timestamp, Zeug: $zeugdanach\n");

} else {
  print("I didn't match, honey\n");
}
}
$ perl getdata.pl
Host: 10.14.7.1, Time: 07/Jul/2003:04:39:14 +0200, Zeug:  "GET / HTTP/1.0" 200 275
Host: 10.14.7.1, Time: 07/Jul/2003:04:39:14 +0200, Zeug:  "GET /openbsd_pb.gif HTTP/1.0" 304 -
Host: 10.14.7.1, Time: 07/Jul/2003:04:39:54 +0200, Zeug:  "GET / HTTP/1.0" 304 -
Host: 10.14.7.1, Time: 07/Jul/2003:04:39:54 +0200, Zeug:  "GET /openbsd_pb.gif HTTP/1.0" 304 -
Host: 10.14.7.1, Time: 07/Jul/2003:04:41:08 +0200, Zeug:  "GET / HTTP/1.0" 200 292
Host: 10.14.7.1, Time: 07/Jul/2003:04:41:08 +0200, Zeug:  "GET /openbsd_pb.gif HTTP/1.0" 304 -
Host: 10.14.7.1, Time: 07/Jul/2003:04:43:03 +0200, Zeug:  "GET /page.php HTTP/1.0" 200 44494

so schön kann coden sein

http://www.geocities.com/siliconvalley/7331/ten_perl.html

@lines = <[INFILE]>;

eignet sich ideal um die kiste abzuwuergen (wenn ram kleiner als filesize ist)

einfach den fd in einem while bzw. foreach verwenden; ist ramsparender und bringt sonst kaum nachteile mit sich (ausser das das logfile waehrend das script laeuft geoeffnet bleibt)...

eignet sich ideal um die kiste abzuwuergen (wenn ram kleiner als filesize ist)

einfach den fd in einem while bzw. foreach verwenden

wie gehe ich da vor

^ Forum Programmierung #954330
	Re(12): awk, sed, cut -f -d

Psychopath

19.07.2003, 22:45:53

Wenn ich mich nicht irre sowas àla

while(<INFILE>) { irgendwas mit $_ tun (ist die aktuelle Zeile, iirc) }

Psycho@Home
--
The only antidote to mental suffering is physical pain. -- Karl Marx

Dieses Forum ist eine frei zugängliche Diskussionsplattform.
Der Betreiber übernimmt keine Verantwortung für den Inhalt der Beiträge und behält sich das Recht vor, Beiträge mit rechtswidrigem oder anstößigem Inhalt zu löschen.
Datenschutzerklärung