Durchsuche das Web nach URLs mit der Endung .at

Re: Durchsuche das Web nach URLs mit der Endung .at

oberstorch — Sun, 14 Jan 2007 13:58:36 GMT

Okay - das große Lachen über meine Net-Kenntnisse kann losgehen, aber:

Was ist eine URL?
Domain ist (denke ich): geizhals.at orf.at glumanda.at ....

B-)

Danke für ne sinnvolle Antwort.

Re(4): Durchsuche das Web nach URLs mit der Endung .at

informierer — Sun, 14 Jan 2007 10:34:01 GMT

ja genau max. 1000 Einträge und 100 Seiten bei Google.

Vielleicht müsste man dan eine andere Suchmaschine nehmen wie altavista.com usw.

Aber der Ansatz ist gut finde ich.

Gruss,
Samuel

Re(2): Durchsuche das Web nach URLs mit der Endung .at

informierer — Sun, 14 Jan 2007 10:26:54 GMT

du meinst das Programm soll den Namen der Domain selbst erraten können.

Wenn das der Fall sein sollte - ist es nicht einfach!

Gruss, Samuel

Re(2): Durchsuche das Web nach URLs mit der Endung .at

Pervasive — Sat, 13 Jan 2007 22:30:08 GMT

Geht 1000 mal einfacher ... man besteche jemanden der die Liste hat ... fertig...

Re: Durchsuche das Web nach URLs mit der Endung .at

fruboy2 — Sat, 13 Jan 2007 22:23:55 GMT

Also ich würde ganz anders an die Sache rangehn, ...

Schreib ein Programm (Java, C++, ...) dass die Seite von nic.at aufruft.
Dort gibt es irgendwo eine Funktion wo man feststellen kann ob die gewünschte Domain noch frei ist.

Ok du fängst bei 1 Zeichen an und probierst alle Varianten bis sagen wir mal 30 Zeichen.

Buchstaben und Zahlen seit neuersten.

Code zum SChreiben is einfach nur, ... , naja dauert ewig, ...

mfg

Re(3): Durchsuche das Web nach URLs mit der Endung .at

jobnavigator — Sat, 13 Jan 2007 20:00:19 GMT

Ganz einfach, du öffnest per "file" die Seite, suchst nach "<a href.." Tags, speicherst die, und suchst nach dem Link zur nächsten Seite (vorher Sourcecode ansehen) und wieder weiter...

Aber ich habe dann auch die anderen Postings gelesen und du kannst ja nur die ersten 1000 Seiten ansehen.

Re(2): Durchsuche das Web nach URLs mit der Endung .at

informierer — Sat, 13 Jan 2007 08:54:06 GMT

ja daran habe ich gedacht, nur wie kann ich ein script programmieren das innerhalb der Google seite nach ".at" Domains in Österreich. Und wie soll dann auf die nächste Seite umblättern????

Gruß,
Samuel

Re: Durchsuche das Web nach URLs mit der Endung .at

jobnavigator — Fri, 12 Jan 2007 21:08:02 GMT

Schreib dir ein Script, das den Google aufruft, suche nach ".at" in Österreich und schon sind 26.000.000 (26 Millionen) Hits da. Jetzt lest du die Seite ein, parst alle Links durch und rufst die Nächste Seite per Script auf ...

Das Script sollte eigentlich mit 50-100 Zeilen auslangen finden.

FF, Fiel Fergnügen (Kottan)

Re: Durchsuche das Web nach URLs mit der Endung .at

jobnavigator — Fri, 12 Jan 2007 21:08:02 GMT

Re: Durchsuche das Web nach URLs mit der Endung .at

jobnavigator — Fri, 12 Jan 2007 21:08:02 GMT

Schreib dir ein Script, das den Google aufruft, suche nach ".at" in Österreich und schon sind 26.000.000 (26 Millionen) Hits da. Jetzt liest du die Seite ein, parst alle Links durch und rufst die Nächste Seite per Script auf ...

Das Script sollte eigentlich mit 50-100 Zeilen auslangen finden.

FF, Fiel Fergnügen (Kottan)

Sieht dann so aus : http://in-wien.com/public/pic/google_sucht_at.jpg

Ich würde es am eigenen Rechner machen, den Timeout beim Skriptinterpreter auf hoch setzten, denn es kann schon eine Weile dauern.

Re(8): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 20:26:12 GMT

ja daran habe ich vor kurzem nachgedacht und ist nicht sinnvoll.

Aber ich finde die Aufgabe dahinter interessant wie man so etwas realisiert.

Re(8): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 20:25:44 GMT

ja daran habe ich vor kurzem nachgedacht und ist nicht sinnvoll.

Aber ich finde die Aufgabe dahinter interessant.

Re(7): Durchsuche das Web nach URLs mit der Endung .at

Robert Craven — Fri, 12 Jan 2007 20:22:39 GMT

Das ist Spam und in Österreich verboten, und kann für dich und vor allem deinen Auftraggeber sehr kostspielig werden.

Re(7): Durchsuche das Web nach URLs mit der Endung .at

nico — Fri, 12 Jan 2007 20:20:35 GMT

Er möchte nämlich an Privatpersonen eine E-Mail verschicken wo drinnen steht
"Wenn Sie ein Auto zum Verkauf anbieten dann fragen Sie mich einfach".

Ah Du hilfst einen Spammer.
Solltest Dir mal das TKG durchlesen.

Re(6): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 20:19:31 GMT

Ja ich brauche das für einen privaten Autohändler der Autos kauft und wieder verkauft.

Er möchte nämlich an Privatpersonen eine E-Mail verschicken wo drinnen steht "Wenn Sie ein Auto zum Verkauf anbieten dann fragen Sie mich einfach".

Ich habe noch keine Vorgaben wie ich das löse, aber es ist interessant.

Re(2): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 20:13:04 GMT

ich will praktisch das web nach Domains (z.b.: http://www.chello.at oder http://www.geizhals.at ) mit der Endung .at durchsuchen.

Alle gefundenen Domains möchte ich in einer Textdatei speichern.

Thats it.

Re(5): Durchsuche das Web nach URLs mit der Endung .at

Robert Craven — Fri, 12 Jan 2007 20:11:53 GMT

Darf ich fragen, wofür du das brauchst? Hast du Vorgaben, wie du das lösen sollst?

Re(4): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 20:09:42 GMT

Ich meine Domains ja also z.b.: http://www.chello.at

Re: Durchsuche das Web nach URLs mit der Endung .at

japh — Fri, 12 Jan 2007 19:45:22 GMT

so wie du die aufgabe beschreibst, ist sie praktisch nicht loesbar.

ich kann mir nur vorstellen dass du entweder die aufgabe nicht verstanden bzw. falsch wiedergegeben hast, oder "proof of concept" code schreiben sollst der die aufgabe theoretisch erfuellen koennte.

Re(7): Durchsuche das Web nach URLs mit der Endung .at

West — Fri, 12 Jan 2007 16:46:10 GMT

Jo URLs bekommt er dadurch natürlich ned, da muiß er sich an google oder so wenden, nur des werdens ihm ned geben imo.

Re(3): Durchsuche das Web nach URLs mit der Endung .at

Robert Craven — Fri, 12 Jan 2007 15:31:52 GMT

Meinst du Domains oder wirklich URLs?

Re(2): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 15:16:25 GMT

nein nur URLs die zu finden sind.

Re(6): Durchsuche das Web nach URLs mit der Endung .at

Robert Craven — Fri, 12 Jan 2007 15:03:27 GMT

Da kriegt er maximal alle Domains. Und wie soll er davon auf alle URLs kommen?

Re(2): Durchsuche das Web nach URLs mit der Endung .at

_max — Fri, 12 Jan 2007 15:03:11 GMT

https://startpage.com/do/search?q=+site:.at&start=990

... ist dann aber das Ende.

"Google zeigt maximal 1000 Ergebnisse für eine Suchanfrage an. (Sie haben Suchergebnisse ab 1000 angefordert.)"

http://www.google.de/search?q=+site:.at&start=1000

Re(2): Durchsuche das Web nach URLs mit der Endung .at

_max — Fri, 12 Jan 2007 15:03:11 GMT

Re: Durchsuche das Web nach URLs mit der Endung .at

Robert Craven — Fri, 12 Jan 2007 15:00:13 GMT

Alle URLs? So ein Schwachsinn! Wer stellt dir so eine Aufgabe?

Re: Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 14:50:49 GMT

In Linux kann ich doch mit einem Befehl in einer kommandozeile auch irgendwie eine Website aufrufen oder?

Dann könnte ich z.b.: nach dieser URL (https://startpage.com/do/search?q=site:.at ) suchen dann den Inhalt in einer Textdatei ausgeben und danach nach einer URL in dieser Datei suchen.

Re(2): Durchsuche das Web nach URLs mit der Endung .at

informierer — Fri, 12 Jan 2007 14:46:50 GMT

nein die Aufgabe habe ich mir selbst gegeben.

Re(5): Durchsuche das Web nach URLs mit der Endung .at

kakazza — Fri, 12 Jan 2007 07:24:05 GMT

1000 mehr als bei anderen Vorschlägen.

Re(4): Durchsuche das Web nach URLs mit der Endung .at

Compe — Thu, 11 Jan 2007 22:16:56 GMT

was rund 1000 Domains enspricht... also bei weitem nichtmal 1 % ....

Re: Durchsuche das Web nach URLs mit der Endung .at

waldbauer.com — Thu, 11 Jan 2007 20:40:16 GMT

https://startpage.com/do/search?as_q=&hl=de&rls=GGLJ%2CGGLJ%3A2006-43%2CGGLJ%3Ade&num=10&btnG=Google-Suche&as_epq=&as_oq=&as_eq=&lr=&as_ft=i&as_filetype=&as_qdr=all&as_occt=any&as_dt=i&as_sitesearch=.at&as_rights=&safe=images

Re(3): Durchsuche das Web nach URLs mit der Endung .at

kakazza — Thu, 11 Jan 2007 15:00:17 GMT

Die URLs zu parsen wird mit den passenden Tools (spoiler: grep, sed, cat...) nicht so schwer sein hoffentlich, und weiterzublättern auch nicht.

Alles wird es nicht finden, aber bis Seite 99 gehts schon^^

Re(3): Durchsuche das Web nach URLs mit der Endung .at

kakazza — Thu, 11 Jan 2007 15:00:17 GMT

Re(2): Durchsuche das Web nach URLs mit der Endung .at

Compe — Thu, 11 Jan 2007 14:52:38 GMT

Naja... das wird aba auch nicht helfen bei weitem alle zu finden, vorallem das speichern von denen in nen Textdokument is genauso einiges an arbeit...

des mit der hausübung würd ich auch komisch finden!

Re: Durchsuche das Web nach URLs mit der Endung .at

kakazza — Thu, 11 Jan 2007 14:44:31 GMT

"habe ein Aufgabe zu lösen"

Ist das eine Hausübung auf der Uni/FH? Wäre schon seltsam...

Edit:
https://startpage.com/do/search?q=site:.at

Re: Durchsuche das Web nach URLs mit der Endung .at

kakazza — Thu, 11 Jan 2007 14:44:31 GMT

"habe ein Aufgabe zu lösen"

Ist das eine Hausübung auf der Uni/FH? Wäre schon seltsam...

Re(5): Durchsuche das Web nach URLs mit der Endung .at

West — Thu, 11 Jan 2007 13:14:46 GMT

nein da wird dir nix anderes übrigbleiben als, wie die Forumskollegen oben schon geschrieben haben, nic.at zu bemühen.

Re(4): Durchsuche das Web nach URLs mit der Endung .at

informierer — Thu, 11 Jan 2007 13:12:55 GMT

Ach schade, habe mich halt zu früh gefreut .

Re(3): Durchsuche das Web nach URLs mit der Endung .at

West — Thu, 11 Jan 2007 13:08:07 GMT

nein nein, das war ein Scherz, deshalb auch die [schwachsinn]-Klammern davon

Re(2): Durchsuche das Web nach URLs mit der Endung .at

informierer — Thu, 11 Jan 2007 12:57:10 GMT

Hallo West,

du meinst mit dem Linux Befehl cat /dev/INTERNET | grep -i .at würde das funktionieren?

thanks,
Hadi

Re: Durchsuche das Web nach URLs mit der Endung .at

West — Thu, 11 Jan 2007 12:10:31 GMT

Vielleicht gibt es in Linux ein Befehl mit dem man das herausfinden kann.

cat /dev/INTERNET | grep -i .at

Re: Durchsuche das Web nach URLs mit der Endung .at

West — Thu, 11 Jan 2007 12:10:31 GMT

Vielleicht gibt es in Linux ein Befehl mit dem man das herausfinden kann.

[schwachsinn]

cat /dev/INTERNET | grep -i .at

[/schwachsinn]

Re: Durchsuche das Web nach URLs mit der Endung .at

ChrisS — Thu, 11 Jan 2007 11:54:33 GMT

Als nic.at Registrar bekommt man eine Liste aller .at Domains die registriert sind, die darf man aber nicht weitergeben

Du müsstest einen Spider schreiben der das ganze Web abgräbt, und trotzdem wirst du nicht alle Domains bekommen, da ja nicht alle verlinkt sein werden.

Re: Durchsuche das Web nach URLs mit der Endung .at

ChrisS — Thu, 11 Jan 2007 11:54:33 GMT

Re: Durchsuche das Web nach URLs mit der Endung .at

redbull1970 — Thu, 11 Jan 2007 11:03:59 GMT

Lt. nic.at sind es zur Zeit 711.512! Viel Spaß!

Alleine heute gab es 194 neue Domains!

Durchsuche das Web nach URLs mit der Endung .at

informierer — Thu, 11 Jan 2007 10:38:01 GMT

Hallo liebe Leute,

Ich habe eine Aufgabe zu lösen und zwar möchte ich im World Wide Web nach allen URLs suchen die die Domain-Endung .at haben. Die gefunden URLs sollen dann in einer Datei gespeichert werden.

Vielleicht kennt jemand von euch ein Tool oder ein Skript oder vielleicht hat der eine oder andere von euch ein Vorschlag wie man so etwas angehen würde.

Vielleicht gibt es in Linux ein Befehl mit dem man das herausfinden kann.

Bin für eure Tipps sehr dankbar,
Samuel