Das ist etwas, was mir ebenfalls Kopfzerbrechen bereitet, weil ich zumindest
eine öffentlich verlinkte Übersichtsseite haben will, von welcher aus man dann
auf die .htaccess - Bereiche kommt.

robots hab' ich schom in Verwendung. Trotz deiner verständlichen Einwände
wäre ich happy, wenn ich wüsste wie diese automatische .htaccess Anmeldung
funktionieren würde, weil dann würde ein weiterer Puzzlestein passen

   Gibts net gibts net
http://forum.geizhals.at/t797804,6833885.html#6833885  

Nur leider hat die Sache eben Einschränkungen und ich trau mir einiges Wetten, dass es eine andere Möglichkeit gibt.

Ich weiß, dass ich zumindest eine Verwendung habe, weswegen es für mich nicht ins Absurde geht.

Naja, ich gebe in dem Link der Connection ein Property mit und darin ist
user:pass als Base64 dekodiert...

Problem hierbei ist ja: Ich will den Inhalt abgreifen.. Die Frage ist halt, ob
man in php, sowas wie ein iframe generieren kann und dort vorher die URL
manipuliert - sodass der User halt nichts mitbekommt...

Da ich aber kein PHP-Profi bin, kann ich nicht sagen ob sowas überhaupt gehen würde..

Also das Ganze ist nicht wirklich Trivial und schon gar nicht mit einem
.htaccess Eintrag lösbar.

Genau das war ja seine Anforderung, oder?

RewriteEngine On

RewriteCond %{HTTP_COOKIE} "!(^|[; ])password=somepassword(;|$)"
RewriteRule .* /auth.php [L]

$paramname = 'param';
$paramvalue = 'someurlparam';
if ($_GET[$paramname] == $paramvalue) {
        // cookie setzen, welcher in .htaccess geprüft wird
        setcookie('password', 'somepassword');
        // urlparameter rauslöschen
        unset($_GET[$paramname]);
        // redirecten auf die eigene request url und query string neu zusammen bauen
        header('Location: '.substr($_SERVER['REQUEST_URI'],0,strpos($_SERVER['REQUEST_URI'],'?')).(count($_GET) > 0 ? http_build_query($_GET) : ''));
        exit;
}

header('HTTP/1.0 403', true, 403);
?>
<h1>403 Forbidden</h1>

Da er vorher eine Basic-Auth hatte, nehme ich an, dass er Szenario D
bevorzugen würde

Man könnte z.b. einen Cookie mit langer Lebensdauer setzen, oder über
OpenID einloggen lassen, oder über Google+, Facebook, oder, oder, oder, alles
komfortabler als Username und Passwort. Ist aber eh nur Szenario B und war nur
ein Vorschlag, es ein bisschen besser zu machen als A.

Ich hab mir nochmal alles durchgelesen und hab offensichtlich nich gesehen,
dass er weiterhin Username + Passwort eingeben will, wenn man über so eine
Übersichtsseite kommt.

Meiner Meinung nach wäre also eine Kombination aus HTML-Loginformular und
einem optionalen URL-Parameter, welcher geheim gehalten werden muss und auf
keinem Fall auf irgendeiner Website landen darf und mit welchen man das
HTML-Loginformular umgehen kann.

Die Übersichtsseite ist öffentlich, nur beim Klick auf die einzelnen
Verzeichnisse soll man sich Authentifizieren. Der Crawler steht also an.Der
Link ist für Freunde, denen man im Chat oder so auf eine Datei oder einen
Unterordner verlinken will, ohne dass sich dieser extra anmelden muss. Der
Crawler kennt diesen Link nicht.

Stimmt, das geht natürlich auch, da muss man aber noch mit der .htaccess
tricksen

  Das einzige was meiner Meinung nach helfen würde ist wenn der Link nur für die jeweilige Session gültig ist ...

Und wie wäre es mit einer user agent Überprüfung?