.htaccess und Co.

Heute gibts ein paar Typs zur robots.txt und .htaccess. Da es sich um nicht unbekannte Dinge gehandelt hat, schenke ich mir mal die Ausführungen dazu.
Ebenso Zusammenfassungen. Beispiele wie zB keine Keywords hinter einen Ebene packen oder die negative Aktion von BMW dem Crawler eine andere Seite, wie die eigentliche liefern.

Kompakte Zusammenfassung