Manchmal möchte man, dass bestimmte Dateien oder Verzeichnisse von einer Suchmaschine nicht weiter untersucht und in den Suchindex aufgenommen werden. Dafür gibt es mehrere Methoden. Wenn es sich bei den Dateien oder Unterverzeichnissen nicht um besonders geschützte Dateien handelt, die unter keinen Umständen ohne weitere Authentifierung im Internet sichtbar sein dürfen, so bietet sich als