Auf einem Apache Webserver lässt sich relativ einfach ein htaccess Schutz mit Ausnahme einrichten.
Anbei ein Beispiel:
<Files "*">
Order deny,allow
Deny from all
AuthName "small-blog.de - Beispiel"
AuthUserFile /var/www/www.small-blog.de/.htpasswd
AuthType Basic
Require valid-user
Satisfy Any
</Files>
<Files "robots.txt">
Order deny,allow
Allow from all
Satisfy Any
</Files>
Klappt auch 😉