有無最安全的防止網站被網絡上所有爬蟲發現的辦法？

124 主题	0 回帖	374 积分

发表于 2025-4-6 15:10:17 | 显示全部楼层 |阅读模式

本帖最后由 httpd 于 2025-4-6 15:12 编辑

我目前採用robots.txt+.htpasswd的辦法，直到有一天我在某搜索引擎site:發現居然被索引了HTTP驗證的字樣，正經的蜘蛛都這樣，不正規的不是和去他家客廳一樣簡單