轻功水上漂 发表于 2025-5-28 22:43:06

如何防止360蜘蛛的过度抓取？

360蜘蛛好几次过度抓取，将CPU干到90了，导致网页都打不开。但是又不想完全BAN了它，好歹也能带一丁点流量。
页: [1]
查看完整版本: 如何防止360蜘蛛的过度抓取？