Home
工作

robots.txt 后续,新屏蔽了一堆然并卵的蜘蛛。

robots.txt屏蔽 之前说我屏蔽了几个搜索引擎蜘蛛。Ahrefs蜘蛛(AhrefsBot)、俄罗斯蜘蛛(Yande...
工作

robots.txt屏蔽

好久没写日记,记录下今天干的事情。 分析下网站的日志,发现会有几个搜索引擎蜘蛛爬行。 Ahrefs蜘蛛(AhrefsBo...