好久没写日记,记录下今天干的事情。

分析下网站的日志,发现会有几个“拉跨”的垃圾搜索引擎蜘蛛爬行。

Ahrefs蜘蛛(AhrefsBot)、俄罗斯蜘蛛(YandexBot)、华为蜘蛛(petalbot)

 

第一个是国外的一个SEO数据网站,这个破B网站拼命抓取我网站数据,好让别人分析我?我好像之前还搜索过这个工具,收费貌似还挺高的样子?

国内的5118都不敢像你这样收费,最低一档每年990美元,6414RMB,有这个闲钱我还不如开个5118的顶配版本。旗舰版最高版本每年才3600+

 

另外一个是俄罗斯蜘蛛,垃圾搜索引擎,留个谷歌的就OK了,其他国家的地方搜索引擎没必要留。还有一个是华为的搜索引擎蜘蛛,这个属于比较纠结的,因为我百度统计里面好像是无法区分通过华为的“花瓣搜索”来的流量,再说花瓣搜索也是华为针对海外市场用户,我的网站都是针对国内或者中文语言用户(留学生?)【决定屏蔽还是一样,留个Google就够了。】

 

其他搜索引擎只是限制,禁止爬行某些目录!过几天再查看下这有生效没?7月10日上传。

 

题外话:

我的个人博客,我也顺便分析下日志。发现神马搜索这个傻逼蜘蛛,会拼命频繁抓取我这个主题目录下的一个文件:

/wp-content/themes/lolimeow2021-main/assets/fonts/fontawesome-webfont.woff2?v=4.7.0

这…..你妈的是不是有病?百度搜索下,了解到这个主题目录下的字体相关的文件,是不是有病?拼命抓取这个干吗?只好给个人博客也做了目录的限制。