想不开,就不想,得不到,就不要,难为自己,何必呢?
最近一直在研究网站日志,发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站,会浪费服务器的资源。对于那些不必要的蜘蛛,时不时来抓取我们的网站,要不要屏蔽掉呢?