致力于打造中国站长娱乐学习的免费资源站!官方合作QQ:283852481

广

您当前的位置:首页 > 站长 > 策划运营

利达消防报警设备    天津利达消防设备    海湾消防报警设备    消防改造  招租联系QQ:283852481

网站被采集怎么办 一招制服!

时间:2016-12-01  来源:山西刀削面加盟  

  前几天我搜索我网站内容的时候,发现有很多非法网站同时更新, 我点击进去发现是一些非法的网站,但只能在对方网站顶部找到少量的广告信息, 并没有什么实际内容。

  我仔细查看了对方的源代码,发现对方隐藏了网站内容。他用这样的方法可以欺骗搜索引擎,让搜索引擎给其不错的排名,同时又能在访客面前隐藏自己小偷小摸的行为。

  我第一时间想到了是不是网站被黑?

  所以我修改了网站FTP,数据库,管理员账号等信息后,又更新了新文章,隔几小时后发现对方还是能顺利更新我网站的文章。这就奇怪了,难道是服务器被黑?我又仔细查看了服务器,没发现什么异常。

  最后想到是不是可能被采集?

  所以我把网站开通了访问日志功能,等了半天以后,我打开几M的日志查看,仔细一查就发现了采集者的IP,

  我把对方的IP屏蔽以后,从此对方再也没和我的网站同步更新。

  如何能快速的发现,并且一招制服采集你网站的小偷呢?

  方法非常简单,你只需要查看哪个IP访问你最新文章,然后查看这些IP,其中有异常的就肯定是采集你网站的。

  比如你更新一两篇新文章,你的新文章ID是 /123.htm ,半天时间内访问你新文章/123.htm 的往往就那么几个IP,然后分别查看这几个IP都访问了哪些页面,流量是否正常。

  比如有的IP是国内IP,只访问了几个正常页面,流量占用很小,那他们就是正常的访客。

  而像这类美国IP 207.46.13.* 就不正常。

  第一,他是美国IP,就算是真实访问也不是我的意向顾客。

  第二,采集小偷的网站服务器在美国,而这个IP也在美国,那他肯定就是采集IP。

  第三,他做非法网站不可能用国内服务器,一来美国服务器成本低,二来可以避开法律风险。

  第四,访问页面太多,占用流量比较大。

  发现了采集者的IP, 如何屏蔽采集者的IP段呢?

  下图是我屏蔽了采集者的IP后,状态码是403,就证明屏蔽成功。

  

1

 

  如果你的linux服务器,只需要在.htaccess里这样写就行

  order allow,deny

  Deny from 127.0.0

  allow from all

  举例,如果你要屏蔽的IP段比较多,可以这样写

  order allow,deny

  Deny from 68.180.230

  Deny from 40.77.167

  allow from all

  通过这样的方法就可以完全杜绝采集你网站的小偷, 对方发现自己无法采集成功,就会另选目标。如果每个站长都知道这样的方法,那么互联网环境将会纯净许多。

  转载请注明 http://888.chu6.com


精彩广告