cnangel手记: September 2007的归档

蜘蛛抓取影响了我

| 评论(1)

背景

2002年开始了我的小站,经过朋友们的捧场,每天的流量日渐增长,后来发现每当中午我的空间就不能正常访问了,打电话询问空间服务提供商,原来是空间服务提供商为了节省带宽,给各种类型的用户限制了流量每天断流的情况,告诉我的B型空间每日流量不能超过300M,我问到是什么占用我流量时,空间服务提供商告诉我说大部分流量来源于搜索引擎。可恶的搜索引擎!怎么不让我的网站内容被蜘蛛抓取呢?当时我这么想。后来随着原创文章数的增多,导致文章被转贴、采集、附件经常被盗链,这些也成为了日益需要解决的问题。