一 : 从淘宝屏蔽百度说起 如何让网站不被抓取

　　上周五，北方网在第一时间报道了关于淘宝屏蔽百度蜘蛛爬虫抓取的消息，立刻引起了业界的广泛关注。这一事件被普遍认为与百度发力C2C同淘宝构成直接竞争有关，另有分析也认为这与阿里巴巴近日将淘宝与阿里妈妈业务整合的举措亦存在关系，阿里巴巴希望就此截断淘宝网店的免费流量来源从而吸引网店商家选择自家的阿里妈妈广告推广。

　　在众多媒体对这一新闻的报道中，多次提到“robots.txt”这个技术名词。比如在证实淘宝屏蔽百度时提到的“淘宝网已经开始屏蔽百度蜘蛛爬虫。淘宝在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。”并给出了URL为http://www.taobao.com/robots.txt的链接截图予以证明。

　　

 

　　那么，这个“robots.txt”是什么呢?

　　robots.txt(小写字母)是一种存放在一些网站的服务器根目录下的ASCII编码的文本文件。它的作用是告诉搜索引擎的爬虫机器人(又称网络蜘蛛、漫游器)该网站中的哪些内容是不允许被搜索引擎爬虫抓取的，哪些是允许被抓取的。由于在一些系统中URL大小写敏感，因此robots.txt的文件名均统一为小写。robots.txt放置在网站的根目录下。

　　比如之前我们截图中所看到的淘宝网的robots.txt：

　　User-agent: Baiduspider

　　Disallow: /

　　User-agent: baiduspider

　　Disallow: /

　　可以看出淘宝的robots.txt显然是专门为了屏蔽百度的爬虫而准备的。

　　值得注意的是robots.txt协议并不是一个法律意义上的约束性规范，它只是长期以来在网站之间约定俗成的道德性公约而已，因此并不能完全确保网站的隐私不被不遵守这一协议的搜索引擎抓取。

　　如果您也是一个站长，如果也不希望被百度爬虫所抓取，那么该怎么做呢?您可以在百度提供的FAQ“如何让我的网页不被百度收录”中找到来自官方的建议：

　　* 百度严格遵循搜索引擎Robots协议(详细内容，参见http://www.robotstxt.org/)。

　　* 您可以写一个Robots文件以限制您的网站全部网页或者部分目录下网页不被百度收录。具体写法，参见：如何撰写Robots文件。

　　* 如果您的网站是在被百度收录之后再设置Robots文件，则Robots文件通常在两周内生效，被文件限制的内容，将从百度搜索结果中移除。

　　* 如果您的拒绝被收录需求非常急迫，也可以发邮件给webmaster@baidu.com请求处理。

　　但我们同时也注意到近日一则题为《淘宝屏蔽百度 百度回应将开绿色通道》的报道：“百度电子商务事业部总经理李明远表示：针对淘宝全面禁止百度爬虫抓取页面，百度准备开辟绿色通道”。尽管这位百度发言人解释“绿色通道”的实现方式只是“让卖家直接向百度索引库提交网店页面链接地址”，但结合robots.txt这个“协议”在法律或技术层面都不具备任何硬性的约束力，我们有理由怀疑百度的“绿色通道”是否还有另外一层含义。

二 : 一淘称旗下如意淘遭京东商城屏蔽

 

【TechWeb报道】8月27日消息，一淘网今日公告称，京东商城于8月24日上午在网站中加入了针对如意淘软件的干扰代码，导至用户在访问京东商城时，无法使用如意淘的比价服务。

如意淘负责人王杰祺称，从24日开始收到了来自用户的反馈，许多用户称软件在访问京东商城时无法正常启动，而访问亚马逊、当当等其它网站时功能却正常。经调查后发现，京东商城在页面样式文件中加入了针对如意淘软件的代码。

如意淘是一款比价客户端软件，前身是诞生于美国的比价软件“购物助手”，于去年底被一淘网收购。官方披露，如意淘的国内用户安装量达数千万，目前每天的活跃用户在500万以上，8.15“价格战”期间，8.15当天打开如意淘客户端的用户量超过千万。

京东商城与一淘网矛盾由来已久。去年10月份，京东商城通过技术手段屏蔽了一淘网的爬虫来抓取数据。目前，一淘网对京东商城数据抓取来自第三方。

对此，京东商城方面表示稍后给予回应。（天羽)

以下为一淘公告全文

各位尊敬的用户：

我们发现京东商城于8月24日上午，在网站中加入了针对如意淘软件的干扰代码，这也导至用户在访问京东商城时，无法使用如意淘的比价服务，以及查看该商品的历史价格变动记录。

京东商城这一举动不但破坏了如意淘客户端软件的正常比价功能，损坏了如意淘的正常运作，也给广大消费者带来了诸多不便，剥夺了广大消费者了解商品价格信息的基本权益！

消费者有权了解真实的价格信息，对于京东商城通过恶意代码破坏如意淘功能、剥夺消费者了解真像权利之举，我们实难理解！

目前，如意淘团队正在紧急修复该问题，期间造成的不变我们深表歉意！也请大家继续支持、关注、分享如意淘！

 

三 : 假如淘宝屏蔽买家手机号 卖家该怎么办？

最近，让淘宝卖家及一些电商企业揪心的莫过于一则“淘宝将屏蔽买家手机号”的消息。由于各大综合性电商平台在知名度、引流量及服务上的优势，大型综合性电商平台已经成为厂家及个体纷纷入驻并快速搭上电商快车的便捷之路。尽管在屏蔽买家手机号这一消息流出后不久淘宝就发布公告称消息并不属实。但不管是否真有此事，从用户对个人信息保护的重视度越来越高，以及防范因保护信息安全举措愈加严格而对业务造成负面影响的角度出发，淘宝卖家或电商企业都需要事先准备好。俗话说，未雨绸缪，有备无患，未免真发生此类事件而束手无策，下面笔者就以淘宝的这次事件，分享一些个人意见。

首先，我们就从客户购买流程，来看看如果真的出现了屏蔽手机号的情况，会对电商商家造成什么影响？

1）下订单至付款前，卖家无法获得任何手机号；

2）付款后至交易未结束前，卖家通过虚拟手机号与客户沟通；

3）交易完成后或客户主动停用临时号码，卖家再次与客户失去联系。

从以上的情况来看，“电话号码”也可以称之 “数据”是致使商家处于劣势的关键原因。而为避免此类事件真的发生，那么商家这次事件之后可能会思考解决两件事：

一是，将CRM中已有的客户信息倒出来，纳为自有营销系统所用；

二是，从平台获取新客户时，如何摆脱“手机号码”的牵制，把新客户引流到自有营销系统中。

其实，这两个难题都可以利用一个渠道快速解决。如果是笔者，你猜我会怎么做？

首先，针对CRM已有客户，对老客户的数据进行系统的清理和分类，从宏观层面的RFM 顾客价值分析等，到微观的客户的各字段的数据完备性，如客户常用沟通互动的联系方式是否完备，是否具备手机号码、邮件地址等重要信息。

然后，以手机号码作为数据基础。对已有CRM系统中的手机号码的客户，开展一轮有奖/促销活动。具体执行过程是：先利用MMS给客户发送活动信息，对于MMS送达不成功的客户，再利用SMS发送活动信息，所有“手机号码”客户，都鼓励其以提供电子邮件地址。

之后，如果从电商平台获取到新客户，在付款后至交易未结束前这段时间，抓住时机，利用虚拟手机号获取客户邮件地址。如告知提供邮件地址/加入邮件会员获取赠品、抵用券、优惠券，为邮件渠道提供专属优惠代码等等方法都将有利于将平台新客户转化成长久会员，而避免永久失联。不过这对电商商家自身的营销效率提出了更高要求。

在以上过程中，笔者明显的达到了2个目的：一是进一步完善了客户数据，为开展多渠道联合营销提供了数据基础，也有利于商家做客户数据分析；二是把客户逐渐引流到邮件渠道。也许你又有疑惑了，为什么要把客户引到和短信一样，比较传统的邮件营销渠道呢，而不是最为火热的微信、微博呢？笔者经过利弊分析之后，得到的理由是：

1.短信作为主营销渠道的重要性式微。国家对短信的监管力度从未放松，而我国手机用户的月均点对点短信量继续下降，已经不足40条。加之短信过度骚扰已经给用户造成的反感情绪，这些都使单纯依赖短信作为营销手段的商家面临诸多困境。

2.邮件作为营销渠道的优势。笔者认为至少有3点：

一是，邮件本身具有的“1对1”私密沟通和信息承载量优势，为商家提供了最基本的营销基础；

二是，邮件渠道可以长久“锁住”客户，且为商家开展长久营销在达成营销需求、实现营销优化、探索营销新方法等方面提供了足够的弹性空间和自主性，即商家在邮件渠道上可以尽量达成自己的想法。

三是，邮件作为营销渠道可以构成一个完整的独立的营销生态系统，具备承担营销主战场的资质。这对于希望摆脱“手机号码”牵制，把新客户引流到自有营销系统中的电商商家来说，把邮件作为引流方向或构建自有营销主战场都是非常明智的做法。

经过上面的方法，利用会员营销效果突出的邮件渠道，电商商家不但可以将CRM中已有的客户纳入自有营销系统，且可以摆脱“手机号码”的牵制，把从第三方综合电商平台获取的新客户引流到自有营销系统中。

注：相关网站建设技巧阅读请移步到建站教程频道。

本文标题：淘宝卖家如何屏蔽买家-从淘宝屏蔽百度说起 如何让网站不被抓取
本文地址： http://www.61k.com/1184158.html