如何光明正大搜集竞争对手数据？
编者按：本文来自微信公众号“硅谷密探”（ID：guigudiyixian），作者 硅谷密探。经授权转载。
中国古话说的好，“知己知彼，百战百胜”，这用到国外的公司也是同样的道理。小探今天就来跟你说说，大公司，尤其是电子商务领域的大公司们是如何搜集竞争对手数据的？
根据 Techcrunch 去年的一篇报道，亚马逊无疑已经是占据了美国电子商务的半壁江山，其它零售商像沃尔玛、Home Depot、Best Buy 的份额都远远小于亚马逊了。
当然，大公司并不是你想搜集，就能搜集的。事实上，亚马逊的发言人就表示，该公司已经意识到有竞争对手使用机器人检查其价格列表，并“残忍地”拒绝了任何机器人类的“活动”。
光明正大地搜集数据
就电子商务领域来说，亚马逊由机器人驱动的定价已经代表了零售业的巨大变化。电子商务跟实体店的一个巨大不同是：你的价格可以一天变化好几次。而亚马逊总是有最低价，就是因为它能时刻追踪竞争对手的价格变化。
这是怎么做到的呢？主要是零售商通过其库存水平、销售预测和竞争对手的定价数据，用算法帮助进行价格的更新。正因为是算法驱动的，每天甚至可以更新多次。
如果没有像亚马逊或者沃尔玛这样用机器人来搜集数据的话，那就只能动用其它武器了：比如虚拟专用网（VPN）、代理、P2P 网络等，再加上庞大的开发运营，就为了手动挖掘对手的数据。
2017年秋季开始，Bungee 的两位创始人Rajat Nigam 和 Charles Ding 就开始研究，到底有没可能自动轻松搜集数据，而且还不被对方的机器人发现呢？
按照 Bungee 产品经理 Clarence Chang 的说法，创始人“是希望能有一种工具，可以简化全球规模的网络数据收集，各种代理、VPN和其他传统技术都不需要了。就光明正大地互相收集数据吧！”
让机器人假装成人，就不会被发现了
如今，Bungee 已经成功开发出了一种 API，让 API 可以比任何当前服务更大规模地满足爬取数据（crawl data）的请求，同时还保持接近完美的爬取成功率。
很简单，机器人容易被对方机器人发现进而阻止，但人就不会啊！那扮成“正常的消费者”不就好了！
试想一下，如果你自己在网上浏览各种产品信息的话，一般是怎么做的？是不是先搜索一下这个产品，进入电商页面后，还会上下滑动页面，回到主页再比较一下不同的价格，甚至会看看点评？
事实上，Bungee 就是这样做的。Clarence告诉小探，如果是机器的话，一般是一个固定的IP地址，进入网站后，就不断地点击产品链接，获取价格数据。
Clarence 认为，实际上，爬数据已经是“公开的秘密”了。商业领域时刻都在进行这样的事情，因为你总是需要了解竞争对手的，大公司也不会告诉你“我们已经在做这件事”了。
当前，Bungee 服务的客户主要面向的是电商、机票以及酒店领域，这些都是典型消费者最关注价格的应用场景。“这样，消费者就能获得最好的价格了。”
无需防火墙，300个城市任你选
不知大家有没有试过，如果买一张从美国出发到中国的机票，你在美国买和在中国买，价格是不一样的，至少小探就试过。（所以每回买回国机票，小探难免还得回国内各大机票官网瞄一眼！）
这也是销售商最典型的销售策略：越发达国家，可以承受同样东西的价格就越贵……（销售商内心OS：发达国家钱多，当然要赚多点啊！）
Bungee 的另一大技术优势就出现了，即使你想要查找同一款产品在不同国家的价格数据，又或者是只在同一个国家、不同城市的价格数据，都可以！
那么，现在 Bungee 的客户都有哪些呢？据 Clarence 透露，现在 Bungee 已有2个大客户，其中一个是电子商务领域的客户，另一个是财富 50 强客户，是一家专做市场研究的印度企业。
Bungee 最终能提供给客户的是什么呢？很简单，竞争对手数据。获得数据有两种方式，第一种方式，是给客户提供API（应用程序编程接口），客户可以通过自己的开发人员，从中获取任何想要的数据。
下一步：从搜集数据到分析数据
研究机构 IDC 曾预测， 到2025年预计全世界每年将创造163个zettabytes（ 1万亿千兆字节） 的数据 。小探此前曾报道过，美国大约每年花费 250 亿美元在人工收集数据上。
无论是数据拥有者，还是数据分析者，都试图在这样庞大的数字市场当中分一杯羹。“数据是到处都有的，但你如何收集收据，用好数据，这正是企业所期盼的。”
Bungee 告诉小探，当前第一步确实是从收集数据开始，但是，随着数据的增加，Bungee 希望用自己的深度学习等算法技术，对数据进行分析，提炼出更多洞察在其中，向用户出售更多有价值的数据。
Bungee 希望服务的，不仅仅是大公司，也有众多小型公司，从10人到500人的公司，都是可以提供 SaaS 服务的。
分析竞争对手的庞大帝国
小探发现，捕捉竞争对手动态的公司已有不少，甚至已经形成一个完整的产业链。不同的初创公司正在试图通过多种渠道解决，到底企业该如何分析你的竞争对手，分析竞争对手的哪些部分并加以利用。
综合性竞争对手分析
Kompeyte：小探此前就采访过这个创业公司，它是被 500 Startups 孵化的企业。Kompeyte 提供的是实时访问竞争对手的网站、社交媒体、广告、新闻简报、热议度、着陆页等多个渠道，24小时就能见分晓。我不是教你诈，这家公司就是教你如何“吃透”竞争对手
竞争对手的受众分析
SEO和关键词分析工具
比如，竞争对手排名的关键字数量，以及企业关键字与对手关键字设置的重叠程度等。这家企业的利润是380万美元。
付费广告和PPC工具
可以说，无论是分析竞争对手本身，还是分析竞争对手的受众，乃至竞争对手如何做广告都分析了。这些企业明显面向企业的需求也导致了即使未有进行过多融资，但利润并不低。果然是：都来互相搜集吧！
大家工作中是否遇到什么好用的搜集竞争对手的工具呢？又是如何分析竞争对手的？欢迎大家爆料！
