数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。

【大数据先锋】

IBM，电动汽车动力与电力供应系统优化预测

Hitwise，通过流量判断消费者喜好

亚马逊，让数据的价值再大一点

移动运营商与数据再利用

谷歌街景与GPS采集

微软与谷歌的拼写检查

谷歌，从大的“噪音”数据中受益

巴诺与NOOK快照

在线教育课程，找到最合适阅读的论坛帖子

Facebook,从66亿到1040亿

DataMarket与InfoChimps，提供免费与付费数据

20世纪90年代后期，网络逐渐变得拥堵起来。有人开发了一款名为“Spambots”的垃圾邮件程序软件，向成千上万名用户批量发送广告信息，淹没收件人的电子邮箱。他们会在各种网站上注册，然后在评论部分留下成百上千条广告。网络因此成了一个不守规矩、不受欢迎、不够友善的地方。而且，这种软件似乎打破了网络原有的开放性和易用性模式，要知道，正是这种模式向人们提供了各种便利，比如免费电子邮件。当特玛捷这一类公司根据“先到先服务”的原则提供演唱会门票网上订票服务时，作弊软件会偷偷摸摸跑到真正排队的人之前，将门票全部买下。

2000年，22岁大学刚毕业的路易斯·冯·安（Luis Von Ahn）提出了解决这个问题的想法：要求注册人提供真实身份证明。他试图找出一些人类容易辨别但对机器来说却很难的东西，最后他想到了一个办法，即在注册过程中显示一些波浪状、辨识度低的字母。人能够在几秒钟内识别并输入正确的文本信息，但电脑却可能会被难倒。雅虎采用了这个方法以后，一夜之间就减轻了垃圾邮件带来的苦恼。冯·安将他的这一创作称为验证码（全称为“全自动区分计算机和人类的图灵测试”）。五年后，每天约有2亿的验证码被用户输入。

这一切给冯·安这位家里经营糖果厂的危地马拉人带来了相当高的知名度，使他能够在取得博士学位后进入卡内基梅隆大学工作，教授计算机科学；也使他在27岁时获得了50万美元的麦克阿瑟基金会“天才奖”。但是，当他意识到每天有这么多人要浪费10秒钟的时间输入这堆恼人的字母，而随后大量的信息被随意地丢弃时，他并没有感到自己很聪明。

于是，他开始寻找能使人的计算能力得到更有效利用的方法。他想到了一个继任者，恰如其分地将其命名为ReCaptcha。和原有随机字母输入不同，人们需要从计算机光学字符识别程序无法识别的文本扫描项目中读出两个单词并输入。其中一个单词其他用户也识别过，从而可以从该用户的输入中判断注册者是人；另一个单词则是有待辨识和解疑的新词。为了保证准确度，系统会将同一个模糊单词发给五个不同的人，直到他们都输入正确后才确定这个单词是对的。在这里，数据的主要用途是证明用户是人，但它也有第二个目的：破译数字化文本中不清楚的单词。ReCaptcha的作用得到了认可，2009年谷歌收购了冯·安的公司，并将这一技术用于图书扫描项目。

大数据的力量

与雇用人所需要花费的成本相比较，它释放出的价值是非常巨大的。每天完成的ReCaptcha超过2亿，按平均每10秒输入一次的话，一天加起来一共是50万个小时，而2012年美国的最低工资是每小时7.25美元。从市场的角度来看，解疑计算机不能识别的单词每天需要花费约350万美元，或者说每年需要花费10亿多美元。冯·安设计的这个系统做到了这一点，并且，没有花一分钱。

ReCaptcha的故事强调了数据再利用的重要性。随着大数据的出现，数据的价值正在发生变化。

大数据洞察

在数字化时代，数据支持交易的作用被掩盖，数据只是被交易的对象。而在大数据时代，事情再次发生变化。数据的价值从它最基本的用途转变为未来的潜在用途。这一转变意义重大，它影响了企业评估其拥有的数据及访问者的方式，促使甚至是迫使公司改变他们的商业模式，同时也改变了组织看待和使用数据的方式。

信息对于市场交易而言是必不可少的。数据使价格发现成为可能，比如众所周知的一点，它是决定生产数量的信号。一些特殊类型的信息也早已在市场上交易，如书籍、文章、音乐、电影以及金融信息（如股票价格）等。这些在过去的几十年中已经通过个人数据加入数据库。美国的专业数据经纪人，如安客诚（Acxiom）、益百利和艾可飞（Equifax）等，专门负责从数亿名消费者中收集个人信息加入综合档案。随着Facebook、Twitter、LinkedIn、Foursquare等社交平台的出现，我们的人脉关系、想法、喜好和日常生活模式也逐渐被加入到巨大的个人信息库中。

总之，尽管数据长期以来一直是有价值的，但通常只是被视为附属于企业经营核心业务的一部分，或者被归入知识产权或个人信息中相对狭窄的类别。但在大数据时代，所有数据都是有价值的。

这里所说的“所有数据”包含了那些最原始的、看似最平凡的信息单位。想一想工厂机器上热传感器的读数，GPS坐标上的实时数据流，某一辆或者60000辆车的加速度传感器读数和燃料水平。再想想数十亿旧的搜索查询，或者过去数年美国每趟商务航班上每个座位的价格。

但是，直到目前仍然没有一个简单的方法来收集、存储和分析这些数据，这严重限制了提取其潜在价值的机会。在亚当·斯密论述18世纪劳动分工时所引用的著名的大头针制造案例中，监督员需要时刻看管所有工人、进行测量并用羽毛笔在厚纸上记下产出数据，而且测量时间在当时也较难把握，因为可靠的时钟都尚未普及。技术环境的限制使古典经济学家在经济构成的认识上像是戴了一副墨镜，而他们却几乎没有意识到这一点，就像鱼不知道自己是湿的一样。因此，当他们在考虑生产要素（土地、劳动力和资本）时，信息的作用严重地缺失了。虽然在过去的两个世纪中，数据的采集、存储和使用成本一直在下降，但直到今天也仍然维持在相当昂贵的水平。

我们所处的时代之所以与众不同，是因为数据的收集不再存在固有的局限性。技术已经发展到一定程度，大量信息可以被廉价地捕捉和记录。数据经常会得到被动地收集，人们无须投入太多精力甚至不需要认识这些数据。而且，由于存储成本的大幅下降，保存数据比丢弃数据更加容易。这使得以较低成本获得更多数据的可能性比以往任何时候都大。

大数据的力量

在过去的50年中，数字存储成本大约每两年就削减一半，而存储密度则增加了5000万倍。

在Farecast或谷歌这样的信息公司眼里，数据开始被视为一个新的生产要素，原始材料在数字流水线的一端输入，而处理后的信息则从另一端输出。

大部分数据的直接价值对收集者而言是显而易见的。事实上，数据通常都是为了某个特定的目的而被收集——商店为了会计核算而收集销售数据，工厂为了确保产品符合质量标准而监控输出，网站记录每一个用户点击（即使是鼠标光标的移动）来分析和优化其呈现给访客的内容。数据的基本用途为信息的收集和处理提供了依据。亚马逊同时记录下了客户购买的书籍和他们浏览过的页面，便可以利用这些数据来为客户提供个性化的建议。同样，Facebook跟踪用户的“状态更新”和“喜好”，以确定最佳的广告位从而赚取收入。

不同于物质性的东西，数据的价值不会随着它的使用而减少，而是可以不断地被处理。这就是经济学家所谓的“非竞争性”的好处：个人的使用不会妨碍其他人的使用，而且信息不会像其他物质产品一样随着使用而有所耗损。因此，亚马逊在向其用户，不论是生成这些数据的客户或是其他客户做出建议时，都可以不断地使用过去的交易数据。

大数据洞察

数据的价值并不仅限于特定的用途，它可以为了同一目的而被多次使用，也可以用于其他目的。要了解大数据时代究竟有多少信息对我们有价值，后面这一点尤其重要。

当沃尔玛检查以往的销售数据并发现飓风和蛋挞销售之间存在有利可图的关系时，这种潜力的一部分已经得到实现。这意味着数据的全部价值远远大于其最初的使用价值，也意味着即使首次或之后的每次使用都只带来了少量的价值，但只要数据被多次使用过，企业仍然可以对数据加以有效利用。

想知道数据的重复使用对其终极价值有什么意义吗？来看看电动汽车的故事吧。电动汽车能否成功地作为一种交通工具成功普及，其决定因素多如牛毛，但一切都与电池的寿命相关。司机需要能够快速而便捷地为汽车电池充电，电力公司需要确保提供给这些车辆的电力不会影响电网运转。几十年的试验和错误才实现了现有加油站的有效分配，但电动汽车充电站的需求和设置点目前还不得而知。

有趣的是，与其说这是一个基础设施问题，不如说这是一个信息问题，因为大数据是解决方案的重要组成部分。

大数据先锋

IBM，电动汽车动力与电力供应系统优化预测

在2012年进行的一项试验中，IBM曾与加利福尼亚州的太平洋天然气与电气公司以及汽车制造商本田合作，收集了大量信息来回答关于电动汽车应在何时何地获取动力及其对电力供应的影响等基本问题。

基于大量的信息输入，如汽车的电池电量、汽车的位置、一天中的时间以及附近充电站的可用插槽等，IBM开发了一套复杂的预测模型。它将这些数据与电网的电流消耗以及历史功率使用模式相结合。通过分析来自多个数据源的巨大实时数据流和历史数据，能够确定司机为汽车电池充电的最佳时间和地点，并揭示充电站的最佳设置点。最后，系统需要考虑附近充电站的价格差异,即使是天气预报，也要考虑到。例如，如果是晴天，附近的太阳能供电站会充满电，但如果预报未来一周都会下雨，那么太阳能电池板将会被闲置。

系统采用了为某个特定目的而生成的数据，并将其重新用于另一个目的，换言之，数据从其基本用途移动到了二级用途。这使得它随着时间的推移变得更有价值。汽车的电池电量指示器告诉司机应当何时充电，电网的使用数据可以通过设备收集到，从而管理电网的稳定性。这些都是一些基本的用途。这两组数据都可以找到二级用途，即新的价值。它们可以应用于另一个完全不同的目的：确定何时何地充电以及电子汽车服务站的设置点。在此之上，新的辅助信息也将纳入其中，如汽车的位置和电网的历史使用情况。而且，这些数据不只会使用一次，而是随着电子汽车的能耗和电网压力状况的不断更新，一次又一次地为IBM所用。

数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而绝大部分则隐藏在表面之下。明白了这一点，那些创新型企业就能够提取其潜在价值并获得潜在的巨大收益。总之，判断数据的价值需要考虑到未来它可能被使用的各种方式，而非仅仅考虑其目前的用途。在我们强调过多次的例子中这一点体现得非常明显：Farecast利用机票销售数据来预测未来的机票价格；谷歌重复使用搜索关键词来监测流感的传播；麦格雷戈博士用婴儿的生命体征来预测传染病的发生；莫里重新利用老船长的日志而发现了洋流。

尽管如此，数据再利用的重要性还没有被企业和社会充分认识到。纽约联合爱迪生公司的高管中很少有谁能够想到，19世纪的电缆信息和工作人员的维修记录可以用来预防未来事故的发生。很多互联网和科技公司甚至直到最近才知道数据再利用具有多大的价值。要解锁这些数据价值，就必须通过新一代统计人员的不懈努力并借助新一代的方法和工具。

用物理学家解释能量的方法或许可以帮助我们理解数据。他们认为物体拥有“储存着的”或“潜在的”能量，只是处于休眠状态，比如压缩了的弹簧或放置在小山顶的小球。这些物体中的能量是隐藏着的、潜在的，直到它们被释放出来。当弹簧被释放或者小球被轻碰而滚下山坡时，这些物体的能量就变成了“动能”，因为它们在移动并对其他物体施力。同理，在基本用途完成后，数据的价值仍然存在，只是处于休眠状态，就像弹簧或小球一样，直到它被二次利用并重新释放它的能量。在大数据时代，我们终于有了这种思维、创造力和工具，来释放数据的隐藏价值。

大数据洞察

最终，数据的价值是其所有可能用途的总和。这些似乎无限的潜在用途就像是选择，这里不是指金融工具意义上的选择，而是实际意义上的选择。这些选择的总和就是数据的价值，即数据的“潜在价值”。

过去，一旦数据的基本用途实现了，我们便认为数据已经达到了它的目的，准备将其删除，让它就此消失。毕竟，数据的首要价值已经得以提取。而在大数据时代，数据就像是一个神奇的钻石矿，在其首要价值被发掘之后仍能不断产生价值。数据的潜在价值有三种最为常见的释放方式：基本再利用、数据集整合和寻找“一份钱两份货”。而数据的折旧值、数据废气和开放数据则是更为独特的方式。

数据创新再利用的一个典型例子是搜索关键词。消费者和搜索引擎之间的瞬时交互形成了一个网站和广告的列表，实现了那一刻的特定功能。乍看起来，这些信息在实现了基本用途之后似乎变得一文不值。但是，以往的查询也可以变得非常有价值。有的公司，如数据代理益百利旗下的网页流量测量公司Hitwise，让客户采集搜索流量来揭示消费者的喜好。通过Hitwise营销人员可以了解到粉红色是否会成为今夏的潮流色，或者黑色是否会回归潮流。谷歌整理了一个版本的搜索词分析，公开供人们查询，并与西班牙第二大银行BBVA合作推出了实时经济指标以及旅游部门的业务预报服务，这些指标都是基于搜索数据得到的。英国央行通过搜索查询房地产的相关信息，更好地了解到了住房价格的升降情况。

大数据先锋

亚马逊，让数据的价值再大一点

未能理解数据再利用重要性的公司以惨痛的代价换来了经验教训。例如，亚马逊早期与AOL达成了一项协议，为AOL电子商务网站提供后台技术服务。在大多数人眼里，这只是一个普通的外包协议，而亚马逊真正的用意在于掌握用户的数据：他们在看什么、买什么。“这些数据可以帮助亚马逊提高它的推荐引擎性能。”亚马逊前首席科学家韦思岸（Andreas Weigend）一语道破。可怜的AOL从来没有意识到这一点，只看到了销售这个基本用途所带来的利益；而聪明的亚马逊却知道如何从二次利用中获利。

再来看另一个例子，谷歌在2007—2010年之间计划在本地搜索列表中加入GOOG—411语音识别服务，但这家搜索巨头并没有自己的语音识别技术，因此急需购买许可。于是，谷歌与该领域的领导者Nuance公司达成合作协议，这家公司因为搭上了这样一个珍贵的客户而感到十分高兴。但Nuance公司在数据方面完全是个十足的笨蛋：合同中没有规定由谁来保存语音翻译记录！于是谷歌自己保存了数据。这些数据在改进技术方面是不可或缺的，谷歌甚至据此从头创建了一个新的语音识别服务系统。当时Nuance公司只考虑到了软件许可的业务交易，而忽视了数据的处理。当认识到自己犯下的错误后，它立即与移动运营商和手机制造商达成其语音识别服务的使用交易，从而进行数据收集。

数据再利用的价值对于那些收集或控制着大型数据集但目前却很少使用的机构来说是个好消息，比如在那些线下运作的传统企业。他们或许正坐在尚未开发的信息喷泉上。有些企业可能已经收集了数据并使用过一次（如果可能的话），且因为存储成本低而将其保存了下来，数据科学家们称这类保存旧信息的计算机为“数据坟墓”。互联网和科技公司在利用海量数据方面走在了最前沿，因为他们仅仅通过在线就能收集大量的信息，分析能力也领先于其他行业。但是，所有的公司都可能会从中获利。麦肯锡的咨询顾问们列举了一家物流公司（名称保密）。这家公司在交付货物的过程中积累了大量产品的全球出货信息。嗅到了这个机会之后，该公司成立了专门的部门，以商业和经济预测的形式出售汇总数据。换言之，它创造了谷歌过去搜索查询业务的一个线下版本。

由于在信息价值链中的特殊位置，有些公司可能会收集到大量的数据，但是他们并不急需使用也并不擅长再次利用这些数据。例如，移动电话运营商收集用户的位置信息来传输电话信号。对于这些公司来说，数据只具有狭窄的技术用途。但是当它被一些发布个性化位置广告服务和促销活动的公司再次利用时，则变得更有价值。有时候，数据的价值并非来自于单个的数据值，而是从数据汇总中体现出来的。因此，AirSage和Sense Networks这些企业会出售诸如人们周五晚上聚集在哪里或者汽车在哪个地段行驶多慢等信息，这种信息集合可以用来确定房地产价值或广告牌的价格。

大数据先锋

移动运营商与数据再利用

如果得到使用正确，即使是最平凡的信息也可以具有特殊的价值。看看移动运营商吧：他们记录了人们的手机在何时何地连接基站的信息，包括信号的强度。运营商们长期使用这些数据来微调其网络的性能，决定哪里需要添加或者升级基础设施。但这些数据还有很多其他潜在的用途，比如手机制造商可以用它来了解影响信号强度的因素，以改善手机的接收质量。一直以来，处于隐私保护相关法律的限制，移动运营商们并没有用这些数据来谋取利益。但如今，伴随着经济颓势，它们开始逐渐改变立场，认为数据也可以作为其利润的潜在来源。2012年，西班牙电话公司（Telefónica of Spain），一家国际电讯公司，甚至创立了独立公司Telefonica Digital Insights来向零售商和其他买家出售其收集到的匿名用户位置信息。

有时，处于休眠状态的数据的价值只能通过与另一个截然不同的数据集结合才能释放出来。用新的方式混合这些数据，我们可以做出很有创意的东西来。一个成功的例子是2011年发表的关于手机是否增加致癌可能性的一项有趣的研究。全球约有60亿部手机，几乎人手一部，因而这个问题是至关重要的。人们做了大量的研究来寻找其中的关联，但都受困于各种障碍：样本量太小、研究时间太短或者是被试自己报告的数据中充满错误。然而，丹麦癌症协会的研究团队基于以往收集的数据想出了一个有趣的方法。

大数据先锋

丹麦癌症协会：手机是否增加致癌率

丹麦拥有1985年手机推出以来所有手机用户的数据库。这项研究分析了1990年至2007年间拥有手机的用户（企业用户和其他社会经济数据不可用的用户除外），共涉及358403人。该国同时记录了所有癌症患者的信息，在那期间共有10729名中枢神经系统肿瘤患者。结合这两个数据集后，研究人员开始寻找两者的关系：手机用户是否比非手机用户显示出较高的癌症发病率？使用手机时间较长的用户是否比时间较短的用户更容易患上癌症？

尽管研究的规模很大，数据却没有出现丝毫混乱或含糊不清。为了满足医疗或商业的目的，两个数据集都采用了严格的质量标准，信息的收集不存在偏差。事实上，数据是在多年前就已经生成的，当时的目的与这项研究毫不相关。最重要的是，这项研究并没有基于任何样本，却很接近“样本=总体”的准则，即包括了几乎所有癌症患者和移动用户。数据包含了所有的情况，这意味着研究人员掌握了各种亚人群组信息，比如吸烟人群。

最后，研究没有发现使用移动电话和癌症风险增加之间存在任何关系。因此，当2011年10月研究结果在《英国医学杂志》上发布时，并未在媒体中引起任何轰动。但是如果两者之间存在关联的话，它可能马上就会登上世界各地的头版头条，而“重组数据”也可能会随之名声大噪。

随着大数据的出现，数据的总和比部分更有价值。当我们将多个数据集的总和重组在一起时，重组总和本身的价值也比单个总和更大。如今，互联网用户都熟悉基本的混搭式应用，即将两个或多个数据源以一种新颖的方法结合起来。例如，房地产网站Zillow.com将房地产信息和价格添加在美国的社区地图上，同时还聚合了大量的信息，如社区近期的交易和物业规格，以此来预测区域内具体每套住宅的价值。

这个结果极具指导意义，尽管通过视觉展示使得数据更加亲和且非常简单，但采用位置信息并将其置于地图上毕竟不是一个创造性的飞跃。随着大数据的出现，我们可以走得更远，丹麦的癌症研究就为我们提示了更多的可能性。

促成数据再利用的方法之一是从一开始就设计好它的可扩展性。虽然这不总是可能的，因为人们可能在数据收集后很长时间才意识到这一点，但的确有一些方法可以鼓励相同数据集的多种用途。例如，有些零售商在店内安装了监控摄像头，这样不仅能认出商店扒手，还能跟踪在商店里购物的客户流和他们停留的位置。零售商利用后面的信息可以设计店面的最佳布局并判断营销活动的有效性。在此之前，监控摄像机仅用于安全保卫，是一项纯粹的成本支出，而现在却被视为一项可以增加收入的投资。

大数据先锋

谷歌街景与GPS采集

在收集数据时强调扩展性方面，谷歌毫无疑问是做得最好的公司之一。其备受争议的街景汽车不仅拍摄了房屋和道路的照片，还同时采集GPS数据，检查地图的信息，甚至还加入了无线网络名称（以及通过开放无线网络的内容，尽管这可能是非法的）。一辆谷歌街景汽车每时每刻都能积累大量的离散数据流。这些数据之所以具有可扩展性，是因为谷歌不仅将其用于基本用途，而且进行了大量的二次使用。例如，GPS数据不仅优化了其地图服务，而且对谷歌自动驾驶汽车的运作功不可没。

收集多个数据流或每个数据流中更多数据点的额外成本往往较低，因此，收集尽可能多的数据并在一开始的时候就考虑到各种潜在的二次用途并使其具有扩展性是非常有意义的。这增加了数据的潜在价值。问题的关键是寻找“一份钱两份货”，即如果以某种方式收集的单一数据集有多种不同的用途，它就具有双重功能。

随着数据存储成本的大幅下降，企业拥有了更强的经济动机来保存数据，并再次用于相同或类似的用途。但是，其有效性是有限的。例如，像奈飞和亚马逊这类公司可以利用客户购买的产品、浏览的页面和评论来推荐新的产品，他们可能会年复一年、一遍又一遍地使用这些数据。考虑到这一点，人们可能会认为只要公司不被隐私保护法等法律法规所限制，就应该永远保存这些数字记录，或者至少在经济条件允许的情况下保存这些记录。然而，事实并非如此简单。

随着时间的推移，大多数数据都会失去一部分基本用途。在这种情况下，继续依赖于旧的数据不仅不能增加价值，实际上还会破坏新数据的价值。比如十年前你在亚马逊买了一本书，而现在你可能已经对它完全不感兴趣。如果亚马逊继续用这个数据来向你推荐其他书籍，你就不太可能购买带有这类标题的书籍，甚至会担心该网站之后的推荐是否合理。这些推荐的依据既有旧的过时的信息又有近期仍然有价值的数据，而旧数据的存在破坏了新数据的价值。

于是，亚马逊决定只使用仍有生产价值的数据，这就需要不断地更新数据库并淘汰无用信息。这时面临的挑战就是如何得知哪些数据不再有价值。仅仅依据时间来判断显然不够[即使只考虑因时间不同而造成新旧数据价值的不同，也不是一个容易的问题。2010年Koren在《ACM通讯》上题为“Collaborative Filtering with Temporal Dynamics”的文章向我们展示了这一单一特征亦足以巨大地影响推荐的效果。——译者注]，因此，亚马逊等公司建立了复杂的模型来帮助自己分离有用和无用的数据。例如，如果客户浏览或购买了一本基于以往购买记录而推荐的书，电子商务公司就认为这项旧的购买记录仍然代表着客户的喜好。这样，他们就能够评价旧数据的有用性，并使模型的“折旧率”更具体。

然而，并非所有的数据都会贬值。有些公司提倡尽可能长时间地保存数据，即使监管部门或公众要求它们短时间内删除或隐匿这些信息。这就解释了为什么一直以来，谷歌都拒绝将互联网协议地址从旧的搜索查询中完全删除（它只是在18个月后删除了最后四位数以隐匿搜索查询）。谷歌希望得到每年的同比数据，如假日购物搜索等。此外，通过了解搜索者的位置，可以帮助改善搜索结果的相关性。例如，很多纽约人都会搜索“火鸡”，但经常会搜索到与“火鸡”无关的关于“土耳其”的网页（英文中“火鸡”与“土耳其”同为turkey）。通过算法可以将他们想要查看的页面放在排名靠前的位置，来方便其他纽约人查找。即使数据用于基本用途的价值会减少，但潜在价值却依然强大。

大数据洞察

潜在价值的概念表明，组织机构应收集尽可能多的使用数据并保存尽可能长的时间。同时也应当与第三方分享数据，前提是要保留所谓的“延展性”权利（专利许可术语）。这样一来，由数据再利用而产生的任何商业价值，原始数据拥有者都能从中分到一杯羹。数据收集者和拥有者无法想象数据再利用的所有可能方式，这一点几乎是不言自明的。

数据再利用的方式可以很巧妙、很隐蔽。网络公司可以捕捉到用户在其网站上做的所有事情，然后将每个离散交互当作一个“信号”，作为网站个性化、提高服务或创建全新数字化产品的反馈。两个关于拼写检查的故事给我们提供了一个生动的解释。

大数据先锋

微软与谷歌的拼写检查

在过去的20多年中，微软为其Word软件开发出了一个强大的拼写检查程序，通过与频繁更新的字典正确拼写相比较来对用户键入的字符流进行判断。字典囊括了所有已知词汇，系统将拼写相似但字典中没有的词汇判断为拼写错误，并对其进行纠正。由于需要不断编译和更新字典，微软Word的拼写检查仅适用于最常用的语言，且每年需要花费数百万美元的创建和维护费用。

现在再来看看谷歌是怎么做的吧。可以说，谷歌拥有世界上最完整的拼写检查器，基本上涵盖了世界上的每一种语言。这个系统一直在不断地完善和增加新的词汇，这是人们每天使用搜索引擎的附加结果。你输错了iPad吗？不要紧，它在那儿呢；Obamacare是什么？哦，明白了。

而且，谷歌几乎是“免费”地获得了这种拼写检查，它依据的是其每天处理的30亿查询中输入搜索框中的错误拼写。一个巧妙的反馈循环可以将用户实际想输入的内容告知系统。当搜索结果页面的顶部显示“你要找的是不是：流行病学”时，用户可以通过点击正确的术语明确地“告诉”谷歌自己需要重新查询的内容。或者，直接在用户访问的页面上显示正确拼写的结果，因为它很可能与正确的拼写高度相关。（这实际上比看上去更有意义，因为随着谷歌拼写检查系统的不断完善，人们即使没有完全精确地输入查询内容也能够获得正确的查询结果。）

谷歌的拼写检查系统显示，那些“不合标准”、“不正确”或“有缺陷”的数据也是非常有用的。有趣的是，谷歌并不是第一个有这种拼写想法的公司。2000年左右，雅虎也看到了从用户输错的查询中创建拼写检查系统的可能性，但只是停留在了想法阶段，并未付诸实践。旧的搜索查询数据就这样被当成了垃圾对待。同样，Infoseek和Alta Vista这两个早期流行的搜索引擎，虽然在那个年代都拥有世界上最全面的错别字数据库，但他们未懂得欣赏其中的价值。在用户不可见的搜索过程中，他们的系统将错别字作为“相关词”进行了处理，但是它的依据是明确告诉系统对与错的字典，而不是鲜活的、有生命的用户交互的总和。

只有谷歌认识到了用户交互的碎屑实际上是金粉，收集在一起就能锻造成一块闪亮的金元宝。谷歌的一名顶级工程师估计，他们的拼写检查器性能比微软至少高出一个数量级（虽然他在采访时承认这并没有进行过可靠计算）。他还嘲笑了“免费”开发的想法——“虽然原材料拼写错误都是免费获得的，但谷歌在系统开发上的花费可能比微软要多得多。”他大笑着说。

这两家公司的不同做法很能说明问题。微软只看到了拼写检查作为文字处理这一个目的的价值，而谷歌却理解了其更深层次的价值。不仅利用错别字开发了世界上最好、最新式的拼写检查器来提高搜索质量，而且将其应用于许多其他服务中，如搜索的“自动完成”功能、Gmail、谷歌文档甚至翻译系统。

一个用来描述人们在网上留下的数字轨迹的艺术词汇出现了，这就是“数据废气”。它是用户在线交互的副产品，包括浏览了哪些页面、停留了多久、鼠标光标停留的位置、输入了什么信息等。许多公司因此对系统进行了设计，使自己能够得到数据废气并循环利用，以改善现有的服务或开发新服务。毋庸置疑，谷歌是这方面的领导者，它将不断地“从数据中学习”这个原则应用到许多服务中。用户执行的每一个动作都被认为是一个“信号”，谷歌对其进行分析并反馈给系统。

大数据先锋

谷歌，从大的“噪音”数据中受益

例如，谷歌敏锐地注意到，人们经常搜索某个词及其相关词，点击进入后却未能找到想要的信息，于是又返回到搜索页面继续搜索。它知道人们点击的是第1页的第8个链接还是第8页的第1个链接，或者是干脆放弃了所有搜索点击。谷歌不是第一个洞察到这一点的公司，但它利用这一点并取得了非凡的成果。

这些信息是非常有价值的。如果许多用户都点击搜索结果页底部的链接，就表明这个结果更加具有相关性，谷歌的排名算法就会自动地在随后的搜索中将它提到页面中比较靠前的位置（广告也是如此）。一位谷歌的员工说：“我们喜欢从大的‘噪音’数据集中吸取教训。”

数据废气是许多电脑化服务背后的机制，如语音识别、垃圾邮件过滤、翻译等。当用户指出语音识别程序误解了他们的意思时，他们实际上有效地“训练”了这个系统，让它变得更好。

很多企业都开始设计他们的系统，以这种方式收集和使用信息。在Facebook的早期，数据科学家们研究了数据废气的丰富信息，发现人们会采取某种行动（如回帖、点击图标等）的最重要的预测指标就是他们看到了周围的朋友也在这么做。紧接着，Facebook重新设计了它的系统，使每个用户的活动变得可见并广播出去，这为网站的良性循环做出了新的贡献。逐渐地，这个想法从互联网行业传播至可以收集用户反馈的任何公司。

大数据先锋

巴诺与NOOK快照

电子书阅读器捕捉了大量关于文学喜好和阅读人群的数据：读者阅读一页或一节需要多长时间，读者是略读还是直接放弃阅读，读者是否画线强调或者在空白处做了笔记，这些他们都会记录下来。这就将阅读这种长期被视为个人行为的动作转换成了一种共同经验。一旦聚集起来，数据废气可以用量化的方式向出版商和作者展示一些他们可能永远都不会知道的信息，如读者的好恶和阅读模式。这是十分具有商业价值的。电子图书出版公司可以将这些信息卖给出版商，从而帮助改进书籍的内容和结构。例如，巴诺通过分析Nook电子阅读器的数据了解到，人们往往会弃读长篇幅的非小说类书籍。公司从中受到启发，从而推出“Nook快照”，加入了一系列健康和时事等专题的短篇作品。

Udacity、Coursera和EDX等在线教育课程通过跟踪学生的Web交互来寻找最佳的教学方法。班级人数成千上万，产生的数据也十分惊人。教授们现在可以看到，如果大部分学生需要再看一遍课程内容，就可能表明某些地方他们还不太清楚。在斯坦福大学教授安德鲁·恩格（Andrew Ng）讲授的Coursera机器学习课堂上，他注意到约有2000名学生课外作业的答案是错误的，但错误答案居然是相同的。显然，他们都犯了相同的错误，那么是什么呢？

随着一点点的调查，他终于弄清楚了，他们把一个算法里的两个代数方程弄反了[据此猜测是指期望最大化算法，即Expectation Maximization Algorithm。——译者注]。所以如果现在还有其他学生犯同样错误的话，系统不会简单地告诉他们做错了，而是会提示他们去检查算法。这个系统也应用了大数据，通过分析学生看过的每个论坛帖子以及他们是否正确完成课外作业，来预测看过某个帖子之后的学生正确作答的概率，并由此来确定哪些论坛帖子最适合学生阅读。这些都是过去很难得知的，现在却永远地改变了教学方式。

数据废气可以成为公司的巨大竞争优势，也可能成为对手的强大进入壁垒。试想，如果一家新上市的公司设计了一个比当今行业领先者（如亚马逊、谷歌或Facebook等）更优秀的电子商务网站、社交网站或搜索引擎，它也难以同对手竞争，这不仅是因为其经济规模、网络效应或品牌价值不够好，而是因为这些公司收集了来自客户交互的数据废气并纳入到他们的服务中。一个新的在线教育网站有能力与一个已经具备庞大数据库并且由此知道什么最好的对手相抗衡吗？

如今，我们很可能认为谷歌和亚马逊等网站是大数据的先驱者，但事实上，政府才是大规模信息的原始采集者，并且还在与私营企业竞争他们所控制的大量数据。政府与私营企业数据持有人之间的主要区别就是，政府可以强迫人们为他们提供信息，而不必加以说服或支付报酬。因此，政府将继续收集和积累大量的数据。

大数据对于公共部门的适用性同对商业实体是一样的：大部分的数据价值都是潜在的，需要通过创新性的分析来释放。但是，由于政府在获取数据中所处的特殊地位，因此他们在数据使用上往往效率很低。最近有一个想法得到了公认，即提取政府数据价值最好的办法是允许私营部门和社会大众访问。这其实是基于一个原则：国家收集数据时代表的是其公民，因此它也理应提供一个让公民查看的入口，但少数可能会危害到国家安全或他人隐私权的情况除外。

这种想法让“开放政府数据”的倡议响彻全球。开放数据的倡导者主张，政府只是他们所收集信息的托管人，私营部门和社会对数据的利用会比政府更具有创新性。他们呼吁建立专门的官方机构来公布民用和商业数据；而且数据必须以标准的可机读形式展现，以方便人们处理。否则，信息的公开只会是徒有虚名。

2008年1月21日，奥巴马总统在就职的第一天发表了一份总统备忘录，命令美国联邦机构的负责人公布尽可能多的数据，这使开放政府数据的想法取得了极大的进展。“面对怀疑，公开优先。”他这样指示道。这真是一个了不起的声明，特别是与那些作出相反指令的前任们相比。奥巴马的指令促成了data.gov网站的建立，这是美国联邦政府的公开信息资料库。网站从2009年的47个数据集迅速发展起来，到2012年7月三周年时，数据集已达45万个左右，涵盖了172个机构。

即使是在严谨的英国[以往大量的政府信息都封锁在英国皇家版权（Crown Copyright）手中，使用起来非常困难和昂贵（比如在线地图公司用到的邮递区号）。——作者注]，现在也出现了实质性的转变。英国政府已经颁布相关规定鼓励信息公开，并支持创建由万维网的发明者蒂姆·伯纳斯（Tim Berners-Lee）参与指导的开放式数据中心，这一举措促进了开放数据的新用途并将数据从国家手中解放出来。

欧盟宣布开放数据的举措很快也会遍及整个欧洲。其他国家，如澳大利亚、巴西、智利等也相继出台并实施了开放数据策略。同时，世界各地越来越多的城市和地区也已经加入开放数据的热潮，一些国际组织也是如此，世界银行就公开了数百个之前被限制的关于经济和社会指标方面的数据集。

同时，各种Web开发人员和富有远见的思想家组成了数据团队来最大化开放数据价值，如美国的阳光基金会和英国的开放知识基金会。

大数据先锋

FlyOnTime的航班时间预测

开放数据早期的一个例子，来自美国一个叫FlyOnTime.us的网站。人们可以交互地（从许多其他相互关系中）判断恶劣天气使某一特定机场的航班延迟的可能性有多大。该网站结合了航班信息和互联网免费提供的官方天气预报。它是由开放数据的倡导者开发的，由此来说明美国联邦政府所积累信息的实际使用价值。不仅数据是免费提供的，而且软件代码也是开放源代码，可供人们学习和再次利用。

FlyOnTime.us让数据说话，并且经常语出惊人。人们可以看到，从波士顿到纽约拉瓜迪亚机场的航班因大雾延迟的时间是因雪延迟的两倍。当人们在候机室逗留时，大部分人可能都料想不到这一点，因为他们通常认为雪才是使航班延迟更重要的原因。正是大数据给了人们这种洞察力，只要将交通运输局的历史航班延误数据和美国联邦航空管理局的机场信息，以及美国国家海洋和大气管理局的以往天气报告和国家气象服务的实时状态结合起来，就能揭示这一切。FlyOnTime.us充分体现了一个不收集或控制信息的实体单位是如何像搜索引擎或大零售商一样，能够获取数据并利用其创造价值。

无论是向公众开放还是将其锁在公司的保险库中，数据的价值都难以衡量。来看看2012年5月18日星期五发生的事吧。这一天，28岁的Facebook创始人马克·扎克伯格（Mark Zuckerberg）在位于美国加利福尼亚州门洛帕克市的公司总部，象征性地敲响了纳斯达克的开盘钟。这家宣称全球约每十人中就有一人是其用户的全球最大社交网络公司，开启了其作为上市公司的征程。

和很多新科技股的第一个上市交易日一样，公司股价立即上涨了11%，翻倍增长甚至已经近在眼前。然而就在这一天，怪事发生了。Facebook的股价开始下跌，期间纳斯达克的电脑因出现技术故障曾暂停交易，但仍然于事无补，情况甚至更加恶化。感到异常的股票承销商在摩根士丹利的带领下，不得不支撑股价，最终以略高于发行价收盘。

上市的前一晚，银行对Facebook的定价是每股38美元，总估值1040亿美元（也就是说，大约是波音公司、通用汽车和戴尔电脑的市值之和）。那么事实上Facebook价值多少呢？在2011年供投资者评估公司的审核账目中，Facebook公布的资产为66亿美元，包括计算机硬件、专利和其他实物价值。那么Facebook公司数据库中存储的大量信息，其账面价值是多少呢？零。它根本没有被计入其中，尽管除了数据，Facebook几乎一文不值。

这令人匪夷所思。加特纳市场研究公司（Gartner）的副总裁道格·莱尼（Doug Laney）研究了Facebook在IPO前一段时间内的数据，估算出Facebook在2009年至2011年间收集了2.1万亿条“获利信息”，比如用户的“喜好”、发布的信息和评论等。与其IPO估值相比，这意味着每条信息（将其视为一个离散数据点）都有约4美分的价值。也就是说，每一个Facebook用户的价值约为100美元，因为他们是Facebook所收集信息的提供者。

那么，如何解释Facebook根据会计准则计算出的价值（约63亿美元）和最初的市场估值（1040亿美元）之间会产生如此巨大的差距呢？目前还没有很好的方法能解释这一点。然而人们普遍开始认为，通过查看公司“账面价值”（大部分是有形资产的价值）来确定企业价值的方法，已经不能充分反映公司的真正价值。事实上，账面价值与“市场价值”（即公司被买断时在股票市场上所获的价值）之间的差距在这几十年中一直在不断地扩大。美国参议院甚至在2000年举行了关于将现行财务报告模式现代化的听证会。现行的财务报告模式始于20世纪30年代，当时信息类的企业几乎不存在。现行财务报表模式与现状的差异不仅会影响公司的资产负债表，如果不能正确评估企业的价值，还可能会给企业带来经营风险和市场波动。

公司账面价值和市场价值之间的差额被记为“无形资产”。20世纪80年代中期，无形资产在美国上市公司市值中约占40%，而在2002年，这一数字已经增长为75%。无形资产早期仅包含品牌、人才和战略这些应计入正规金融会计制度的非有形资产部分。但渐渐地，公司所持有和使用的数据也渐渐纳入了无形资产的范畴。

最终，这意味着目前还找不到一个有效的方法来计算数据的价值。Facebook开盘当天，其正规金融资产与其未记录的无形资产之间相差了近1000亿美元，差距几乎是20倍！太可笑了。但是，随着企业找到在资产负债表上记录数据资产价值的方法，这样的差距有一天也必将消除。

人们正在朝着这个方向前进。在美国最大的无线运营商之一工作的一位高级管理人员透露说，数据持有人在认识到数据的巨大价值之后会研究是否在正式的会计条款中将其作为企业的资产。但是，一旦公司的律师得知此事，便会加以阻止。因为把数据计入账面价值可能会使该公司承担法律责任，律师们并不认为这是一个好主意。

同时，投资者也开始注意到数据的潜在价值。拥有数据或能够轻松收集数据的公司，其股价会上涨；而其他不太幸运的公司，就只能眼看着自己的市值缩水。因为这种状况，数据并不要求其价值正式显示在资产负债表中。尽管做起来有困难，市场和投资者还是会给这些无形资产估价，所以Facebook的股价在最初的几个月中一直摇摆不定。但随着会计窘境和责任问题得到缓解，几乎可以肯定数据的价值将显示在企业的资产负债表上，成为一个新的资产类别。

那么，如何给数据估值呢？诚然，计算价值不再是将其基本用途简单地加总。但是如果数据的大部分价值都是潜在的，需要从未知的二次利用提取，那么人们目前尚不清楚应该如何估算它。这个难度类似于在20世纪70年代布莱克-舒尔斯期权定价理论出现前金融衍生品的定价。它也类似于为专利估值，因为随着各种拍卖、交流、私人销售、许可和大量诉讼的出现，一个知识市场正在逐渐兴起。如果不出意外，给数据的潜在价值贴上价格标签会给金融部门带来无限商机。

一个办法是从数据持有人在价值提取上所采取的不同策略入手，最常见的一种可能性就是将数据授权给第三方。在大数据时代，数据持有人倾向于从被提取的数据价值中抽取一定比例作为报酬支付，而不是敲定一个固定的数额。这有点类似于出版商从书籍、音乐或电影的获利中抽取一定比例，作为支付给作者和表演者的特许权使用费；也类似于生物技术行业的知识产权交易，许可人要求从基于他们技术成果的所有后续发明中抽取一定比例的技术使用费。这样一来，各方都会努力使数据再利用的价值达到最大。然而，由于被许可人可能无法提取数据全部的潜在价值，因此数据持有人可能还会同时向其他方授权使用其数据，两边下注以避免损失。因而，“数据滥交”可能会成为一种常态。

一些试图给数据定价的市场如雨后春笋般出现。2008年在冰岛成立的DataMarket向人们提供其他机构（如联合国、世界银行和欧盟统计局等）的免费数据集，靠倒卖商业供应商（如市场研究公司）的数据来获利。另一家新创办的公司InfoChimps，其总部设在得克萨斯州奥斯汀市，希望成为一个信息中间人，供第三方以免费或付费的方式共享他们的数据。就像易趣给人们提供了一个出售家中搁置不用的物品的平台一样，这些科技创业公司想为任何手中拥有数据的人提供一个出售数据的平台。例如，Import.io鼓励公司授权别人使用自己手中的数据，不然别人也可以从网上免费收集到这些数据。谷歌的前员工吉尔·埃尔巴兹（Gil Elbaz）创办的Factual收集数据，然后制成数据库供需要者使用。

微软也带着它的Windows Azure DataMarket登上了历史舞台。它的目标是专注高质量的数据和监督所提供的产品，其方式和苹果公司监督其应用程序商店中的产品类似。微软假设，一位销售主管在准备Excel表格时可能还需要做一份公司内部数据和来自经济顾问的GDP增长预测的交叉表，那么她只要点击想要购买的数据，后者将瞬间出现在她的电脑屏幕上。

到目前为止，没有人知道估值模型将发挥出怎样的作用。但可以肯定的是，经济正渐渐开始围绕数据形成，很多新玩家可以从中受益，而一些资深玩家则可能会找到令人惊讶的新生机。用硅谷技术专家和科技出版社员工蒂姆·奥莱利（Tim O＆apos；Reilly）的话来说就是，“数据是一个平台”，因为数据是新产品和新商业模式的基石。

大数据洞察

数据价值的关键是看似无限的再利用，即它的潜在价值。收集信息固然至关重要，但还远远不够，因为大部分的数据价值在于它的使用，而不是占有本身。

下一章，我们将考察数据的实际运用和日益崛起的大数据行业。