大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今的信息技术变革的重点在“T”（技术）上，而不是在“I”（信息）上。现在，我们是时候把聚关灯打向“I”，开始关注信息本身了。

【大数据先锋】

日本先进工业技术研究所的坐姿研究与汽车防盗系统

谷歌的数字图书馆

多效地理定位与UPS的最佳行车路径

Foursquare，让用户在最喜爱的地方“check in”

用手机数据预测疾病传播和城市繁荣

英国对冲基金公司，用微博数据预测股市投资时机

睡眠活动数据库与睡眠模式预测

GPS感应器，判断环境因素对哮喘病的影响

马修·方丹·莫里（Matthew Fontaine Maury）是一位很有前途的美国海军军官。1839年，在他前往双桅船“合奏号”（Consort）接受一个新任务时，他乘坐的马车突然滑出了车道，瞬间倾倒，把他抛到了空中。他重重地摔到了地上，大腿骨粉碎性骨折，膝盖也脱臼了。当地的医生帮他复位了膝盖关节，但大腿受伤过重，几天后还需要重新手术。直到33岁，他的伤才基本痊愈，但是受伤的腿却留下了残疾，变得有点儿跛，再也无法在海上工作。经过近三年的休养，美国海军把他安排进了办公室，并任命他为图表和仪器厂的负责人。

谁也想不到，这里竟成了他的福地。作为一位年轻的航海家，莫里曾经对船只在水上绕弯儿不走直线而感到十分不解。当他向船长们问及这个问题时，他们回答说，走熟悉的路线比冒险走一条不熟悉而且可能充满危险的路线要好得多。他们认为，海洋是一个不可预知的世界，人随时都可能被意想不到的风浪困住。

但是从他的航行经验来看，莫里知道这并不完全正确。他经历过各种各样的风暴。一次，他听到来自智利瓦尔帕莱索扩展港口的预警，亲眼目睹了当时刮成圆形的风就像钟表一样；但在下午晚些或日落的时候，大风突然结束，静下来变成一阵微风，仿佛有人关了风的开关一样。在另一次远航中，他穿过墨西哥蓝色海域的暖流，感觉就像在大西洋黑黢黢的水墙之间穿行，又好像在密西西比河静止不动的河面上挺进。

当莫里还是一个海军军官学校的学生时，他每次到达一个新的港口，总会向老船长学习经验知识，这些经验知识是代代相传下来的。他从这些老船长那里学到了潮汐、风和洋流的知识，这些都是在军队发的书籍和地图中无法学到的。相反，海军依赖于陈旧的图表，有的都使用了上百年，其中的大部分还有很重大的遗漏和离谱的错误。在他新上任为图表和仪器厂负责人时，他的目标就是解决这些问题。

他清点了库房里的气压计、指南针、六分仪和天文钟。他发现，库房里存放着许多航海书籍、地图和图表；还有塞满了旧日志的发霉木箱，这些都是以前的海军上尉写的航海日志。刚开始的时候，他觉得这些都是垃圾，但当他拍掉被海水浸泡过的书籍上的灰尘，凝视着里面的内容时，莫里突然变得非常激动。

这里有他所需要的信息，例如对特定日期、特定地点的风、水和天气情况的记录。大部分信息都非常有价值。莫里意识到，如果把它们整理到一起，将有可能呈现出一张全新的航海图。这些日志是无章可循的；页面边上尽是奇怪的打油诗和乱七八糟的信手涂鸦，与其说它们是对航海行程的记录，还不如说它们是船员在航海途中无聊的娱乐而已。尽管如此，仍然可以从中提取出有用的数据。莫里和他的20台“计算机”——那些进行数据处理的人，一起把这些破损的航海日志里记录的信息绘制成了表格，这是一项非常繁重的工作。

莫里整合了数据之后，把整个大西洋按经纬度划分成了五块，并按月份标出了温度、风速和风向，因为根据时间的不同这些数据也有所不同。整合之后，这些数据显示出了有价值的模式，也提供了更有效的航海路线。

有经验的海员有时依靠经验能安全航海，但有时也会陷入危险之中。在从纽约到里约热内卢这条繁忙的航线上，水手们往往倾向于与自然斗争而不是顺应自然。美国船长一直被劝导前往里约热内卢不能通过海峡，因为那样存在很大风险，所以船长会选择在东南方向的航线上航行，再穿过赤道驶向西南方向。而这样一来，航行的距离就相当于穿越大西洋两次。这是很荒谬的，其实直接沿着海峡向南航行就可以了。

为了提高精确度，莫里需要更多的信息，因此他创建了一个标准的表格来记录航海数据，并且要求美国所有的海军舰艇在海上使用，返航后再提交表格。商船也拼命地想得到他的图表，莫里就要求以他们的航海日志作为回报（病毒型社交网络[一种在线社交网络，其典型营销方式是，一旦你加入了，系统会自动从你注册或关联的邮箱中找到联系人，并发信邀请他们加入。很多读者应该都收到过LinkedIn的邀请信，就是一个典型的例子。——译者注]的早期版本）。他宣称：“每艘航行在公海上的船舶从此以后都可以被视为一个浮动的天文台，一个科学的殿堂。”为了改进和完善图表，他需要寻求更多的数据（正如谷歌利用网页排名来获得更多的数据）。莫里让船长定期向海里扔掷标有日期、位置、风向以及当时洋流情况的瓶子，然后再来寻找这些瓶子。许多船挂了一面特殊的旗帜，表明它参与了这个信息交流计划。这些旗帜就是出现在一些网站上的友情链接的前身。

通过分析这些数据，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的图表帮助商人们节省了一大笔钱，因为航海路程减少了三分之一左右。一个船长感激地说：“我在得到你的图表之前都是在盲目地航行，你的图表真的指引了我。”有一些顽固的人拒绝使用这个新制的图表，而当他们因为使用旧方法航行到半路出了事故或者花费的航行时间长很多的时候，他们反而帮助证明了莫里系统的实用性。

1855年，莫里的权威著作《关于海洋的物理地理学》（The Physical Geography of the Sea）出版，当时他已经绘制了120万数据点了。莫里写道，在这些图表的帮助下，年轻的海员们不用再亲自去探索和总结经验，而能够通过这些图表立即得到来自成千上万名经验丰富的航海家的指导。

他的工作为第一根跨大西洋电报电缆的铺设奠定了基础。同时，在公海上发生了一次灾难性的碰撞事件之后，他马上修改了他的航线分析系统，这个修改后的系统一直沿用至今。他的方法甚至应用到了天文学领域，1846年当海王星被发现的时候，莫里有了一个好点子，那就是把错把海王星当成一颗恒星时的数据都汇集起来，这样就可以画出海王星的运行轨迹了。

这个土生土长的弗吉尼亚人在美国历史上并不受关注，这也许是因为他在美国内战期间不再为海军效力，而是摇身一变成为了美国联邦政府在英国的间谍。但是多年前，当他前去到欧洲为他绘制的图表寻求国际支持的时候，四个国家授予了他爵士爵位，包括梵蒂冈在内的其他八个国家还颁给了他金牌。即使到今天，美国海军颁布的导航图上仍然有他的名字。

庞大的数据库有着小数据库所没有的价值，莫里中校是最早发现这一点的人之一。大数据的核心就是挖掘出庞大的数据库独有的价值。更重要的是，他深知只要相关信息能够提取和绘制出来，这些脏乱的航海日志就可以变成有用的数据。通过这样的方式，他重复利用了别人眼里完全没有意义的数据信息。从这个意义上讲，莫里就是数据化的先驱。就像奥伦·埃齐奥尼对Farecast所做的事情一样，用航空业过去的价格信息催生了一个大有赚头的新公司；也像谷歌的工程师所做的一样，通过过去的检索记录预测到了流感的爆发；而莫里则是发挥出了单纯用于记录航行位置的数据的其他用途。

虽然与今天的大数据技术大体类似，但是一想到他是通过人工一笔一画完成的图表绘制，就让人不禁感到惊叹。这说明在远在信息数字化之前，对数据的运用就已经开始了。如今我们经常把“数字化”和“数据化”这两个概念搞混，但是对这两个概念的区分实际上非常重要。我们来看一个更加现代的例子，帮助我们理解数据其实可以从看上去最不可能的东西中提取出来。

大数据先锋

日本先进工业技术研究所的坐姿研究与汽车防盗系统

日本先进工业技术研究所（Japan's Advanced Institute of Industrial Technology）的教授越水重臣（Shigeomi Koshimizu）所做的研究就是关于一个人的坐姿。很少有人会认为一个人的坐姿能表现什么信息，但是它真的可以。当一个人坐着的时候，他的身形、姿势和重量分布都可以量化和数据化。越水重臣和他的工程师团队通过在汽车座椅下部安装总共360个压力传感器以测量人对椅子施加压力的方式。把人体屁股特征转化成了数据，并且用从0~256这个数值范围对其进行量化，这样就会产生独属于每个乘坐者的精确数据资料。

在这个实验中，这个系统能根据人体对座位的压力差异识别出乘坐者的身份，准确率高达98%。

这个研究并不愚蠢。这项技术可以作为汽车防盗系统安装在汽车上。有了这个系统之后，汽车就能识别出驾驶者是不是车主；如果不是，系统就会要求司机输入密码；如果司机无法准确输入密码，汽车就会自动熄火。把一个人的坐姿转化成数据后，这些数据就孕育出了一些切实可行的服务和一个前景光明的产业。比方说，通过汇集这些数据，我们可以利用事故发生之前的姿势变化情况，分析出坐姿和行驶安全之间的关系。这个系统同样可以在司机疲劳驾驶的时候发出警示或者自动刹车。同时，这个系统不但可以发现车辆被盗，而且可以通过收集到的数据识别出盗贼的身份。

越水重臣教授把一个从不被认为是数据、甚至不被认为和数据沾边的事物转化成了可以用数值来量化的数据模式。同样，莫里中校从看上去没什么用处的事物中提取出了信息，转化成了极其有用的数据。这样创新性的应用创造出了这些信息独特的价值。

“数据”（data）这个词在拉丁文里是“已知”的意思，也可以理解为“事实”。这是欧几里得的一部经典著作的标题，这本书用已知的或者可由已知推导的知识来解释几何学。如今，数据代表着对某件事物的描述，数据可以记录、分析和重组它。我们还没有合适的词用来形容莫里和越水重臣教授所做的这些转变，所以我们姑且称其为“数据化”吧——这是指一种把现象转变为可制表分析的量化形式的过程。

数据化和数字化大相径庭。数字化指的是把模拟数据转换成用0和1表示的二进制码，这样电脑就可以处理这些数据了。数字化并不是计算机改革的开始，最初的计算机革命是计算能力的飞跃。我们通过计算机计算过去需要耗费很长时间的项目，比方说导弹弹道表、人口普查结果和天气预报。直到后来才出现了模拟数据和数字化。所以1995年，当美国麻省理工学院媒体实验室的尼古拉斯·尼葛洛庞帝（Nicholas Negroponte）发表他的标志性著作《数字化生存》（Being Digital）的时候，他的主题就是“从原子到比特”。20世纪90年代，我们主要对文本进行数字化。随着过去的几十年里存储能力、处理能力和带宽的提高，我们也能对图像、视频和音乐等类似的内容执行这种转化了。

大数据洞察

今天，技术专家都默认大数据的发展和计算机的变革是同步的。但事实并不是这样的。毫无疑问，是现代信息系统让大数据成为了可能，但是大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”（信息）上。现在，我们是时候把聚光灯打向“I”，开始关注信息本身了。

为了得到可量化的信息，我们要知道如何计量；为了数据化量化了的信息，我们要知道怎么记录计量的结果。这需要我们拥有正确的工具。计量和记录的需求也是数据化的前提，而我们在数字化时代来临的几个世纪前就已经奠定好了数据化的基础。

记录信息的能力是原始社会和先进社会的分界线之一。早期文明最古老的抽象工具就是基础的计算以及长度和重量的计量。公元前3000年，信息记录在印度河流域、埃及和美索不达米亚平原地区就有了很大的发展，而日常的计量方法也大有改善。美索不达米亚平原上书写的发展促使了一种记录生产和交易的精确方法的产生，这让早期文明能够计量并记载事实情况，并且为日后所用。计量和记录一起促成了数据的诞生，它们是数据化最早的根基。

计量和记录能够再现人类活动。比如通过记录建筑物的建筑方式和原材料，我们就能再建同样的建筑，或进行实验性的操作，比如通过改变一些方式保存其他部分而建造出新的建筑物，然后再记录这些新建筑物。交易情况一旦得到记录，我们就可以知道一块地丰收时稻谷的产量是多少、需要上缴多少政府税收。计量和记录为预测和计划奠定了基础，虽然这建立在假定明年的收成和今年一样的基础上。有了记录，交易双方才会知道他们赊账的情况，而如果没有这些凭证的支持，欠债的一方则完全可以不用还钱。

几百年来，计量从长度和重量不断扩展到了面积、体积和时间。公元前的最后一个千年，西方的计量方法已经基本准备就绪，但是还是有着比较严重的缺陷。早期文明的计量方法不太适合计算，哪怕是比较简单的计算。比如罗马数字的计算系统就不适合数字计算，因为它没有一个以10为底的记数制或者说是十进制，所以大数目的乘除就算是专家都不知道该怎么算，而简单的乘除对一般人来说也不容易。

大约公元1世纪的时候，印度发明了一种自己的数字系统。它传播到了波斯，并在那里得到改善，而后传入阿拉伯国家，得到了极大的改进。这也就是今天使用的阿拉伯数字的前身。十字军东征给当地人民带来了彻头彻尾的灾难，但同时也把西欧文明带到了地中海东部，而其中最重要的引入就是阿拉伯数字。公元1000年，教皇西尔维斯特二世开始倡导使用阿拉伯数字。12世纪，介绍阿拉伯数字的书籍被翻译成拉丁文，传播到了整个欧洲地区。这也就开启了算术的腾飞。

早在阿拉伯数字传播到欧洲之前，计数板的使用就已经改善了算术。计数板就是在光滑的托盘上放上代币来表示数量，人们通过移动代币到某个区域进行加减。但是，这种计数板有着严重的缺陷，即过大和过小的计算无法同时进行。最主要的缺陷还在于，这些计数板上的数字变化很快，不小心的碰撞或者是摆错一位都会导致完全错误的结果。而且，即便计数板勉强可以进行计算，它也不适合用来记录。因为一旦需要将数字记录在计数板以外的地方，就必须把计数板上的数字转化成罗马数字，这可就费时费力了。[欧洲人没有接触过东方的算盘，后来证明这是很有利的，因为算盘可能会加剧罗马数字在西方的盛行。——作者注]

算术赋予了数据新的意义，因为它现在不但可以被记录还可以被分析和再利用。阿拉伯数字从12世纪开始在欧洲出现，而直到16世纪晚期才被广泛采用。到16世纪的时候，数学家们大肆鼓吹他们使用阿拉伯数字计算能比使用计数板快6倍。但最终让阿拉伯数字广为采用的还是复式记账法[所谓复式记账法，是指以资产与权益平衡关系作为记账基础，对于每一项经济业务，都要在两个或两个以上的账户中相互联系进行登记，系统地反映资金运动变化结果的一种记账方法。复式记账的理论依据是会计基本等式，即“资产=负债+所有者权益”。——译者注]的出现，它也是数据化的一种工具。

公元前3000年，会计手稿就出现了。但是，记账法在接下来的几百年里发展缓慢，基本上一直保持在记录某地的某个特定交易的阶段。记账人和他的雇主最关心的就是判断某个账户或者自己所从事的行业是否赚钱，而这正是当时的记账手法无法轻易做到的事情。到了14世纪，随着意大利的会计们开始使用两个账本记录交易明细，这种尴尬的境地开始发生改变。这种记账法的优势在于，人们只需要将借贷相加，就可进行制表并得知每个账户的盈亏情况。如此，数据骤然发声了，虽然仅限于读出盈亏情况。

如今，复式记账法通常被看成是会计业和金融业不断发展的成果。事实上，在数据利用的推进过程中，它也是一个里程碑似的存在。它的出现实现了相关账户信息的“分门别类”记录。它建立在一系列记录数据的规则之上，也是最早的信息记录标准化的例子，使得会计们能够读懂彼此的账本。复式记账法可以使查询每个账户的盈亏情况变得简单容易。它会提供交易的记账线索，这样就更容易找到需要的数据。它的设计理念中包含了“纠错”的思想，这也是今天的技术人才们应该学习的。如果一个账本看着不对劲，我们可以查询另一个相对应的账本。

但是，和阿拉伯数字一样，复式记账法也没有立即取得成功。直到200年之后，一个数学家和一个商业家族才让它大受欢迎，他们也改变了数据化的历史。

这个数学家就是方济各会的修士路萨·帕西奥利（Luca Pacioli）。1494年，他出版了一本为普通读者和商人所写的数学教材。这本书大获成功，成为盛行一时的数学教科书。这是第一本全书都使用阿拉伯数字的书籍，因此也促进了阿拉伯数字在欧洲的传播。当然，这本书最大的贡献在于它对复式记账法的详尽论述。接下来的几十年间，这个论述复式记账法的部分被分别译成了6种语言，并且成为几个世纪的通用范本。

而所谓的一个商业家族，就是指美第齐家族——威尼斯商人和艺术资助人。16世纪，这个家族能成为欧洲最有影响力的银行家族，很大一部分要归功于他们使用的一种高级数据记录方法——复式记账法。帕西奥利的著作和美第齐家族的成功奠定了复式记账法成为标准数据记录法的基础，也奠定了阿拉伯数字在此之后不可取代的地位。

伴随着数据记录的发展，人类探索世界的想法一直在膨胀，我们渴望能更精准地记录时间、距离、地点、体积和重量，等等。到了19世纪，随着科学家们发明了新工具来测量和记录电流、气压、温度、声频之类的自然科学现象，科学已经离不开定量化了。那是一个一切事物都需要被测量、划分和记录的时代，人们理解自然的热情甚至高涨到通过分析测量人的颅骨来试图分析人的心智能力。好在，对颅相学这类伪科学的热情最终淡去了，但是人类对于量化一切的热情却始终没有减退。

新工具和开放的思维促进了测量事物和记录数据的繁荣，而现代数据化就诞生于这片沃土之中。数据化的基础已经奠定完好，只是在模拟时代这依然是费时费力的。有时候似乎需要无穷无尽的激情和耐心，或者说，起码也要有奉献一生的准备，比如16世纪的第谷·布拉赫（Tycho Brahe）就夜夜细心观察天体运动。数据化在模拟时代成功的例子并不多，因为这需要很好的运气——一大串的偶然巧妙地结合在一起。中校莫里就很幸运，他因伤坐进了办公室，但是却在那里发现了珍贵的航海日志，可不是每个人都能这么幸运的。然而，数据化的实现有一点必不可少，那就是要从潜在的数据中挖掘出巨大的价值，然后揭示出新的深刻洞见。

计算机的出现带来了数字测量和存储设备，这样就大大提高了数据化的效率。计算机也使得通过数学分析挖掘出数据更大的价值变成了可能。简而言之，数字化带来了数据化，但是数字化无法取代数据化。数字化是把模拟数据变成计算机可读的数据，和数据化有本质上的不同。

数字化和数据化的差异是什么？回答这个问题很容易，我们来看一个两者同时存在并且起作用的领域就可以理解了，这个领域就是书籍。2004年，谷歌发布了一个野心勃勃的计划：它试图把所有版权条例允许的书本内容进行数字化，让世界上所有的人都能通过网络免费阅读这些书籍。为了完成这个伟大的计划，谷歌与全球最大和最著名的图书馆进行了合作，并且还发明了一个能自动翻页的扫描仪，这样对上百万书籍的扫描工作才切实可行且不至于太过昂贵。

刚开始，谷歌所做的是数字化文本，每一页都被扫描然后存入谷歌服务器的一个高分辨率数字图像文件中。书本上的内容变成了网络上的数字文本，所以任何地方的任何人都可以方便地进行查阅了。然而，这还是需要用户要么知道自己要找的内容在哪本书上，要么必须在浩瀚的内容中寻觅自己需要的片段。因为这些数字文本没有被数据化，所以它们不能通过搜索词被查找到，也不能被分析。谷歌所拥有的只是一些图像，这些图像只有依靠人的阅读才能转化为有用的信息。

虽然这是一个现代的、数字化的亚历山大图书馆，比历史上任何一个图书馆都要强大，但谷歌依然希望它能做得更多。谷歌知道，这些信息只有被数据化，它的巨大潜在价值才会被释放出来。因此谷歌使用了能识别数字图像的光学字符识别软件来识别文本的字、词、句和段落，如此一来，书页的数字化图像就转化成了数据化文本。

如今，不仅人类可以使用这些文本信息，计算机也可以处理和分析这些文本数据了。通过检索和查询，我们可以对它进行无穷无尽的文本分析；也可以揭示一个词以及词组第一次出现的时间及其成为流行词的时间，据此发现几百年来人类思维发展和思想传播的轨迹。这种分析支持好几种语言。

大数据先锋

谷歌的数字图书馆

你可以自己试一试。输入网址http：//books.google.com/ngrams，打开Google Ngram Viewer，它利用谷歌所拥有的所有图书作为数据资源，为你提供单词和短语历年使用次数的展示图表。眨眼之间，我们就能发现“causality”（因果关系）这个词在1900年之前的使用频率比“correlation”（相关关系）高；而在1900年之后，情况就与之前相反了。对于作者存在争议的书籍，我们自己也可以进行作品风格鉴定。数据化的实现让抄袭学术作品的行为越来越无处藏身，因此，很多欧洲政客（包括一名德国国防部长）的抄袭行为被曝光，最终不得不引咎辞职。

15世纪中叶，人类发明了印刷机，在这之后大约出版了1.3亿册图书。到2010年为止，也就是谷歌的数字化图书计划实行7年之后，大约有2000万图书被扫描成了数字图书，这几乎相当于人类所有书写文明的15%，这是多么惊人的数字！这诱发了一个新的学术方向——文化组学[文化组学英文叫做culturomics，是“文化”和“基因组学”两个词的合并。本书中提到的哈佛研究组是文化组学最早的倡导者，其核心人员艾略兹·利波曼·埃顿（Erez Lieberman Aiden）以前是研究基因组学的。——译者注]。“文化组学”是一个计算机专业词汇，指的就是通过文本的定量分析来揭示人类行为和文化发展的趋势。

在一项研究中，哈佛大学的研究员们对几百万册书籍和超过5000亿个单词进行了深入研究，发现这些书中出现过的单词有一半以上在字典中是无法找到的[出现一次是出现，出现一亿次也是出现。虽然有一半以上的词都是新词怪词，但这些词语出现的频率很低，很多就只出现一两次，而“the”这个单词就出现了数百亿次。所以说，绝大部分单词还是我们认识的。——译者注]。他们写道，这些因为不够规范而没有录入正规词典中的词汇如此之多，是一个巨大的宝藏。通过系统分析人们如何提及纳粹德国时期的犹太画家马克·夏加尔（Marc Chagall）[由于是犹太人，他的很多作品都被查封了。——作者注]，他们发现对于思想或是个人的审查和压制会留下“可量化的痕迹”。词语就像是藏于书中而非沉积岩中的化石；信奉“文化组学”的人可以像考古学家一般，挖掘它们所蕴藏的财富。当然，这可能会导致一些可能的偏差，比如图书馆的书籍是不是真实地反映了现实呢？还是反映的只是作者和图书管理员看到的世界？尽管如此，“文化组学”还是会为人们带来很多惊喜的发现。

当文字变成数据，它就大显神通了——人可以用之阅读，机器也可用之分析。但是作为典型的大数据公司，谷歌自然知道收集信息并进行数据化的价值，因为这些数据有非常多的潜在用途。所以，谷歌精明地利用这些数据化了的文本来改进它的机器翻译服务。就像第3章介绍过的一样，这个系统会自动扫描译本，然后找出译语的单词和词组在源语中的对应词和词组是什么。一旦得到答案，系统就可以把翻译看成是一个简单的数学问题，只需要用电脑找出两种语言之间最恰当的对等词和词组。

当然，谷歌并不是第一个梦想在计算机时代唤醒书写文明所蕴含的财富的公司，它也不是第一个吃螃蟹的人。1971年，一个志愿者提出倡议把公共领域的书籍放上网络，制成电子书，方便更多的人阅读，这就是古登堡计划（Project Gutenburg）。这是非常有意义的，但是这个计划没有把书籍数据化，也没有开发出书籍的其他功能；它关注的是阅读，而不是扩充书籍用途。同样地，出版社多年来也一直致力于电子书领域的开发，但是他们都只是把书籍内容作为核心价值，而没有把书籍看作一种数据并纳入自己的商业模式中。因此，他们没有做到把书籍的数据价值挖掘出来，也不允许别人这样做。他们没有看到数据化的需求，也意识不到书籍的数据化潜力。

现在很多公司都在电子书领域激烈地竞争着，亚马逊连同它的Kindle电子书就是这个领域的先驱者。同样在这里，亚马逊和谷歌的发展策略差异显而易见。

亚马逊拥有数据化的书籍，却不曾挖掘书籍数据化之后的附加价值。该公司创始人兼执行总裁贝索斯说服了上百家出版社在Kindle上发布它们的图书，所以Kindle的图书并不是数字图像，人们可以更改字体大小和用黑白以及彩色两种方式看书。这些书籍是数据化了的，不只是数字化。事实上，亚马逊把上百万的新书都数据化了，而谷歌却在费力地数据化很多旧版本的数据。然而，亚马逊把它的眼光聚焦于用来阅读的书籍内容上，而不是分析数据化文本上。当然，有可能它面对了来自传统出版社的压力，后者可能限制了书籍内容的使用方法，毕竟版权在人家手中。谷歌，作为一个喜欢跨界的叛逆的大数据公司，就没有这样的压力了，毕竟谷歌的资源来源于用户点击，而不关出版社什么事。至少现在，可以不失公允地说，亚马逊深谙数字化内容的意义，而谷歌触及了数据化内容的价值。

地球本身构成了世界上最基础的信息。但是，历史上它几乎从来没有被量化和数据化过。其实，人和事物的地理定位自然是信息的组成部分，不然我们如何能够吟唱“所谓伊人，在水一方”，但是，这些信息需要转变为数据。

大数据洞察

对地理位置的数据化需要满足一些前提条件。我们需要能精确地测量地球上的每一块地方；我们需要一套标准的标记体系；我们需要收集和记录数据的工具。简而言之，就是地理范围、标准、工具或者说量化、标准化、收集。只有具备了这些，我们才能把位置信息当成数据来存储和分析。

在西方，对位置信息的量化起源于希腊。公元前200年，埃拉托色尼发明了用格网线来划分区域的系统，类似于经纬度法。但是，如同很多古代的好想法一样，它也在历史长河中被慢慢遗忘了。大约1500年之后，也就是公元1400年，托勒密著成的《地理学》（Geographia）的复印本从君士坦丁堡传到了佛罗伦萨，那正是文艺复兴和贸易船点燃了对科学和古典知识的热情的时候。著作轰动一时，而书中提到的系统现在仍被用来解决航海导航的难题。从那以后，地图上标上了经纬度和比例尺。这套系统在1570年得到了佛兰德制图师墨卡托的改善，至此海员们就能利用它画出笔直的航线了。

虽然那时就出现了记录地理方位的方法，但却缺乏广为认可的标记标准，使得信息共享依然难以实现。人们急需一套标准的标记系统，就像互联网需要有域名才能正常运行一样。经纬度的标准化是一个漫长的过程。直到1884年，在美国华盛顿召开的国际子午线会议上，25个与会国家中的24个国家一致同意将英格兰格林尼治定为本初子午线和零度经线所穿过的地方（只有自命不凡的法国投了弃权票）。20世纪40年代，墨卡托方位法把世界划分成了60个区域，提高了地理定位的精确性。

这样一来，地理定位信息终于能在标准化的数值范式下进行标记、记录、测量、分析和共享了。但是因为在模拟数据时代，测量和记录地理位置信息耗费很大，人们很少执行。因此，发明能低成本测量地理方位的工具迫在眉睫。到20世纪70年代，进行地理位置定位还只能依靠地标、天文星座、航位推测法和尚显欠缺的无线电定位技术。

1978年见证了一个伟大的转变，当时构成全球定位系统（GPS）的24颗卫星第一次发射成功。无论是汽车上的导航系统还是智能手机，地面上的接收器都能通过计算接收信号所需时间的差异对它们进行三角定位，而这些信号就来自于距离我们20372千米的天空。20世纪80年代，这个系统第一次对民用开放，到90年代才完全投入使用，而同时为了实现商业运用，它的精确度在十年后得到了大幅提升。如今，全球定位系统的地理定位能精确到米，就这样，它实现了自古以来无数航海家、制图家和数学家的梦想。通过与技术手段的融合，全球定位系统能够快速、相对低价地进行地理定位，而且不需要任何专业知识。

定位时时刻刻都可能生成信息。只要愿意，埃拉托色尼或者墨卡托大可以每时每刻都对他们所处的位置进行定位，这谁也管不着。但就算这是可行的，也不现实。同样地，早期的接收器非常复杂和昂贵，适用于潜艇而不是出租车。幸好，改变发生了，这多亏了数字设备中廉价芯片的普及。GPS导航的价格由20世纪90年代的上百美元骤降到了今天的1美元以下。用GPS进行定位一般仅需要几秒钟的时间，它使用的是标准化坐标表示法；所以37°14′06″N 115°48′40″W说明这个人一定是位于内华达州偏远的51号区域（Area 51），一个美军超高安全、超级保密的军事基地——传说那里面关的都是外星人呢！

如今，GPS已经只是众多定位系统中的一种了。中国和欧洲也正在研发新的卫星定位系统来与之抗衡。这些新系统通过对电塔和无线路由器的信号强度进行三角测量来定位地理位置，从而弥补了GPS无法在室内和高楼之间进行定位的缺陷，这也是谷歌、苹果和微软需要自己研发地理定位系统来辅助GPS的原因。谷歌的街景车（Street View Cars）边拍照边收集无线路由器信息；iPhone本身就是一个“移动间谍”，一直在用户不知情的情况下收集位置和无线数据然后传回苹果公司；当然，谷歌的安卓手机和微软的手机操作系统也在收集这一类数据。

除了人以外，我们也可以跟踪事物的地理位置信息。随着汽车装上了无线传感器，地理位置信息的数据化深刻变革了保险的概念。这些数据提供了关于时间、地点和实际行驶路程的详细信息，使保险公司能更好地为车险定价。在英国，车主可以根据他的实际驾驶地点和时间购买汽车保险，而不是只能根据他的年龄、性别和履历来购买年险。这种保险定价法激励投保人产生更好的行为习惯。同时，这改变了保险的基础，从考虑一个群体的平均风险转变为个性化的分析。通过汽车定位每个人的地理方位也改变了一些固定资产投入的模式，比方说公路和其他基础设施可以让使用这些资源的司机和其他人分担一部分投入。当然，在实现对所有人和事以数据形式保持持续定位之前，这显然还无法实现，但这是我们的发展方向。

大数据先锋

多效地理定位与UPS的最佳行车路径

UPS快递多效地利用了地理定位数据。为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监督管理员工并优化行车线路。就像莫里的图表是基于过去的航海经验一样，UPS为货车定制的最佳行车路径一定程度上也是根据过去的行车经验总结而来的。

UPS的过程管理总监杰克·莱维斯（Jack Levis）认为这个分析项目效果显著。2011年，UPS的驾驶员们少跑了近4828万公里的路程，节省了300万加仑的燃料并且减少了3万公吨的二氧化碳排放量。系统也设计了尽量少左转的路线，因为左转要求货车在交叉路口穿过去，所以更容易出事故。而且，货车往往需要等待一会儿才能左转，也会更耗油，因此，减少左转使得行车的安全性和效率都得到了大幅提升。

莱维斯说，“预测给我们知识，而知识赋予我们智慧和洞见。”他很确信，有一天，这个系统一定能在用户意识到问题之前预测到并且解决问题。

数据化实时位置信息在人身上的运用最为显著。多年来，无线运营商通过收集和分析这些信息来提升移动互联网的服务水平。不过，这些数据越来越多地被用于其他事情上，第三方也开始利用这些数据来提供新的服务。比方说，一些智能手机的应用程序也不管它本身是否具有定位功能，就收集位置信息；还有一些应用程序就是为了获得用户的位置信息而存在的，比如Foursquare，它让用户在最喜爱的地方“check in”，通过忠诚度计划、酒店推荐和“check in”地点附近的其他推荐而获得好处。

毋庸置疑，收集用户地理位置数据的能力已经变得极其具有价值。从个人层面上来说，根据他所居住的地点和他要去的地方的预测数据，可以为他提供定制广告。而且，这些信息汇集起来可能会揭示事情的发展趋势[通过记录和分析北京市出租车两年的GPS数据，微软亚洲研究院的谢幸及其同事可以向司机提供不同时段的最佳出行路线。——译者注]。比方说，公司可以利用大量的位置数据预测交通情况，你也许无法想象，这是通过高速公路上的手机而不是汽车的数量和移动速度预测出来的。AirSage每天通过处理来自上百万手机用户的150亿条位置信息，为超过100个美国城市提供实时交通信息。其他两个位置数据服务商Sense Networks和Skyhook使用位置数据揭示城市夜生活最繁荣的地方或者游行队伍聚集了多少人。

不过，位置数据在商业以外的用途或许才是最重要的。麻省理工学院媒体实验室人类动力学[人类动力学是一门典型的大数据驱动的定量化学科，它关注人类行为在时间和空间上表现出来的统计规律，以及对这些统计规律的理论解释和在行为预测与控制上的应用。科学出版社2012年出版的《社会动力学》一书有连续6篇论文综述该领域的主要代表方向，可供参考。——译者注]实验室主任亚历山大·彭特兰（Alexander “Sandy”Pentland）和他的学生南森·伊格尔（Nathan Eagle）是所谓的“现实挖掘”研究的先驱。“现实挖掘”这里指的是通过处理大量来自手机的数据，发现和预测人类行为。在一项研究中，他们通过分析每个人去了哪里、见了谁，成功地区分出了感染了流感的人群，而且在感染者还完全不知道自己已经患病之前就做出了区分。如果出现非常严重的流感疫情，这可以挽救无数人的生命，因为我们会知道应该隔离谁，而且随时都知道去哪里找到他。但是这些数据一旦落入坏人之手，后果将不堪设想，这个问题我们将在后文中继续讨论。

伊格尔是无线数据科技公司Jana的创始人，他使用了来自100多个国家的超过200个无线运营商的手机数据——覆盖了拉丁美洲、非洲、欧洲的大约35亿人口。伊格尔的研究既关注家庭主妇平均每周去几次洗衣店这样的肥皂问题，也试图回答关于疾病如何传播和城市如何繁荣这样的重大问题。在一项研究中，他和同事结合分析了非洲预付费用户的位置信息和他们账户的资费金额，发现资费与收入成正比：越富有的人一次性预付费越多。然而，他们还得出了一个与直觉判断相反的结果，那就是贫民窟不仅仅是永恒不变的贫困中心，还是经济繁荣的跳板。关键就在于，我们要意识到这都是手机所提供的位置信息的间接利用，而和移动通信自身业务没有丝毫关系，但是这些数据最初又是为了更好地开展移动通信而生成的。总之，位置信息一被数据化，新的用途就犹如雨后春笋般涌现出来，而新价值也会随之不断催生。

数据化的另一个前沿更加个人化，直接触摸到了我们的关系、经历和情感。数据化的构思是许多社交网络公司的脊梁。社交网络平台不仅给我们提供了寻找和维持朋友、同事关系的场所，也将我们日常生活的无形元素提取出来，再转化为可作新用途的数据。正因此，Facebook将关系数据化——社交关系在过去一直被视作信息而存在，但从未被正式界定为数据，直到Facebook“社交图谱”的出现。Twitter通过创新，让人们能轻易记录以及分享他们零散的想法（这些在以前，都会成为遗忘在时光中的碎片），从而使情绪数据化得以实现。LinkedIn将我们过去漫长的经历进行了数据化处理，就像莫里转化旧航海日志那样，把信息转化为对现在和将来的预测：我们可以认识谁，或者哪里存在一份心仪的工作。

然而，数据的使用还远未成熟。就Facebook的情况来说，因为知道太早泄露用户数据的许多新用途会让用户反应过激，所以它精明地选择了忍耐。另外，公司仍然在为其收集的数据数量和类型，包括隐私问题进行商业模式和政策上的调整。目前，它所面对的指责都集中在能采集到什么，而并非它实际用这些数据干了什么。

大数据的力量

Facebook2012年拥有大约10亿用户，他们通过上千亿的朋友关系网相互连接。这个巨大的社交网络覆盖了大约10%的全球总人口[有部分人在Facebook上拥有多于一个账户。——译者注]。想想这所有的关系和活动在数据化之后都为一家公司所掌控，这些指责和质疑就不能算作空穴来风。

不可否认，其潜在用途非比寻常。一些消费者信贷领域的创业公司正考虑开发以Facebook社交图谱为依据的信用评分。FICO，信用评分系统，利用15个变量来预测单个借贷者是否会偿还一笔债务。但一家获得了高额风险投资的创业公司（很遗憾这里必须匿名）的一项内部研究显示，个人会偿还债务的可能性和其朋友会偿还债务的可能性呈正相关。正应了一句老话：物以类聚，人以群分。因此，Facebook也可以成为下一个FICO。显然，社交媒体上的大量数据也许能形成放飞想象的新型商务基础，其意义远不止表面上我们看到的照片分享、状态上传以及“喜欢”按钮。

同样，Twitter也已经开辟了其数据的新用途。从某种程度上说，2012年超过1.4亿用户每天发送的4亿条微博几乎就和随意的口头零碎差不多。事实上，它们通常就是如此。然而，Twitter公司实现了人们想法、情绪和沟通的数据化，这些都是以前不曾实现的。Twitter与两家公司，DataSift和Gnip达成了一项出售数据访问权限的协议[尽管所有微博都是公开的，对“firehose”的访问却需要付费。——作者注]。许多公司对微博做了句法分析，有时还会使用一项叫作情感分析的技术，以获得顾客反馈意见的汇总或对营销活动的效果进行判断。

两家对冲基金，伦敦的英国对冲基金（Derwent Capital）和加利福尼亚的MarketPsych开始分析微博的数据文本，以作为股市投资的信号（他们从未公开自己的商业秘决，也不知道是倾向于投资势头良好的公司还是做空）。两家公司现在都在向经商者出售信息。就MarketPsych而言，它与Thomson Reuters合作提供了分布在119个国家不低于18864项的独立指数，比如每分钟更新的心情状态，如乐观、忧郁、快乐、害怕、生气，甚至还包括创新、诉讼及冲突情况等。

数据被人类利用的频率远没有被计算机利用得多。以“金融工程师”而闻名的华尔街的数学奇才们，将数据传输到了他们的算法模式当中，来寻找能被有效利用并实现赢利的隐性联系。根据“社交网络分析之父”贝尔纳多·哈柏曼（Bernardo Huberman）[贝尔纳多·哈柏曼毫无疑问是惠普实验室最有影响力的科学家之一，但是“社会网络之父”这个赞誉还是有些不同寻常。在他11岁的时候，J.A.巴恩斯（J.A.Barnes）已经开始系统研究社交关系，并使用了社会网络这个概念；他10岁到14岁阶段，正是兰普珀特（A.Rapoport）发展关于社交网络上信息和资源如何扩散、哪些因素导致了社交关系的形成、如何用随机网络和其他数学方法刻画社交网络等一系列研究的关键时间，比哈柏曼更资深、更有影响力的社交网络学者还有很多，譬如林顿·C·弗里曼（Linton Freeman）、马克·格兰诺维特（Mark Granovetter）等。社交网络之父这顶帽子恐怕不应该戴在他的头上，尽管他毫无疑问是非常杰出的科学家。——译者注]的分析，微博中单一主题出现的频率可以用来预测很多事情，比如好莱坞的票房收入。他和一位在惠普实验室工作的同事开发了一个程序，可以用来监听新微博的发布频率，基于此，他们就能预测一部电影的成败，这往往比其他传统评估预测方法还要准确。

这些数据的用途不胜枚举。Twitter微博限制在稀少的140个字符中，但与每条微博联系在一起的元数据是十分丰富的。Twitter的元数据，即“关于信息的信息”，其中包括33个分离的项。虽然一部分信息似乎并没多大用处，比如Twitter用户界面上的“墙纸”或用户用来访问这项服务的软件，但其他的元数据却很有意思，比如他们参与服务所使用的语言、所处的地理位置、关注的人以及粉丝的数量和名字。2011年《科学》杂志上的一项研究显示，来自世界上不同文化背景的人们每天、每周的心情都遵循着相似的模式，这项研究建立在两年多来对84个国家240万人的5.09亿条微博的数据分析上，这在以前是完全无法做到的。情绪真的已经被数据化了。

数据化不仅能将态度和情绪转变为一种可分析的形式，也可能转化人类的行为。这些行为难以跟踪，特别是在较大的社区和其中的子人群环境中。

大数据先锋

微博关联与疫苗接种

来自宾夕法尼亚州立大学的生物学家马塞尔·萨拉特（Marcel Salathé）和软件工程师沙先克·坎都拉斯（Shashank Khandelwal）通过分析微博发现，人们对于疫苗的态度与他们实际注射预防流感药物的可能呈现出相关性。重要的是，他们利用Twitter用户中谁和谁相关的元数据进行了更进一步的调查，发现未接种疫苗的子人群也可能存在。当然，这项研究的特别之处在于，不同于如谷歌预测流感趋势时利用汇总数据考虑一个地区人口的“平均”健康状况，萨拉特开展的情绪分析实际上揭示了个人的卫生行为。

这些早期的发现预示了数据化将走向何方。和谷歌一样，一些社交网络（如Facebook，Twitter，LinkedIn，Foursquare）坐拥了大型数据的宝藏，一旦这些数据信息得到了深入分析，它们就能轻易获得社会各行各业以及三教九流的几乎所有的动态信息。

只要一点想象，万千事物就能转化为数据形式，并一直带给我们惊喜。IBM获得的“触感技术先导”专利与东京的越水重臣教授对臀部的研究工作具有相同理念。知识产权律师称那是一块触感灵敏的地板，就像一个巨大的智能手机屏幕。其潜在的用途十分广泛。它能分辨出放置其上的物品。它的基本用途就是适时地开灯和开门。然而更重要的是，它能通过一个人的体重、站姿和走路方式确认他的身份。它还能知道某人在摔倒之后是否一直没有站起来。有了它，零售商可以知道商店的人流量。当地板数据化了的时候，它就能滋生无穷无尽的用途。

其实没有听上去那么荒谬。“自我量化”是一项由一群健身迷、医学疯子以及技术狂人发起的运动，通过测量身体的每一个部位和生活中的每一件事来让生活更美好——或者至少用量化的方式来获得新知。目前，自我量化运动规模还很小，但正在日益壮大。

随着智能手机和计算机技术的普及，对个人最重要的生活行为进行数据处理从未如现在这般容易。许多创业公司通过测量人们夜间的脑电波来试图找出他们的睡眠模式。Zeo公司则早已制作出了世界上最大的睡眠活动数据库，揭示了男性与女性睡眠时快速眼动量的差异。Asthmapolis公司将一个感应器绑定到哮喘病人佩戴的呼吸器上，通过GPS定位，再汇总收集起来的位置数据，可以判断环境因素（如接近特定的农作物）对哮喘的影响。Fitbit和Jawbone公司让人们测量他们的体力活动和睡眠。Basis公司用腕带来监测佩戴者的生命体征，包括其心率和皮肤电传导率，以此测试他们所承受的压力。2009年，苹果公司就申请了一项专利，通过音频耳塞收集关于血液氧合、心率和体温的数据。获取数据正变得比以往任何时候都简单而不受限制。

数据化能帮助我们获取到更多关于人体运作方式的信息。挪威耶维克大学的研究人员和Derawi Biometrics公司联合为智能手机开发了一款应用程序，可以分析人走路时的步伐并将其作为手机解锁的安全系统。同时，佐治亚理工学院的罗伯特·德拉诺（Robert Delano）和布莱恩·派尔思（Brian Parise）开发了一款叫做iTrem的应用程序，用手机内置的测震仪监测人身体的颤动，以应对帕金森和其他神经系统疾病。这个程序给医生和病人都带来了好处；它让患者避免了在医院做昂贵的体检，也让医学专家们能远程监控人们的疾病以及治疗效果。据东京的调查人员说，用智能手机测量震动虽然没有三轴测震仪这种专门的医疗器械那么精确，但也只差了一点，所以完全可以放心使用。这再一次证明，一点点的不精确比完全精确更有效。

在大多数情况下，我们会采集信息并将之存储为数据形式再加以利用。几乎所有领域，任何事情都能这样处理。GreenGoose是一家创业公司，他们销售能放置在物品上的微型运动感应器，用它监测物品的使用次数。比如把它放置在一捆牙线、一个洒水壶或者一盒猫食上，就能数据化牙齿清洁、植物护理以及宠物喂养的信息。很多人对“物联网”有着宗教般的狂热，试图在一切生活中的事物中都植入芯片、传感器和通信模块。这个词听起来好像和互联网亲如姐妹，其实不过是一种典型的数据化手段罢了。

大数据洞察

一旦世界被数据化，就只有你想不到，而没有信息做不到的事情了。莫里通过艰辛的人工分析才揭示了隐藏在数据中的价值，而今天，拥有了数据分析的工具（统计学和算法）以及必需的设备（信息处理器和存储器），我们就可以在更多领域、更快、更大规模地进行数据处理了。在大数据时代，惊喜无处不在！

我们正在进行一个重大的基础设施项目，它在某种程度上与我们过去所做的都不一样，无论是罗马的水渠还是启蒙运动时期的百科全书。它如此的新颖，而我们又深处其中；同时，又因为它是无形的，不像水渠中能触摸到的水，所以我们并未意识到它的存在。这个它，就是无处不在的数据化。像其他的基础设施那样，它会给社会带来根本性的变革。

水渠让城市的发展成为可能，印刷机推进了启蒙运动，报纸为民族国家的兴起奠定了基础。但这些基础设施都侧重于流动——关于水、关于知识。电话和互联网也是如此。相比较而言，数据化代表着人类认识的一个根本性转变。有了大数据的帮助，我们不会再将世界看作是一连串我们认为或是自然或是社会现象的事件，我们会意识到本质上世界是由信息构成的。

整整一个多世纪以来，物理学家们一直宣称情况应该是这样的——并非原子而是信息才是一切的本源[通过阅读Toyabe等人在《自然·物理》上发表的名为“Experimental demonstration of information-to-energy conversion and validation of the generalized Jarzynski equality”一文必会加深读者对该问题的理解。——译者注]。不可否认，这也许听上去无法理解。然而通过数据化，在很多情况下我们就能全面采集和计算有形物质和无形物质的存在，并对其进行处理。

将世界看作信息，看作可以理解的数据的海洋，为我们提供了一个从未有过的审视现实的视角。它是一种可以渗透到所有生活领域的世界观。

大数据洞察

今天，我们生活在一个计算型的社会，因为我们相信世界可以通过数字和数学而获得解释。我们也相信知识可以跨越时空。事实上，我们对书写还存在着一种根深蒂固的敬畏。明天，我们的下一代，一群被“大数据观念”陶冶长大的家伙，会发自肺腑地认为“量化一切”并从中学习对于社会是至关重要的。把各种各样的现实转化为数据，对今天的我们而言也许是新奇而有趣的，但在不久的将来，这将变成如同吃饭睡觉一样与生俱来的能力——这又让我想起了“数据”这个词语的拉丁语原意。

迟早有一天，数据化的影响会使水渠和报纸的影响微乎其微，同时，通过赋予人类数据化世间万物的工具，它也对印刷机和互联网的地位提出了挑战。可是目前，它最主要的用途还是在商业领域。大数据正被用来创造新型价值，这也是下一章的主题。