智慧政府

——大数据治国时代的来临

徐继华 冯启娜 陈贞汝 著

中信出版社

图书在版编目（CIP）数据

智慧政府：大数据治国时代的来临 /徐继华，冯启娜，陈贞汝著. —北京：中信出版社，2014.2

ISBN 978–7–5086–4397–7

I. 智… II.①徐… ②冯… ③陈… III. 电子政务－研究 IV. D035.1–39

中国版本图书馆CIP数据核字（2013）第302837号

智慧政府：大数据治国时代的来临

著 者：徐继华 冯启娜 陈贞汝

策划推广：中信出版社（China CITIC Press）

出版发行：中信出版集团股份有限公司

（北京市朝阳区惠新东街甲4号富盛大厦2座 邮编100029）

（CITIC Publishing Group）

电子书排版：张明霞

中信出版社官网：http://www.publish.citic.com/

官方微博：http://weibo.com/citicpub

更多好书，尽在中信飞书 App：http://m.feishu8.com（中信电子书直销平台）

我坚信大数据能有效帮助公共部门优化决策，并已经在帮助政府实现“善治”目标。

——维克托·迈尔–舍恩伯格

畅销书《大数据时代》作者

专家热评

十八届三中全会提出“推进国家治理体系和治理能力现代化”。大数据就是治理现代化的一种技术路径，它具有催生管理革命和服务模式创新的效果，必将给政府职能转变和机构改革带来新气象。这本书敏锐捕捉到了变革的信号，在改革方向与实现路径方面，提供了一系列具有启发性的观点。

陶斯亮

中国市长协会专职副会长，中国城市发展报告理事会副理事长

加强培养干部“最新执政能力”，增强执政能力，提高领导水平，应该有一种“本领恐慌”。要克服这种恐慌，唯一的出路就是不断学习。掌握大数据时代的治理是领导干部应该具备的重要本领。希望这本书能让大家找到学习的乐趣，对领导干部推进工作有所帮助。

冯俊

全国政协委员，中国浦东干部学院常务副院长、教授

这本书确实具有自身特色，比如以大数据将在国家治理领域得到广泛应用为主线，以灵活贴切地引用国内外大量现实案例来建立其理论架构，等等。这本书不论对于专业还是非专业人士而言都值得一读。

杜平

国家信息中心常务副主任，国家规划专家委员会委员

大数据是人类认识世界、改造世界能力的一次飞越，蕴含着巨大的价值。这本书揭示了大数据在社会治理中的革命性作用，可以帮助我们把握大数据时代发展的脉搏，激励利用数据提高管理水平与效率，使公共管理与工商管理成为大数据时代并驾齐驱的两只车轮。

袁卫

中国人民大学前常务副校长、教授，中国调查与数据中心主任

这本书以令人震撼的累累事实、严谨细密的铺陈叙述、独到精当的说理分析，向世人展示了大数据时代的全景式图像，为当代行政体制改革和政府治理变革注入最强劲的动力。以数据治国，依数据行政，方能科学决策；让数据立言，凭数据采信，才会造福斯民。

许耀桐

国家行政学院教授，国家科技部发展战略咨询专家

这是一个互联、融合的时代，一个人从物理空间向数字空间大规模迁移的时代，在数字空间留下的行为和轨迹不仅仅在创造新的商业机会和财富，也为政府治理的精准、效率和预见创造了新的平台。这本书描述了互联网时代的国家治理，是一本让管理者认识大数据价值的好书。

刘积仁

东软集团董事长兼首席执行官，东北大学副校长、教授

大数据到底会如何影响、改变中国的公共管理？公共部门在大数据时代该做何选择、有何作为？我们又当如何消弭大数据对公共管理可能带来的负面问题或数据陷阱？这本书对此颇有洞见。

朱立言

全国公共管理硕士教育指导委员会秘书长

在大数据时代，谁拥有数据资源，谁就拥有未来。我们需要做好哪些准备以迎接大数据时代的来临？中国的政商领袖应如何通过技术、组织和文化的变革应对大数据带来的机遇与挑战？大数据将给企业发展和经济运行带来何种影响？这本书对上述问题做了深入浅出的阐述，值得政商各级领导摆在案头。

何仁春

中国五矿集团总经济师，CCTV“中国经济年度人物”

大数据时代给政府治理提出了新挑战，政府如何才能有智慧，不做蠢事，不做不应该做的事，做好应该做的事，这些都离不开对大数据的认识、理解和应用。这本书做了开创性的探索，值得从事公共管理理论与实务的同人们读一读。

董克用

中国人民大学公共管理学院院长、教授

大数据作为一种重要的国家战略资源，其重要性已经被越来越多的人所认识。但是如何利用大数据解决我们所面临的问题是大数据时代的核心挑战。这本书系统讲述了大数据在政府治理领域的一些创新思路，从治理交通拥堵到缓解城市污染，从提升灾害救援效率到降低城市能耗。既有深入的理论思考，又有翔实的应用案例。不仅对政府工作人员开卷有益，也有助于其他领域的从业人员打开数据利用的想象空间。

杜小勇

中国人民大学信息学院院长、教授，社会管理大数据中心主任

大数据不仅开启了信息革命与信息社会的新时代，而且确实助推了政府治理变革新纪元的快速到来。这本书很有意义，有关分析既全面、系统，又深入浅出，让人眼界大开，启发良多。

彭宗超

清华大学公共管理学院副院长、教授

这本书揭示了大数据在未来政府治理中的革新作用，对于我国建设创新型国家、增强政府的执政能力、应对社会转型期的许多重大管理和政策问题具有重要现实指导意义。大数据浪潮中，政府应当把大数据上升为国家战略，积极推动数据治国、数据创新、数据开放和数据立法。

黄恒学

北京大学政府管理学院公共经济学系主任、教授

大数据时代已向我们走来，如何辨析大数据的相关概念、社会影响、未来趋势，我们该如何拥抱大数据？特别是针对政府治理创新与变革，我们该如何面对？大数据应是国家战略，大数据更应被视作一种社会公共资源。在国家治理领域，大数据和相关技术都扮演着重要角色。这本书最重要的价值是揭示了大数据时代数据公共决策的影响和机遇。

沈浩

中国传媒大学教授，数据挖掘中心主任

这本书独辟蹊径地从提升公民幸福感、推动国家发展的全局着眼阐述大数据的价值，不仅对于政府管理人员的工作开展具有重要启发，对处于这场“旋风”中心的企业而言，更加具有方向性的战略指导意义。如何创造性地利用数据分析为用户提供更加贴心的服务，创造更加美好的生活，值得企业家好好研究。

张斌

联动优势科技有限公司总裁

大数据是信息时代新的战略资源，它堪称智慧政府的中央处理器和大脑。目前，很多国家已经将大数据上升为国家层面的战略，中国也应当迅速行动。这本书的阐述深入浅出，并运用大量翔实鲜活的案例，值得关心国家建设和政府改革的人员研读和思考。

涂子沛

畅销书《大数据：正在到来的数据革命》作者

这本书是将大数据和政府治理结合起来的优秀作品。大数据不仅把“此处与彼处”快速连接，而且将虚拟空间和现实世界连接起来，创造出“无限的可能性”。未来的政府治理必将更注重个性化的每一个公民，而不是泛化的普罗大众；注重人、信息、空间的交互，而不是单纯的管理、控制或教化。大数据是打破固有的思维理念，产生新的创造力的源泉，这本书值得每一个关注未来和中国命运的人士阅读。

廉思

对外经济贸易大学教授，“蚁族”一词首创者

这本书所讲的“大数据治国”，就是指通过多渠道的数据采集和快速综合的数据处理，推动政府公共服务的技术创新、管理创新和服务模式创新，增强政府治理社会的能力。我们期待政府践行这样的大数据战略以改善民众生活质量，期待智慧政府时代的到来。

张晓欢

国家遥感应用工程技术研究中心智慧城市工程部主任

目录

推荐序一 大数据时代的国家治理

推荐序二 大数据，政府管理改革的新机遇

推荐序三 大数据助推公共管理转型

前言 智慧政府：大数据引领国家治理大变革

第一章 大数据的一天

第二章 大数据：一个新的政府治理命题

第三章 万千气象：感受数据之大

第四章 思维变革：大数据主义来袭

第五章 多算胜：驾驭大数据

第六章 智慧政府：大数据应用面面观

第七章 智慧城市：立体的大数据生态系统

第八章 组合拳：让大数据全面落地

第九章 问题与挑战

后记

致谢

参考文献

推荐序一

大数据时代的国家治理

随着信息技术的迅猛发展，大数据时代已成为当今世界的重要发展趋势。在全球经济社会活动中的各个部门，不会量化就无法管理的思想日渐深入人心，越来越多的组织决策是根据数据分析做出的，越来越多的行业正在经历大数据浪潮带来的革命性影响，政府部门也不例外。

这本书是一本充满时代感的著作。它没有拘泥于对具体技术的介绍，而是重在阐述大数据的核心理念、方法论原则，并将其应用于政府治理领域，呼唤政府组织文化、工作方式和运作机制的变革。这项研究无论是对党和国家机关的领导干部而言，还是对市场投资者而言，抑或是对期待善政善治的人民群众而言，都是非常有价值的。

这本书的3位作者都非常年轻，分别在政府、高校和企业工作，具有比较综合的知识背景。他们立足工作岗位，关注时代前沿，把大数据作为一个具有全局性、战略性、前瞻性的问题提出来，并从政府治理的角度进行深度思考，这种敏锐的问题意识令人印象深刻。

问题就是时代的声音。习近平总书记曾深刻地指出:“只有立足于时代去解决特定的时代问题，才能推动这个时代的社会进步；只有立足于时代去倾听这些特定的时代声音，才能吹响促进社会和谐的时代号角。”中国特色社会主义事业的每一个胜利、中国的每一个进步，无不是党倾听时代声音、顺应历史潮流，基于问题意识做出正确决策的结果。

当前中国有两个重要的问题：一是如何克服改革发展中出现的问题，增强执政能力和执政基础，回应人民对美好生活的期待；二是如何在此基础上全面建设小康社会，建设富强民主、文明和谐的社会主义现代化国家，实现中华民族伟大复兴的中国梦。这本书为回答这两个重大问题开启了一个新的视角。

今天，中国社会转型的规模之大、速度之快和程度之深是史无前例的。新型工业化、城镇化、信息化、农业现代化“四化”交织，政治、经济、文化、社会、生态建设同步推进。大与小、多与少、快与慢、高与低，每项指标都代表着亿万人民的生活福祉，都考验着政府应对矛盾与问题的能力。与此同时，世界上不少国家和地区正在遭受金融危机、粮食危机、能源危机与生态危机的多重困扰，中国所面临的国际、国内形势也变得异常复杂，这些情况都在呼唤大治理格局的出现。

以往建设和发展出现了问题，我们往往是用增量的办法缓解资源紧张（路堵了就多修路、治安差就加派警察），用集中的运动式治理弥补常规治理的失灵。这些思路都没有突破既有框架，难免陷入“头痛医头、脚痛医脚”的怪圈，我们把那称作“第一序改变”。而大数据寻求的是“第二序改变”，它改变的是问题的解决框架，即通过数据化、物联化、智能化搭建一个智慧平台，使有限的资源得到最为合理的配置，使失控的状态变得可控、可预测，使难解的问题迎刃而解。

这本书主张决策者应具备大数据思维，用大数据相关应用改进公共管理、改善民生，具有启发意义。作者热情洋溢地描绘了这样一幅美好的图景：实时、智慧的经济调控手段，成熟、稳健的社会应急系统，完善、高效的社会保障机制，民主、透明的议事办事环境，和谐、共治的政民关系。在大数据浪潮中，政府作为最大的数据占有者，将大数据部署到经济、社会运行的方方面面，实现“百姓昭明，协和万邦，黎民于变时雍”的政治理想。

这本书揭示了大数据战略在中国崛起、民族复兴进程中的重要意义。未来，数据将成为一切组织运行的基本要素，其战略意义甚至将超过土地、人力、技术和资本。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国与国之间新的争夺焦点。作者呼吁把大数据相关研究和应用上升为国家战略，作为影响世界政治、经济大变革的核心变量予以部署和考量，可谓一语中的。难能可贵的是，在大数据战略的实现路径上，作者并不主张照搬西方模式，而是在论述西方发达国家实施大数据战略的相关经验的同时，也介绍了大量发展中国家的有效做法，更引入了网格化社会管理等具有中国特色的本土实践。这本书指出，中国是一个人口大国，也必将成为一个数据大国，在开发利用大数据方面具有强大的后发优势，甚至具备创新和超越的可能。在建设社会主义现代化国家、实现中华民族伟大复兴的进程中，大数据将成为中国“变道超车”的重要机遇。

当然，真正实现善政善治要靠一个好的社会制度，靠一个有领导力、具有先进性和纯洁性的政党，靠以人为本的发展观和方针政策，而不是只靠数据或大数据。发现、挖掘和利用数据是为了人的幸福和全面发展，大数据时代的治理应该是以人为本的，应该是探索怎样利用大数据为社会治理和人的全面发展服务。单纯数据的量的治理是工具理性，关键是要在正确的价值理性引导下用好工具理性。因此，我们应该在坚持中国特色社会主义的“三个自信”的前提下，迎接大数据时代的新挑战，适应大数据时代的新变化。

要加强培养干部最新执政能力，增强执政能力，提高领导水平，应该有一种“本领恐慌”。在工作中，原来储备的知识不够用了，这是非常正常的现象。要克服这种恐慌，唯一的出路就是不断学习，学习党的理论创新最新成果，学习改革开放和社会主义现代化建设最新经验，学习如何应对改革发展稳定所面临的重点、难点问题。掌握大数据时代的治理也是领导干部应该学习的重要本领。在此，我向大家推荐这本书，希望大家都能在其中找到学习的乐趣，希望它对领导干部推进工作有所帮助。

冯俊

全国政协委员

中国浦东干部学院常务副院长、教授

推荐序二

大数据，政府管理改革的新机遇

新一届政府成立以后，把政府职能转变和机构改革列为开门的第一件大事。的确，当前政府治理模式已经到了非改变不可的地步，“改革与危机赛跑”并不是危言耸听。然而，政府该如何改？朝什么方向改？这是每一位关心国家强盛、百姓幸福的热心人士都在思考的问题。

改革需要决心，更需要方向，还需要实现路径。这本书敏锐捕捉到了大数据即将带来政府管理变革的信号，在改革方向与实现路径方面，提供了一系列具有启发性的观点。

李克强总理讲，政府职能转变和机构改革是一场自我革命。之所以要自我革命，是因为传统的那一套行政管理方式已经不起作用了。以前靠发红头文件、靠政府权威就能办的事情，现在必须借助大数据这样的现代化管理方式。以前政府过于强调自身管治的政治职能，弱化和忽视了社会服务职能，造成大量越位、缺位、错位；现在必须向服务型政府转型，而大数据可以为这种转型提供突破口。以前领导干部习惯靠经验、拍脑袋决策，一旦决策失误，劳民伤财便在所难免；现在公共管理事务日益复杂，仅凭个人感知已经很难全面了解情况，必须学习数据驱动的管理方法，依靠海量的数据搜集和精准的数据分析增强决策的科学性。这是一种科学的态度，也体现了与时俱进的精神。

十八届三中全会提出，推进国家治理体系和治理能力现代化。大数据就是政府治理现代化的一种技术路径，它具有催生管理革命和服务模式创新的效果，必将给政府职能转变和机构改革带来新的气象。比如针对审批多、办证多的问题，这本书提出要消除信息孤岛，整合政府各层级、各职能部门所掌握的数据，构建统一共享的信息平台，这样就能有效简化办事流程，把行政审批转变为推送个性化的定制服务。比如在贴民心、听民声方面，大数据也是一种高效且科学的方式。中国不是单一阶层，多元化阶层决定了多元化的利益和需求。百姓关心什么，需要什么？他们怎么看待改革？改革会给他们的工作、生活带来怎样的影响？大数据能够把来自各渠道的数据与信息利用起来，为制定政策、明确改革方向提供重要依据。再比如在激发经济社会活力方面，这本书主张开放公共数据，激发全社会的智慧和创意，释放政府信息的附加价值，使公众和企业参与到公共服务产品的设计、生产、供给的过程中。这些想法非常具有新意，也具有极强的可操作性，能够为政府行动提供有益的参考。

在中国新型城镇化与信息化融合发展的进程中，大数据将发挥至关重要的引领和助推作用。同时，两者的交融发展也将为大数据技术和产业提供巨大的发展空间。大数据和智慧城市越来越成为被频繁提及的关键词。未来，可以预见这一领域将有更加广阔的发展前景。

这本书给我留下的另一个深刻印象是它的大视野。我们经常感到困顿，是因为习惯了传统的工作方式和思维习惯。正如本书所言，我们应当从繁杂的日常工作中跳脱出来，思考自己与大数据治理时代之间的关系，思考自己能用大数据做什么，大数据能给自己和自己所在的组织以及所服务的百姓创造哪些价值。这几位年轻的作者在立足本职工作的同时，不忘思考国家发展的方向，其对大数据的理解、对社情民生的关注、对政府改革的探讨值得鼓励与赞扬！

陶斯亮

中国市长协会专职副会长

中国城市发展报告理事会副理事长

推荐序三

大数据助推公共管理转型

大数据时代的到来，必然及已然开始质疑、冲击与挑战之前的公共管理模式的适应性、科学性与有效性。公共部门如何应对、调试与变革，从而在大数据时代确立一个更为民主、法治、高效的公共管理体系，高效处理社会公共事务，确保国家政治稳定、经济发展、社会进步、人民幸福？我们必须深思，并付诸行动。

就一般意义而言，公共管理是以政府为核心的公共部门整合社会的各种力量，广泛运用政治、经济、管理、法律手段，强化政府的治理能力，提升政府绩效和公共服务品质，从而实现公共福利与公共利益。学界对公共管理的价值取向、具体方法等多有争鸣，但中国的公共管理的最终落脚点在于：公共部门经由对公共事务的科学与高效治理，最大限度地实现、维护、发展最广大人民群众的政治、经济、文化与社会等各方面的根本利益。

当然，公共管理的价值取向、范式等会因时代条件不同而多有变化。以中国的公共管理模式演变为例，新中国成立后到改革开放前是以阶级取向为内核的政治导向型公共管理；20世纪八九十年代的公共管理从某种程度上说是以发展和效率为取向；21世纪则更加强调公正取向、参与取向。伴随着全球化、信息化、市场化以及知识经济时代的来临，各国相继掀起了政府改革的浪潮。以采用商业管理的理论、方法及技术，引入市场竞争机制，进而提高公共管理水平及公共服务质量为特征的“新公共管理”的实践模式，成为当代政府改革的基本趋势。

大数据时代刚刚来到，我们尚未或尚难深入了解大数据时代的意义、价值及影响。大数据到底会如何影响、改变中国的公共管理？公共部门在大数据时代该做何选择、有何作为？我们又当如何消弭大数据对公共管理可能带来的负面问题或数据陷阱？这本书对此颇有洞见。

关于大数据对公共管理的影响，作者指出，大数据本质上是“一场管理革命”，它不仅仅是一场技术变革，更意味着一场社会变革，而这场社会变革又伴随并呼唤着公共管理与公共服务领域的变革。确实，诸多实例已经证明，大数据将助力政府实现公共管理创新，同时也要求“政府成为大数据时代的领跑者”，告别“数据小农”心态，要敢于破除守旧习惯，消除一座座信息孤岛，实现信息共享，提高公共管理效率。

在这本书中，作者深刻指出公共部门必须“把大数据的手段和方法引入管理领域”，大数据将在如下几个方面推动公共管理从传统向现代转型：从粗放化管理向精细化管理转型；从单兵作战型管理向协作共享型管理转型；从柜台式管理向自助式全天候管理转型；从被动响应型管理向主动预见型管理转型；从纸质文书管理向电子政务管理转型；从廉政风险隐蔽型管理向风险防范型管理转型。毫无疑问，这些思考与建言切合并回应了中国当前公共管理实践存在的诸多问题。

当然，大数据在带来大知识、大发展、大价值的同时，也潜藏着巨大的社会风险，作者认为政府和公共部门应当对大数据的局限性保有清醒的认识，通过系统的制度创新，迎接大数据带来的问题与挑战。

“‘大数据观’是科学发展观的题中之义。”不同的时代条件下，必须掌握不同的公共管理理念、模式、方法。在大数据时代，公共部门在公共管理实践中，只有勇于转变思维，敢于迎接挑战，善于创新变革，方能真正实现从“拍脑袋决策到基于大数据的科学决策”的转变，“从行政主导的政府到以人为本的服务型政府”的转型。

大数据时代刚刚来到，徐继华、冯启娜、陈贞汝三位同志就能及时洞察、思考于此社会条件下中国公共管理问题、机会和改变，并将其思考、建言等写就成书，我深信作者的思考、呼吁与建言定能促进中国公共管理的发展与变革。

朱立言

全国公共管理硕士教育指导委员会秘书长

前言

智慧政府：大数据引领国家治理大变革

一

2013年5月10日，马云在其卸任演说中感慨：“大家还没搞清楚什么是个人计算机的时候，互联网就到来了；当大家还没搞清楚什么是互联网的时候，大数据时代已经到来了。”

我们每天的生活都被大数据包围着，一切行为和事件都以数据的形式被记录、被储存、被处理。早上出门，电梯的摄像头记录着我们的出行时间；开车上班，道路旁的摄像头记录着我们的位置和车速；工作期间，网页记录着我们的浏览习惯和搜索记录，电话记录着我们的联络对象和通话时长；下班回家，购物记录界定着我们的职业身份、家庭背景甚至性格特征，电视机顶盒记录着我们的收视习惯和价值品位……形形色色的数据终端将物理世界、生物世界和社会世界的万事万物数据化，形成了一个全面深入映射现实世界，尤其是现代城市发展与生活轨迹的数据化世界。

马克思曾说过，人的本质是一切社会关系的总和。而今，我们可以大声宣布，这是一个由数据构成的世界，而人就是一切数据足迹的总和。

早在1980年，未来学家阿尔文·托夫勒就热情地赞颂大数据为“第三次浪潮的华美乐章”；今天，大数据这一乐章已如热情的快板铺陈开来。

《连线》杂志将大数据定义为云时代的“黄金货币”；2012年3月，美国奥巴马政府将大数据定义为“未来的石油”，宣布投资两亿美元将大数据战略上升为国家战略；在欧洲，从阿姆斯特丹到巴塞罗那，从伯明翰到巴黎，从斯德哥尔摩到维也纳，涌现出了一批大数据驱动的智慧城市样板；在2016年“奥运城市”里约热内卢，一间颇似火箭发射控制室的市政运营中心整合了全市的交通、气象、基础设施、突发事件等各种数据，能够协调30多个城市管理部门同步行动。

在中国，大数据也呈现出蓬勃发展的态势。国家发改委与中科院启动了“基础研究大数据服务平台应用示范项目”。与此同时，10多位院士向高层建议，中国应制定大数据国家战略。权威人士透露，有关部门正在积极研究相关方案，大数据国家战略或将提上议程。广东省显示出超前的眼光与胆识，在2012年年底就颁布了《广东省实施大数据战略工作方案》，提出，到2020年基本建成“智慧广东”。北京、上海、广州、深圳、无锡、佛山、宁波、杭州、扬州等城市也开始把大数据列为区域战略，在智慧城市建设、大数据产业发展等方面进行了大胆而有益的探索。

打开世界地图，大数据治国的时代悄然来临，一场改变世界格局和人类生活的大数据革命即将引爆。谁掌握了大数据，谁就将在这个时代胜出。

二

经常有人问：大数据是不是就是一种新技术，它就像蒸汽机一样，会把人类社会带入一个新时代？的确，从狭义上讲，大数据是一种海量的数据状态以及应对这种状态的数据处理技术，是数据大爆炸的产物。随着物联网的发展和便携移动终端的普及，人人都成为数据制造者。不仅数据量、数据种类在以惊人的速度增长，数据产生的速度也在日益加快。它需要云计算等数据处理技术的支持，通过对数量巨大、来源分散、格式众多的数据进行采集、存储和分析，赋予人们更加强大的认识世界和改造世界的能力。

更进一步地讲，大数据是一种思维方式。它之所以成为近年的热词，主要不是因为数据量的陡然增长或者数据处理技术的突飞猛进，而是人们在数据利用思维方面实现了质的飞跃。舍恩伯格在演讲中说：“我们可以看到在全球发生的一个趋势，就是从原来的生产制造的思维方式到把自己视作一个数据的平台。”的确，在电商、物流、通信、保险、医疗、娱乐等越来越多的行业，企业都在争相宣告自己其实是一家大数据公司，数据是自己制胜的核心竞争力。我们还发现，政府其实是一艘漂浮在数据海洋上的巨轮，占有了大量公共数据，就连我们所生活的城市也变成了一个个立体的大数据生态系统，潜藏着无穷的生机与活力。

如何激发数据活力？首先要具备大数据思维，要在领导意识、组织文化、组织结构和工作流程上经历从内而外的蜕变。

大数据还是未来社会的一项重要基础设施。工业时代的基础设施是铁路、公路、航空，以及水、电等；在大数据时代，云计算、泛在网络、数据中心成为新一代的基础设施。对于个人或者某个部门而言，利用这些资源就像水和电一样平价便捷，打开“龙头”、插上“插头”就可以使用，而不必关心计算、存储、数据来源。此外，在数据采集环节，还需要实施数以万计的数据传感器安装、智能电表改造、扫描枪推广项目，最终编织成一张生生不息的数据之网。这些基础设施的建设有的靠政府投入，更多的则可以通过市场手段来实现，也就为企业提供了广阔的市场。

从社会运行的角度来讲，大数据还是一种基础性社会制度。基础性社会制度是一种能制约、派生或影响其他制度的原生性行为规则，对其他层面的制度运行和体制改革具有深刻的影响。2013年，中国宣布要用3~5年的时间，基本建成集合金融、工商登记、税收缴纳、社保缴费、交通违章等信用信息的统一平台，建立以公民身份号码、组织机构代码为基础的社会信用代码制度，建立不动产统一登记制度。这些都是体现大数据精神的基础性社会制度。这些制度将嵌入经济社会管理的方方面面，对未来政府与社会的运行方式产生深远的影响。

其实，大数据还有很多内涵，比如，它是第三次工业革命的重要战略资源，一种数据驱动的管理模式，一项将给各行各业带来纵深影响的发展战略，等等。作为一种客观趋势，大数据带给我们的改变是真切的，无论你接不接受，都要做好准备。

三

如果你问我什么是大数据，我会半开玩笑地告诉你，大数据是一把锤子。当你手上有把锤子，你看什么都像钉子，都想敲一下。大数据就是这样一把锤子，它给了我们一种方式去理解和控制这个世界。

一切事物，如果不能量化它，你就不能真正理解它；不能真正理解它，你就不能真正控制它；不能真正控制它，你就不能真正改变它。在大数据时代，人类大脑无法理解的复杂情况，数据可以解读其中的含义；在过去难以掌控的未知因素，数据可以给出最为精准的预测；数据还能弥补我们对直觉的过分自信，减轻个人经验与偏见对知觉的扭曲程度。公共管理就是公权力的行使者决定公共资源在公共领域配置的过程。如何配置才能最高质、高效？如果你怕拍错板，数据会告诉你该怎么做。

大数据带来的一个改变是信息扁平化。以往，对于身处金字塔最高层的领导而言，基层管理是一个“黑盒子”，只有具体办事人员才了解最真实的情况（对不少基层部门而言，其所管辖的人、财、事、物是一笔糊涂账），信息上达不易，政令下达不畅。要维系整个金字塔的运行，只能靠领导的非凡洞见或者依赖每个人的内心操守。而大数据管理平台能将宏观概况与微观运作实时呈现在领导者面前，各种数据任其调取，真正实现“运筹于帷幄之中，决胜于千里之外”。这就是大数据的大能量。

信息扁平化的最大魅力在于，它对于每个身处其中的人而言都是公平的。在大数据时代，人人都可以像上帝一样，通过各种数据汇总，俯瞰万千世界的任何一面。最高决策者如此，普通公民亦如此。而且，随着信息可视化手段的普及，数据不再艰深难懂，不是只有专业技术人员才能解读，数据分析也不再复杂枯燥，而是越来越以其美丽的一面呈现在世人面前。你可以登录“谷歌流感趋势”网站，实时查看全球各个国家和地区的流感疫情；你也可以在微博上安装相关应用程序，查看任何一条微博的传播途径、传播效果、传播过程中的关键人物以及人们的情绪和态度；你还可以运行“地球放大镜”软件，免费体验一趟3D地球飞行之旅，观察洛杉矶的森林大火、大西洋的超级飓风和从摩洛哥海岸席卷而过的沙尘暴。

在大数据时代，你会发现，“数据科学家是世界上最性感的职业”（《哈佛商业评论》语），而玩转数据是一项人人都可以参与的时尚。

也许现在，信息技术部门在大多数组织中仍然是边缘部门，只发挥有限的后勤保障作用；也许在很多人眼中，信息技术员仍然只是一个修计算机、做网页的角色。但是，这种情况在未来5年内将被彻底改变。当信息平台成为一切业务的办理平台，当数据成为一切组织运行的基本要素，每个组织不仅将设立首席信息（数据）官，而且首席信息（数据）官的地位将与首席财务官、首席人事官等同等重要。

四

目前，商业领域已经从对大数据重要性的认识阶段，发展到实践大数据的战略实施阶段。然而，在公共管理领域，大数据还大有可为，还有极大的潜力可以挖掘。

政府掌握着社会方方面面的数据：人口、交通、卫生、社保、税收、城市规划……但是各部门间的数据没有进行高效整合，大量部门的数据如一个个信息孤岛，给政府管理和公众办事带来了不便，也制约了数据活力的激发。购买一套住房，你需要填报十几张表格，每张表格1/3以上的内容是重复的，都是政府拥有的基础数据，完全可以根据身份证号码自动生成。有新闻报道，北漂小伙为了办护照，返乡6次，补5张证明，多跑3 000公里，而只要实现了综合数据联网，这5张证明的相关信息（无犯罪证明、公司在职证明、公司营业执照、公司外派人员资格证明、本地身份证）完全可以由政府部门内部调取，根本不用让老百姓为此急断肠、跑断腿。

我们常把以人为本作为公共管理应遵循的重要原则，把可及性作为评价公共服务水平的重要标准，而这些原则与标准究竟应当如何落地，实实在在地使老百姓受益？“一张表”工程可以给我们答案。

所谓大数据管理，其实就是“一张表”工程[1]。管理者通过一个号码（居民身份证号、组织机构代码等）把不同来源的信息聚合成一张表，再根据需要把不同的表组合到一起，形成一项新的服务。未来，所有无须面对面就能办理的业务都将转化为这样的应用，而发布一个新的应用就像拼装乐高玩具一样容易。通过“一张表”工程，原本条块分割造成的信息孤岛将连成一片充满活力的数据大陆。在这片大陆上，酝酿着无限的机遇与可能，千千万万个创新性应用将生长出来，深刻地改变着我们的政府、我们的生活和世界。

我们应当按照“一张表”的思路重新审视那些习以为常的传统工作流程，看看究竟有哪些数据可以更加智慧地采集，哪些数据可以在部门之间、地域之间共享，哪些重复填报的环节可以简化，哪些以政府部门为中心的工作方式可以更加以用户为中心。

我们欣喜地看到，这样的变化正在你我身边发生。如果你是北京居民，只要用手机登录“市民主页”，就能享受59项民生服务：查询个人住房公积金账户和交通违章信息，查看实时路况和航班列车信息，在部分医院预约挂号，缴纳水电费、燃气费……然而一切还只是刚刚开始，相信在不远的未来，一座座虚拟办事大厅将出现在我们的计算机里、手机里。我们不再需要以恳求的姿态到一个又一个的政府部门办理审批，政府将像一个贴心的管家为我们推送个性化的定制服务，为社会运行奠定更加智能、高效的基础。

五

十八届三中全会将“国家治理体系和治理能力的现代化”列为全面深化改革的总目标。本书倡导建立的“智慧政府”，希望能为落实该目标提供一种现实路径。

智慧政府首先要求智慧决策。近年来兴起的“城市计算”就是利用大数据解决城市所面临的挑战。比如，利用已获悉的交通流量指导人们出行，从车流和人流中发现城市规划中存在的问题，减少能源消耗，等等。再比如，中国海关的“电子口岸”整合了工商、税务、海关、外贸、外汇、银行、公安、交通、铁路、民航、国检等十几家部门的数据，在加快报关速度、高效打击不法分子的同时，更成为中国经济的“气象预报台”，能够为国家宏观经济调控提供非常精细、全面的决策支持。

智慧政府的落脚点是智慧管理、智慧服务。为贯彻落实党的十八届三中全会精神，日前，民政部、国家发改委、工业和信息化部、公安部、财政部联合下发《关于推进社区公共服务综合信息平台建设的指导意见》，要求集成条线信息系统，打破部门职能界限，实现综合服务“一口清”；优化公共服务流程，扩大交互认证范围，实现身份证办事“一证通”；开发智能终端产品，丰富信息服务内容，实现网络、呼叫、窗口服务“一体化”；拓展平台服务功能，发挥市场决定作用，实现公共、志愿、商业服务衔接“一条龙”等多项服务功能和政策措施。这一平台其实就是一个大数据平台，它是智慧政府的雏形，将深刻改变政府的办事风格，优化公众与政府打交道的体验。一开始，大家可能会感到不习惯，但相信用不了多长时间，人们都将享受这种全新的关系。

其实，归根结底，智慧政府的“智慧”来自广大人民群众。这个“智慧”是群体智慧，它把人作为一个重要的感知和计算单元参与数据计算的过程，最大限度对接社区居民需求、激发公共服务的活力。政府要维护庞大的社会良性运行，不能仅仅依靠公务人员的智慧，还应调动广大人民群众的力量。例如，公众可以通过手机拍照报修市政设施，肯定比相关维修人员巡查更加及时；政府可以根据公众提交的出行需求打造“定制公交”，人们可以用实惠的价格享受一人一座、点对点直达的班车服务。有了政府、公众、企业和其他社会机构的共同参与，大数据将构建起一个全新的公共治理结构与公共服务体系。在这个开放的体系中，公众能够参与政府提供公共服务产品的全过程，参与公共服务产品的设计、生产、供给等各环节；而政府也能打开更为深入和广泛了解民情民意的政策窗口，疏通促进社会和谐的民意渠道，找到不断优化公共决策的新机遇。从这个角度来讲，大数据的精神与群众路线的内涵是相互呼应的。有了这样的基础，未来大数据必将焕发强大的生命力。

现在，对于全社会而言，“智慧政府”也许还是一个陌生的概念，它的内涵还有待我们进一步认识、进一步阐释。但是变化正在发生，你我置身其中，建设智慧政府的时机已经来临。

六

这本书希望传递出一种时不我待的紧迫感。这种紧迫感有助于我们看清世界的发展趋势，帮助中国的政府管理者们认识自己所处的位置。

在近现代的历次技术变革中，中国都落后于世界的脚步。从20世纪70年代末期开始，发达国家就先后开始了向信息化社会转型的过程。而中国则是在改革开放以后，才进入工业化、现代化的快车道，并且在工业化进程的中期就迎来了信息化浪潮的快速冲击。

落后不只意味着挨打，也许还意味着后发优势，即直接使用较为先进的信息技术和建设经验实现跨越式发展。中国在信息技术上的后发优势，已经可以从互联网和移动互联网的飞速发展中看到端倪。在这一轮信息技术和大数据革命中，由于技术的全球化和开放性，以及中国改革开放以来（尤其是在互联网时代）的积累，使得我们和西方站在同一起跑线上，还拥有一些独特的优势，在很多方面甚至具备了创新和超越的可能。

其一，中国庞大的人口基数隐藏着无穷的数据宝藏。在大数据时代，每个人都是数据的“生产——消费者”。中国有13亿人口，每个人背后都是一串数据：姓名、性别、身份证号码、银行账户情况、房屋贷款情况、婚姻状况、工作状况等。这些特性乘以13亿，规模将在世界范围内数一数二。

其二，与欧美国家相比，中国政府在社会体系中的地位、能力和影响力要大得多，因而它所拥有的公共数据资源也多得多。目前中国政府对公共数据的开发利用还处在非常初级的阶段，一旦政府下决心实施开放数据战略，推进力度和综合社会经济效益会更加显著。

其三，中国拥有世界上最大的知识群体。2013年，中国大学毕业生人数近700万，其中包括大量统计、信息、管理等专业的高端人才。在培养下一代的数据科学家方面，中国拥有全世界无可比拟的人才优势。

其四，中国有足够大的需求和市场。未来5~10年，中国可能成为世界上最大的信息技术市场，可能给中国经济带来前所未有的机会。

近现代经济发展史提醒我们，一国连续增长10年、20年的不少，30年的不多，40年的就屈指可数了。中国靠什么保持第4个10年的持续、稳定增长？蓝图、梦想、决心、信心、共识、干劲都要有，更重要的是，要找到开创第二季中国奇迹的驱动力。

正如信息高速公路建设让美国在互联网时代的近30年内保持了全球的领先霸主地位，此轮大数据布局也将成为一个国家或地区未来竞争力的重要决定因素，而且它在经济、社会、生活中影响的程度和广度将更为深刻。在实现中国梦的进程中，大数据是“变道超车”的重要机遇，就看政府领导者、公众和企业家有没有足够的勇气和想象力，去迎接这个时代的到来。

七

纵观现有的大数据文献，我们注意到，目前国内尚没有一本专门把大数据应用于政府治理领域的出版物。与此同时，越来越多的人对于用大数据提升政府治理抱有高度的期待，对大数据在概念层面、商业层面、技术层面的介绍已经满足不了人们的知识需求——这就是我们撰写这本书的动力。

本书第一章畅想了大数据治理给普通公民工作、生活带来的便利，其中所写的很多应用在很短的时间内就将变成现实。第二章主要揭示了探讨这一命题的时代意义，尤其是对于中国而言的现实意义。第三章概述了大数据的关键概念、基本特征和重要定律，是一个入门式的介绍。尽管大家都在谈论大数据，但是我们仍然认为这些核心问题应当予以厘清。第四章主张突破传统思维的限制，把数据负担变成数据红利。第五章按照数据搜集、存储、分析、呈现的顺序介绍了大数据相关的技术和方法。第六章以案例的形式呈现了大数据在公共安全、公共卫生、公共交通、社会管理和环境保护等领域的应用情况。第七章从综合应用的视角，为管理者提供应对现代城市问题的有效解决方案。第八章呼吁政府将大数据上升为国家战略，主张政府调整自身的运作机制，创新政府理念，转变政府职能和再造政府流程。第九章则强调要对数据的局限性保有清醒的认识，及时预防和化解可能出现的风险。

希望这本书能够帮助读者从繁杂的日常工作中跳脱出来，思考自己与大数据时代之间的关系，思考自己能用大数据做什么，思考大数据能给自己和自己所在的组织创造哪些价值（无论是个人价值、社会价值，还是商业价值）。

[1]　“一张表”工程，是中国人民大学自2013年起开始实施的一个项目。在项目实施的第一个阶段，人大信息技术中心从校内各部门搜集了大量常用的表格，从入学登记到职称申报，从经费审批到车证办理，几乎涵盖了学校运行的方方面面。人大正以此为基础打造一个全新的服务平台，这个平台将集成各种数据和业务。服务平台建成后，每个部门，甚至每位师生，都可以在自己的数据使用权限下，办理各项业务。服务平台甚至还整合了微信（手机版）、微博、邮箱、网盘等功能，师生只需登录一个账号，就能同步更新所有的社交网络，这也是“一张表”精神的体现。之所以说大数据管理的实质就是“一张表”工程，是因为它能够生动地告诉我们大数据是如何落地的。

第一章

大数据的一天

工作的白天

早上7点，你在浪漫悦耳的G大调钢琴曲中醒来，又是一个崭新的早晨。床头那个猫头鹰造型的闹钟传出的旋律让起床变成一件轻松开心的事情。

这个闹钟是妻子从大数据家居展卖会上淘回来的小玩意。每天，闹钟的铃声都会根据你的心情自动切换。很多年前，人们也许难以想象，像心情这样难以捉摸的东西如何不用自己表达就能被外界所捕捉。然而，这个猫头鹰却能通过分析前一天你与朋友的网上聊天内容，或是对你最近发布的微博状态进行情绪计算，猜测出你这段时间的喜怒哀乐和音乐偏好。昨天一位朋友在朋友圈里上传了一段贝多芬钢琴曲，优雅动听，你回复了一个“赞”，所以今天早上听到这段经典的G大调便不足为奇了。

你哼着音乐起床。房间感知到了你起床的信号，窗帘徐徐拉开，金色的阳光洒进卧室。咖啡的香味从厨房飘来，厨房电器刚刚自动做好了一顿美味的早餐。

你一边吃着早餐，一边看着电视新闻。电视节目都是个性化定制、智能推送的，现在正在报道的是流感爆发。主播对着动态地图指出了当前受流感影响的地区，分析了流感的传播路径、未来发展趋势，就像播报天气一样。在地图上，公共卫生机构抗击流感的部署一目了然。让人放心的是，因为控制及时，这次流感并没有带来大范围的不良影响。

另一则新闻是关于台风袭击的情况以及救灾工作的进展。通过综合数据平台，气象、民政、交警和医院等几十个部门形成了联动机制，大大缩短了救援时间。一些渔民被台风困在了海上，减灾办通过数据定位，帮助他们找到了最近的避难港口。“幸亏我们现在有这些技术手段，不然多耽搁一分钟，受灾地区民众的危险便多增加一分。”你不由得发出这样的感慨。

电视提醒你，该出发上班了。于是你整理好公文包，吻了一下熟睡中的妻子和孩子的额头，走出了家门。

你按下手机上的一个按钮，新买的汽车从车库徐徐驶出，开到了你的眼前。这是一辆自动驾驶的汽车，是你升职后给自己的奖赏。刚买这辆车时，你的父亲还有些担心，怕不够安全。后来才发现，这种担心完全没有必要。与人类驾驶相比，这辆自动驾驶的汽车不仅可以探测到360度范围内的一切事物，包括它们的距离、速度和温度，而且知道如何避开其他司机的视觉盲点，预知各个方向车辆的情况。你开玩笑地跟父亲说：“这辆汽车比开过很多年车的老司机还要可靠，因为它不会疲劳、酒驾抑或是赌气发火。”

汽车驶出小区的大门，经过一个路口时，它忽然停了下来，原来它探测到20米外有一个滚动的皮球。接着便冲出一个小孩，丝毫没有意识到可能面临的危险。待确认小孩离开车道后，汽车又平稳地启动了。

很多年前，你还是孩子时，父亲买了家里的第一辆小汽车。那时经常出现交通拥堵和剐蹭事故，为了上班不迟到，至少需要提前一个小时出发。现在，这辆自动驾驶的汽车在还没有上路时就已根据从家到公司这段路程上所有的道路状况、红绿灯时间和历史数据，提前规划好了一条最省时的路线。它贴心地提醒你，今天的车程预计为22分钟。它甚至还能与其他自动驾驶的汽车“打招呼”，与交通信号灯“交谈”，使你不会把时间浪费在堵车和等红绿灯上。

8点半，你准时到达了非凡公司。这是一家信用评级公司，你作为公司引进的首位数据科学家，已任职5年。

5年前，非凡公司的主要业务是帮助银行完善信用评级系统。过去，大多数银行对申请人进行信用评级的标准比较单一，无法对申请人做出全面评估。为了解决传统评级方式的缺陷，作为部门骨干的你与同事们通宵达旦地研究，希望建立一个全面的大数据信用评级模型。你们从各渠道搜集关于申请者的信息，例如，社交网站上的数据，用于对那些很少或者根本没有信用记录的人进行评估，还有在信用卡网站上停留的时间可以推测一个人的性格和还款诚意。你们对这些海量信息进行分析，得出了超过7万个可对申请人行为做出测量的指标，而整个信用评级过程在5秒内就能完成。

这一信用评级模型的研发和应用让非凡公司一举成名，而你也因为在这一过程中的优秀表现被提拔为部门经理。

你走进办公室，计算机桌面上已经自动筛选出了需要今天处理的信息。它就像一个贴心的秘书，使你的工作井井有条，同时又能与公司的同事、与世界各地的合作伙伴保持密切的合作。

在计算机上，你最常登录的页面不是公司主页，而是政府的数据开放网站，因为你们公司的很多预测模型都需要从这里下载数据。这个网站收录了从人口普查地图到生物物种保护等五花八门的数据集，甚至还公布了这些数据集的后设资料以及处理所需的软件工具，所有人都可以免费下载使用。一份由30万份行政区地图组成，精确到道路、建筑物、水系、行政区界线等详细资料的中国地图，是网站上被下载得最多的资料之一。你曾经在这个地图的基础上做了一款手机应用程序，实时展示本市各个社区的房价情况。这个应用程序的技术含量并不高，你所做的只不过是把不同来源的数据聚合到一起而已。但就是这个简单的应用程序在发布后广受好评，一度位列全市手机应用下载前10名。这件事情让你相当有成就感。

今天，你需要集中精力准备一个发言稿。因为下午你需要在公司的高层会议上汇报两个政府委托的大数据项目方案：一个是社会保障反欺诈系统，通过异常数据分析，自动识别冒领养老金、骗取医药费用、套取保险基金等欺诈行为，保障基金安全，管好、用好百姓的“养命钱”、“救命钱”；另一个是环境数据群体采集系统，通过在汽车车轮上安装传感器[2]，记录城市各角落的路况、空气质量及噪声、温度、湿度等信息，实现城市环境的移动监控。

在会上，你用动态的信息可视化图表展示自己的观点，随时调用各种数据支撑方案的论证。发言的最后，你激动地总结道：“大数据能帮助我们和我们的客户获得对于未来更加智慧的预测，而只有做到预见未来，才能遇见未来！”公司领导肯定了你的计划和设想，鼓励你尽快推广大数据在各个项目中的应用，以提升公司的竞争力。看来，接下来半年的大数据探索工作将充满挑战和乐趣。

生活的夜晚

一天充实的工作结束后，你终于可以放松下来，准备回家。走出公司，外面的天有些阴沉，一阵凉风夹杂着小雨滴刮了过来。你缩缩脖子，按下手机上的汽车按钮，它快速且准确地停在你面前。

汽车行驶了一会儿，自动停在了一家超市的门口。根据你每个月的生活习惯，它计算出今天是你定期的食品采购日。把你送到了超市门口，汽车就通过大数据导航自动驶向了地下停车场。下班时间，来超市购物的人比较多，但是你丝毫不用担心没有停车位，或者车位太远、往返停车场需要走很远的路。

超市货架上的食品整齐摆放着，井然有序。你逛有机食品区时看到了一种新出的杂粮麦片，看上去很有营养。你用手机扫描了食品包装上的二维码，手机屏幕上便出现了麦片的产地、成分、是否有过食品安全召回记录和其他购买者的评价信息，你甚至发现了隔壁邻居对这款产品的评价：“我们家小孩很喜欢吃。”你会心地笑了笑，果断将其放进购物篮。快速采购完这个月家庭所需食品后，按照多年以前的规矩，你该走到收银台前结账，但在今天的超市早已没有了结账柜台。将商品放入购物篮的一刹那，传感器便能把商品的价格和结算信息传输到你的手机上，生成一个订单。你确认订单后，便可在手机上完成支付。

从超市回家的途中，在驶过一条社区街道时，你忽然发现头顶有两三盏路灯忽明忽暗地闪烁着，你猜可能是出了故障。你拿起手机，拍了张路灯的照片，并将其上传到城市公共平台——这是一个供市民反馈问题的应用程序。它自动记录你拍照的位置，并将路灯受损的信息报告给了市政设施维修公司。几分钟后，你收到了一条短信，是市建设局发来的，他们告诉你路灯明天就会修好，感谢你作为热心市民提供了这条线索。

到家已是晚上7点，妻子早已接孩子放学回来，准备好了一顿丰盛可口的晚餐。饭桌上，妻子谈到了今天去行政服务大厅办事的经历。“我们单位计划到境外投资，听同事说以前审批立项要盖70多个章、跑好几个月才能办下来，今天我跑一趟就全办好了。你说我厉不厉害？”妻子一脸微笑地看着你，向你讨要表扬。你假装不解风情地说：“厉害的不是你，是我们数据科学家。没有我们设计的跨部门协作系统，你照样要一个部门一个部门地盖章；没有我们设计的在线申请系统，仅填审批表就够你忙活好一阵了。”

吃完饭，外面的风似乎停了下来。你决定带上妻子和孩子去小区附近的玫瑰公园散步和锻炼，这是每天必需的项目。去玫瑰公园锻炼的人们手上都戴着一条智能腕带，这条腕带除了作为进出公园和健身房的凭证外，还可以记录佩戴者每天锻炼的时间和散步的里程。然而它的作用还不止于此，它最强大的功能是将佩戴者在运动前的心跳、血压等信息上传到一个公共医疗数据库中，通过计算，它会准确提醒你的身体状况和适合的运动幅度：蓝色是需要休息，减少运动；绿色是适当的舒缓运动，如散步和打乒乓球；红色是适合游泳、网球和健身等剧烈的运动。这条腕带的普及是一项全民健身计划的重要内容，通过定时的运动提醒和身体状况分析，有助于你和家人的身体处于最健康的状态。

夜色渐浓，一天即将结束。

睡前，孩子躺在床上听你讲故事。你有感而发，没有像以往那样讲王子与公主的童话，而是给他讲了一个你小时候的故事。他听完将信将疑，很难相信你年轻时曾经为了进入一所理想的学校，参加各种不同的考试，填写各类成绩单、获奖证明和家庭状况表，之后才能拿到录取通知书。今天的孩子们就幸福多了，他们不再需要为中考或者高考而苦恼。因为数据库记录了孩子多方面的潜在能力和性格特点，会定制适合其发展的教育培训课程，推荐适合的学校。

[2]　2010年，联合国哥本哈根世界气候大会前后，美国麻省理工学院感应化城市实验室的学生设计了一款自行车辅助工具——哥本哈根车轮。车轮内置一些检测装置，可以对路况、一氧化碳、氮氧化物及噪声、温度、湿度等信息进行检测，全球定位系统装置帮助记录位置信息。通过蓝牙模块与智能手机关联，你可以参考这些实时数据调整自己的出行计划。更有意义的是，你还可以将这些数据上传，帮助建立一个庞大的环境状况数据库，绘制城市环境地图。车轮内还包含一个发动机、多组电池和一个内部齿轮系统，刹车时可存储能量，上坡或者行驶疲劳时可将存储的动能释放出来帮助骑行。

第二章

大数据：一个新的政府治理命题

大数据时代来临

站在今天的角度观察，人类社会的信息化进程其实可以划分为三个时代，即计算机时代、互联网时代和大数据时代。

到20世纪90年代中期，发达国家已经基本度过了计算机时代。计算机的普及，解决了信息的机器可读化和数据的可计算化问题。目前，发达国家和部分发展中国家也基本走完了互联网时代的路程。互联网的建立解决了信息传递和信息服务问题。在计算机和互联网的基础上，而今我们正步入一个全新的历史阶段——大数据时代。

剑桥大学教授维克托·迈尔–舍恩伯格在其《大数据时代：生活、工作与思维的大变革》中写道：“大数据开启了一次重大的时代转型。就像望远镜让我们感受宇宙、显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……未来数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。”

2013年被国外媒体称为“大数据元年”。大数据如浪潮一般席卷全世界，不仅在信息技术行业备受瞩目，更成为变革科研、商业、政府运作方式乃至人类思维方式的一个热点。

我们可以用三个词勾勒出大数据时代的全景——大数据、大知识、大价值。

大数据

1969年，美国阿波罗登月舱使用的自动控制计算机内存容量只有63KB（千字节）；而如今，一部普通的苹果手机运行内存就有1GB（吉字节），是前者的6.45万倍，这还不包括16~64GB不等的存储内存。阿波罗登月舱只有一个，而仅在2013年第一季度，就销售了大约3 800万部苹果手机。人们用手机社交、购物、阅读，产生的数据量是惊人的。

随着计算机技术全面融入组织运作和社会生活，数据正在以一种超乎想象的速度爆发式地增长。据统计，人类存储信息量增长速度是世界经济增长速度的5倍，而计算机数据处理能力增长速度则是世界经济增长速度的10倍。根据联合国的研究报告，全球的大数据存量从2005年的150EB（艾字节）增长到2010年的1 200EB，并预计将以40%的年增长率继续增长，2020年将达到2007年的44倍，平均每20个月翻一番。1 EB等于2^60B（字节），相当于13亿中国人人手一本500页的书加起来的信息量，5EB则相当于3.7万个美国国会图书馆的信息量。

数据大爆炸的来源有很多，它既来自新兴的物联网和移动互联网，也来自传统互联网以及广大经济社会活动领域。例如，每个人的日常生活都在被数据化，我们浏览网页、登录社交网络、使用移动通信工具、进行在线交易等，留下了各式各样的数字足迹；在遍布全球的工业设备、汽车、电子量表和集装箱上，有数不清的数据感应器，它们实时测量并传递地点、移动、振动、温度和湿度等信息，甚至能检测出空气和水中的化学变化；政府部门在统计监测、审批备案和行政执法过程中，也积累了大量的工商登记、税收缴纳、社保缴费、交通违章等公共数据……

大数据采集、存储、分析、可视化技术和方法的普及，使得对数量巨大、来源分散、格式众多的大数据进行分析成为可能。因此，大数据首先是一种技术进步，这种进步继而推动了人类认识世界和改造世界能力的进步，带来了大知识，创造了大价值。

一天能产生多少数据？

MBAonline网站发布的一张题为“互联网的一天”的信息图显示：

• 每天有2 940亿封电子邮件发出，如果这些是纸质信件，在美国需要花费两年的时间处理。

• 每天有200万篇博客文章在网上发布，这些文章相当于美国《时代周刊》刊发770年的总量。

• 每天有2.5亿张照片上传至社交网站脸谱网，如果把它们都打印出来，摞在一起有80个埃菲尔铁塔那么高。

• 每天有86.4万小时的视频被上传至视频网站Youtube，不间断播放则需98年。

• 每天有1.87亿个小时的音乐会在流媒体音乐网站Pandora上播放，如果一台计算机从公元元年就开始播放这些音乐会，到现在还没完没了地接着放。

• 累积起来，互联网一天之内产生的信息总量可以装满1.68亿张数字多功能光盘。

大知识

大数据能为人类带来大知识，即通过对海量数据进行分析，以一种前所未有的方式获得深刻洞见。例如，2009年甲型H1N1流感爆发时，与习惯性滞后的官方数据相比，谷歌成为一个更有效、更及时的指示标。他们通过分析5 000万条美国人最频繁检索的词条，例如“哪些是治疗咳嗽和发热的药物”，建立了4.5亿个数学模型，并与美国疾控中心在2003~2008年季节性流感传播时期的数据进行比较，提前两周预测出流感的爆发时间和传播路径。这种工作方式不需要分发口腔试纸和联系医院，它是建立在大数据的基础之上的。基于这样的技术理念和数据储备，下一次流感来袭时，世界将拥有一种更好的预测工具预防流感的传播。

人们通过大数据获得的知识更快速、更准确、更便捷，而这些在传统的数据利用思维和技术的基础上是难以完成的。例如，个人收入对于银行放贷、社会保障等机构而言是一项关键数据。然而，收入又是一个比较敏感的话题，要调查个人收入，不仅过程烦琐、成本较高，而且还存在瞒报的可能。著名征信机构益百利有一项服务，即通过分析信用卡历史记录和美国国税局的匿名税收数据，对个人的收入状况进行较为精准的预测，其预测结果售价不足1美元，而通过传统的办法证明一个人的收入状况要花费10美元左右。

大数据使得组织决策将越来越依赖于数据和分析，而非经验和直觉。迈克尔·刘易斯于2003年出版的《点球成金》中讲述了棒球统计学的一个真实案例。该书的主角比利·比恩是一家棒球队的总经理，他在一位统计学家的帮助下，尽可能地将球员能力数据化，并以此作为衡量球员能力的唯一标准，而非基于主观经验的判断。通过这套计算机程序和数学模型，比利以有限的预算寻找那些被价值低估的球员，实现了最高的“投入产出比”，创下了美国职业棒球大联盟百年历史上的连胜20场的空前纪录。与那位统计学家相比，专业棒球星探们在挑选球员方面的精准程度相形见绌。

大价值

我们的日常生活会因为无处不在的大数据应用更加智能便捷。搜索引擎可以为关联网站排序；智能输入法能为用户创建个性化词典；豆瓣网为我们推荐想要看的电影和图书；微信自动推送好友信息，帮助我们建立朋友圈；电子邮箱自动过滤含有某些关键词的垃圾邮件；相亲网站通过计算用户的性格、教育背景、职业等匹配程度，提高男女配对成功的概率。

从商业、科技领域到医疗、政府、教育、经济、人文、社会领域，大数据越来越显示出非凡的发展潜力和广泛的应用前景。2011年5月，麦肯锡全球研究所发布了一份专门的研究报告《大数据：下一个创新、竞争和生产率的前沿》，该报告分析指出：大数据可以在任何一个行业内创造更多价值。比如，零售业可以利用大数据增加60%的运营利润；如果医疗业全面使用大数据，仅在美国，每年能多创造3 000亿美元的价值，同时减少8%的医疗支出；如果运用到公共领域，欧洲政府每年可以减少1 000亿欧元的开支，同时可以有效避免偷税漏税行为；服务业如果抓住大数据机会，利用个人行为信息刺激消费，可以带来6 000亿美元的营业额。

大数据的创新运用和实时分析还被认为能够推动失业、饥饿和疾病爆发等社会问题的解决，对于发展中国家的发展而言尤其具有特殊意义。近些年全球粮食、能源和金融危机告诉人们，尽管当今世界信息技术非常发达，但决策者得到有用信息并及时采取行动以保护弱势群体的速度却总是慢于危机的出现。为了改变这种状况，2009年，联合国启动“全球脉动”计划，旨在为各国提供实时数据分析，以便更准确地了解人类福利状况，降低全球性危机对人类生活的影响。与传统的统计仅能有效跟踪中长期发展趋势相比，“全球脉动”计划旨在发现新的数字化指标，实时了解情况，并及时为决策者提供反馈。联合国秘书长潘基文说：“我们事实上是在一个实时信息的海洋中游泳，手机和数据服务的爆炸式增长意味着世界各地的人在为全球知识库做出海量的信息贡献。他们还通过交流、购买、出售和其他日常活动以免费的方式提供信息。私营部门正在研究这些新数据以便实时了解顾客。联合国也必须为自己的服务对象（全世界那些失去工作、生病、难以养活自己和家人的人）做同样的事情。”

全球知名咨询公司高德纳报告称，2012年全球各大企业用于大数据业务的投资额达43亿美元，预计2013年将增至340亿美元。国际数据公司报告称，中国大数据建设相关的软硬件服务2011年市场规模约7 760万美元，2016年将超过6亿美元，未来5年的复合增长率达51.4%，市场规模增长近7倍。

《大数据：正在到来的数据革命》的作者涂子沛深刻地指出，大数据之大，不仅在于其容量之大，而是通过数据的交换、整合和分析，发现新知识，创造新价值，带来大知识、大科技、大利润和大发展。

是的，我们已经走到振奋人心的历史关口。让我们抓住这场历史机遇，以引领者的姿态迎接大数据时代的到来。

大数据浪潮中的政府

大数据时代才刚刚开始，然而可以断言的是，我们的生活方式、工作方式、组织方式与社会形态都将因它发生深刻的改变。正如《哈佛商业评论》所称，大数据本质上是“一场管理革命”。它不仅是一场技术变革，更意味着一场社会变革，而这种社会变革又伴随并呼唤着公共管理与公共服务领域的变革。

大数据政府的5大应用

在西班牙首都马德里，整合警察、消防、医疗系统，使救援时间大幅度缩短，巡逻队、消防车、救护车能够在8分钟内到达81%的突发事件现场；在新加坡，智能交通综合信息管理平台在预测交通流速和流量方面有高达85%的准确率，能通过有效的引导和干预，显著提升高峰时段的车辆通行效率；在苏州市，覆盖城乡的信息化防控网络，在警力与人口配比不足万分之十的情况下，使打击处理案件数、刑拘转捕率、技术支撑率均为全省最高，实现了“以十抵万”的办案效率（这些案例将在本书第六章予以详细介绍）。

在公共管理领域，国内外一些先行者已经在运用大数据，通过多渠道的数据采集和快速综合的数据处理，增强治理社会的能力，实现政府公共服务的技术创新、管理创新和服务模式创新。大数据在公共管理领域的应用不仅使传统难题迎刃而解，更成为新时期应对新挑战、解决新问题的必然选择。

利用大数据治国，美国政府早已先行一步。奥巴马认为，数据在未来将是领地权、领海权、领空权之外的另一种国家核心资产。美国白宫科技政策办公室在2012年3月发布《大数据研究和发展计划》，同时组建大数据高级指导小组，以协调政府在大数据领域的两亿多美元投资，这标志着美国把大数据提高到国家战略层面，形成全体动员的格局。

根据麦肯锡的报告，大数据技术可为欧盟23个最大的政府公共部门管理活动的成本提供15%~20%的下降空间，在未来10年，每年创造1 500亿~3 000亿欧元的价值，并将公共部门的预计效率提高0.5个百分点。

对各个国家地区大数据实践的研究表明，大数据的应用可以从5个方面提高公共管理水平。

一是实现信息透明和共享，使外部利益相关者（比如公民和企业）和内部利益相关者（比如政府雇员和政府机构）都能提高自身的工作效率，产生积极的经济社会综合效益。在上海，自2006年起，中国人民银行上海总部公开金融信息后，催生了一批金融信息咨询服务公司，其中有上海联和金融信息服务有限公司等5家上市公司，拉动了十几万人的就业。在北京，交通管理部门公开提供违章信息，也催生了一批提供专业交通信息服务的互联网公司，它们向用户提供免费服务，并获得了可观的广告收入。

二是通过评估公共部门的绩效，增强内部竞争，激励工作表现，提高公共建设效率，提升行政服务质量，降低政府的管理成本。例如，荷兰政府推出了一项名为数字三角洲的工程，通过协调环境部、税务部门和国家研究所三方的财力、人力和物力，研究如何利用大数据预测，改变防洪策略以及整个荷兰水资源系统的管理工作。对比传统的水资源建设项目，这种合作组合预计可以节省高达15%的荷兰年度水资源管理预算。

三是通过人口细分和定制政策，增强公共服务的针对性，提高工作效率和公众满意度，减少开支。在传统公共管理中，公共部门倾向于为所有公民提供相同的服务。实际上，公众往往具有非常多元化的个性化需求。德国联邦劳工局对大量的失业人员的失业情况、干预手段和重新就业等历史数据进行分析，使得其能够区别不同类别的失业群体采取有针对性的手段进行失业干预，大大提高了公共服务提供的效率。该做法使得该局能够在每年减少100亿欧元相关支出的情况下，减少失业人员平均再就业所需时间，大大改善了失业人员的求职体验。

四是用政务智能替代或辅助人工决策，在纷繁复杂的数据中自动识别出不一致、错误和虚假的信息，减少出错成本和福利管理中的诈骗，缩小税收缺口。美国邮政署的计算机系统能够自动扫描邮件的相关数据（存放位置、派送路线、重量和体积等信息），通过与数据库中近4 000亿条数据的比较，甄别出“邮资欺诈”的邮件。扫描一封邮件只需要50~100毫秒。一旦检测出了异常，比如邮资不足或者邮票重复使用等情况，系统就会对信件实施实时拦截，再由分拣人员对其进行特殊处理。有趣的是，该项目竟然由此形成了威慑效应。自2006年开始实施此计划起，邮资欺诈行为大幅减少。

五是引导公共部门内部和外部的创新，例如，商业、非营利机构、第三方通过开发出大数据工具和分析，对公共服务进行反馈，为改善现有的方案提出建议，从而为公共部门创造新的价值。作为大数据惠民的一项重要探索，北京市于2012年10月推出政府数据资源网测试版，并面向企业及个人征集应用程序。由社会力量开发的“游北京”和“爱健康”两个程序目前已经可以下载试用。前者可以查阅北京旅游景点、餐饮、促销信息和卫生间信息等，后者是北京市所有卫生保健设施的指南应用，包括诊所、医院和养老院等信息，用户可以利用这款程序定位附近的医疗设施，查看现场网络图像。

奥巴马的大数据战略

奥巴马依靠有效的互联网推广赢得了2008年的美国总统大选，因而被称为继“电台总统”罗斯福、“电视总统”肯尼迪后的第一位“互联网总统”。2012年，奥巴马再次赢得总统大选。在这两次竞选中，被称为“核代码”的数据分析团队都发挥了至关重要的作用。

据奥巴马竞选团队的多位高级顾问介绍，他们在选举的两年前就一直在搜集、存储和分析选民数据，并根据这些数据分析结果制定竞选方案。在大量的数据分析基础上，他们制定出有针对性的宣传策略，在短时间内筹集到了10亿美元竞选资金；制作出拉拢“摇摆州”选民的具体数据分析模型，找到最有效的拉票方法；做到对选情了如指掌，确定奥巴马在竞选后期应当展开活动的地点。

在奥巴马看来，数据是未来的新石油，对数据的占有和控制是领地权、领海权、领空权之外的另一种国家核心能力。他将大数据上升到国家科技战略的高度，重要性堪比当年的信息高速公路。

2012年3月29日，美国联邦政府宣布开展《大数据研究和发展计划》，同时组建大数据高级指导小组，以协调政府在大数据领域的两亿多美元投资。根据这一计划，美国希望利用大数据技术在多个领域实现突破，包括科研教学、环境保护、工程技术、国土安全和生物医药等，具体的研发计划涉及美国国家科学基金会、美国国立卫生研究院、美国国防部、美国能源部、美国国防部高级研究计划局、美国地质勘探局6个联邦部门和机构。此举标志着，美国把应对大数据技术革命带来的机遇和挑战，提高到国家战略层面，形成了全体动员格局。

政府应成为大数据时代的领跑者

麦肯锡研究指出，尽管大数据能够在各个领域显著提高创新力、竞争力和产出率，但是，对于不同部门而言，大数据所带来的受益程度不同，利用大数据时所面临的困难程度也不同。如图2–1所示，与其他部门相比，政府部门在应用大数据的时候面临的困难最小，从大数据中获得的收益更多，价值潜力更大。

大数据价值潜力的大小指数

图2–1 不同社会部门开发大数据价值的难易程度和潜力大小

注1：详细信息请参见麦肯锡全球研究所报告《大数据：下一个创新、竞争和生产率的前沿》。

注2：采用美国2000~2008年经济数据。规模以气泡大小显示。

政府部门能够从大数据的使用中突出受益，是因为它在数据占有方面具有天然的优势。大数据的核心是数据，再是数据技术和思维。只有先占有巨量的数据，才能从中挖掘出巨大的价值。首先，政府有专门的统计部门和干部队伍，例如，国家统计局会定期开展人口普查和经济调查，大多数部委都设有发展规划司，很多单位都设有发展规划处，而财政、交通和气象等部门其实也掌握了大量有关经济社会运行的数据；其次，政府工作关系着民生的方方面面，在日常行政过程中，也自然而然地积累了各类与社会生活息息相关的数据；最后，政府还可以根据需求，要求企业、事业单位、行业协会提供各种数据。

早在1996年，美国联邦政府就声称信息是重要的国家资源，并认为自己是美国最大的单个信息生成、搜集、使用和发布方。以美国人口普查局为例，它作为美国人口、经济和政府方面重要统计数据的主要来源，目前拥有2 560TB（太字节）的数据，如果把这些数据全部打印出来，用4个门的文件柜来装，需要

5 000万个才能装下。美国国家安全局对全美的电话进行监控，每6小时产生的数据量就相当于美国国会图书馆（世界上馆藏量最大的图书馆）所有印刷体藏书的信息总量。此外，美国财政部、美国卫生部和美国劳工部也都是数据密集型的行政管理部门，而这只是美国联邦政府数百个机构当中的几个例子。为承担这些数据的存储和维护工作，1998年，美国联邦政府共拥有432所数据中心，而到了2010年，数据中心的总数跃升到2 094所，翻了几番。1996年，美国联邦政府的年度信息技术预算是180亿美元，10多年来不断上升，到2010年，已经高达784亿美元。据报道，这些投资中的一半以上都用在了购买存储数据的硬件设备上。

政府不仅是大数据的受益者、大数据的占有者，更在建设大数据基础设施、培育大数据产业、培养大数据人才、完善相关标准和立法等方面负有至关重要的责任。尤其在我国，政府在资源配置方面发挥着重要的作用，善于集中力量办大事，其强大影响力是带动大数据加速发展的优势所在。但是，我国政府在大数据方面才刚刚起步，要利用好大数据，我们所面临的困难不仅是技术的因素，更面临一系列的大转型。

大数据推动管理的现代化转型

把大数据的手段和方法引入管理领域，是实现管理现代化的有效路径，也是大数据时代的必然要求。

在广东省，伴随着经济的迅猛发展，地方税收纳税登记户从1994年60多万户增加到2011年的285万多户，地税收入从184亿元增加到4 248亿元，而同期，地税系统干部人数仅增加了20%。海量数据的即时获取和精确分析成为摆在管理者面前的一道难题。广东省通过率先建设省级地税集中征管信息系统，使全省共用一套服务器、一套程序和一个网络。目前，广东省税收管理员系统的数据总量已达到53TB，承载了覆盖税收执法、税源管理、涉税提醒服务等100多项业务。下面以广东省地税系统为例，从6方面揭示大数据推动公共管理从传统向现代转型的趋势。

从粗放化管理向精细化管理转型

广东地税通过建立省级数据应用大集中平台，告别了靠手工操作和人海战术的粗放型管理模式，实现了税款自动入库、自动划解和实时监控，取得了税款的稳定快速增长。通过对海量数据的分析和比对，广东地税对每个行业、每家企业、每个税种实现了精细化分析和掌控。例如，房地产业和建筑安装业流动性大、中间环节复杂，难以监控，历来是征管难点。广东地税依托大数据平台，开发了建筑安装业和房地产行业税源控管系统。通过该系统，可实时获取房地产开发项目明细信息，包括土地使用权信息、建筑工程进度、房产销售进度、销售明细以及各阶段的税款缴纳情况等，实现了项目从产生到消亡的全过程监控。

从单兵作战型管理向协作共享型管理转型

过去，不同政府部门拥有自己的信息系统，但很多数据相互隔离，形成了一个个信息孤岛，大数据的一大应用就是要实现数据信息共享，最大限度地发挥数据的功效，为经济社会发展服务。广东地税借助大数据平台，积极推进第三方涉税信息共享，明确了28个部门共享涉税信息的内容和方式。目前，工商税务信息每天都进行实时交换，推动了地税机关在办证服务上的创新，从原来的限时办证发展到现在的即时办证，从原来填写100多项登记信息，升级到填写8项必要信息内容，甚至可以享受免填服务。

从柜台式管理向自助式全天候管理转型

广东地税根据纳税人类别、涉税业务类别、办理时段等信息，依托大数据平台，形成了服务大厅、网上办税、纳税热线、自助办税、短信服务等多种渠道并存的大服务格局。通过自助办税终端系统，纳税人可以不受区域和时间限制，自行完成代开小额发票、打印缴款凭证、清缴税费、申报缴纳车船税等凭证类税收业务。截至2012年10月，广东地税已在全省（深圳除外）向纳税人开放573台自助办税终端，24小时自助办税厅（点）63个，办理税收业务累计超过660万户次，日平均办理业务量超过1.3万户次，分担了办税服务大厅约14%的业务量。

从被动响应型管理向主动预见型管理转型

为更好地主动服务于纳税人，广东地税通过税收大数据平台，推出全省集中统一的短信服务，为673万纳税人提供短信订阅服务，有针对性地对目标群体提供了发票开具提醒、逾期未申报短信提醒、未到期未申报短信提醒等多项主动短信服务。借助于大数据平台，避免了轰炸式、无目的性的短信服务方式，实现了针对特定受众发送定制短信内容的精确式短信服务，提升了服务质量。经统计，2011年的短信服务量超过1 800万条；2012年前10个月的短信服务量已超过

5 220万条。

从纸质文书管理向电子政务管理转型

目前，广东地税互联网电子税务局已基本建成，纳税人仅需短短5分钟，足不出户就能轻松办税。全省网报开户纳税人134.2万，开户率90.8%；电子报税的纳税户占纳税户总数的95%以上。广东省还在全国率先推行网络开具发票，不仅方便纳税人，还使税务机关能第一时间掌握每张发票的信息，实时与企业纳税申报数据比对分析，及时发现未缴、少缴税款的情况，保障了税款准确及时入库。网络发票的普及有效解决了假发票泛滥问题，大幅减少了用假发票报销的现象，被国家税务总局誉为“税收管理史上的颠覆性举措”。

从风险隐蔽型管理向风险防范型管理转型

广东地税坚持走科技防腐之路，开创了全国税务系统以信息化推进惩防体系建设的先河。依托大数据平台建立的惩防体系信息管理系统，对地税干部的税收执法和行政管理进行全程分析监控，有效防控了各类执法和廉政风险。对全省地税税收执法的监控预警数据从2008年刚上线时的每月近7 000个，大幅回落到2012年的不到500个，下降了92%。国地税分设18年来，全系统违法违纪发案率基本控制在0.5‰以下的较低水平，没有发生重大违法违纪案件，省局机关未发生违法违纪案件。

精细化管理、协作共享型管理、自助式全天候管理、主动预见型管理、电子政务管理、风险防范型管理，这些关键词也许还无法完全概括出大数据赋予现代管理的种种前景，然而却有助于我们把握前进的方向。令人欣喜的是，由于现代管理具有信息化、标准化的特征，只要有一种好的模式被创造出来，就可以迅速在其他区域、其他部门予以复制和推广。

中国的大数据实践

在中国，由各级政府主导的大数据计划已不是独立零散存在的试验田，而是处于全面进行时的生动实践。推动大数据相关产业发展和应用示范，正在成为各地抢占新一轮经济和科技发展制高点的重大战略，成为增强区域竞争力的前沿。

广东省是率先在全国推行大数据战略的省份。2012年年底，广东省制定了《广东省实施大数据战略工作方案》，提出启动大数据战略，计划采用行政搜集、网络搜取、自愿提供、有偿购买等多种方式拓宽数据搜集渠道；在政府各部门开展数据开放试点，通过部门网站向社会开放可供下载和分析使用的数据，进一步推进政务公开；建设完善全省网上办事大厅、政府数据档案、企业信用信息网等骨干网络系统；用3年左右的时间，在全省范围内推广设立公民个人专属网页。2013年4月，广东省省长朱小丹提出，到2015年，力争信息化水平达到中等发达国家水平；到2020年，迈入世界先进水平，基本建成“智慧广东”。

网格化是北京市加强社会管理工作的重要创新，也是大数据应用于公共管理的生动实践。在微软全球移动应用开发合作伙伴大会上，比尔·盖茨特意介绍了北京市东城区政府运用移动应用技术开展网格化试点的业绩，并称赞这种城市管理新模式是一项“世界级案例”。目前，北京市已初步构建起全市网格化社会服务管理体系框架，构建了一个“天上有云（云计算中心）、地上有格（社会管理网格）、中间有网（互联网）”的新型社会服务管理信息化支撑体系。网格化的推进使得社会服务管理工作变得更具预警性、主动性和协同性，为建设首善之都、世界城市提供了有力的保障。

大数据在城市管理中的综合应用——智慧城市，也得到了各级政府的高度重视。目前，我国已经确定了国家智慧城市试点名单。据不完全统计，全国已有95%的副省级以上城市、76%的地级以上城市，总计230多个城市提出或在建智慧城市，计划投资规模近万亿元。当前，我国的智慧城市建设尚处在起步阶段。在不远的将来，一座座集智慧交通、智能电网、智慧物流、智慧医疗、智慧环保、智慧社区、智慧建筑、智慧农业于一体的智慧城市，将让每一位居住在城市的居民都能感受到生活更加美好。

作为基础设施的大数据

工业时代的基础设施是铁路、公路、航空以及水、电等。在大数据时代，云计算、高速的泛在网、数据中心成为新一代的基础设施。这些基础设施的建设有的依靠的是政府强有力的投入，更多的投资来自市场，因为企业都在争抢大数据这块“大蛋糕”。

在2012年7月国务院印发的《“十二五”国家战略性新兴产业发展规划》中，信息处理技术被列为4项关键技术创新工程之一，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也都与大数据密切相关。

2013年1月11日，工业和信息化部发布《关于数据中心建设布局的指导意见》，明确了科学推动数据中心的建设和布局的指导思想、基本原则，对新建超大型数据中心、新建大型数据中心、新建中小型数据中心和已建数据中心进行布局导向，并从强化政策引导、加强应用引领、夯实网络能力、落实安全保障和发挥示范作用5个方面提出了数据中心建设布局的保障措施。

2013年1月，国内首家大数据产业园西咸大数据处理与服务产业园开工建设。根据规划，西咸新区将建成10万个机架、100万台服务器，2020年成为全国最大的数据聚集地。据测算，到2020年，大数据年产值1 000亿元，带动相关产业产值对西咸新区生产总值贡献率将超过15%。

云计算为大数据提供了基础架构平台。2010年，国家发改委将云计算确定为重点发展项目，同时批准北京、上海、杭州、深圳以及无锡为我国首批云计算五大示范城市。其中，北京推出了“祥云工程”，上海提出了“云海计划”，深圳则启动了“鲲云计划”，都着眼于打造世界级的云计算产业基地。仅仅两年的时间，各地已建、在建或者将建的云计算基地中心如雨后春笋般涌现。为了更好地推动我国云计算产业的发展，在工业和信息化部的指导下，中国计算机行业协会云计算专业委员会联合中国电子信息产业发展研究院、中关村软件园、浦东软件园、苏州工业园、南昌高新区、成都高新区等单位共同宣布将发起成立“中国云计算基地（中心）联盟”，通过这一平台，更好地落实国家相关产业发展促进措施，带动各类示范项目落地，加快产业集聚和应用示范推广，以推动我国云计算产业又好又快地发展。

李克强总理在2013年召开的国务院常务会议上提出了“宽带中国”战略，要求加快网络、通信基础设施建设和升级；加快实施“信息惠民”工程，建立公共信息服务平台；拓展新兴服务业态，开展物联网重大应用示范；增强网络信息安全保障能力。这一政策的出台将对大数据的技术基础设施建设起到巨大的推动作用，大数据引擎发展的效果也将愈加明显。

云计算

云计算是在计算量越来越大、数据越来越多、越来越动态、越来越实时、越来越需要结构化的产业背景下催生出来的一种基础架构和商业模式。它将分布在世界范围的计算资源整合为一个虚拟的统一资源体，并且按需服务、按量计费，使得计算资源的利用就像使用电力和自来水一样方便。

美国国家标准与技术研究院如此定义云计算：它是一种按使用量付费的模式，这种模式提供可用的、便捷的、按需的网络访问，进入可配置的计算资源共享池（资源包括网络、服务器、存储、应用程序、服务），使用者只需投入很少的管理工作，或与服务供应商进行很少的交互，便能从巨大的资源共享池中获得自己所需的信息。

云计算和大数据就像一个硬币的两面。如果说云计算为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。未来，以大数据为基础，以“云计算+智能终端（如智能手机）+社会化网络（如微博、政民互动应用程序）”的形式，将进一步渗透到人们工作和生活中的每个场景。

近日，国家电网下属国网信通公司与一些企业合作，建设“电力云仿真实验室”。实验表明，采用云计算能使每台服务器的平均利用率从7%提高到68%~80%；部署时间从小时级降低到分钟级；服务器重构和应用加载时间从20~40小时降低到15~30分钟；数据中心总运营成本节约30%以上，其中包括提高服务器利用率、降低硬件采购成本、借助虚拟机自动分配与部署、降低人力支出等因素。

作为基础性制度的大数据

2013年3月14日公布的《国务院机构改革和职能转变方案》，由于推动了中国铁路总公司、国家卫生和计划生育委员会、国家食品药品监督管理局、国家新闻出版广电总局、国家海洋局、国家能源局等部门的整合而备受关注。然而，与具体的机构整合相比，该方案提出的一系列基础性制度将把大数据嵌入经济社会管理的方方面面，对未来政府与社会的运行方式产生更深远的影响。

该方案及其任务分工的通知要求：用3~5年的时间，基本建成集合金融、工商登记、税收缴纳、社保缴费、交通违章等信用信息的统一平台，实现资源共享；建立以公民身份号码为基础的公民统一社会信用代码制度；建立以组织机构代码为基础的法人和其他组织统一社会信用代码制度；建立不动产统一登记制度；加强技术标准体系建设。

在社会学专家看来，基础性制度是一种能制约、派生或影响其他制度的原生性行为规则，在经济发展的制度框架中居于基础位置。在我国的体制改革中，基础性制度的建设情况决定了社会经济发展的基本环境，对其他层面的制度运行和体制改革具有深刻的影响。通常来说，能够起到制约其他制度的基础性制度主要有信用制度、市场秩序、产权制度、生产要素、社会保障、政府治理环境以及法律、文化道德传统等。例如，信用制度是现代市场经济的重要基础性制度，市场经济是一种信用经济，良好的社会信用体系会大幅降低交易成本，提高整个国民经济的运行效率；社会信用缺失则会影响经济发展，甚至造成整体经济的混乱。“房叔”、“房姐”事件就是钻了不动产统一登记制度尚未建立的空子。

目前，我国很多中小城市的政务信息化进程缓慢，甚至还没有建立起电子化管理体系，大量信息是纸质的，没有办法实现联网。即便完成了信息化工作，由于各地房地产信息系统各自发展，还存在数据标准不统一、难以整合的情况。此外，部门与部门之间目前也各自独立，房产登记是一个系统，商品房销售又是另一个系统，把这些系统整合起来也是一个难题。此外，要解决与“房叔”、“房姐”事件相关的伪造身份、贪污腐败等问题，还涉及不动产统一登记信息与其他类型信息之间的整合。而要实现上述大范围的数据整合，只能从大数据中寻找解决方案。而只有实现了这样的数据整合，才可以说大数据真正落了地，真正创造了大知识和大价值。

可以预见，在不远的未来，我国政府建立起这些基础性制度后，不仅可以通过掌握官员的家庭财产和消费状况让腐败分子无可遁形，而且可以通过调用个人居住、出行、金融信息，识别社会保障领域的诈骗，可以对食品产业链进行全程监管，保障食品安全质量，还可以大幅缩减行政申报环节、提高行政审批效率，为公众提供“快半拍”的人性化服务。

政府大数据观

大数据不仅是一种海量的数据状态、一系列先进的信息技术，更是一套科学认识世界、改造世界的观念与方法。树立这套世界观和方法论，有利于我们转变拍脑袋决策的作风，提高科学决策能力；有利于我们转变行政主导的传统思维，树立以人为本的核心意识；有利于我们深入把握科学发展观的精神内涵，把握科学发展的题中之义。

从拍脑袋到大数据决策

个别领导干部把决断误认为武断和盲断，结果导致决策失误、劳民伤财。这样的领导干部被群众戏称为“三拍”干部，即“事前拍脑袋决策、事中拍胸脯保证、事后拍屁股走人”。

然而，政府决策是对地方经济、政治、文化和社会建设提思路、做规划、定政策、出措施的过程，决策一经出台实施，就必然会在社会各个层面引起程度不同的反响，必然会涉及各方面利益格局的调整。决策失误将给国家、人民造成损失。此外，随着公共管理事务的日益复杂，仅凭个人感知已经很难全面了解所有正在发生的事情，并做出正确的判断。这就要求政府部门提高改革决策的科学性，把大数据技术与思维运用到管理与决策中，掌握决策依据、优化决策过程、跟踪决策实施。

一是“用数据说话”，为决策提供科学依据。科学发展观要求按科学发展规律办事，不能拍脑袋想当然，搞“长官意志”。数据是科学的基础，也是科学的度量标准。在大数据时代，政府决策应更多地基于科学的数据、分析和事实做出，基于对科学规律的把握。例如，纽约市警方开发了一款电子数据地图CompStat，通过分析案件与发薪日、体育赛事、天气变化和假日等变量的相关性，预测最可能发生罪案的“热点”地区，并预先在这些地区部署警力。应用这套系统后的次年，该市犯罪率就出现了明显的下降，凶杀案发生数量创下50年来最低。纽约的巨大成功很快引起美国司法部门的注意，开始在全国范围内推行数据驱动的管理方法，强调“数据和信息是执法工作中制定战略和决策的基础”。

二是智能辅助决策，大幅提高行政效率。大数据能够创造出复杂的人工智能，让计算机代替人类完成动态监测、语音咨询、即时翻译乃至医疗诊断、法律文书处理等专业任务。这种处理不仅是实时的、大批量的，更是科学的、精准的。例如，用红绿灯代替交警指挥节省了大量的人力成本，这是一种进步，但是还谈不上智能。人们常常会遇到这样一种情况，开车到达路口时碰巧指示灯变红了，即便对面没有车通过，也要无效率地等待。另外，人行横道的绿灯时间太短，威胁行人安全，也使社会对红绿灯设置的合理性产生了广泛的质疑。2013年，温州市主城区新增了172个悉尼自适应交通控制系统，根据各个路口的车流、人流大小自动调整红绿灯的等待时间，实现了对交通流的实时最佳配置和控制。

三是跟踪决策实施，持续改进公共管理与服务。大数据不仅能为政府提供决策产生机制，而且能根据实际需求和公众体验提供相应的决策信息反馈机制、决策调控纠偏机制。例如，哈佛大学和麻省理工学院的在线教育平台向全世界免费开放高质量的学习课程，为的就是让更多的学习者在上面学习、使用，这样它们就能搜集更多的数据，从而研究世界各国学习者的行为模式，使知识传播的形式不断优化、效率不断提高。任何错误都会在互联网上的千万双眼睛的关注下无所遁形，而教师之间、大学之间教学质量的差异变得高下立判。教育在我国本身就是一种公共服务，与传统的派驻专家组的方法相比，大数据对于学科建设、本科教学的改进而言也许有着更加积极的意义。大数据使得公共管理和服务变得可以监督、全过程监督、全员监督，为避免政绩工程和地方政府行为失范提供了一种可能。

从行政主导到以人为本的服务型政府

“以人为本”是科学发展观的核心。在公共服务方面，大数据观的树立有助于使政府改变传统的指令导向的公共管理模式和供给导向的公共服务模式，开启人本导向、需求导向的公共管理与服务新模式，为公众提供更优质、高效、个性化的公共服务。

一是全面感知，使政府行动更有目标和效率。在大数据的辅助下，政府一方面能够实时、全面感知和预测公众所需的各类服务和信息，及时发现需求热点，为用户提供更加智能化的办事、便民服务；另一方面，对公民需求的多维度多层次细分，把面上的需求判断变为对需求细节的感知，使政府服务更精准、更个性化。例如，北京市公交部门于2013年9月推出定制公交平台。市民可在该平台上提出自己的出行需求，公交集团则根据出行需求和客流情况设计线路，然后在定制公交平台上招募乘客、预订座位、在线支付。根据约定的时间、地点、方向开行商务班车，保证一人一座，每日出行费用远远低于自驾车或乘坐出租车。

二是快速响应，有效提升应急管理能力和公众满意度。基于实时数据分析，政府不仅能够在第一时间响应和处理公共事件和公众诉求，而且能够把事后响应变成事中响应和事前预测，把人身安全威胁和财产损失和给公众带来的不便减到最少。例如，近年来，我国的群体性事件时有发生，其中，一些问题的产生就是因为政府的舆情研判能力不足，贻误了最佳处置时机，从而陷入被动，损害国家形象，甚至影响社会稳定。现在已经有一些机构向政府提供大数据的网络舆情监测服务，通过抓取海量数据监控社会舆情和公众情绪，为政府提供一个了解基层民众呼声和意愿的重要方式。舆情监测得越早、研判得越准，就越能早发现、早应对、早引导，将有可能酿成重大舆情危机的不稳定舆情苗头化解在萌芽状态。

三是公众参与，形成共建共治的社会治理格局。依靠群众、发动群众是中国共产党的制胜法宝。政府要维护庞大的社会良性运行，不能仅依靠公务人员的力量，还应调动广大人民群众的力量。这与互联网带来的一种新的资源组织形式“众包”不谋而合。

美国一位程序员发明了一款应用程序SeeClickFix，人们可以通过手机拍照，使用该程序举报乱涂乱画、交通灯损坏或者排水管堵塞问题，这些投诉被自动记录在案，并被发送到公共事业部门，相关问题会很快解决。SeeClickFix自2008年3月面世以来，目前已在美国上千个城市投入使用，其中既有旧金山、华盛顿和达拉斯等大城市，也包括马萨诸塞州西部和康涅狄格州的许多小镇。SeeClickFix是政府2.0理念的典型代表。在我国的社区网格化管理系统实践中，类似SeeClickFix的系统也得到了普及。

图2–2 SeeClickFix的运作机制

政府2.0/我的政府

政府2.0是“网络2.0之父”蒂姆·奥莱利提出的一种新的政府形态，它以用户为中心、以服务为导向，作为一个整体、开放的平台，与民众直接互动和沟通，将政府为主体的政府行政过程转变为以社会公众为主体，是政府、市场、社会三方协同互动的公共价值塑造过程。在这一进程中，以移动技术为代表的云计算、物联网等新一代信息技术工具和社会性网络服务、社交媒体为代表的社会工具起到了关键的作用。

威廉·D·埃格斯2004年在《政府2.0：通过信息技术来改善教育、削减开支、缓解交通拥堵、增强民主》中进一步提出了“我的政府”的概念，即以市民为中心的政府，政府可以根据公众不同的需求提供个性化服务，并将需求者和服务提供者匹配起来。

与电子政府不同，政府2.0/我的政府更强调整合政府职能，改变条块分割的传统架构，提供一站式服务；更强调开放、协同、合作，公众通过移动客户端参与政府提供公共服务产品的全过程。它是电子公务理论的体现，即用信息技术实现以公共产品与服务为核心，政府、企业、公众和社区充分互动协同，涵盖公共管理与服务各方面的完整动态循环系统。

本章主要讲述大数据的发展趋势，以及把大数据的思维、技术和方法应用于公共管理领域的重要意义。但是，大数据究竟是什么？它有哪些特征？我们需要做好哪些准备迎接大数据时代的来临？中国应如何通过技术、组织和文化的变革应对大数据带来的机遇与挑战？这是本书后面几章要回答的问题。

第三章

万千气象：感受数据之大

“人类历史上最早的一批城市都诞生在河边，河流为人类提供了食物、水和交通。而我们要做的就是创造一条数据的河流，滋养信息经济的发展。”

——纽约一家数据网站首页的标语

什么是大数据

“大数据”一词已经无处不在，然而其概念仍然存在混淆。有人从数量大、速度快、种类多等特征定义大数据；有人把大数据看作一项新技术，例如大数据处理技术Hadoop和非关系型数据库NoSQL；有人从大数据与数据的区别角度提出，大数据不仅包括人们过去搜集、存储和分析的交易数据，更包括人们从点击网页等操作中得到的交互数据以及机器自动搜集的观察数据；还有人认为大数据是一种新的预测信号，在传统情况下，当数据被记录时，人们已经无法对它们采取任何行动，组织在不断管理“失效的数据”，而在“新世界”，组织可以使用信号数据预测将发生什么，并通过干预改善情况。

值得注意的是，无论如何定义，业界几乎所有人都普遍认同，大数据不只是更多的数据，大数据是一个大事件，在未来几年将带来重大的机遇。

大数据与数据有何不同

“大数据”一词由英文“Big Data”翻译而来。很多文章在介绍大数据这一概念时都侧重于强调其“大”，即需要处理的信息量过大，已经超出了一般计算机在处理数据时所能使用的内存量，因此工程师们必须改进处理数据的工具。

然而，究竟多大才算是大数据？这个问题并没有标准答案，因为大数据的标准是不断调整的。麦肯锡全球研究所报告对大数据有以下定义：大数据是指大小超出了传统数据库软件工具的抓取、存储、管理和分析能力的数据群。这个定义有意地带有主观性，即我们不以超过多少TB为大数据的标准。我们假设随着时间的推移和技术的进步，大数据的量仍会增加。还应注意到，该定义可以因部门的不同而有所差异，这取决于什么类型的软件工具是通用的，以及某个特定行业的数据集通常的大小。因此，今天众多行业的大数据范围可以从几十TB到数千TB。

有人可能有这样的疑问：大数据不就是数据分析的另一种说法吗？大数据与数据究竟有何不同？大数据与传统的数据挖掘相比，与其说是一种量的进步，不如说是一种质的飞跃。人们在大数据的基础上可以做到的事情，在小规模数据的基础上是无法完成的。

高德纳的一份报告认为：大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。这一概念虽然简洁，却内涵丰富：第一，它认为大数据是一种信息资产；第二，这种信息资产具有海量、高增长率和多样化的属性；第三，它指出了大数据的应用价值和革新意义，即具有更强的决策力、洞察力和流程优化能力。

笔者更赞同高德纳的定义，把大数据看作一种战略和习惯，一种新的世界观和方法论。例如，谷歌不用分发口腔试纸和联系医院，就能给出和基于大量真实病例所得到的流感情况一致的结果，并且比疾控中心提前了两周，就是因为它分析了数千亿的数据，建立了强大的预测模型。从2009年10月起，“谷歌流感趋势”网站开始提供全球每周流感疫情预测，对于数据较完备国家的预测能精确到省份，并能显示横跨7年的历史数据。

另一个有代表性的例子发生在能源计量领域。美国软件公司Opower与多家电力公司合作，在几百万户家庭安装了智能电表，这些电表每隔15分钟就读一次用电数据。Opower公司据此每个月向每户家庭提供一份个性化报告，把该家庭的电费与周围邻居进行对比，显示该家庭的用电情况在全美类似家庭中所处的水平，以鼓励节约用电，预计每年为美国消费用电节省5亿美元。由此可见，大数据成为政府节能减排的千里眼、万只手，并且做到了深入每户家庭、量身定制解决方案，这在入户抄电表的传统工作方式下根本是无法想象的事情。

打开数据利用的想象空间

分析师马特·艾斯莱特将大数据定位为“之前因为技术限制而被忽略的数据”。的确，尽管从数据中发现价值的实践由来已久，但是在大数据时代，数据的价值才真正被发掘出来，人们用数据说话、用数据决策、用数据管理、用数据创新的意识才真正被唤醒。

至顶网副总编赵效民提出了一个非常有意思的观点。他认为：“大数据的出现标志着人类在数据利用方面进入了一个新的阶段，它代表了一种理念（数据能源）、一种思路（从数据搜集到数据分析再到数据呈现的整体构想）和一种新工具（将结构化与非结构化数据和语义与机器化数据汇聚、统一处理、分析与呈现的工具）的集合。它赋予了人类认知数据的新能力，也进一步打开了人类在数据利用方面的想象空间。”

赵效民进一步阐述，放眼地球上的各种能源，就会发现大数据与其有太多相似之处。物质成为能源的前提在于人类对它们的认知。在远古时期，人类因雷电引火，发现了火和木材这两种能源。随着人类文明的进步，人类逐渐发现了越来越多的能源，比如煤、天然气、石油和太阳能。它们已经在地球上静静地存在了成万上亿年，只是在人类掌握了相应的科技与工具之后，它们才得到利用。数据也是如此，如果数据存在一个生成/采集——应用/加工——保存/管理——分析/挖掘——再保存或删除这样的一个周期，那么从其生成的那一刻起，它就存在应有的价值，只是在于你是否有能力发现它们。这需要新的理念、知识、技术与相应的工具。原始人即使知道地下有石油，也无法开采，对所谓的数据分析，道理也是一样的。

从人类发展的历史来看，不断发现新能源是一种公理似的注定。当我们掌握了越来越先进的理念基础，并依此开发出越来越先进的工具，出现新的惊喜可以说理所当然。就像刚发明汽车时，谁也不会想到电、水会成为汽车可行的燃料。从这个角度讲，当前的大数据所带来的种种神奇只是人类在数据搜集、管理和分析等领域的一次进步而已，它有出现的必然，而非人类的一种顿悟。

新的数据技术既是数据大爆炸产生的基础，也为应对数据大爆炸提供了解决方案。信息和通信技术的融合与发展，廉价的存储、传感器和数据采集技术的快速发展，通过云和虚拟化存储设施增加的信息链路，以及创新软件和分析工具，是驱动大数据发展的技术基础。这些数据分析技术横跨数据库、统计学和机器学习等交叉学科。

从某种角度讲，大数据其实就是人类能源开拓历史在信息技术领域的一种再现与映射。大数据中谈到的数据搜集、汇总、保存、管理、分析、呈现，与能源的勘探、开采、汇聚、保管、提炼、使用一一对应。在数据利用的愿景方面，大数据与原来的数据仓库、数据挖掘、商业智能等概念是同出一辙、一脉相承的。它是人类信息技术水平发展到一定阶段的必然结果。它赋予了人类对数据认知的新能力，也进一步打开了人类在数据利用方面的想象空间。

第三次工业革命的战略资源

美国经济学家杰里米·里夫金提出了第三次工业革命的概念。在他看来，通信技术和能源技术的基础设施的变革是工业革命的主要推动力，并引发了经济和社会的转型。互联网技术与可再生能源的结合正在孕育第三次工业革命的基础设施——能源物联网。而第三次工业革命的主要内容便是解决前一次工业革命没有解决的问题。

在农业化浪潮中，一个木匠做家具可以是一把好手，但他在扩大再生产、创造社会化价值上是业余水平。在工业化浪潮中，生产者具有了大规模社会化地生产有用的东西的能力与环境，但是由于信息不对称，生产者的生产和服务经常是盲目的。生产者缺乏信息，不知道消费者需要什么，经常费了很大劲生产出市场不需要的东西，也就是创造了一大堆有价值而无意义的东西，因而实现不了价值。故第三次工业革命的使命便是通过信息化与数据化实现价值的最大化，通过个人对个人的一对一关系发展起来，以数据为中介，在经济上表现为多样化、差异性、个性化体验。

2012年4月21日，《经济学人》专题讨论了第三次工业革命，并强调3D（三维）打印是第三次工业革命的核心推动力。如同第一次工业革命实现了机器生产对手工作坊的替代，第二次工业革命实现了规模化生产一样，以3D打印为代表的数字化制造将推进新软件、新工艺、机器人和个性化网络服务的普及，最终实现大规模定制化生产、分散式就近生产。

在第三次工业革命中，数据、计算将成为战略资源，扮演重要角色，如果把计算看作能源，视作能像电能、太阳能一样流通的资源，并以统一的价格收费，我们将来用三步计算、五步计算也就并不在乎计算从哪里来，就像我们不知道今天的5度电是来自大亚湾还是三峡。未来，大数据相关的技术和能力将成为一个国家至关重要的核心战略资源。

为了提升中国在第三次工业革命中的发展速度，为进入下一个经济周期做好准备，我们的每一个企业、科研团队和政府，都有责任通过一些计划，有目的地搜集、处理、分析、索引数据，IBM（国际商业机器公司）设立了“智慧地球”项目，现在，中国也有一些行业（如通信运营商、金融银行企业单位、政府交通部门）在制订类似的行业计划，通过信息化改造实现海量数据的搜集和处理，这些数据在未来可能产生现在所想象不到的价值，也需要现在的企业家、政府部门做好准备。

总之，无论是以智能电网为基础的能源物联网，还是以3D打印为基础的数字化制造，大数据都是以第三次工业革命的“新石油”这一重要战略资源的形态存在。可以想象，未来云计算、物联网和大数据将成为基础设施，移动互联网和3D打印技术将成为共性平台，数据分析和机器人等人工智能控制将成为服务手段，那么数据、知识和价值的按需分配、多次挖掘将成为新经济形态的不竭动力。

3D打印

3D打印是以计算机三维设计模型为蓝本，通过软件分层离散和数控成型系统，利用激光束、热熔喷嘴等方式将金属粉末、陶瓷粉末、塑料、细胞组织等特殊材料进行逐层堆积黏结，最终叠加成型，制造出实体产品的技术。

普通喷墨式打印机将墨水喷到纸的表面形成二维图像。而在3D打印时，软件通过计算机辅助设计完成一系列数字切片，并将这些切片的数据传送到3D打印机上，后者会将连续的薄型层面堆叠起来，直到一个固态物体成型。3D打印机与传统打印机最大的区别在于它使用的“墨水”是实实在在的原材料。有些打印机还能结合不同介质，令打印出来的物体一边坚硬而另一边柔软。

这也与传统制造业通过模具、车铣等机械加工方式对原材料进行定型、切削以最终生产成品不同，3D打印将三维实体变为若干个二维平面，通过对材料处理并逐层叠加进行生产，大大降低了制造的复杂度。这种数字化制造模式不需要复杂的工艺、不需要庞大的机床、不需要众多的人力，直接从计算机图形数据中便可生成任何形状的零件，使生产制造得以向更广的生产人群范围延伸。

科学家们正在利用3D打印机制造简单的活体组织，如皮肤、肌肉和血管片段，未来某一天我们有可能制造出像肾脏、肝脏甚至心脏这样的大型人体器官。如果生物打印机能够使用病人自身的干细胞，那么器官移植后的排异反应将减少。人们还可以打印食品，比如康奈尔大学的科学家们已经成功打印出杯形蛋糕。英国埃克塞特大学的研究人员推出了巧克力3D打印机，其成熟的产品现已推向市场。

大数据的特征

2001年，高德纳分析员道格·莱尼在一份与其2001年的研究相关的演讲中指出，数据增长有三个方向的挑战和机遇：量（Volume），即数据多少；速（Velocity），即资料输入、输出的速度；类（Variety），即多样性。

在莱尼的理论基础上，IBM提出大数据的4V特征，得到了业界的广泛认可。第一，数量（Volume），即数据巨大，从TB级别跃升到PB级别；第二，多样性（Variety），即数据类型繁多，不仅包括传统的格式化数据，还包括来自互联网的网络日志、视频、图片、地理位置信息等；第三，速度（Velocity），即处理速度快；第四，真实性（Veracity），即追求高质量的数据。虽然不同学者、不同研究机构对大数据的定义不尽相同，但都广泛提及了这4个基本特征。

图3–1 大数据的4V特征

大容量

天文学和基因学是最早产生大数据变革的领域。2000年，斯隆数字巡天项目启动时，位于新墨西哥州的望远镜在短短几周内搜集到的数据已经比天文学历史上总共搜集的数据还要多；在智利的大型视场全景巡天望远镜一旦于2016年投入使用，其在5天之内搜集到的信息量将相当于前者10年的信息档案。2003年，人类第一次破译人体基因密码时，用了10年才完成了30亿对碱基对的排序；而在10年之后，世界范围内的基因仪15分钟就可以完成同样的工作量。

伴随着各种随身设备、物联网和云计算、云存储等技术的发展，人和物的所有轨迹都可以被记录，数据因此被大量生产出来。移动互联网的核心网络节点是人，不再是网页。人人都成为数据制造者，短信、微博、照片、录像都是其数据产品；数据来自无数自动化传感器、自动记录设施、生产监测、环境监测、交通监测、安防监测等；来自自动流程记录，刷卡机、收款机、电子不停车收费系统，互联网点击、电话拨号等设施以及各种办事流程登记等。大量自动或人工产生的数据通过互联网聚集到特定地点，包括电信运营商、互联网运营商、政府、银行、商场、企业、交通枢纽等机构，形成了大数据之海。

我们周围到底有多少数据？数据量的增长速度有多快？许多人试图测量出一个确切的数字。

2011年，马丁·希尔伯特和普里西利亚·洛佩兹在《科学》上发表了一篇文章，对1986 ~2007年人类所创造、存储和传播的一切信息数量进行了追踪计算。其研究范围大约涵盖了60种模拟和数字技术：书籍、图画、信件、电子邮件、照片、音乐、视频（模拟和数字）、电子游戏、电话、汽车导航等。

据他们估算：2007年，人类大约存储了超过300EB的数据；1986~2007年，全球数据存储能力每年提高23%，双向通信能力每年提高28%，通用计算能力每年提高58%；预计到2013年，世界上存储的数据能达到约1.2ZB。

这样大的数据量意味着什么？据估算，如果把这些数据全部记在书中，这些书可以覆盖整个美国52次。如果存储在只读光盘上，这些光盘可以堆成5堆，每堆都可以伸到月球。在公元前3世纪，希腊时代最著名的图书馆亚历山大图书馆竭力搜集了当时其所能搜集到的书写作品，可以代表当时世界上其所能搜集到的知识量。但当数字数据洪流席卷世界之后，每个人都可以获得大量数据信息，相当于当时亚历山大图书馆存储的数据总量的320倍之多。

多样性

随着传感器、智能设备以及社交协作技术的飞速发展，组织中的数据也变得更加复杂，因为它不仅包含传统的关系型数据，还包含来自网页、互联网日志文件（包括点击流数据）、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。

在大数据时代，数据格式变得越来越多样，涵盖了文本、音频、图片、视频、模拟信号等不同的类型；数据来源也越来越多样，不仅产生于组织内部运作的各个环节，也来自于组织外部。例如，在交通领域，北京市交通智能化分析平台数据来自路网摄像头/传感器、公交、轨道交通、出租车以及省际客运、旅游、化危运输、停车、租车等运输行业，还有问卷调查和地理信息系统数据。4万辆浮动车每天产生2 000万条记录，交通卡刷卡记录每天1 900万条，手机定位数据每天1 800万条，出租车运营数据每天100万条，电子停车收费系统数据每天50万条，定期调查覆盖8万户家庭，等等，这些数据在体量和速度上都达到了大数据的规模。发掘这些形态各异、快慢不一的数据流之间的相关性，是大数据做前人之未做、能前人所不能的机会。

大数据不仅是处理巨量数据的利器，更为处理不同来源、不同格式的多元化数据提供了可能。例如，为了使计算机能够理解人的意图，人类就必须要将需解决的问题的思路、方法和手段通过计算机能够理解的形式告诉计算机，使得计算机能够根据人的指令一步一步工作，完成某种特定的任务。在以往，人们只能通过编程这种规范化计算机语言发出指令。随着自然语言处理技术的发展，人们可以用计算机处理自然语言，实现人与计算机之间基于文本和语音的有效通信。为此，还出现了专门提供结构化语言解决方案的组织——语言数据公司。自然语言无疑是一个新的数据来源，而且也是一种更复杂、更多样的数据，它包含诸如省略、指代、更正、重复、强调、倒序等大量的语言现象，还包括噪声、含混不清、口头语和音变等语音现象。

苹果公司在iPhone手机上应用的一项语音控制功能Siri就是多样化数据处理的代表。用户可以通过语音、文字输入等方式与Siri对话交流，并调用手机自带的各项应用，读短信、询问天气、设置闹钟、安排日程，乃至搜寻餐厅、电影院等生活信息，收看相关评论，甚至直接订位、订票，Siri则会依据用户默认的家庭地址或是所在位置判断、过滤搜寻的结果。为了让Siri足够聪明，苹果公司引入了谷歌、维基百科等外部数据源。在语音识别和语音合成方面，未来版本的Siri或许可以让我们听到中国各地的方言，比如四川话、湖南话和河南话。

多样化的数据来源正是大数据的威力所在。例如，交通状况与其他领域的数据都存在较强的关联性。研究发现，可以从供水系统数据中发现早晨洗澡的高峰时段，加上一个偏移量（通常是40~45分钟）就能估算出交通早高峰时段；同样可以从电网数据中统计出傍晚办公楼集中关灯的时间，加上偏移量估算出晚上的堵车时段。

快速度

在数据处理速度方面，有一个著名的“1秒定律”，即要在秒级时间范围内给出分析结果，超出这个时间，数据就失去价值了。

例如，IBM有一则广告，讲的是“1秒，能做什么”？1秒，能检测出台湾的铁道故障并发布预警；也能发现得克萨斯州的电力中断，避免电网瘫痪；还能帮助一家全球性金融公司锁定行业欺诈，保障客户利益。

在商业领域，“快”也早已贯穿企业运营、管理和决策智能化的每一个环节。形形色色描述“快”的新兴词汇出现在商业数据语境里，例如实时、快如闪电、光速、念动的瞬间、价值送达时间。

英特尔中国研究院首席工程师吴甘沙认为，快速度是大数据处理技术和传统的数据挖掘技术最大的区别。大数据是一种以实时数据处理、实时结果导向为特征的解决方案，它的“快”有两个层面。一是数据产生得快。有的数据是爆发式产生，例如，欧洲核子研究中心的大型强子对撞机在工作状态下每秒产生PB级的数据；有的数据是涓涓细流式产生，但是由于用户众多，短时间内产生的数据量依然非常庞大，例如，点击流、日志、射频识别数据、GPS（全球定位系统）位置信息。二是数据处理得快。正如水处理系统可以从水库调出水进行处理，也可以处理直接对涌进来的新水流。大数据也有批处理（“静止数据”转变为“正使用数据”）和流处理（“动态数据”转变为“正使用数据”）两种范式，以实现快速的数据处理。

吴甘沙提出，天下武功，唯快不破。为什么要“快”？第一，时间就是金钱。如果说价值是分子，那么时间就是分母，分母越小，单位价值就越大。面临同样大的数据“矿山”，“挖矿”效率是竞争优势。第二，像其他商品一样，数据的价值会折旧，等量数据在不同时间点上价值不等。NewSQL（新的可扩展性/高性能数据库）的先行者VoltDB（内存数据库）发明了一个概念叫作“数据连续统一体”：数据存在于一个连续的时间轴上，每个数据项都有它的年龄，不同年龄的数据有不同的价值取向，新产生的数据更具有个体价值，产生时间较为久远的数据集合起来更能发挥价值。第三，数据跟新闻一样具有时效性。很多传感器的数据产生几秒之后就失去意义了。美国国家海洋和大气管理局的超级计算机能够在日本地震后9分钟计算出海啸的可能性，但9分钟的延迟对于瞬间被海浪吞噬的生命来说还是太长了。

越来越多的数据挖掘趋于前端化，即提前感知预测并直接提供服务对象所需要的个性化服务。例如，对绝大多数商品来说，找到顾客“触点”的最佳时机并非在结账以后，而是在顾客还提着篮子逛街时。电子商务网站从点击流、浏览历史和行为（如放入购物车）中实时发现顾客的即时购买意图和兴趣，并据此推送商品，这就是“快”的价值。

真实性

在以上3项特征的基础上，IBM归纳总结了大数据的第四个特征——真实性。数据的重要性就在于对决策的支持。数据的规模并不能决定其能否为决策提供帮助，数据的真实性和质量才是获得真知和思路最重要的因素，是制定成功决策最坚实的基础。

追求高数据质量是一项重要的大数据要求和挑战。即使最优秀的数据清理方法也无法消除某些数据固有的不可预测性，例如，人的感情和诚实性、天气形势、经济因素以及未来。在处理这些类型的数据时，数据清理无法修正这种不确定性。然而，尽管存在不确定性，数据仍然包含宝贵的信息。我们必须承认、接受大数据的不确定性，并确定如何充分利用这一点，例如，采取数据融合，即通过结合多个可靠性较低的来源创建更准确、更有用的数据点，或者通过鲁棒优化技术和模糊逻辑方法等先进的数学方法。

业界还有人把大数据的基本特征从4V扩展到了11V，包括价值密度低（Value）、可视化（Visualization）、有效性（Validity）等。例如，价值密度低是指随着物联网的广泛应用，信息感知无处不在，信息海量，但在连续不间断的视频监控过程中，可能有用的数据仅一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

国际数据公司报告里有一句话，概括出了大数据基本特征之间的关系：大数据技术通过使用高速的采集、发现或分析，从超大容量的多样数据中经济地提取价值。

除了上述主流的定义，还有人使用3S或者3I描述大数据的特征。3S指的是：大小（Size）、速度（Speed）和结构（Structure）。3I指的是：（1）定义不明确的（Ill-defined）：多个主流的大数据定义都强调了数据规模需要超过传统方法处理数据的规模，而随着技术的进步，数据分析的效率不断提高，符合大数据定义的数据规模也会相应不断变大，因而并没有一个明确的标准；（2）令人生畏的（Intimidating）：从管理大数据到使用正确的工具获取它的价值，利用大数据的过程中充满了各种挑战；（3）即时的（Immediate）：数据的价值会随着时间快速衰减。因此为了保证大数据的可控性，需要缩短数据搜集到获得数据洞察之间的时间，使得大数据成为真正的即时大数据。这意味着能尽快地分析数据对获得竞争优势至关重要。由于相关表述都异曲同工，在此不做详细介绍。

数据大爆炸

在人类利用信息的历史上，共发生了5次媒介技术革命，每一次媒介革命都催生了一次数据大爆炸，并推动人类文化实现跨越式的发展。

历史学家伊丽莎白·爱森斯坦发现，1439年前后，古腾堡发明印刷机以后（第三次媒介革命），1453~1503年，这50年大约有800万本书被印刷出来，比1200年前君士坦丁堡建立以来整个欧洲所有的手抄书还要多。换言之，欧洲的信息存储量花了50年才增长100%（当时的欧洲占据了世界上大部分的信息存储份额），而如今大约每3年就能增长100%。

这次媒介革命产生的数据洪流之猛烈，是前几次媒介革命难以企及的。美国电影《阿凡达》的制作团队动用了将近40 000个处理器，电影制作过程中产生的数据量达到了3PB，而同期的美国国会图书馆存档网络数据大小不足100TB，也就是说制作一部《阿凡达》产生的数据量相当于30个美国国会图书馆的数据量。这仅是数据大爆炸的一个缩影。我们正在经历一场前所未有的数据大爆炸，不仅数据的容量在扩大、数据的种类在增长，数据产生的速度也在日益加快。

表3–1 五次媒介革命

媒介革命

时间

内容

第一次媒介革命

人类史前时期

语言的出现：语言促进了人类思维能力的增强，并为人们相互交流思想、传递信息提供了有效的工具

第二次媒介革命

公元前3500年

文字的出现：文字作为信息的载体，可以使知识、经验长期得到保存，并使信息的交流开始能够克服时间、空间的障碍，可以长距离地或隔代地传递信息

第三次媒介革命

15世纪

印刷术的普及：书籍、报刊成为重要的信息储存和传播的媒体，打破了知识的垄断，极大促进了信息的共享和文化的普及

第四次媒介革命

19世纪中期

电话、广播、电视的发明：利用电磁波传播信息，突破了时间和空间的限制，使声音、画面的传播瞬息万里

第五次媒介革命

20世纪中后期至今

计算机与互联网的使用：数字化、多媒体和网络化快速推进，人类进入信息社会，信息对整个社会的影响逐步提高到空前重要的地位，信息量、信息传播的速度、信息处理的速度以及信息应用的程度等都以几何级数的方式增长

媒介革命是形成数据大爆炸的重要原因。联合国报告认为，与经济社会发展有关的大数据一般都具有以下特征：（1）数据是数字化产生的，可以进行数字化存储并通过计算机处理；（2）数据是被动产生的，来自人们日常生活和活动中的数字化服务；（3）数据是自动搜集的，在产生的同时被搜集并存储；（4）可对数据进行空间或时间跟踪，如移动电话的呼叫位置和时间；（5）数据是被实时分析的。这些特征使巨量数据的采集成为可能。在传统的数据采集方式下，例如通过登记申报、人口普查，要获得这样规模庞大、形式多样的数据是根本无法想象的事情。

数字数据的增长

希尔伯特研究发现：全球数字数据的数量每3年多就会翻一番，而模拟数据的数量则基本上没有增加。2000年，世界上3/4的数据都是存储在报纸、胶片、黑胶唱片和盒式磁带这类媒介上的模拟数据，数字存储信息只占全球数据量的1/4。2002年，数字技术的全球数据存储量首次超过模拟技术。而在2007年，只有7%的数据是存储在报纸、图书、图片等媒介上的模拟数据，其余全部是数字数据。预计到2013年，非数字数据只占不到2%。1986~2007年，纸质媒介存储的数据在全球数据总量中的比重从33%降到了的0.007%。

电子书替代了纸质书，数字影像替代了胶片影像，数字语音替代了模拟语音，数字视频替代了模拟视频，甚至公交卡替代了传统的公交票，存储在手机上的票据可以充当电影票、登机牌……当文本、图像、声音、视频都可以用1和0表示，都能够以数字格式记录、存储、编辑并传播时，数据便开始全面进入我们工作和生活。信息生产和传播变得更加简单，通过计算机智能化地处理这些信息成为可能。

数字化的力量是强大的。2010年纸质版《大英百科全书》，全套书售价1 395美元，包含32册，重达58.5千克。然而，它的全部内容还装不满一个4G的U盘。有鉴于此，《大英百科全书》的出版社于2012年3月对外宣布，具有244年历史的《大英百科全书》将不再推出纸质版，内容全面数字化。实际上，4年前，大英百科全书公司总裁乔治·考茨就曾表示，《大英百科全书》的网络版和电子版的发行量已经超过纸质版，纸质版的发行收入只占总收入的20%。

图3–1 数据总量的增长和结构的变化（1986~2007年）

注：图中的数据是估算的，因此可能加总起来与总数略有差异。

资料来源：Martin Hilbert and Priscila López. The world’s technological capacity to store, communicate and compute information[J]. Science, Feb 10, 2011

互联网上运行的维基百科是数字化百科全书的代表，以此为例。在2001年，即维基百科创建的第一年，就创建了超过2万个条目，平均每月1 500条。截至2013年8月，英文版的维基百科已有429万多个条目，是《大英百科全书》的43倍。而全球所有282种语言独立运作的维基百科版本共突破2 100万个条目，总登记用户超越3 200万人，总编辑次数更是突破12亿次。来自世界各地的参与者都可以编辑维基百科中的任何文章及条目，他们共同形成了一个免费的、动态的、自由开放的全球知识体。数字化正是实现这一切的基础。

非结构化数据的增长

有研究认为，组织一直在分析应用的数据只占数据总量20%，这些数据主要是结构化数据，另外80%的数据并没有得到很好的利用，这部分数据主要是非结构化数据。

结构化数据是指在固定字段集合中存放的数据，如关系型数据和电子表格数据，属于传统的数据技术。非结构化数据是指难以用数据库二维逻辑表表现的数据，包括文本数据以及未标记的视频、音频和图像数据等。半结构化数据则介于两者之间，是用标签和其他标志划分数据元素的数据，可扩展标记语言和超文本标记语言都属于半结构化数据。广义的非结构化数据包括了半结构化和多结构化数据。

非结构化数据目前普遍被认为占数据总量的85%以上，而且增速比结构化数据快得多，有说法是快10~50倍。尽管上述数据的准确性有待研究确定，但无法否认的是，非结构化数据富含难以估量的价值，然而如何管理非结构化数据，把“数据坟墓”变成“数据金矿”却是一项新的挑战。

在医疗行业，既存在结构化的电子病历数据，也存在非结构化数据，包括病人描述病情的自然语言以及临床产生的X光片、CT（计算机X射线断层扫描）片、核磁共振片、病理切片等影像文件。这些数据在资料传递交换、临床全面展示和医学科研等方面有重要的价值，然而对于它们的整合利用还处于非常初级的阶段。再比如，到银行办理存贷款业务时，要复印很多证件，户口本、身份证、收入证明等，这些纸质原始资料都会以扫描或拍照的形式转化为电子文档，被永久保存起来。目前这些文档只起到了备查的作用，并没有被很好地开发利用。

非结构化数据管理能力是大数据的一项核心能力。在IBM发布的白皮书《分析：大数据在现实世界中的应用》中，报告了基于对全球95个国家、26个行业的1 144名业务人员和信息技术专业人士的调研结果。在超过一半的大数据项目中，受访者表示其所在组织采用了先进技术分析自然状态的文本，例如，呼叫中心对话内容的文字记录。这些分析技术包括解释和理解细微的语言特征，包括情绪、俚语和意图等，帮助企业了解客户当前的情绪状态，获得能够直接用于推动客户管理战略的宝贵信息。

对非结构化数据的开发和利用已经得到国家层面的重视。2012年7月6日，中国正式成立非结构化数据管理标准工作组，负责制定和完善中国非结构化数据管理领域的标准体系，制定相关国家标准，并参与非结构化数据管理的国际标准化工作，从而提升中国在非结构化数据管理领域的整体竞争力。

物联网

国际电信联盟发布的互联网报告如此定义物联网：通过二维码识读设备、射频识别装置、红外感应器、GPS和激光扫描器等信息传感设备，按约定的协议，把任何物品与互联网连接，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的一种网络。

和传统的互联网相比，物联网有其鲜明的特征：

第一，它是各种感知技术的广泛应用。物联网上部署了海量的多种类型传感器，每个传感器都是一个信息源，不同类别的传感器所捕获的信息内容和信息格式不同。传感器获得的数据具有实时性，按一定的频率周期性地采集环境信息，不断更新数据。

第二，它是一种建立在互联网上的泛在网。物联网技术的重要基础和核心仍旧是互联网，通过各种有线和无线网络与互联网融合，将物体的信息实时准确地传递出去。在物联网上的传感器定时采集的信息需要通过网络传输，由于其数量极其庞大，形成了海量信息，在传输过程中，为了保障数据的正确性和及时性，必须适应各种异构网络和协议。

第三，物联网不仅提供了传感器的连接，其本身也具有智能处理的能力，能够对物体实施智能控制。物联网将传感器和智能处理相结合，利用云计算、模式识别等各种智能技术，扩充其应用领域。从传感器获得的海量信息中分析、加工和处理有意义的数据，以适应不同用户的不同需求，发现新的应用领域和应用模式。

物联网的精神实质是提供不拘泥于任何场合、任何时间的应用场景与用户的自由互动，它依托云服务平台和互通互联的嵌入式处理软件，弱化技术色彩，强化与用户之间的良性互动。更佳的用户体验、更及时的数据采集和分析建议、更自如的工作和生活是通往智能生活的物理支撑。

例如，“7·21”北京特大暴雨之后，政府采取了很多解决措施，其中重要的一项是在立交桥下安装水位计，水位到一定高度会发出预警，提醒相关部门采取措施，这就是物联网技术的应用。在点位数少的情况下，数据量不够大，只能解决一部分问题。当水位计的点增多后，就会搜集到更多的数据，这样便于发现一些规律并发出预警。正是在物联网的推动下，数据搜集从少数、独立的点变成了大量、彼此连接的网，数据挖掘从对历史数据的挖掘转向对实时数据的挖掘，这就是大数据的意义。

信息时代的三大定律

正如牛顿力学三定律奠定了工业文明的基础，信息时代的三大定律也在驾驭着数字文明的快车，从而深刻改变着我们的世界。这三大定律就是摩尔定律、吉尔德定律和麦特卡尔夫定律。

李开复早在2000年就指出：“这些定律的意义非常重大，它们不一定会永远存在，因为网络经济几乎每天都在改变。但它们完全适用于今天的网络经济，这是无可置疑的。如果遵循它们，就有机会成功；如果不遵循的话，就一定会失败。”

摩尔定律

1965年，英特尔创始人之一戈登·摩尔在计算机硬件的发展规律的基础上提出了著名的“摩尔定律”。该定律认为：同一面积集成电路上可容纳的晶体管数目每18个月会翻一番，与此同时，其性能也将提升一倍。

晶体管的集成度越高，其价格越便宜。在20世纪60年代初，一个晶体管要10美元左右，但随着晶体管越来越小，直到小到一根头发丝上可以放1 000个晶体管时，每个晶体管的价格只有千分之一美分。这就使得物理存储器的性能在不断提高的同时，价格不断下降。1955年，IBM推出了第一款商用硬盘存储器，每MB的存储量需要6 000多美元；而到了1993年，购买1MB的存储量只需大概1美元；2010年，这个价格又下降到不足1美分。多数专家都相信，计算机硬件技术将持续发展，价格还将下跌，直到2020年，摩尔定律将仍然有效。有人据此总结出“贝尔定律”，即保持计算能力不变，微处理器的价格和体积每18个月减小一半。

根据摩尔定律和贝尔定律，全世界数据存储和处理不仅越来越快、越来越方便，而且越来越便宜。国际数据公司估计，由于计算机技术进步的持续推动，2011年企业创造、采集、管理和储存信息的成本已经下降到2005年的1/6，而同期企业关于数据的总投资2005年以来反而上升了50%。国际数据公司认为，数据产生成本是符合反摩尔定律的，即数据产生成本大概每两年下降50%，而这一趋势起码会持续到2015年。数据产生成本的下降和投资规模的增加成为催生大数据时代的基础。

吉尔德定律

吉尔德定律又被称为“胜利者浪费定律”，由乔治·吉尔德提出。该定律认为，最成功的商业运作模式是价格最低的资源将被尽可能地消耗，以此保存最昂贵的资源。在蒸汽机出现的时代，因为蒸汽机的成本已经低于当时传统的运输工具马匹，因此聪明的商人将蒸汽机投入使用。如今最廉价的资源就是计算机及网络宽带资源。据此，吉尔德预测：未来25年，主干网的带宽每6个月将翻一番，其增长速度是摩尔定律预测的中央处理器增长速度的4倍。

根据国际数据公司的统计数据，2005年的全球数据流量为1 300亿GB，到2010年，这个数据增加了近900%，达到了12 270亿GB，过了两年，到2012年，数据量又翻一番。预计到2020年，数据流量将是2010年的30多倍，达到40ZB。数据流量近几年每年翻一番的现实使得对数据基础设施的需求和投资极为旺盛。今天，几乎所有知名的电信公司都在乐此不疲地铺设缆线。而当带宽变得足够充裕时，上网的成本也会下降。

根据吉尔德的观点，在可预见的将来，总有一天，人人可以免费上网。他认为正如20世纪70年代昂贵的晶体管如今变得如此便宜一样，主干网如今还是稀缺资源的网络带宽，有朝一日会变得足够充裕，上网的成本也会大幅下降。实际上，在美国，今天已经有很多互联网服务提供商向用户提供免费上网服务。

随着带宽的增加，将有更多设备能以有线或无线的方式上网。而移动通信技术的发展则产生了3G（第三代移动通信技术）。3G与2G（第二代移动通信技术）的主要区别是传输声音和数据的速度上的提升，3G手机等移动客户端因此具有了处理图像、音乐和视频流等多种媒体信息的能力。4G（第四代移动通信技术）则集3G与WLAN（无线局域网络）于一体，能够以100Mbps（兆位/秒）的速度下载，比拨号上网快2 000倍，上传的速度也能达到20Mbps。4G网络能够传输高质量的视频图像，满足几乎所有用户对无线服务的要求。如同各行业的营业执照一样，由工业和信息化部许可发放4G牌照后才可经营4G业务。目前，中国移动、中国电信、中国联通已获颁4G牌照。而中国移动则表示，到2013年年底，中国移动4G网络覆盖将超过100个城市，4G终端采购将超过100万部，覆盖人口超过5亿，从而建成全球最大的4G网络。

移动互联业务的迅猛发展已经让部分人率先体验到了“永远在线”的工作与生活方式。移动社交将成为客户数字化生存的平台，移动广告将是移动互联网的主要盈利来源，手机游戏将成为娱乐化先锋，手机电视将成为时尚人士新宠，移动电子阅读填补狭缝时间，移动定位服务提供个性化信息，手机搜索将成为移动互联网发展的助推器，手机内容共享服务将成为客户的黏合剂，移动支付蕴藏巨大商机，移动电子商务、移动电子政务的春天即将到来。

泛在计算

支撑物联网的技术基础是泛在计算，而实现“无所不在计算”的网络称为泛在网。

泛在计算强调和环境融为一体的计算，而计算机本身则从人们的视线里消失。在泛在计算的模式下，人们能够在任何时间、任何地点以任何方式进行信息的获取与处理。它的核心思想是小型、便宜、网络化的处理设备广泛分布在日常生活的各个场所，计算设备将不只依赖命令行、图形界面进行人机交互，更依赖“自然”的交互方式，计算设备的尺寸将缩小到毫米甚至纳米级。

在泛在计算的环境中，无线传感器网络将广泛普及，整个世界是一个网络的世界, 数不清的为不同目的服务的计算和通信设备都连接在网络中, 在不同的服务环境中自由移动。泛在计算的目的是建立一个充满计算和通信能力的环境,同时使这个环境与人们逐渐地融合在一起，在这个融合空间中，人们可以随时随地、透明地获得数字化服务。平板电脑等移动设备、谷歌文档或远程游戏技术等云计算应用程序、4G或广域WiFi等高速无线网络将整合在一起，削弱计算机作为获取数字服务的中央媒介的地位。随着每辆汽车、每台照相机、每块手表以及每台电视都拥有几乎无限的计算能力，计算机将彻底退居幕后，以至于用户感觉不到它们的存在。

近年来，在物联网、互联网、电信网和传感网等网络技术的共同发展下，实现社会化的泛在网也逐渐形成。而基于环境感知、内容感知的能力，泛在计算为个人和社会提供了泛在的、无所不含的信息服务和应用。如今，随着手机支付、医疗监控等一批移动通信新应用的不断涌现，有望促成移动通信网向智能网络的成功转型。与此同时，为了适应泛在计算兴起的需求,移动通信网也必将迎来一系列的变革。

麦特卡尔夫定律

麦特卡尔夫定律的提出者为以太网的发明人罗伯特·麦特卡尔夫。该定律认为，网络的价值同网络用户数量的平方成正比，即N个连结能够创造出N的平方的效益。

麦特卡尔夫定律的核心思想是“物以多为贵”。举例来说，电话是一个人打给另一个人，信息是从一个端口到另一个端口，得到的效益是1；一个电视节目N个人同时收看，信息是从一个端口到N个端口，得到的效益是N；在互联网上，每个人都能够连接到N个网站，N个人能看到N个网站上的信息，这样得到的信息传送效益是N的平方。也就是说，上网的人数越多，产生的效益越大，互联网的价值随着用户数量的增加而呈算术级数增长或二次方程式的增长。因此，无论是伊拉克战争，还是科索沃战争，轰炸的目标都是选在网络的节点上。这是因为网络的节点对网络的功能至关重要。如果进攻节点，破坏网络的效能也是事半功倍。

传统经济时代最稀有的东西是最有价值的，所以人们为使自己立于不败之地，往往不愿意共享技术和信息，也就是中国人常说的“独门绝技”。但在网络经济时代，共享程度越高，拥有的用户群体越大，其价值越能得到最大程度的体现，而闭关自守、不愿将信息和技术与他人共享是没有出路的。因此，如何充分领会麦特卡尔夫定律的实质，转变思想，摆脱传统模式，进一步适应网络经济时代的新挑战，已经成为所有组织必须考虑的问题。

麦特卡尔夫定律背后的理论是网络外部性，即使用者越多，对原来的使用者而言，其效果不会如一般经济财产人越多，分享越少，反而其效用会越大。信息资源的奇特性不仅在于它是可以被无损耗地消费的，而且信息的消费过程可能同时就是信息的生产过程，它所包含的知识或感受在消费者那里催生出更多的知识和感受，消费它的人越多，它所包含的资源总量就越大。

按照摩尔定律和吉尔德定律，未来的计算机成本将持续回落，网络将呈指数级发展；随着网络用户数量迅速膨胀到数以亿计，网络的价值越发不可估量，这又与麦特卡尔夫定律不谋而合。这三大定律是有机统一的，它们勾勒出信息技术发展的历程，也是大数据运作的基础。

第四章

思维变革：大数据主义来袭

IBM资深大数据专家杰夫·乔纳斯提出要让数据“说话”。这听起来很平常，但是要做到并不容易。

随着数据量越来越大，数据格式越来越多元化，数据产生的速度越来越快，数据的处理也变得越来越困难。如何应对大数据是摆在我们面前的大考验。如果处理不好，大数据就会成为大包袱、大问题；如果应对得当，大数据则会带来大价值。但要做到这些，首先需要就我们对于数据价值的认知、利用进行一次颠覆性的改变。

一切皆可量化

测量一切可以测量的东西，把一切还不能测量的东西变成可以测量的东西。

——伽利略

“不会量化就无法管理”已成为管理学界的共识。借助“一切均可量化”的技术背景与思维方式，在这场大数据的思维革命后，未来的政府以及企业可以获得更多基于管理对象的知识，以精准地量化和管理，实现更可靠的预测和更明智的决策。

我们的数字足迹

“一切皆可量化。”这是斯蒂芬·贝克在《当我们变成一堆数字》一书中提出的观点。

在那本汇聚数字报告和分析的力作中，斯蒂芬·贝克向我们展示了我们正在进入一个鲜活的量化世界，告诉我们谁在支配人类：每一天，我们的身后都拖着一条由个人信息组成的长长的“尾巴”，我们点击网页、切换电视频道、驾车穿过自动收费站、用信用卡购物、使用手机等行为——这些过去完全被忽略的信息，现在都通过各种方式被数据化记录下来。数学精英正千方百计地以惊人的准确性测量和剖析我们的每个举动，将我们标注为工薪族、购物者、恋人、选民、博主，甚至抑郁症患者。

基督教有谚云：“凡走过必留下痕迹。”通过社交网络、电子邮件、移动电话、医疗交易和在线信用卡交易等多种方式，每个人日常生活都在被数据化，甚至是某些非结构化的文字、方位信息、沟通信息，通过信息技术的发展，尤其是语义网技术的应用，都转换为可处理的数据。

耶鲁大学计量经济学和法学教授伊恩·艾瑞斯在《超级数字天才：为什么用数字思考是变聪明的新方法》一书中谈到，每个人的各种个人信息，即经常在哪个商店购物、常买哪个牌子的衣服，甚至每一次消费的记录、收到的每一张超速罚单，人类在生活中产生的足迹都可以被数据化地记录。

现代记录和存储信息的技术进步让这些数字足迹纷纷现形，大大丰富了公共管理的手段。美国政府已经着手进行恐怖分子追踪的大数据挖掘计划。美国政府认为如果恐怖分子要策划一次袭击，必定会在各个角落留下某种痕迹，通过对在各个部门产生的这些数据进行挖掘，就能发现和追踪恐怖分子。广东省地税集中征管信息系统系统自动将采集的异常征管数据变为任务模式，主动推送给税收管理员，帮助税收管理员清楚了解纳税户现有和潜在的不规范的纳税行为，增强税源管理的针对性和实效性，同时也为纳税人降低了纳税遵从风险。

佛蒙特大学的幸福测试仪

幸福能够测量吗？2011年，佛蒙特大学的克里斯多夫·丹佛斯主持了一项关于幸福感的研究，不仅检测出了世界各地人们的幸福度，还研究出了幸福度与地理位置这两类看似风马牛不相及的信息之间的关系。

一条微博不仅能反映当下的热点话题，还会暴露发布者的情绪信息和位置信息。丹佛斯从全世界逾18万用户发布的3 700万条推特信息中，筛选出带有用户精确地理位置信息的信息，这类信息约占总体的1%。为了评估用户的幸福度，佛蒙特大学的研究小组研制了一种幸福测试仪：这种测试仪能检测出文本中表示积极、快乐情绪的词汇（比如，“新鲜的”、“极好的”、“咖啡”和“午餐”）以及表示消极情绪的词汇（比如，“没有”、“不”、“讨厌”、“该死的”、“无聊的”）。幸福测试仪会以此为根据，评出每一条信息的幸福指数。

丹佛斯感兴趣的问题是：信息的内容怎样随用户离家距离的变化而变化。那么怎样才能知道用户的家在哪里呢？当数据搜集上来后，结果一目了然。人们通常会有两个最常去的地方，且这两个地方相距不远，其中一个是家，另一个就是工作地点。

研究还发现了另一个有意思的现象：离家越远，人们所发信息中含有的开心词汇越多。所以，如果你感觉情绪低落或者工作劳累、焦虑，那么就来一次说走就走的旅行吧！

发现未知的数据世界

通过GPS，方向和位置可以被数据化；对微博状态进行分析，心情能够被数据化；安装了感应器，空气质量能够被数据化……信息技术的发展为我们打开了一扇大门，世界上那些从未被量化过的层面顿时以丰富多彩的数据形态呈现在我们面前。

对学校教育而言，最大的难题是如何克服一对多讲授的不足，为每个学生提供个性化的、持续性的指导和评价。现在的在线课堂可以做到这一点。

如果你还认为在线教育就是一个镜头、一段远程视频，实在是低估了它的实力。现在的在线课堂其实是一个学习行为量化与数据搜集的大师。它能够记录你在一张幻灯片上停留的时间，判别你在答错一道题之后有没有再次复习，统计你在网上提问的次数、参与讨论的情况，然后在这个基础上对你的学习行为进行诱导和评价。

为了搜集尽可能多的学习行为数据，哈佛大学和麻省理工学院斥巨资打造了大量优质课程，免费供世界各地的学习者们使用。这些数据将被用来改进学校教育，进而巩固其在教育界的领航者地位。

诚如舍恩伯格所预言的那样：“将世界看作信息，看作可以理解的数据的海洋，为我们提供了一个从未有过的审视现实的视角。它是一种可以渗透到所有生活领域的世界观。”

政府等公共管理和服务机构目前就坐在这样一个尚未开发的“信息喷泉”上。例如，监控摄像如果仅用于安全保卫，就是一项纯粹的成本支出。通过大数据技术，数据能够投入不同的领域，实现“一份钱两份货”，监控摄像甚至被视为一项可以增加收入的投资。从视频中挖掘人流数据、车流数据，分析其身份特征、行走路径、停留模式和聚集热点，对城市的规划和管理都极有价值。结合时间线，从无数摄像头搜集到的信息，还可以看出一个区域、一个城市的变化，比如，是更多的店铺在装修开张，还是更多的在歇业，新出现了更多的饭店，还是更多的服装店等。这些变化汇集起来，我们可以看到经济趋势、自然环境的变化甚至人们快乐和紧张的程度。

一切事物背后都隐藏着未被发掘的数据。如果你没有大数据的理念，很可能与很多有价值的数据失之交臂。比如某城市的公交车因为不分段计价，所以能够反映重要通勤信息的数据被工作人员“自作主张”地丢弃了。一旦思维转变过来，数据就能被巧妙地用来激发新产品和新型服务。

谷歌数字图书馆

正如活字印刷取代雕版印刷，将汉字、字母分离，再自由组合到一起，大幅提升了印刷的效率，推动了知识的传播与普及。如今，谷歌电子图书馆正在通过现代识别软件，把纸质书籍、图片数据化。

谷歌图书馆是谷歌公司于2004年发布的一个颇具理想主义色彩的项目。它通过把国家版权条例允许的书本内容进行数据化，建立一个容量丰富的谷歌电子图书馆，让处于这个世界任何角落的人都可以通过网络阅读，完全实现知识传递的无国界、无距离。

在项目初期，谷歌主要是使用扫描仪对实体书的内容进行电子化存储，于是珍藏在美国国会图书馆里的书本内容就变成了能在亚洲某个大学教室里使用的电子课件，这种网络的数字化传播方式极大地方便了渴望求知的人。但是这种电子化的读书方式首先需要读者明确自己所搜寻的内容，其次借助搜索引擎在浩如烟海的数字化图书海洋中找到自己需要的内容。因为没有对数字文本的内容进行数据化的处理和分析，谷歌数字图书馆中实际只储藏着这些书本的扫描图片。

近两年，随着识别软件和通信技术的发展，谷歌得以把这些数字化的图片转化为可处理的数据，使之“跃然纸上”。借助能识别数字图像的光学字符识别软件转化扫描图片上的字、词、句、段，如此处理后，谷歌的数字化图像也就顺利地转化为数据化的内容，让这些信息的潜在价值得到最大程度的释放，打造一个开放又可关联的知识世界。

万物皆有关联

“买了这款巧克力的人，也特别喜欢这种果酱。”“你和上面的这些成功人士都会钟爱这个品牌的家具。”这是哈佛商学院客座教授、数据分析专家汤姆·达文波特眼中大数据的运作方式。从数据中寻找相关关系，通过这种关系对未来做出预测，这是大数据方法论的核心思想。

追踪“蝴蝶效应”

“一只南美洲亚马孙河流域热带雨林中的蝴蝶，偶尔扇动几下翅膀，可以在两周以后引起美国得克萨斯州的一场龙卷风。”麻省理工学院专家洛伦兹把这种现象称作“蝴蝶效应”。它告诉我们，一件表面上看来毫无关系、非常微小的事情可能与千里之外的一件事情发生关联，并且带来巨大的改变。

在大数据时代，万事万物都可以被数据化地描述出来，建立特定的模型，通过复杂的计算，向我们呈现一个充满关联的世界。

你可能很难想到，互联网上的微博评论会与某家公司的股票价格息息相关。在脸谱网首次公开募股当天，推特上的情感先是逐渐转向负面，脸谱网的股价也于开盘25分钟后下跌。当推特上的情感转向正面时，脸谱网股价在8分钟后开始反弹。当股市接近收盘、推特上的情感转向负面时，10分钟后，脸谱网的股价又开始下跌。推特上每一次情感转向都牵动着脸谱网股价的波动。这两者究竟为什么相关，似乎并没有太多人探究，或者很难在短时间内找到一个具有说服力的解释。但如果因为找不到合理的解释，就忽略这种相关性，不得不说是一种损失。

宾夕法尼亚州立大学生物学家马塞尔·萨拉特和软件工程师沙先克·康德沃通过分析推特上的内容发现，人们对于疫苗的态度与他们实际注射预防流感药物的可能呈现正相关性。他们利用推特用户中谁和谁相关的元数据进行了更进一步的调查，发现未接种疫苗的子人群，进而评估流感爆发的风险。这就是社交网络产生的数据带来的有趣分析和实用价值。

另一个家喻户晓的相关关系的案例是“啤酒与尿布”。在沃尔玛超市，有一个十分有趣的现象：啤酒与尿布这两种风马牛不相及的商品居然被摆到了一起。之所以这么安排货架是因为超市主管在分析数以万计的消费者购物篮后发现，啤酒和尿布是两种关联商品，经常被同时购买。原来，美国妇女通常在家照顾孩子，她们经常会嘱咐丈夫在下班回家的路上为孩子买尿布，而丈夫在买尿布的同时又会顺手拎一打自己爱喝的啤酒。与此类似，菠菜摆在沙拉酱旁边卖得更好，在龙卷风天气应该促销蛋挞，这些看起来荒诞不经的规律实实在在地提高了超市的销量。

让数据发声，我们会注意到很多以前从来没有意识到的联系的存在。当前，一场发掘数据相关关系、开发数据价值的竞赛正在世界各地上演。它开启了一场寻宝游戏，而人们对于数据的看法以及对于相关关系价值的态度正是主宰这场游戏的关键。

“是什么”比“为什么”更重要

一家公司正在从社会化媒体上抓取各种数据，通过寻找影响票房成绩的相关因素预测票房。它针对电影选取30个参数，对演员选取50个参数，包括在哪里长大、毕业学校和毕业时间、扮演过的角色、收视率和票房如何、有过什么绯闻、跟谁关系好、网民评价等。根据这些参数，这家公司预测电影《1942》票房是3.8亿元，会亏本。制片方华谊兄弟认为这家公司是在“黑”他们，但最后的票房真的只有3.6亿元。

整件事情背后最有意思的是该公司选取的那些貌似古怪的参数。大家知道这些参数和预测结果相关，却并不了解如何相关。换言之，大家只能知道“是什么”，不知道“为什么”。从对因果关系的重视转向对相关关系的渴求，是大数据带给我们的根本性的思维方式转变。

寻找因果关系是人类长久以来的习惯。即使确定因果关系很困难且用途不大，人类还是习惯提出“为什么”。在日常生活中，人们总是热衷于用因果关系看待周围的一切。科学家们也都在努力探寻现象背后不变的真理与因果关系，以作为后续行为的指导。

进入大数据时代，如潮的数据涌来，信息更新和环境变迁的速度远快于我们思考和验证的速度，纷繁复杂的关系需要我们快速地梳理，我们无须知道现象背后的原因。

相关关系也许不能准确地告知我们某件事情为何会发生，但是它会提醒我们这件事情正在发生。在许多情况下，这种提醒的帮助已经足够大。如果电子医疗记录显示橙汁和阿司匹林的特定组合可以治疗癌症，那么找出具体的致病原因就没有这种治疗方法本身重要。同样，只要我们知道什么时候是买机票的最佳时机，就算不知道机票价格频繁波动的原因也无所谓。

对相关关系的渴求将带领我们走向扁平化的世界，拓展思考领域与眼界，获得理解这个世界的更多角度。我们不再需要在还没有搜集数据之前，就把分析建立在早已设立的少量假设的基础之上。大数据可以让过分沉迷于因果关系的人对世界、对人类自己有一个开放性的解释。

预测：大数据的核心

在气象经济学界流行这样一条“德尔菲气象定律”，即气象投入与产出比为1∶98，也就是说，在气象信息方面每投入1元，就可以得到98元的经济回报。一个典型的例子是，气温每降低1摄氏度，北京市燃气供暖系统日消耗天然气将增加约200万立方米。如果提高气象预报的精度，实时对供暖系统进行合理调控，无疑将节省一笔很大的能源消耗和经费开支。

从有人类智慧起，我们便努力学习预测明天的天气，进而决定是否播种，预测哪块土地不会被河流淹没，预测自己的疾病何时能痊愈，预测子孙能否平安健康。人类一直想要通过认识现在、理解过去，以获得对未来的预测。

起初，许多人的“知识”是基于迷信和预感，所以在原始社会，“巫师”是一个令人敬畏的群体，因为他们能通过手里的“水晶球”看到未来的世界。

1947年，第一台计算机问世一年后，管理大师赫伯特·西蒙就像先知一样指出：人类所有的决策都是基于有限理性的结果，如果能利用存储在计算机里的信息辅助决策，人类理性的范围将扩大，决策的质量就能提高。在后工业时代，人类社会面临的中心问题将从如何提高生产率转变为如何更好地利用信息辅助决策。

而今，用计算机进行预测早已变成现实。大数据变成了转动在人类手上的虚拟“水晶球”，为我们带来了人类直觉和想象无法超越的理性预测。在洛杉矶，警方通过测算未来24小时内最有可能发生犯罪的区域安排巡逻路线，以提升城市安全。在伦敦金融城，一位科学家出身的商人借助自己研发的股市预测模型，找到了利用数学日进斗金的秘诀。在南非，一位天文学家准备通过观察每一颗恒星的信号为整个宇宙编制星表，进而预测下一个小星球的陨灭时间。

这就是大数据的价值所在。通过对过去和现在的数据进行分析，它能够精确预测未来；通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系；通过对海量数据的挖掘，它能够代替人脑，承担管理决策的职责。

大数据之所以能做出预测，靠的是对相关关系的把握。我们常说“清明时节雨纷纷”，这个结论并不是逻辑推导出来的，而是人们通过多年观察，发现每年这几天总是下雨比较多，于是总结出了这样一个朴素的规律。同样，计算机把数学算法运用于海量数据，通过相关关系预测事情发生的可能性，例如，一封邮件被作为垃圾邮件过滤掉的可能性，输入的“teh”应该是“the”的可能性，从一个人过马路时的轨迹和速度推测他及时通过的可能性。

只有预测才能做到“未雨绸缪”。美国运输公司US Xpress通过“任何数据都不能少”计划，从成千上万的货车运输系统中搜集了900个数据元素，包括轮胎和汽油使用的传感器数据、引擎运行、货运车队的地球空间数据，以及货车司机博客上的抱怨。这些数据经过集成处理和分析，对车辆进行预防性维护。你可以预测哪辆车的哪个部件什么时候可能出故障，因此，你不用等到这辆车实际抛锚了再维修。

如果说传统管理流程是出现问题——逻辑分析——找出因果关系——提出解决方案的事后“救火”模式，大数据战略下的管理流程则是搜集数据——量化分析——找出相互关系——提出优化方案的正向思维模式。越早用大数据武装自己的思维，获得最佳预测的机会越多。接下来，就让大数据“水晶球”转动起来。

用大数据拍一部热播美剧

2013年最火的一部美剧当数《纸牌屋》。世界上最大的在线影片租赁服务商Netflix花1亿美元买下《纸牌屋》的版权，请来大卫·芬奇和老戏骨凯文·斯贝西，首次进军原创剧集就一炮而红，在美国等40多个国家成为最热门的在线剧集。那么在开拍之前，Netflix是否知道《纸牌屋》会火呢？

Netflix官方称挖掘其用户行为的大数据已经很长时间了，《纸牌屋》是其数据分析结果的第一次战略运用。用户只要登录Netflix网站，对某一个视频的每一次点击、播放、暂停、快进、回放，看了几分钟就彻底关掉视频，或者停了一段时间又重启，都会成为一个“事件”，被记录下来并汇入后台进行分析。Netflix或许并不能准确知道用户点击暂停按钮的个人原因，但是如果足够多的人在整段视频中的同一个地方有相同的举动，那么数据就显露出意义了。

结果是，Netflix比观众还要清楚我们的观影喜好。它已经知道用户很喜欢芬奇（《社交网络》、《七宗罪》的导演），也知道斯贝西主演的片子表现都不错，还知道英剧版的《纸牌屋》很受欢迎，三者的交集表明，值得在这件事上赌一把。此外，Netflix还通过大数据观测到另一流行趋势：越来越多的人不再像30年前那样，在每晚的固定时刻守在电视机前，等着收看最新剧集，而是“攒”起来，直到整季全部播放完毕之后，才选一个自己方便的时间段和地点，在方便的设备（多数是网络设备，如电脑和平板电脑）上一次性观看。因此，《纸牌屋》的播出方式没有遵循每周一集的惯例，而是第一季全集同时上线。基于3 000万北美用户观看视频时留下的行为数据，Netflix大胆做出了以上种种有违电视业常规的决定。昔日的内容发行商改行做了内容制造方，这就是大数据预测的魅力。

庞杂赢得胜利

“大象无形”出自老子的《道德经》，可以理解为世界上最巍峨的气势往往并不拘泥于一定的规则和格局，而是表现出气象万千的形态，无法捉摸。但在大数据时代，这种无法捕捉的“气”和“形”也许会随着技术的发展被描绘出来。

全景式观察与盲人摸象

过去，随机抽样一直被公认为一种最有效率的数据搜集方法。样本选择的科学性比样本数量更重要，统计学家这样告诉我们如何精确预测。抽样的目的是用最少的数据得到最准确的信息，抽样的科学程度（尤其是样本的随机性和代表性）对于统计结果的准确性至关重要。在传统数据思维下，寻找更大的样本量根本没有必要。因为当样本量达到一定程度后，我们从新增的个体样本上获得的信息只会越来越少，呈现出边际效应递减的规律。因此，并不是数据越大越好。

然而，统计学家们已经开始抱怨抽样方法的缺陷：它注定让我们无法观察事物全面的细节，抽样结果会受到主观偏见的影响，有如盲人摸象。有人说，用抽样的方法分析整体人口状况时，正确率能达到97%，但也许正是那被忽略的3%会完全颠覆已有的结论，尤其是当我们想了解更深层次的微观情况时，抽样方法就有些爱莫能助了。例如，1 000人看似是一个比较大的样本，但如果将研究对象细分至一线城市大龄单身女性，符合条件的可能只有10多个样本。从这样小规模的数据中，无法分析出任何有意义的结论。

即便不抽样，动员大量人力、物力进行普查，也是在事先确定调研问题和被访问人群后才开始执行的。从有限的问卷题目中，注定只能看到事物的某几个方面，无法获得更加客观和深入的信息。

以前由于缺乏存储和处理全量数据的工具，我们通常把这种无奈看作理所当然。在大数据时代，“样本=全体”的数据处理模式已经成为可能。我们可以分析更多的数据，而不再依赖于随机抽样。

谷歌可以提供谷歌流感趋势的原因就在于它几乎覆盖了7成以上的北美网络搜索市场，而在这些数据中，已经完全没有必要抽样调查这些数据：所有的记录都在数据仓库躺着等待人们挖掘和分析。

大数据导航的自动驾驶汽车能够实现360度全方位感知，安装在驾驶室内的摄像头会识别交通指示牌和信号灯，轮胎附近的传感器可以根据速度和方位推算汽车当前所在的位置，而连接GPS和谷歌地图的路线系统可以让它找到通往目的地的最快捷路线。

纽约警方通过分析案件与发薪日、体育赛事、天气变化、假日等变量的相关性，预测最可能发生罪案的“热点”地区，并预先在这些地区部署警力。无论是从时间纵向上来看，还是部门间数据联动的横向上来看，这种数据搜集视野都呈现出全景式的特点，从而更加富有生命力。

拥抱数据的杂乱

执著于精确性是信息缺乏时代的产物。传统的数据分析师很难容忍数据中存在的错误和噪声，他们会花大量的精力让数据更加精确和标准，提升基础数据的精准度以降低分析结果的错误概率。

当我们测量事物的能力受限时，关注最重要的事情和获取最精确的结果是可取的。如果购买者不知道牛群里有80头牛还是100头牛，那么交易就无法进行。因为需要分析的数据很少，所以我们必须尽可能精准地量化我们的记录。在大数据时代，很多时候，追求精确度已经变得不可行，甚至不受欢迎了。例如，一个小商店在晚上打烊时要把收银台里的每分钱都数清楚，但是我们不会，也不可能用“分”这个单位精确计算国民生产总值。

曾经我们大部分的习惯都建立在一个预设立场上，即用来进行决策的信息必须是少量、精确且至关重要的。然而，当数据量变大、数据处理速度加快且数据变得不那么精确时，这些预设立场都不复存在了。随着互联网的发展，特别是社交媒体、电子商务以及智慧终端的快速发展，数量巨大的数据碎片时刻都在产生。这些数据来自不同的渠道、不同的领域，有着不同的格式与标准。数据的杂乱变得不可避免，如果只是执迷于数据的精确性，你可能会感到无所适从。

在大数据时代，我们完全可以用一种更轻松的心态看待杂乱性，并接受它带来的精确性问题。试想，如果杂质是偶然的，它一定会被更多的正确数据淹没；如果噪声存在规律，足够多的数据可以发现这个规律，从而过滤噪声；如果误差是内在的必然性，更多样化的数据采集和信息融合也必然能纠正误差。例如，GPS在监测地理位置时可能有几十米的误差，但加上了地图数据可以保证导航准确性。基于单个摄像头的车牌抓取和识别可能受光照条件、空气能见度、车辆运行速度和遮挡情况的影响，但获得的部分信息（不完整车牌和车辆特征），可以与其他摄像头获取的信息进行对照和相互印证。现代技术让我们能够对庞杂的数据进行快速高效的整理，帮助我们做出更好的决策。

大数据所依仗的就是数据量大。要想获得大数据带来的好处，混乱应该是一种标准途径，而不应该是竭力避免的。接受数据的不完美和不精准，承认它们的杂乱，我们才能够更好地进行预测，更好地认识和理解世界万物。一旦我们能正确地看待各类数据存在的价值，我们就会发现完全不必为数据的杂乱烦恼，拥抱数据的杂乱让我们进一步接近事实的真相，更加全面地认识这个世界。这就是大数据最美的地方。

基于数据发现的五种知识类型

（1）广义型知识：根据数据的微观特性发现其表征的、带有普遍性的、高层次概念的、中观或宏观的知识。

（2）分类型知识：反映同类事物共同性质的特征型知识和不同事物之间差异型特征知识。用于反映数据的汇聚模式或根据对象的属性区分其所属类别。

（3）关联型知识：反映一个事件和其他事件之间依赖或关联的知识，又称依赖关系，这类知识可用于数据库中的归一化、查询优化等。

（4）预测型知识：通过时间序列型数据，由历史的和当前的数据预测未来的情况，它实际上是一种以时间为关键属性的关联知识。

（5）偏差型知识：通过分析标准类以外的特例、数据聚类外的离群值、实际观测值和系统预测值间的显著差别，对差异和极端特例进行描述。

数中自有黄金屋

舍恩伯格在演讲中说：“我们可以看到一个全球性的趋势，就是从原来的生产制造的思维方式到把自己视作一个数据的平台。”未来竞争优势不一定来自制造，而是来自数据，来自搜集、分析和使用数据的能力。

数据的价值从来没有像现在这样受到人们的重视。通过思维变革，重新审视自己在这个大数据时代所处的位置，应当是每一个身处大数据时代的组织和个人必须思考的问题。

把数据负担变成数据红利

在过去很长一段时间里，数据记录、存储和分析的工具都无法应付数据量的快速增长，越来越多的数据并未给我们的生活带来任何改变，而是变成了一种负担。有人把这种情况下形成的数据利用思维称为数据小农心态，其表现是：对数据拣着测、挑着存、采着样来处理，总是幻想能够从最少的数据压榨出最多的信息。

在大数据时代，决策者需要通过一场思想启蒙运动树立这样的大数据观：数据不是累赘，采完、用完数据不要急着扔掉，把它存起来，因为数据的存储和搬运成本越来越低，而数据的价值将越来越大。

“数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在海面之下。”舍恩伯格不止一次地强调由数据产生的知识价值。“数据的价值在变。以前小数据的时代，数据的价值是一次使用的价值，也就是在我们搜集使用一次之后就没用了，但是在未来真正的数据价值在于一而再、再而三地使用这些数据，它的价值从第一次使用到第二次使用可能会翻两番，所以数据的再使用更重要。”

Inrix是美国西雅图的一家交通数据公司，它的业务是帮助人们导航，用实时的交通流量数据帮助上下班的人避开交通堵塞。然而最近，它开始做起了经济预测的生意。

2011年，美国经济复苏放缓，虽然政治家们极力否定这一事实，但是增长放缓的信号还是被Inrix披露了出来。Inrix分析发现，上下班高峰期的交通状况变好了，说明失业率上升、经济状况变差了。同时，Inrix把它搜集到的数据卖给了一支投资基金，这支投资基金把交通情况视作反映一家大型零售商场销售量的信号，一旦附近车辆增多，就说明商场的销售量会增加。在商场的季度财政报表公布之前，这支基金还利用这些数据分析结果置换了商场的一部分股份。大数据的分析和重复使用为Inrix创造了巨大的价值。

不同于物质性资源，大数据资源的使用是非竞争性的。数据的价值不会随着它的利用率提高而减少，数据可以不断被处理、不断产生新的价值。而今，数据不再是静止和陈旧的。对已有数据进行创新整合、多次挖掘，已成为抢占数据红利的强大武器。

大象与蚂蚁共同起舞

对于大数据落地的可行性，你的脑海里可能产生一个疑问：大数据对于那些资金充足、装备了高科技的大型组织而言能够发挥强大的作用，但是现在在中国，大量存在的都是传统的组织、中小型组织，它们如何利用大数据构建竞争优势呢？你可能还会问：目前，我没有身居高位，资源调动能力有限，我能够在本职岗位做点儿什么？

这两个问题回答起来既简单也复杂。

简单是因为在大数据时代比拼的不是规模，而是思路。

以往，人们认为组织规模越大越好，组织大才能实现规模效应，组织大才能钱多好开路、人多好办事；认为要启动大数据，就必须投资建自己的数据库，建大量的信息基础设施。就像网络搜索巨头公司谷歌，它拥有100万台服务器，办公机构遍布全球各地，这是以规模制胜的。而在大数据时代，大象和蚂蚁一起跳舞，大组织和小组织所面临的机会是均等的。资金已不是制约发展的首要障碍，技术的难题得到解决，需要比拼的核心竞争要素是是否具备大数据的思路。一家网络公司每天要处理的数据量达到数十亿，但是这家公司规模却很小，只有30人，而且它自己连一台服务器都没有，完全通过云的基础架构得以实现。

思路决定出路，眼光决定成败。要笑傲数据江湖，首先必须成为一个大数据主义者，要意识到数据的重要性，意识到数据是组织成功的重要资源；要对传统的数据利用思维进行变革，拥抱数据的杂乱，积极寻找万事万物之间的数据关联；要告别“数据小农”心态，积极把数据负担变成数据红利。如果你能想明白这些事情，那么恭喜你，你已经在大数据时代抢占了先机。

接下来再回答复杂的问题。

大数据是成为组织内最大的资产，还是成为其最严重的负担，取决于为应对数据量、复杂性、多样性和快速度所部署的战略和解决方案。然而实际情况是，我们的很多组织并没有足够多的数据和足够强的数据搜集、处理能力。

面对扑面而来的大数据热潮，我们应当还原其本质，将精力放在应该投放的地方：数据采集的渠道够广吗？数据汇聚的能力够强吗？数据管理是不是过于复杂？数据处理能力是不是太弱？数据分析是不是缺少智能？数据的呈现是不是易用性与友好度不高？在可预计的未来，这些都将成为组织和个人的一种基本能力。在下一章，我们将就这些问题进行深入的探讨。

第五章

多算胜：驾驭大数据

夫未战而庙算胜者，得算多也；未战而庙算不胜者，得算少也。多算胜，少算不胜，而况于无算乎。

——《孙子兵法》

行军打仗必须通过反复计算和信息分析，才有望获得战争的胜利。如何搜集来自各个角落的信息，如何从数据中获得知识，基于这些发现又将采取怎样的行动，如何利用这些数据优化公共管理，是最终让大数据在国家治理领域发挥魔力的重要手段。

大数据大容量、快速度（实时性、更短的时间处理数据）和多样性（非结构数据为主）的特征，使驾驭大数据遇到了3方面的难题：

存，即数据采集与存储，海量且庞杂的大数据从何而来，该如何存储。

管，即如何管理和分析这些大数据，对于这些碎片化、非结构化的凌乱数据，如何进行整理与分析，在无序中建立一个有序的分析逻辑。

用，即如何呈现和使用这些分析结果，把挖掘的知识落实到实际的公共管理问题上，解决这种大规模复杂结构下的实时应用问题。

传统的数据处理过程如同打磨一块玉石，由于可利用的数据不多，只能细细雕琢手中那块珍贵小巧的璞玉。但在大数据时代，数据容量庞大，数据生成快速多变。从海量的数据中寻找对管理具有预测和启示价值的信息和知识，犹如在沙子里淘金，需要在大量的材料里耐心地挖掘，才有可能找到如金子般珍贵的知识。如果再继续用过去埋头打磨玉石的数据处理方法分析海量的大数据，无异于拿把水果刀宰一头牛，即使有人给你打下手，还没杀死牛，人就累个半死了。

数据采集：遍布全球的触角

在数据分析界流传着一个很老的“拇指法则”：数据分析工作至少有70%~80%的时间都花在搜集和准备数据上，仅有20%~30%的时间花在分析本身上。如果是刚开始处理大数据，数据准备所花费的时间可能更长。

随着新的技术采集手段的出现，数据来源和数据类型变得前所未有的丰富。数据信息从来没有以今天这么快的速度产生过，也从未如今天这样如此大量地被搜集过。

涂子沛在其书中介绍了数据搜集的3种方式，联合国“全球脉动”计划为与经济社会发展相关的新数据源制定了一个简单的分类，在这些研究的基础上，笔者结合数据采集的最新趋势，对大数据的新型来源进行介绍。

业务数据

国土资源部、住房和城乡建设部的不动产登记信息，工商局掌握的企业登记注册和注销信息，医院检测的体检就医信息，养老院保存的老年人健康信息，交通管理部门记录的车主违章信息，这些业务数据每天都在源源不断地产生，并且由于信息技术在公共管理领域的应用，引发了业务管理过程中的数据大爆炸。

为推动各领域业务数据的采集，美国政府颁布了最小数据集规则，即每个业务部门必须保证按照一定规范搜集数据，并将其汇总到政府信息部门。也许有人会有疑问，为何要界定为“最小”？政府管理者的解释是，最小意味着最核心、最重要，它是国家管理层面强制搜集的数据指标。在美国，最小数据集已经被上升到了立法的高度，即各部门必须强制性地按照最小数据集中界定的数据指标（一般是最重要的数据指标）向政府提交业务数据。例如，美国国会规定，各养老院都必须提交一系列关于老人健康指标的最小数据集给州政府的医疗管理部门，再定期提交给联邦政府的管理部门。

此外，确定最小还有助于就数据搜集的边界和格式达成一致的管理意见。最小数据集在美国医疗行业被提出来之初，就是基于医院和政府的医疗管理部门等不同组织之间交换信息的需求。当然前提是各个最小数据集本身是完整且有效的，它在公共领域的定义和推广也就成为各部门开发设计自己的信息采集和数据管理系统时的重要参考。

除了公共部门产生的业务数据外，来自企业生产和商业服务过程中的业务数据也不可忽视。例如在超市收银台，顾客的购物和结账信息均被扫描进系统，如果顾客突然要求退货或者更改订单，这些业务数据都能被写入后台数据库。此外，旅行社每月登记的旅行团数据、健身中心保留的会员卡信息，甚至生鲜商品网站记录的退货信息，都可视为公众在使用商业服务中的业务数据，这一类数据比公共领域的业务数据更庞杂，潜藏了巨大的价值。

在信息技术的支撑下，业务数据的采集将更加便利。未来，如果到政府部门办事，你能拿到一份业务办理指引单，上面清晰列出了对申请者的各项要求和办事流程，减少了沟通成本；所有单据都用条形码统一标识，相关证件则内置芯片，扫描一下就能轻松读取全部信息；摄像头即时记录你的外貌特征作为保存申请信息的密码，安全快速。如果到医院体检，电子血压仪在给你测量血压时可以“一心二用”地将测量结果即时发送到你的手机上，同时共享给政府医疗管理部门，实现对公民健康数据的大规模联网分析。在高速公路上，客运车辆一旦出现超载或者私自拉客等不规范行为，便可由车载人员数字定位系统将关键信息同步给车辆管理部门和交通警察进行监控与处理……这将是业务数据大展拳脚的美好时代。

客运车辆上的车载人员数字定位系统

过去，长途客运车辆随意超载、违章停车甚至中途停车拉客，引发过多起重特大交通事故，客运车辆超员成为引发群死群伤特大交通事故的严重安全隐患，是社会关注的焦点。因缺乏对行驶中的客运车辆违规行为进行信息跟踪和采集的有效手段，无法准确获得客运车辆乘客人数和区分私拉乱运等关键信息的记录和监控，导致这一现象一直无法根除，难以管理，成为多年公安交警部门头疼的问题。

近期，河北的车场管理部门在北京中富瑞公司（一家专注于研发数字交通综合管理系统的公司）帮助下，上线了一套全新的车载人员数字定位及综合管理系统，对车辆座位信息进行实时采集并传输到主站软件，通过主站软件能够实时了解车上每个座位的详细情况，如人员上下车时间、地点、乘车历程、票款。车内图像监控系统获取车内图像信息，结合传感器装置统计上下车人数及车内乘客数量，数据传至监控中心，监控中心通过分析运算，自动生成票款营业额日/月报表。

这种产生于客运车辆运营中的业务数据为管理者有效控制票款流失、超载、中途私载等违规现象提供了重要的参考指标，也为车辆管理部门和交警部门治理违规客运车辆提供了重要手段，极大地规避了发生特大交通事故的风险，为乘客安全提供了保障。

调查数据

开展调查研究是我们开展工作的光荣传统和优良作风，调查数据是政府制定政策的重要依据。大数据时代，这种传统的数据搜集方法依然具有不可忽视的重要作用。

按照执行主体分，社会调查主要有3类：

第一类是政府部门组织的大规模调研，如人口普查和经济普查。这种调研是自上而下开展的，要求集中领导和统一行动，虽然获得的资料比较全面、精确，但是组织工作复杂，调查内容相对有限。国家和地方统计局是进行数据统计和监测的专门机构，未来它将在经济社会运行中扮演越来越重要的角色，不仅为国家管理提供重要工具和决策基础，而且将在服务经济和社会发展直至百姓生活层面发挥指引作用。

为减轻政府的信息搜集工作给公民和社会造成的负担，美国联邦政府特意成立了信息和管制办公室，其主要任务就是编制年度信息搜集预算。这份预算与钱无关，它要计算的是政府机构的信息搜集计划会给全社会带来多大的负担。1995年，这个数字是65亿小时，这相当于320万人整整一年的工作量。从那一年开始，信息和管制办公室不得不制订更审慎的“减负计划”，力争每年的信息扰民时间减少10%。然而随着大数据时代的到来，2009年联邦政府数据的信息搜集负担不减反增，居然达到了99亿小时。工作人员十分恼火，不得不推出了5项减负措施，其中包括尽量使用电子签名以减少信息传送、投递时间等招数。

第二类是由大学、研究院所等科研机构组织的调查。比如，中国人民大学开展的中国综合社会调查 （CGSS）是中国第一个全国性、综合性、连续性的大型社会调查项目，它通过定期、系统地搜集中国民众与中国社会各个方面的数据，总结社会变迁的长期趋势，探讨具有重大理论和现实意义的社会议题，推动国内社会科学研究的开放性与共享性，为国际比较研究提供数据资料。

第三类是各类企业、行业组织或者咨询公司组织的调查。这类调研主要是为了了解市场的现状及其发展趋势，给企业管理决策、产品研发和推广、投资计划制订提供重要依据。

传统调查大多使用的是纸质问卷，必须由一对一的调研者将问卷发放到被访者手中完成。调研过程和调研后的数据录入、处理工作会耗费大量的时间。如果各个环节衔接不畅，数据录入过程还可能出错，影响调查数据的准确性。

进入移动互联网时代，社会调研也逐渐朝更加智慧和智能的方向改变，也许可以轻松避开以上陷阱。儿科医生乔尔在撒哈拉以南非洲地区、南美和亚洲行医，他另外一个身份便是一家移动医疗服务公司的主管。他开发了一套移动数据搜集系统，帮助非洲乃至世界各地的公共卫生机构，通过手机、平板电脑等移动设备开展问卷调查，被访者直接在移动设备上填写问卷，点击“问卷提交”后，信息便及时上传到云平台，这样不仅能快速搜集调查数据，而且能准确记录和传输数据。这种借助云计算、移动通信技术升级实现的社会调查数据搜集，真正地做到了调查数据的实时采集和快速处理，也大幅降低了因为人工录入数据产生差错的概率。

目前在中国，无论是国家统计局、国家税务局还是国土资源部都表达了政务信息化过程中对这类移动设备的需求。据了解，下次人口普查对移动设备的需求量在50万台以上。

环境数据

随着信息技术的发展，我们所处的环境也变得日益敏感，各种高科技的数据搜集手段让我们身处的世界日益数据化。

前一段时间英国街头出现了一款科技感十足的垃圾桶，它不仅配备了大屏幕广告系统，而且其最重要的特点在于，可通过垃圾桶上方的探测器探测附近的人群和行走速度，完成某些数据的搜集调查报告，有意思的是，它甚至可以检测到路过的每个人使用的智能手机品牌等数据。

2011年，美国国家气象局在美国2 000辆客运大巴上安装了传感器，随着巴士的移动，这些传感器可以搜集沿途所有地点的温度、湿度、露水、光照度等数据，并立刻传回国家气象局的数据中心。数据采集每10秒一次，每天每个传感器要采集10万次以上的数据。

在中国湖南省公安消防总队，消防人员正在借助安装在楼宇、商场或者车站等公共场所的智能消防指示牌获知大楼内的火灾现场实时情况，并与消防系统联动形成智能的疏散路线图，通过分析环境中的数据指导被困人员安全撤离火灾现场。这些“聪明”的指示牌还能形成自组网系统，对握有便携式芯片的消防人员和周围环境等状况进行定位与追踪。

这种来自于公共生活环境的数据被称为环境数据。人们为了从外界获取信息，必须借助于感觉器官。在研究及生产活动中，视频监控和卫星等传感和遥感设备就是人类感官的延伸，它们就像眼睛、耳朵和皮肤，分布在我们所处环境的任何角落，搜集来自地球各个角落的数据与信息：大到海洋潮汐的变化、气候冷热的交替、PM2.5的浓度值，小到某个十字路口的车流量、公园的土壤含水量、消费者逛商场的路线，通过对这些外在环境的数据搜集，加深了我们对于所处环境的认知和控制。

人们在世界各地的工业设备、汽车和电表上安装了无数的数字传感器，这些传感器价格低廉、体积微小、具备无线通信和计算功能，随时测量和传输有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化数据。传感器早已渗入如工业生产、宇宙开发、海洋探测、环境保护、资源调查、医学诊断、生物工程甚至文物保护等极其广泛的领域，它是人们获取数据的重要手段，也是海量数据产生的重要原因。现在在机器、发动机和桥梁等基础设施上放置传感器变得越来越普遍了，这些传感器被用来记录机器和道路散发的热量、振幅、承压和声音等，以便提前预测机器和道路是否会出现故障。通过搜集这类数据，我们可以预先捕捉到这些信号，进行零件更换或者道路维修。

与此同时，人们也在通过飞机、气球和卫星搭载的遥感设备搜集着全球的景观变化、交通模式、光线排放、城市发展和地形变化等数据。例如，全球商业、金融信息和财经资讯提供商彭博动用卫星，每周拍摄位于俄克拉荷马州的美国最大的石油储藏库的照片两次，并根据房顶上的阴影长度判断储油罐内的油量，从而预测石油行情。遥感设备不仅可以实现大面积、实时、同步观测，还可以利用不同波段对物体不同的穿透性获取地表深层、冰层下的水体、沙漠底层等特征。遥感技术形成了对全球进行探测和监测的多层次、多视角、多领域的观测体系，在数据搜集、处理和判读分析等方面发挥着重要的作用。

上海世博会门票上的智能芯片

随着无线电通信技术的发展，射频识别技术也在逐渐发展成为一种环境数据搜集技术的主流手段，管理者们可通过无线电信号识别特定环境中的目标并读写相关数据。

2010年上海世博会的主办者、参展者、参观者、志愿者等各类人群均有大量的信息服务需求，包括人流疏导、交通管理、信息查询等，射频识别技术正是满足这些需求的有效手段之一。

世博会的主办者关心门票的防伪；参展者比较关心究竟有哪些参观者参观过自己的展台，他们关注的内容和产品是什么及其个人信息；参观者想迅速获得自己所要的信息，找到感兴趣的展示内容；志愿者需要了解全局，帮助需要帮助的人。上海世博会采用拥有自主知识产权的芯片技术轻松实现了上述功能。

参观者凭借嵌入射频识别标签的门票入场，并且随身携带。每个展台附近都放置了射频识别读取器，参观者在展会中走过哪些地方、在哪里驻足时间较长，这些客流信息能够实时反馈给参展者。通过带有射频识别读取器的多媒体查询终端，参观者可以知道自己当前的位置及所在展区的信息，还能追踪到走失同伴的信息。

用户生成数据

传统的网络1.0主要是用户通过浏览器获取信息，而在网络2.0时代，互联网上的内容从下载为主变成下载和上传并重，用户既是网站内容的浏览者，也是网站内容的编制者。这是互联网上的数据飞速增长的重要原因。

基于用户生成内容的互联网应用受到了人们的普遍欢迎，并且取得惊人的成功。脸谱网、人人网等社交网络，YouTube、优酷网、土豆网等视频分享网络，Flickr等照片分享网络，百度知道、维基百科等知识分享网络，豆瓣、天涯等社区论坛，推特、新浪微博等微博工具，都是其典型代表。例如，截至2012年12月底，新浪微博注册用户数已超过5亿，日活跃用户数达到4 620万。

用户生成内容不是零散的，而是能够形成一个庞大的数据生态系统，激励人们产生更多的数据。例如，豆瓣网所有的内容（分类、筛选、排序）都由成员产生和决定。网民提供自己读过的书、看过的电影、听过的音乐的清单，提交相关评论。这些内容通过网站提供的条目、标签或推荐等平台产生各种联系，从而编织出了一个以“兴趣爱好”为纽带的信息网络和人际网络。挖掘用户与内容之间多层次的关联关系，以及其中蕴含的丰富知识和信息，将在可预见的将来产生深刻的影响。

除了互联网，电信运营也积累了丰富的用户数据。其一，用户办理固定电话和手机入网手续时提供了实名信息，如年龄、性别、单位等；其二，电信运营商掌握了用户的电信业务消费信息，包括电信业务类型、业务资费、历史通话信息、通话时长、通话双方信息等；其三，电信运营商基于位置的电信服务可以精确获得用户的地理位置信息；其四，电信运营商拥有每天上百亿次的互联网访问量信息，现在各大运营商都在积极推进流量运营项目，即通过分析用户的上网流量使用行为预测用户的需求，进而向用户推荐更合适的产品或服务。综合以上数据，电信运营商可以通过挖掘个体用户需求和用户群共性需求，将用户需求实时地反映到电信服务中，电信运营商掌握的大数据就可以创造新的商业价值或者公共服务价值。

伴随移动互联网的诞生以及智能手机用户的不断增加，各种移动互联网入口将成为搜集数据的重要通道。未来搜索引擎入口、软件下载市场、导航服务入口、支付入口等都将成为产生用户信息与数据的重要来源。

数据尾气

正如我们开车时会留下一个副产品——汽车尾气，我们在进行日常活动时也会释放一个副产品，即各种各样的数据，这就是数据尾气。

数据尾气不仅不会破坏环境，而且是一片充满价值的沃土。例如，我们在互联网上浏览了哪些页面、每个页面停留了多久、入口页面是哪个、搜索了什么信息，我们使用移动电话时所在的地理位置，通话时间和时长，等等，都是富有价值的数据。

数据尾气极大地扩展了数据的用途。一位名叫霍廷的英国“80后”与一位大学教授联手，通过对推特上每天超过3亿条消息进行抽样，对网民的情绪评分并做成金融模型，以预测证券市场趋势。实体零售商诺德斯特姆从2012年秋开始测试一项新技术，通过追踪客户智能手机的WiFi信号记录客户活动，搜集有关店内购物者行为和情绪的数据，并将其用于改进店面布局，或者提供个性化的优惠券。

不仅个人能够产生数据尾气，组织也能产生数据尾气。例如，物流公司的数据原来只服务于运营需要，用来优化内部车队的调度，但一经再利用，物流公司就华丽转身为金融公司，物流数据被用以评估客户的信用，提供无抵押贷款，或者拿运送途中的货品作为抵押提供贷款。物流公司甚至可以转变为金融信息服务公司，判断各个细分经济领域的运行和走势。

除了上述4种数据来源，还有一类重要的数据来源是系统日志数据。以前记录这些数据是出于系统故障恢复、安全性等目的，后来人们发现其中蕴藏了很多反映用户行为的特征，很有价值。例如，通过对web日志的挖掘和对用户访问行为、频度、内容等分析，可以得到用户的访问模式、个体偏好和使用规律，理解和分析这些用户特征，有助于提供个性化的服务。

数据存储：海量吞吐的威力

日益丰富的数据来源和采集手段帮助我们解决了“巧妇难为无米之炊”的尴尬情况，但如果没有满足大数据存储特点的创新存储方法与技术手段，那么搜集到的“米”也因为无处存放而无法成“食”，所以期望大数据发挥价值的想法也只能停留在理论层面。

随着大数据应用的爆发性增长，它已经衍生出了自己独特的架构，而且也直接推动了存储、网络以及计算技术的发展。国际数据公司认为：“在可预见的未来，存储是大数据和分析领域最大的基础设施开支之一。”处理大数据这种特殊的存储需求是一个全新的挑战。

大数据量：考验存储能力

对于很多组织而言，大数据对存储容量的需求已经超出目前的存储能力。我们现在正处于PB级存储时代，而EB级存储时代也即将到来。大数据应用的爆发性增长不仅对存储的性能及容量构成严峻考验，而且对系统具备的数据检索与分析能力提出了更高要求，大数据的存储系统必须具备支持快速且即时获取关键价值信息的能力。

在这种背景下，传统数据存储明显捉襟见肘。

首先，容量效率低，在许多政府部门或者企业、高校等应用信息技术的环境中，存储系统资源相互独立，存储系统的利用率不均衡，有的存储设备已经饱和，而有的存储设备的存储利用率却不到30%。

其次，人员管理效率低。在传统存储模式下，每个应用都有自己的存储系统，每个存储系统都有自己的管理界面，都需要管理员维护，这些管理的成本随着存储器数量的增多而急剧增加。

再次，信息技术系统的生产效率难以保障。一方面是性能和稳定性容易出现问题，使得业务无法正常运营；另一方面是系统定期维护造成的定时停机，比较典型的如数据调整、设备更换、数据迁移等，都会使整个业务存储和处理系统停止。

最后，传统的数据存储技术追求高度一致性和容错性，而难以获得数据的可用性和扩展性，这将直接推高海量数据的存储成本。

过去，一些组织通常以5年作为信息技术系统规划的一个周期。在这5年中，组织的存储容量可能会增加100%。现在，组织则需要每年制定存储数据量级（比如从PB级到EB级）的增长计划，存储系统必须迅速地跟进数据膨胀的速度，只有这样才能确保业务不受干扰地持续增长。

大容量的存储要求系统具备在原有数据存储规格上进行扩展的能力，而且还能简单快速地进行扩展。传统的存储系统是一种烟囱式架构，就是每存储一类数据，就需要从上到下建立一个新的存储体系，不同烟囱之间很难调用。大数据的大容量存储结构则需要一种有别于烟囱模式的集群平台存储结构：每个存储节点除了具有一定的存储容量外，还能实现不同节点之前的无缝平滑的扩展，此外，各个节点内部还应具备数据处理能力以及互联设备，这样就能有效避免不同存储节点导致的信息孤岛。

即时记录：解决延迟问题

大数据的应用和存储还必须保证实时性，要对产生的数据实现即时记录，解决延迟问题。过去，由于无法提供快速获取统一实时数据的途径，也就无法给业务用户提供集成分析性能服务。数据延迟的问题一天不解决，数据的供应就一直是发展生产力和精准业务决策的绊脚石。

大数据的存储系统必须能够支持快速记录数据，并将其格式统一化后保持较快的响应速度，因为响应延迟的结果将阻碍业务决策者对可行动信息的获得。同时，数据延迟还会引起人们对数据及时性和一致性的担忧——它们会影响分析结果的可靠性，并最终影响决策的制定。尤其是在城市公共安全管理领域，一旦街道上的摄像头捕捉到危害社会安全的信息，存储系统就必须及时做出响应和判断。快速反应是大数据的重要价值所在。

信息防护：保证数据安全

数据安全问题的复杂性主要体现在两个方面。

一方面，数据的集中存储增加了数据泄露风险。大量的数据汇集，包括大量的城市运营数据、客户信息、个人隐私和各种行为的细节记录对数据的安全性要求较高，尤其是对于某些特殊数据，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。如果储存规范不达标或管理不善，极可能发生个人隐私泄露或数据丢失的严重问题。

另一方面，大数据新的存储特性给数据完整性、可用性和秘密性带来挑战，在防止数据丢失、被盗取和被破坏上，传统的安全工具不再像以前那么有用。而大数据分析往往需要多类数据相互参考，在过去并不会有这种数据混合访问的情况，因此大数据应用也催生出一些新的、需要考虑的安全性问题。

在此背景下，信息安全防护体系的建设也就显得越发重要。对于管理者而言，数据安全防护的关键便在于知道：从何处搜集数据，这些数据存储在哪里，谁有权访问、跟踪这些数据，以及遵循相关的法规和数据分析目标保护这些数据。对安全厂商而言，最重要的是如何将事件的模式、攻击的模式、时间和空间上的特征总结形成一些模型，变成大数据工具可以帮你发现的一些模式，提前对影响大数据安全的因素进行预警，建立一套能智能识别危险的信息防护体系。

提升效率：降低存储成本

“大”也可能意味着代价不菲。对于那些正在使用大数据的企业或者政府单位来说，成本控制也是存储大数据的关键问题。尽管信息技术的日新月异使数据存储的成本不断降低，例如，30年前，如果人们存储一定量的数据需要16亿美元，但存储相同量的数据在今天也许只需要100美元。但是，组织面对的数据也更多了。

数据存储成本主要来自两个方面，一个是购买主存储硬件设备和更新存储架构的软件安装成本，另一个是因日益复杂的存储系统产生的管理成本。要想控制存储成本，首先我们要让每台设备都实现更高的效率，同时还要减少那些昂贵的部件，使用高效率且安全性高的软件系统。此外，重复数据删除等技术已经进入主存储市场，而且现在的计算模型软件还可以同时处理多种数据类型，这都可以为大数据存储应用提升存储效率、节省存储成本。在数据量不断增加的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，都能够获得明显的投资回报。

此外，建立一个虚拟的管理界面，并对信息进行分层存储，也有助于在提升数据利用效率的同时降低管理成本。通过虚拟化存储，可以为所有被虚拟化的存储硬件提供单一管理界面，而分层存储则能根据数据的重要程度或时间情况将不同的资料存储到不同介质，对不同数据给予不同级别的保护与储存的方法，有助于建立一个经济型、生态型的数据存储中心。

数据分析：无序中建立有序

如果数据被赋予背景，它就成了信息；如果数据能够提炼出规律，它就是知识；如果数据能够借助于各种各样的工具在分析的基础上为我们提供正确的决策，它就是资源。

——尹明华，解放日报报业集团社长

大数据是庞大复杂的，有时甚至是丑陋且凌乱的，无从处理和编辑。这需要我们学会一套全新的方法与技术整理和驾驭这些数据，在不断膨胀的数据与信息面前都能游刃有余地进行处理和分析。

数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出研究对象的内在规律，也有学者将这一分析过程归纳为数据挖掘。当大数据的采集和存储已经完成，如何分析数据，将这些碎片化的数据系统化，在无序的数据和信息世界里寻找有序的连接，挖掘到可应用的价值，传统的数据分析方法已经不能完成现在的使命了，当基于大数据的知识和价值挖掘变成一种主流思维后，研究和应用大数据的分析处理技术则成为真正驾驭大数据的重要环节。

“淘金”路上的数据清洗

正像目前由于勘探和开发技术的限制，许多海底矿产还无法被人类利用一样，目前人类面对的信息海洋也蕴藏着无与伦比的宝藏而不能为人类所用。在这个信息风起云涌的时代，如何从数据中挖掘到真正的宝藏，成为分析人员孜孜不倦的研究主题。

要快速挖掘出数据的价值，寻找到隐藏在沙里的“金子”，第一步就是去除很明显的石头砂砾，这一思路应用于大数据分析过程中，就是数据清洗。数据清洗是开始大数据分析的第一个挑战，可以理解为数据的预分析，因为其对于数据挖掘的方向有重要影响。

数据清洗的意义正如字面意思所说，是把已经存储好的数据中“脏数据”清洗掉以提高数据质量。从科学角度来讲，就是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性、处理无效值和缺失值等。一般来说，存储的数据是面向某一主题的数据集合，这些数据从多个业务系统中抽取而来且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间存在冲突，这些错误的或有冲突的数据显然是我们不想要的，我们将其称为“脏数据”或者“数据噪声”。我们要按照一定的规则把“脏数据”洗掉，这就是数据清洗。而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是过滤掉还是由业务单位修正后再进行抽取。不符合要求的数据主要是不完整的数据、错误的数据、重复的数据三大类。数据清理一般是由计算机完成，而非人工完成。

清洗后，数据将在一致性、正确性、完整性和最小性四个指标上达到分析的要求。大数据背景下，大量来源不一的冗余、复杂、错误的数据被存储，之后的去粗存精、去伪存真工作需要数据清理技术加快发展速度，在极短时间内提高数据质量，满足行业和个人的数据分析要求。

在大数据时代，人们不缺乏数据，而是缺乏找到有价值的数据的能力和工具，这使得数据清洗的重要性凸显。不过，目前数据清洗的技术能力还远远不能满足清洗大数据的要求，所以数据清洗技术未来将成为驾驭大数据的关键技术之一。总之，“淘金”路上的预分析需要数据科学家们睁大双眼，磨炼数据处理技术，在包容大数据的杂乱与凌乱的同时过滤掉低质量的数据，为后续的大数据分析不断添加动力。

大数据分析呼唤新技术

大数据因其大容量、快速度、多样性的特征，必须呼唤新的分析处理技术才能成功驾驭它。大数据分析通用性技术的特点可以归纳为3个方面。

第一，大数据分析能包容杂乱且来自不同数据源的信息，并能在不同的分析处理系统上进行扩展，实现信息共享。在前文中提及，大数据的来源多种多样，而且还存在格式不一致、内容不一致等情况。传统的数据分析方法很难对这种杂乱的数据进行统一规范的转化，因而在政府内部甚至企业内部形成了一座座独立封闭的信息孤岛，大数据的分析技术因为其具有较高的扩展性和共享机制的建立，大大提升了杂乱性数据给我们带来的价值。

第二，大数据的分析方法具有对非结构化数据的处理能力。传统的数据分析习惯处理已经结构化的数据和信息。然而，现在超过80%的数据是非结构化的，每年非结构化数据存储总量较结构化数据增长率高出10~50倍，从业务角度看这些非结构化数据会越来越重要。而大数据分析现在希望从这些非结构化数据类型中抽取有价值的信息，包括邮件和其他形式的电子通信记录、网站上的资料、点击量和社交媒体相关内容、数字视频和音频、设备产生的数据（射频识别、GPS、传感器产生的数据、日志文件）等。

大数据挖掘的过程就如在沙子里淘金，能否淘到金子，需要耐心地挖掘足够多的沙子，而且对于不易淘选的非结构化数据，需要耗费更多的时间和精力。文本挖掘和Web挖掘是最具代表性的两种非结构化数据挖掘方式。

文本挖掘是将大量人类语言材料按照计算机语言能够理解的方式分解，再重新组合成具有特定意义的计算机语言，然后被人理解，从中发现新的知识或模式。一般来说，文本挖掘的第一步是找出具有独立意义的信息单元，比如一篇文章中的同义词，形成一个庞大的同义词库，在此基础上分析文章时产生的关联意义，可以帮助人们快速浏览十篇、百篇文章的主要内容。此后建立的文本运算法则将分解的信息重新组合，得出一个总体的模式或者各个关键概念之间的相互关系。目前，文本挖掘技术包括自动分类、文本相似性检索、常识校对、相关短语检索、自然语言检索等。

Web挖掘从互联网相关资源和行为中抽取有用的模式和隐含信息，应用范围越来越广。Web挖掘一般分为3类：Web内容挖掘,其含义十分明显，即挖掘网页本身所包含的内容和网页后台服务器搜集的网民浏览网页时留下的痕迹；Web结构挖掘，即探索网页与网页之间的关系，或者超链接之间的结构关系，一旦明确了这些结构，数据挖掘人员可以在不同的网站之间便捷地查找同类或者近似的内容，或者找到一些更优化的网站设计方式；Web使用模式挖掘，即通过分析来自网络服务器的元数据得到关于网民使用网络的路径或者习惯，这些网络使用模式可以是广义的、普通的，也可以根据客户的要求集中挖掘某一类用户或者某一类网站的使用模式。

第三，大数据分析意味着多学科的碰撞与集合。当下大数据的分析处理需要有效管理难以想象的海量数据，同时结合应用领域将这些海量数据整合成我们需要的有效信息，而不能只是耍酷似的玩弄统计技巧。鉴于计算机科学的每个领域都有着各自的理论和应用，多学科集合的能力会成为大数据分析技术的重要特征，一个真正的大数据科学家除了要具备计算机科学的基础知识外，还需对其他社会科学相关的知识结构有些许了解，这种不同领域的碰撞将有助于大数据科学家们更敏锐地发现数据中潜在的相关关系。同时，基于大数据分析获得的知识也会大大扩充我们对管理学、心理学、教育学和人口学等社会科学知识的积累。大数据与传统学科碰撞，无疑将是一个良性的循环过程。

数据挖掘的6个阶段

数据挖掘，也就是数据分析，一般是指从大量的数据中自动搜索隐藏其中的有着特殊关系的信息的过程，通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统和模式识别等诸多方法实现上述目标。

在近些年的数据挖掘实践中，跨行业数据挖掘过程标准（CRISP-DM）已经占据领先位置，采用量达到60%左右。它把数据挖掘项目的生命周期分为6个阶段。这6个阶段的顺序是不固定的，即经常需要前后调整这些阶段以完成数据挖掘，前后顺序取决于每个阶段或是阶段中特定任务的产出物是不是下一个阶段必须的输入。

业务理解。业务理解阶段主要指理解项目目标，从业务的角度理解数据分析的需求，同时将之转化为数据挖掘问题的定义，制定数据挖掘的目标，并完成初步计划。

数据理解。数据理解阶段从初始的数据搜集开始，一旦对象和工作计划拟定完成，就要考虑所需要的数据。通过一些活动的处理，熟悉数据，识别数据的质量问题，首次发现数据的内部属性，或是探测引起兴趣的子集以形成隐含信息的假设。

数据准备。就像做菜需要对食材进行筛选、洗净、切成一定形状一样，原始数据中有大量错误、重复的信息，需要删除、整理和转化。数据准备可以视为一次数据探索，为之后的模型建立做准备。通过对原始数据进行清洗和梳理，可以初次探索不同数据之间的关系，放弃完全无关的干扰信息。

建立模型。这一阶段需要描述数据并建立关联，然后用一定的分析方法借助数据挖掘工具进行数据的基础分析。在这一阶段，因为需要依据不断增长的数据进行修正，所以要不断地回到数据准备阶段。信用评估公司通过对杂乱数据的分析和挖掘，发现了影响申请人信用的关联物和关联系数，进而可以建立一个计算信用的评估模型。

模型评估。到这个阶段，你已经从数据分析的角度建立了一个高质量显示的模型。在最后发布模型之前，重要的事情是彻底评估模型，检查构造模型的步骤，确保模型可以完成业务目标。这个阶段的关键目的是确定是否有重要业务问题没有被充分地考虑到。这是一个缓慢推进的过程，各种可视化分析结果、统计和人工智能工具将更深层次地向数据挖掘人员展现数据运行之间的关系。

实施部署。模型的创建不是项目的结束。模型的作用是从数据中找到知识，获得的知识需要根据便于用户使用的方式重新组织和展现。根据需求，这个阶段可以产生简单的数据报告（如信用评估结果），也是比较复杂的、可重复的数据挖掘过程（如城市应急监控）。这个阶段是由客户而不是数据分析人员承担部署的工作。客户可以把实践结果反馈给技术人员，进一步对模型进行修订。

语义网

语义网是万维网联盟的蒂姆·伯纳斯–李在1998年提出的。语义网就是能够根据语义进行判断的智能网络，实现人与计算机之间的无障碍沟通。它好比一个巨型的大脑，智能化程度极高，协调能力非常强。在语义网上连接的每一台计算机不但能够理解词语和概念，而且能够理解它们之间的逻辑关系，可以从事人类的工作。它将使人类从搜索相关网页的繁重劳动中解放出来，把用户变成全能的上帝。语义网中的计算机能利用自己的智能软件在万维网上的海量资源中找到用户需要的信息，从而将一个个现存的信息孤岛发展成一个巨大的数据库。

目前我们使用的万维网实际上是一个存储和共享图像、文本的媒介，计算机所能看到的只是一堆文字或图像，对其内容无法进行识别。如果要让计算机处理万维网中的信息，就必须首先将这些信息加工成计算机可以理解的原始信息后才能进行处理，这是相当麻烦的事情。而语义网的建立则将事情变得简单得多。

例如，某天早上你突然想去可可西里旅游，于是你打开计算机，连接语义网，输入“预订今天下午2~6点之间任意时刻的到可可西里的机票”，此刻你的计算机代理将先与你所住地点附近的航空公司的代理联系，获得符合你要求的机票信息，完成订购。你不必像现在这样上网查看时间表，再打电话或在线预订机票和宾馆等，安装在你计算机上的软件会自动替你完成上述步骤。你所做的仅仅是用鼠标点几个键，然后等着送机票的人上门，甚至直接去机场登机就可以了。

数据呈现：信息可视化之美

在这里，我们用数据说话，提供轻量化的阅读体验。

——网易新闻《数读》栏目

仅仅拥有数据结果还不够，如何用清晰且有趣的方式把这些结果呈现出来有时更加重要。现在，数据可视化和可视分析技术被越来越广泛地应用于科学、工程、商业和日常生活中。它不仅能让数据自己说话，让观点更有力量，而且能通过交互可视界面辅助决策者进行数据分析、推理和决策。

一图胜千言

视觉是我们所有感官中最快的，比触觉、嗅觉都要快得多，每天都有很多信息从各种渠道被眼睛感知。而且眼睛对颜色、形状和样式的变化极为敏感，这是属于眼睛的语言。这便是可视化技术能迅速风靡数据分析领域的重要原因。

数据可视化技术的基本思想是将数据库中每个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。

从本质上理解，可视化信息其实是对知识的一种压缩，通过透彻的理解更简洁地表达海量的信息，通过图形的形式表现信息的内在规律及其传递、表达的过程，是人们理解复杂现象、诠释复杂数据的重要手段和途径。它让观者从海量、动态、不确定甚至相互冲突的数据中整合信息，获取对复杂情景的更深层的理解，同时提供快速、可检验、易理解的评估和更有效的交流手段。

国内外的许多企业、科研机构已有相关部门在开展数据可视化研究，并向公众免费提供数据可视化工具。你可以登录北京大学可视化与可视分析研究组的网页，把微博可视化工具加载到自己的微博工具中，制作一个呈现热点事件中微博转发过程的图表，即可迅速地发现事件中的关键人物、关键微博、重要观点。即便你不擅长科学技术，也可以化身数据专家，向朋友们展示这一成果。

媒体纷纷推出信息可视化新闻。无论是资讯网站、新兴媒体，还是传统的电视、报刊，都对此表现了强烈的兴趣，纷纷推出数据新闻栏目，如新浪的“图解天下”、网易的“数读新闻”和搜狐的“数字之道”。未来，用数据说话、用图说话将变得与新闻写作同样重要。

在互联网上，那些掌握了大量用户活动信息、用户关系网或语料库的网站，比如谷歌、digg、friendfeed、flickr或eBay等电子商务网站，都有实验性的可视化项目，让玩转数据变成一件很时尚的事情。

国内外政府机构在推进智慧城市建设时，无一例外都将末端开发为数据可视化平台。城市管理者通过实时数据图表发现问题、做出预测、进行调度。例如，纽约市警察局的犯罪地图CompStat其实就是一个信息管理系统，它是对传统管理方式的颠覆。

数据如此美丽

在一般人眼里，数据都是抽象的、枯燥的、无味的、难记的，但如果把这些让人抓狂的数据用可视化的图片和影像表现出来呢？也许你会发现数据魔力的另一面。

为了测量海洋在全球碳循环中的作用，并监测地球系统的不同部分内部及之间的热量、水和化学交换，需要对全球大洋洋流的运动情况进行精确的把握。那么全世界海洋的洋流运动图景是什么样的呢？一个名为“永恒洋流”的动画显示了2005年6月~2007年12月间全世界海洋表面洋流的流动情况，这个科技领域的杰作看起来与凡·高的画作《星夜》倒有几分相似。

图5–1 海洋表面洋流示意图

资料来源：美国国家航空航天局，哥达德空间飞行中心的科学可视化工作室，维基百科。

这个信息可视化作品聚合了来自多个机构的庞大数据源，显示出了强大的数据处理能力：海面高度数据来自美国航空航天局的TopexPoseidon卫星、Jason-1卫星以及海形图任务Jason-2卫星测高仪；重力数据来自美国航空航天局德国航空航天中心的重力恢复及气候实验任务；表面风压数据来自美国航空航天局的QuikScat任务；海平面温度数据来自美国航空航天局日本宇宙航空研究开发机构的先进微波扫描辐射计——地球观测系统；海冰浓度和速度数据来自被动微波辐射计；温度和咸度分布来自船载、系泊式测量仪器，以及国际Argo海洋观测系统。

除了反映自然界的风云变幻，可视化还能用于展现关于人类政治经济社会的一些庞大又复杂的信息。

汉斯·罗斯林是瑞典的一位医学家，同时也是统计学家。2010年，英国广播公司的《统计的乐趣》节目邀请汉斯·罗斯林演绎了全球经济与国民生活质量的走向，他在4分钟内展示了世界200多个国家近200年人口和收入演变的数据。

他在展示时站在3D投影出的图表中，用手势引导图表元素的变化。这种形式令人耳目一新，幽默又不失严肃，让人们从这个原本宏观抽象的议题中感受到了巨大的震撼。

“统计数据一点儿都不枯燥，它是当今世界上最性感的事物。”罗斯林说。数据可视化把美学的元素带进了枯燥的数据分析与决策流程，给它锦上添花。每一幅数据图像不仅有效地传达了数据背后的知识和思想，而且精致华美，令人过目不忘。

描绘大数据

工欲善其事，必先利其器。数据的表现形式可以是优雅或平实的，要表达数据的美丽，取决于数据专家使用何种方法或者工具。

传统的数据图表往往比较单一，如表格、饼图和柱状图。而今，数据可视化的展现形式变得更加丰富多彩，有气泡图、树状图、平行坐标轴、时间轴、网络图、标签云、堆栈图、地图、热力图、流程图、标签云等多达几十种基本图例。你可以按照数据形态和审美习惯从中进行选择。

传统的数据往往是静止的。现在，若想向你的受众更有效地传达错综复杂的数据下隐藏的信息，这种做法显得有些陈旧和过时。今天的可视化工具可以直接连接到基础数据，生成动态的、实时的、交互式的图形和图表，例如，如果用户点击了东北地区的图形区域，所有其他图表将立刻进行调整，只显示东北地区的数据。

根据IBM智慧城市相关研究，作为操作管理界面，有效的信息可视化系统应具备以下因素：

轻松地将定制化的关键信息呈现给相关决策人员；

把不同的数据源集中在一起，提供有关运营、领域业务和基础设施的综合信息；

显示总体统计数据，并且可以扩展访问相关详细信息；

有实时信息警报功能，对异常情况能够立即做出分析和反应；

具有跨平台的动态链接视图；

提供简单、直观、友好的用户界面，缩短学习过程，减少混淆。

有数据可视化专家将描绘大数据的流程分为数据搜集、数据整理、可视化设计、可视化输出和传达4个阶段。前两个阶段主要是解决数据来源和抽取的过程；可视化设计则是根据选定的待表达的内容、观点和受众，将数据转换成图形，以增强可视化效果；可视化输出和传达则是解决大数据图形以何种形式、依靠何种工具展示的阶段，这是决定数据传达效果的关键一步。

目前，作为一个新兴的行业，数据可视化的方法和技术发展的速度不容小觑，它使大数据处理和分析形成了一个从数据整合、分析、挖掘到展示的完整闭环。它的起点来自多个独立的关系型数据库，经过数据整合之后形成统一的、多源的数据存储系统，再根据用户的需求，重新取出若干数据子集，或构造多维立方体进行联机分析，或进行数据挖掘，发现隐藏的规律和趋势。如果挖掘的结果经得起现实的检验，那就形成了新的知识，这种知识还可以通过数据可视化来表达、展示和传递。

第六章

智慧政府：大数据应用面面观

从未有一个时代像今天这样，出现过如此大规模的数据爆炸。政府，甚至整个管理领域，已经变成漂浮在数据海洋上的巨轮。

2012年2月，《纽约时报》撰文称，大数据正在对每个领域都产生影响，决策行为将日益基于数据分析做出，而不是像过去更多的是凭借经验和直觉。通过数据整理与分析，政府管理者对管理过程中产生的无序数据进行挖掘，便能够预测民众的下一步公共服务需求，进而提供更加智能与高效率的管理和服务。

下面，我们通过梳理前沿的大数据公共管理最佳实践，与各位学习讨论，大数据如何在全球各地的发达国家和发展中国家落地生根，建设快速反应的公共安全管理、数据化调控的公共交通、以人为本的社会管理、智慧监测下的公共卫生与医疗，以及创意与实用兼备的环境保护系统。

快速反应的公共安全管理

恐怖袭击、社会犯罪和食品安全是3项备受社会关注的安全隐患，也是近年来政府一直在努力提升管理效果的公共领域。由于公共安全危机具有高突发性、强破坏性、波及面广、强传导性等特点，一旦发生安全事故，无辜市民将面临巨大的生命财产安全威胁，而且如果处理不及时，社会大众的问责风暴压力也将令政府难以应对。

要提前预测危机并快速应对，涉及方方面面的数据与信息汇聚，而且这些数据分布在不同的空间与时间，搜集难度大，对政府协同应对的能力要求极高。进入大数据时代，其在公共安全管理上的应用将带来以下改善。首先，利用大数据有助于提前预测危机、精准打击犯罪。目前，美国数据研究人员正在用超级计算机以及大量数据帮助警方监测恐怖袭击的苗头，定位那些最易受到不法分子侵扰的街区。其次，利用大数据共享可以改善民众的信息不对称问题，让民众参与到安全环境建构中。美国的商品召回系统和鼓励市民参与的食品安全网站就是基于此的尝试。最后，大数据开发和应用还有助于完善危机救灾系统，来自微博、微信等互联网渠道以及基于电子眼、卫星的数据系统提供的寻人信息和危机数据将为救灾工作的开展提供多渠道的决策支持。

多渠道数据采集：高效打击犯罪

在2013年4月15日的美国波士顿马拉松赛中，两场爆炸造成了3人死亡、数十人受伤，在这之后不到24小时里，美国联邦调查局就搜集到了海量的手机基站日志、短信、社交媒体数据、照片和视频监控录像，试图通过数据分析快速找出嫌疑人。这种基于大数据挖掘的办案思路已经逐步在世界范围内传播开来。

随着电子眼、互联网等数据搜集渠道的丰富，一方面，让警方能随时、及时掌握社会治安动态，另一方面，越来越多的数据将加入犯罪预测模型，帮助警方在如何影响犯罪率这一问题上得到更准确的结论，有助于更具针对性地锁定犯罪易发点，高效打击犯罪。

苏州因“上有天堂，下有苏杭”而驰名，既有典雅秀丽的风景，也是江苏省重要的经济、对外贸易、工商业中心，而这座充满经济活力的城市也因为人口的增多导致社会治安和城市安全面临严峻的考验。

2012年，苏州宣布实际居住人口超过1 000万，成为超大型城市。而2013年，这个数字更是迅速增至1 300万。如此大的人口压力下，苏州却连续10年被江苏省评为“社会治安安全市”，实现全国社会治安综合治理优秀地市“六连冠”，苏州的打击处理案件数、刑拘转捕率、技术支撑率均为全省最高，现行命案破案周期已经缩短为5天，命案破案率达99.16%。

多渠道的大数据采集和最快捷的数据处理是保证苏州破案效率的最重要手段。一般来说，城市路面通常有4组治安力量：一是便衣，二是派出所24小时巡逻警力，三是社区警力，四是跨区域巡逻警力。2012年，在这四组力量的协助下，苏州市公安系统采集到的信息数据总量累计65亿条，平均每天增加700余万条。

在苏州昆山的城区公路上，所有的红绿灯、电子警察抓拍已经全部改建成卡口式电子警察，每部车辆每行驶3公里，至少会被抓拍到2次，离开昆山城区的出城道路上，每辆车至少会被抓拍到1次。这些红绿灯、电子警察和高清摄像头就构成了苏州的立体防控网，苏州警方用了10年时间建起了一个覆盖整个城乡的信息化防控网络。在基层派出所，民警借助派出所警务工作平台，一次上门即可完成多警种下派的信息采集任务；借助GPS、3G无线网络等技术，每一辆出租车的行驶轨迹都可以事后追溯；密布城乡的近30万个社会视频监控探头，集车辆检测、号牌识别、自动比对、报警显示等功能于一体，可以对人、车等要素实现全天候、动态化监控。

在昆山，除城区、出城两道电子防线外，昆山的技防网络还包括道路自然监控网、重点单位要害部位技防网、易发案现场和部位技防网、社区技防网、车载移动监控网、机动车辆监控网在内的6张网。这一系列网络中，密布警方直接管理的监控点——城区内每平方公里平均有10个，乡区5个。此外，全市还有

9 000多个社会监控点，警方可以实时调阅这些监控记录。

除硬件投入之外，昆山还在其下辖的27个派出所建成了具有视频监控、指挥调度、情报研判、勤务管理功能的标准化警务指挥室，每个派出所直接管理近200个监控点，这还不包括那些由社区工作人员负责操作的社会监控点。

一旦发生警情，勤务调度室的监控员可以直接给警察下指令，所有的画面即时上传到勤务指挥室和市局指挥中心。基于这些庞大的数据基础和数据挖掘，苏州市公安局在任何刑事案件发生后，都可迅速定位事件所处的环境以及案件关键因素，进而逐步圈定犯罪嫌疑人范围。

庞大的数据采集和挖掘已经成为苏州警方破案的主要手段之一，而这不仅依靠密布城乡的监控网络，还依靠贯穿警务工作全过程的信息采集行动。一线民警都配备了具有信息录入、实时比对功能的“警务通”和可以同步录音录像的“数码鹰”，这些数据采集技术的发展保证了苏州警察在执法执勤、抓捕罪犯、化解纠纷的过程中，全部按照标准化要求即时采集信息，这些来自各个领域的数据已经成为定位罪犯所在区域、精准打击违法犯罪行为的主要突破口。

快速反应：8分钟的黄金救援

公共安全事件处理的第一原则是快速应对，包括事态控制、救援救治，要在第一时间做出决定，解救受害者。

大数据应用的一个重要特征便是数据采集和处理的快速实时与开放共享，来自事件现场的第一手数据借助危机指挥中心和信息联动系统，可以迅速同步给涉及救援需求的所有部门。政府在数据的支持下组织协调各部门、各行业、各救援机构、各民间组织和广大民众，动员一切需要的资源，以最快的速度组织应急疏散、紧急救援和危机控制，尽可能减少危机造成的损失。

2004年3月11日，西班牙马德里市的3个火车站以及附近地区连续发生10余起爆炸，从11日15点8分起，每分每秒都不断有无辜的生命在这起恐怖袭击事件中丧生。

这次系列爆炸共造成200人死亡，另有1 800多人受伤，这是西班牙，也是欧洲国家有史以来遭受的伤亡最多的一次恐怖袭击。

也许会有市民质疑，马德里这座经济发达、管理完善的城市为何面对恐怖袭击如此脆弱？在11日恐怖袭击事件爆发后，为什么还会在12日不断出现伤亡？在伤痛之余，马德里警察局确实该好好反思这次恐怖袭击留下的深刻教训。

马德里警察局坦承，当时没有用于协调的通信系统是造成这种结果的主要原因之一。因为当时他们并不知道警察局和其他机构是否有足够的资源可供调配，对于应对恐怖袭击资源的管理缺乏一个同步沟通的平台，警察局也无法在第一时间将预警信息和救援需求共享给其他部门，间接导致了这场恐怖袭击不断恶化。

在这次严重的恐怖袭击事件之后，马德里警察局认识到需要优化各个部门的协作方式，在不同的机构之间准确传递信息，这样才能确保在突发危害公共安全的事件之后，迅速应对并展开救援。在2004年遇袭之后，马德里警察局借助SOA（面向服务的体系结构）实现转型，成为全球最具创新性的应急呼叫中心。

SOA实际上是一个沟通不同部门数据的组件模型，它将应用程序的不同功能单元（可理解为不同部门）按照一定规则联系起来，使得不同部门的数据和信息可以一种统一和通用的方式进行交互、共享和分配。

建立起该系统后，马德里警方便可在8分钟内到达全市81%的地方，而8分钟则是衡量救援的黄金时间标准。

马德里市过去有3类应急中心：当地警察局、消防队员以及医疗服务机构和救护车。现在通过SOA，已经可以将这些视为一个集中的部门，工作人员可以实时应对突发情况。他们可以通过新系统实时了解市内不同地方正在发生的事件。此外，警察局有一个可以显示城市地图的应用程序，上面标出了所有市内的突发事件，所有巡逻队、消防车和救护车的位置信息。真正实现了掌握每秒正在发生的事情的真实情况。

一旦有人拨打电话报告意外事件，救援行动就会开始。警察局有每分钟发生的事件的登记，同时定位来电，并确定优先次序。在对来电进行分析后，工作人员就立即将信息传递给指挥中心，指挥中心负责制定解决问题的最佳应急方案，跟踪事情的进展并获得有关响应状况的信息。

在火灾发生的第1分钟，也许只要1杯水就可以扑灭；如果过去了5分钟，可能就需要1桶水；10分钟过后，也许需要4 000桶甚至5 000桶水。借助大数据的处理，快速响应紧急事件为这座美丽而古老的城市增加了一道有力的防护墙，马德里警察局也表示多年来他们一直在追求的主要目标之一就是将反应时间再缩短一点儿。

联合行动：跨部门数据共享

对安全危机的管理，无论是危机的预防、准备，还是危机的应对，必须建立在及时、准确和全面的信息基础之上。传统的行政管理体制存在条块分割、协调不畅等弊端。职能部门之间基本没有建立横向信息整合网络，在公共危机爆发时，涉及救援需求的关键人员仍习惯以部门为单位逐级上报，缺乏相关部门之间的整合沟通与应对协调，而信息报到政府综合部门后，又要返回相关部门核查、会审或会签，严重影响了危机救援的效率。若要在公共安全领域发挥数据的最大价值，数据必须是公开、共享、互联和相关的。由此看出，数据的跨部门共享与公开是一件有必要且有待解决的事情。

里约热内卢是巴西第二大城市，该市城市地理环境复杂，频发的暴雨常造成山体滑坡，导致人员伤亡。加之种族构成相对复杂，社会贫富悬殊，城市治安问题突出。这一切的管理难题都让里约热内卢的市政工作人员伤透脑筋，也成为制约城市发展的痼疾。

两年前夏天的一场特大暴雨促使里约热内卢市长下定决心，要加强城市的运营管理能力。那天早晨，里约热内卢市长收到了报告：暴雨引发一些贫民区房屋倒塌，许多人面临危险；暴雨造成的洪水来势凶猛，轿车和卡车被冲入不断暴涨的水中……但里约热内卢市内找不到一个地方能让市长实时监视灾难状况，指挥落实应急措施。

里约热内卢市长在随后的采访中说：“我当时意识到，我们太被动了。”为了使里约热内卢在下一次灾难应对中可以做得更好，他做了一个重要决定。一个月后，他会见了IBM的智慧城市团队。这个团队通过大家所熟知的大数据仓库和挖掘技术帮助城市管理者消除城市职能部门之间的信息孤岛，整合每个职能部门的数据为整个城市运营管理提供支持。里约热内卢市长说：“其实我们一直在利用这些信息，只是我们未能将其整合，并以智能化的方式重新加以利用。”

不久后，里约热内卢的智能化市政运营中心建立了，那是一间布局和设施都很像美国国家航空航天管理局指挥中心的控制室。身穿白色套装的市政机构管理人员坐在控制室内巨大的屏幕墙前工作，屏幕上播放着里约热内卢城市动态监控视频，包括：各个地铁站、主要路口的交通状况，通过复杂的天气预测系统预报的城市未来几天的降雨情况，交通事故处理状况，停电处理状况，以及其他城市问题处理及其进展等状态。

2月，巴西狂欢节即将热热闹闹开始，世界各地的游客兴致高昂地参与到这个快乐的节日中。过去，对于市政运营中心的城市管理者来说，狂欢节的开始也是天天加班的开始，每天高度紧张地准备应对各种的突发状况，但是有智能化的市政运营中心后，官员们相对从容和轻松。在狂欢节准备工作上，这个城市面临的最大挑战是街道的通行能力。据筹备官员介绍，狂欢节期间的4个周末，在350个不同的地点大约要举行425场桑巴舞游行表演，有几百万人参加活动。利用运营中心，市政机构可以协调18个不同部门进行同步计划。这些部门可以共同分配街道的表演时段并设计游行路线，同时制订安全、街道清理、人群控制及满足其他城市管理需求的计划。

“过去，每个部门都单独制订计划，相互之间几乎不沟通。”官员介绍说。

狂欢节的一天晚上，里约热内卢某区高档购物街发生火灾。一些参加狂欢节的人取出智能手机拍照。还不到晚上7点，住在附近的一位女演员就开始在网上向她的粉丝发出报警。几分钟后，运营中心就在网上发出了改道的通知。

另外一个例子是，自从两年前发生山体滑坡后，里约热内卢在66个贫民区安装了警报器，以无线方式连接到市政运营中心。同时，市政中心开展了大量演习，志愿者在演习中帮助疏散居民。

在实际发生山洪的情况下，运营中心可以决定何时发布何种警报。这一决定是由城市运营中心系统智能预测的，通过超级计算机、系统模型、算法运算预测一平方千米范围内的降雨量，计算结果比标准气象系统准确得多。当系统预测出强降雨时，运营中心向不同部门发送相应预警信息，便于各部门做出应对准备。

市政人员认为，市政运营中心还成为里约热内卢吸引投资的一个名片。里约热内卢市长表示，市政管理人员可以利用市政运营中心最大限度地缓解或减少城市中的不便，吸引外来投资。

数据开放：为食品安全护航

2010年8月，美国沙门氏菌污染事件导致了1 000多人染病，5.5亿枚鸡蛋被召回。美国消费者保护组织认为，除了鸡蛋危机，美国在近几年发生的花生酱污染、毒菠菜以及病牛肉等食品安全问题，都反映了美国食品安全监管方面长期存在的缺陷，即食品安全监管没有跟上食品行业快速发展的步伐。

化工合成技术、微生物技术的发展以及广泛应用于生产实践、食品生产中的各种防腐剂、添加剂、稳定剂的使用远远超出普通消费者的认知能力范围，广大消费者无从辨识商品的安全性。因为信息不对称，消费者在购买商品时几乎无法知道食品背后的任何信息。有时，广告宣传和产品信息甚至包含十分明显的恶意欺瞒。虽然倾注了大量的精力，政府开通食品质量公共监察热线，出台食品监管法律，整治食品类企业，但往往还是陷入被动的管理，政府部门无法及时统计与追踪层出不穷的食品生产和质量信息，更无法及时地将这些信息开放给公众，提醒消费者选择健康合规的商品。

面对触目惊心的食品安全问题，美国在2009年上线的商品召回查询系统对于食品安全信息管理和开发具有重要的指导意义，对于中国日益堪忧的食品安全管理问题也具有重要启示。

涂子沛曾在其书中介绍过，美国联邦政府共有农业部、食品药品监督管理局、消费者利益委员会等6个部门涉及商品质量和产品召回的管理工作。早期，这6个部门在各自网页上公开其管辖范围内的问题商品的召回记录。2009年，为了方便用户查询，美国内务部决定：在整合这些数据的基础上，开设一个专门的商品召回查询网站（recalls.gov），消费者注册后，可随时收到最新的商品召回信息。在网站上，消费者和经销商都可以直接下载相关的商品召回信息。消费者也可以追踪某项商品，获得以电子邮件发送的提示信息。

这个系统还可以在智能手机上使用。消费者在智能手机上键入产品的名称及型号，可以直接查看该商品是否有质量问题和被召回的历史记录。消费者可以随时了解自己购买的食品及超市正在架上的食品有哪些是不安全的。如果消费者怀疑该商品存在问题或者是被召回产品的漏网之鱼，还可以立即在线举报。

美国政府还有一个专门的食品安全监察网站（foodsafety.gov），该网站会及时公布食品召回信息，供消费者查询。根据该网站公布的信息，美国食品召回有企业主动召回和政府强制召回两种形式。如果企业发现食品安全问题，可以汇报给美国食品安全检验局和美国食品药品监督管理局，主动申请召回。同样，有关部门发现食品安全问题，也会要求企业召回。通过数据开放，构建起一张全民监管的食品安全之网。

数据化调控的公共交通

1885年10月，卡尔·奔驰设计制造了世界上第一辆三轮汽油汽车，汽车从诞生之日起就被视为自由的象征，但是他应该没有料到，一百年后，汽车的发展却呈现出物极必反的逆转现象——人们几乎把时间都浪费在了道路拥堵和等待红绿灯上。

随着经济发展和城镇化的加速，人、车、路的矛盾日益突出，交通拥堵和交通污染严重、交通事故频发，这些早已成为各大城市亟待解决的问题，尤其是交通拥堵问题已经成为影响城市居民生活质量的主要原因之一。传统的治理交通拥堵的方法一般是加大基础设施投入，即通过不断拓宽道路、增加道路里程以增强交通通行能力，但这种做法会受土地资源和经济预算的限制，并非解决问题的根本。现在，在及时、全面、海量的数据基础上建立的科学分析交通管理体系可以实现在不扩大路网规模的前提下，增强交通路网的通行能力。

数据化调控成为高效改善城市交通的关键所在,将信息技术应用于公共交通，利用大数据从问题解决框架和制度层面提高信息资本利用率，减少对诸如土地等外部资源的依赖，合理分配资源，成为更加切实可行解决交通问题的方案。

畅通无阻：大数据式治堵

根据一份对包括北京、纽约和伦敦等在内的12个大城市交通情况调查，按乘车族对拥堵的烦恼制定“痛苦指数”，最高为100，北京为99，约翰内斯堡为98，莫斯科和新德里分别为82和78，由此可见，拥堵问题已经成为影响全球居民生活质量的罪魁祸首之一。

让交通畅通无阻，降低广大乘车族的“痛苦指数”，增强城市居民幸福感成为公共交通管理者努力改善拥堵现状的根本动力。交通管理改善涉及工程量大，治堵成本高，而大数据的大体积特性则有助于解决这种困境。随着数据库摄入更多数据，所消耗的计算工作量则递减。换言之，在对公共交通的车辆进行配置的过程中，配置成本会随着大数据的聚合而降低。引入大数据信息化手段后，所有车辆的行驶状况都能通过某种技术手段进行数据汇总和共享，这种高效配置能增加车辆的有效路段里程，进而提高交通运输效率，大大降低治堵的成本。通过建立交通数据智能管理系统，使驾驶员获得实时路况信息，避开拥堵，也便于管理者及时发现异常路况和交通事故，提前通知后续车辆分流，这种通过提高信息资本利用效率的大数据式治堵远比单纯的拓宽道路方案更具实践价值。

根据英国《每日邮报》网站2011年的一篇报道，英国布里斯托大学的埃迪·威尔逊博士发现，一名司机急刹车或超车可能引发一场“交通海啸”，受影响路段长达80公里。

威尔逊的研究对象是英国最繁忙公路——伯明翰附近的M42公路，借助这条路上安装的密集电子眼、摄像头等交通监视装置，威尔逊与同事完整搜集到了这条路上的所有交通状况和拥堵情况的数据。通过对海量数据的分析和挖掘，他们发现造成拥堵的起因一般是一些司机的急刹车、变道以及超车等行为。如果有一位司机突然改变车道将导致后续尾随的所有车辆减速，同时，这些细微的行为会产生多米诺骨牌效应，迫使后面的车辆转向、刹车，一旦恰逢车辆汇集路口，将可能拥堵得一塌糊涂。日本及北美的其他交通研究专家也得出了与威尔逊相仿的结论。美国天普大学研究学者也提出，当车流超过瓶颈水平时,任何一个小的因素都会导致拥堵的产生，所以最明显的缓解办法就是削减车流量。然而要在上下班高峰期或者节假日限制车流似乎不太可能，虽然北京已经开始通过实行尾号限行政策限制车流，但也未从根本上改变北京的交通拥堵情况。那么是否还有其他更加有效的办法？

英国公路局通过数据观察发现，利用驶入匝道调节车流技术能适当调整入口处及主行车道上的车流量；不停地更新电子信息标志，通知司机有关路况及事故，并允许他们在高峰期利用路肩增加车流量，能够大幅提升道路的通行能力，降低交通拥堵发生的概率。但是这些举措都依赖于管理者能快速地对前方交通状况的数据进行监测与分析，并实时判断未来5分钟后或者30分钟后的道路状况。2012年，IBM与法国里昂市合作开发了一款智能系统，名为“决策支持系统优化器”，基于实时交通报告侦测和预测拥堵。当交管人员发现某地即将发生交通拥堵，这套决策系统便可以智能地调整信号灯使车辆以最高效率通行，真正让道路交通畅通无阻。

目前，一场依靠大数据寻求适应个人交通出行的最佳方案的商业及技术竞赛正在展开，英国技术战略委员会出资赞助12项由行业牵头的工程以帮助个人获得出行信息。当前，这个市场还不太健全，但在日趋成熟。有人会设计出一种极易使用的装置整合各种形式的出行数据，最终通过大数据式治堵实现畅通无阻的目标。

在西方，大数据除了应用在拥堵治理上，还有一个重要的价值便是减少道路安全交通事故（这也是导致交通拥堵的原因之一），美国交通安全管理局从1966年开始建立的交通事故死亡分析报告系统也已经演变为一个在线分析系统，任何人都可以上网查询事故的原因及其分析，在网上查询和获知交通状况，实时更新预警，避开危险路段。

全景式调控：数据化的智能交通系统

城市交通车流量大，运输需求高，自行车、公共交通、小客车等不同类型交通方式的出行空间叠加，造成道路交通系统极为脆弱，稍有扰动就会形成突发性交通拥堵或者交通安全事故。利用大数据的智能交通管理系统不仅能满足海量数据处理和实时分析的需求，还能24小时覆盖所有网络，通过全景式交通状况观察，及时检测交通堵塞和报警，甚至实现跨区域信息共享。

在新加坡这种人口密度大的国家，交通问题尤为严重。新加坡是面积比纽约市还小的岛国，但生活着近500万人口。新加坡陆路交通管理局通过创新以及部署战略性技术，建立了系统的ITS（智能交通系统）。

ITS是利用现代计算机和通信技术对现存城市交通网络实施系统性、整体性管理和监控的有效途径，主要通过实施动态的组织管理策略，并提供及时、全面的交通信息引导交通流的合理分布，最终优化系统的运行效率，提高交通服务水平。新加坡以其在经济、技术方面得天独厚的条件，在ITS的发展方面已经走在世界的前列。这套系统主要包括四个有机组成部分：

高速公路监控和信息诱导系统，于1998年开始投入运营，该系统在高速路边用电子公告板的形式为用户提供及时的交通状况信息，以避免用户进入过分繁忙或发生事故的路段。

车速信息系统，通过安装在出租汽车上的GPS接收器获取不同道路上的汽车平均行驶速度，以此了解区域内的整体交通状况。新加坡的出租汽车公司均使用该系统辅助出租车预定业务。

优化交通信号系统，通过实时监控交通流量及优化各个行车方向红绿灯信号的时长，增强路口的通行能力，从而优化公路网络的交通。这一系统可根据实际需求，在相邻的十字路口应用最佳的连锁计划，以减少车辆因红灯停下的次数，并在交通信号系统出现错误时实现快速修复。

路口监测系统，通过安装在主要交通路口的远程智能摄像机监控路口的运行状况，一旦有事故发生，交通控制中心可以及时采取措施调整交通流量，比如改变该路口的信号灯配时以疏导交通。

上述子系统由中心连接在一起，实现数据采集、信息发布以及策略实施一体化，同时整合了交警、路政、公交和出租等部门的信息资源。通过全景式的观察与调度，日常交通管理、交通事故处理和交通应急管理可以在综合信息平台中统一协调，降低交通事故或突发事件对交通的影响。如果配合预测模型，还可以预知交通拥堵的时间、地点和严重情况，交通控制提醒相关部门提前干预介入疏导车流，帮助城市管理者主动管理整个交通网络。具体来说，ITS能够帮助道路交通部门和公交运营机构：

减少道路交通拥堵；

提高跨不同道路交通系统的事件可见性；

加快道路交通流量及事件响应速度；

分析历史数据，从而获得并理解道路交通流量及事件的固定模式；

预测未来一小时内的道路交通流量状况；

增加公共交通车辆、服务及相关异常的可见度；

预测公共交通车辆的到达时间；

分析整个公交系统的性能状况和瓶颈。

ITS将先进的信息技术、数据通信传输技术、电子控制技术以及计算机处理技术等有效地运用于整个运输管理体系，让管理者看到了城市车辆、道路、使用者的全景数据，从而建立起一种在大范围内全方位发挥作用的实时、准确、高效的数据化交通管理系统。

出租车管理：打造城市的流动名片

作为城市的流动名片，出租车一直是市民公共出行的主要方式，尽管它们是公共交通工具的一种有益补充，但长期以来，城市出租车的管理和服务并没有达到民众期待的基本水平：打车难、打车贵、打车堵的问题不可忽视。目前，中国出租车的主要叫车方式是路边招手叫车和少量的出租站点要车，虽然部分城市实现了电话预约和手机客户端叫车，但在没有大规模推广的情况下，出租车管理面临两大尴尬局面：一方面用户打车难，另一方面出租车的空驶率依然没有实现明显的下降，给城市交通和城市环境带来了较大的压力。

如何有效提高出租车的运行效率？我们可以看看广州的做法。

从2003年开始,广州启动了道路交通数字化建设项目，出租车综合管理服务系统作为交通数字化应用子系统之一，是交通数字化建设项目的重要组成部分。

该系统为决策者管理提供三大利器。

第一大利器是实时路况信息服务和行车路况信息服务。一方面通过对车辆数据的融合处理，系统可以计算获得城市路网的行车状况（主要以车型、速度为主要衡量标准），这部分信息经进一步处理后，可以协助决策部门对道路拥堵原因进行深层次的分析，为决策提供依据。路况信息对于掌握行车路况、减少拥堵、减轻城市污染都有很大的好处。另一方面，行车路况信息服务结合了车辆定位和路况信息，以车辆为中心，显示周边道路的交通状况，为出租车司机选择优化路线提供了必要的决策数据。

第二大利器是出租车分布和载落客分布数据。出租车分布能最形象地展现出租车的聚集程度，为加强车辆管理以及做好出租车有关设施建设提供决策参考，而载落客分布则可以很好地显示出租车乘坐人员的分布情况，既可以为出租车司机提供载客引导，又可以为公交线路规划和市政设施规划提供有参考性的意见，当然也可以为出租车电话叫车服务提供参考数据。

第三大利器是为出租车司机提供优选路线，随着城市规模的扩大和车辆数量的增长，在出行方便性提高的同时，道路拥堵却加重了出行的困难程度。为了尽可能地提高交通出行效率，系统可以根据需求计算制定起点和终点时间的优选路线，并给出行路线路、线路长度和预期事件，为出行人员的出行规划提供很好的参考。

广州市出租车综合管理服务系统除满足日常需要外，也是广州交通服务热线的后台处理系统之一，为交通客服热线提供便捷的知识库查询与业务数据支撑。

以人为本的综合社会管理

社会管理就是通过制定社会政策和法规，依法管理和规范社会组织、社会事务，合理解决社会问题与矛盾，达到维护社会秩序、推动社会和谐的目的。当城市人口越来越密集，越来越多的人口涌入城市，在快速城市化过程中产生的治安问题、住房问题、政府服务供给不足等社会矛盾越发明显。

如何从时代发展的角度重新审视社会，以人为本，借助信息技术的力量创新社会管理，提升服务效率成为亟待解决的问题。

在经济发展的同时，有效解决与之产生的社会矛盾，在保障社会稳定的基础上激发社会创造活力，这是大数据背景下政府面临的挑战，也是推动改革的重大机遇。借助大数据这一显微镜，我们能对社会的所有问题和潜在矛盾进行分析和处理，在实现精细化管理、创新化服务与人性化关怀的基础上，走出一条中国特色的社会管理之路。

社区网格：中国特色的社会管理

说起网格，大家很容易就能联想到稿纸、羽毛球拍、网兜，纵横有致，丝丝相扣，节节相连。设想把网格用在城市管理上会如何？在人口众多、地域辽阔的中国城市，通过网格化的细分，将过去传统、被动、定性和分散的管理转变为今天现代、主动、定量和系统的管理，这是一种精细化社会管理的尝试，力争做到把每个社会管理的范围和细节都定位在网格中。这也是极富中国特色的一种数据管理方式，加强了基层力量配置，从源头上消除众多社会冲突的隐患。

北京市东城区是全国社会管理创新综合试点区之一。2010年7月，东城区开始在东花市、建国门和东直门3个街道开展网格管理，将社区划成若干网格状单元，由专门的网格工作人员对社区实施24小时动态、全方位管理。社区环境卫生、居民矛盾化解、社区党建、社会治安维护等，凡事不出网格，一旦有突发情况，负责人会第一时间赶赴现场处理，真正实现了对社区琐事的精细化管理。

几个月来，通过网格搜集社情民意信息8 400多条，化解矛盾纷争630多件，排除案件隐患800多起，消除各类安全隐患300多处，为民服务做实事6 700多件。东城区实现同期信访总量和集体访量双下降，万人和百户发案率均保持全市最低水平。尤其是春节期间，3个试点街道实现安全工作零事故。全区火警、火灾数量同比分别下降61%和81%，是全北京市唯一实现火警、火灾数量下降的区县。

而今，东城区全区17个街道、205个社区共有589个社会管理网格，每个网格里配置了管理员、助理员、警员、督导员、党支部书记、司法工作者和消防员7种力量，承担搜集基础信息、反映群众需求、发现报告问题、排查化解矛盾、协助解决问题、动员公众参与管理6项职能。负责人一下子都到了居民身边，居民生活更安全也更方便了。

网格化社会服务管理模式的框架体系由6大系统组成：以民生保障为基础的建设服务系统、以现代科技为依托的信息网络系统、以高效顺畅为要求的组织指挥系统、以预警防范为先手的维稳防控系统、以快速反应为特征的应急处置系统、以真实客观为标准的考核评价系统。组织层级包括区社会服务管理综合指挥中心、街道社会服务管理综合指挥分中心、社区社会服务管理综合工作站三级平台以及区级、街道、社区级和网格级四个层级。

“以前的管理模式是条块分割，导致出现了很多问题。基层人员没有执法权，但什么事情都要找他们，职能部门又难以直接接触基层问题，形成了‘有责无权，权小责大’的尴尬局面。网格化管理直接将职能部门管理人员下沉，融入社区和网格，打破了上下级关系，跟群众形成了一个有效的问题反映通道。”东城区副区长宋甘澍在谈到推广网格化管理的动因时说，“以前分片包干，社区主任走近居民的机会相对较少，想获得一手的社区动态，就要依靠楼门长、社区积极分子，是一种被动的方式。而现在，社区主任、支部书记成为网格管理员，管理的区域细化了，就有更多精力进行更加深入的了解。”

管理也是一种服务，东城区在划分网格时充分考虑社区服务资源的分配。政府采用了购买服务、统一规划的方式在每个网格内配置了17个“一刻钟服务圈”，居民可在15分钟内享受到修鞋、健身等10项社区服务。

“采用网格化社会服务管理模式，可以实现社会管理的现代化、信息资源的共享化、综合效能的最大化、群众生活的优质化。”东城区区委书记杨柳荫表示，其核心是将科学的理论与社会管理实际紧密结合，将现代化信息技术与传统管理方法融合兼用，将社会群众的力量与专业组织的力量协调整合。

杨柳荫说，这种新模式通过工作建制下设、工作重心下移、工作力量下沉，加强了基层力量配置，同时又秉承着以人为本的理念，将运动式、突击式滞后的整治模式转变成前馈式的管理模式，为“小事调解不出网格，大事化解不出社区、街道”目标的实现提供了基础保障。

与此同时，“网格化模式的推行将打破旧有社会管理工作中条块分割的顽疾，通过让各职能部门工作人员直接加入街道社会管理执法组，融入对社区、网格的服务和管理工作体系。”杨柳荫说，工作绩效由街道负责考评，彻底打破了“条块壁垒”，让“条”上各部门和社会各方的工作机制、人员力量和工作手段实现了在“块”上的综合，从而提高了社会管理工作的效能。

创新服务：一张通行证搞定全部政务

普通民众与政府部门打交道最深刻的印象便是“门难进、脸难看、话难听、事难办”，原因大致可以归结为两点：传统的人工办事方式效率低下；重复与烦琐的行政服务事项刺激了前台人员暗积怨气的办事态度。而大数据络社会管理带来的重要改变就是通过提升行政服务效率、整合政府开放信息、推动智能化办公、创新公民政务办理方式，使与政府打交道成为一件愉悦的事情。

新加坡作为一个仅有716平方公里的城市岛国，拥有540万常住人口。为了使政府更加有效地运转，也为了充分采纳国民的智慧，利用私营机构和公共部门的知识与资源，提升跨部门协作效率，新加坡提出了一项政府数据整合计划，将资讯通信作为传播不同部门间数据的增效手段和策略工具。在民众、私营部门和公共部门密切合作的推动下，新加坡的政务阔步迈进智慧时代。

新加坡国民只需要牢记自己新加坡通行证号码就可以全天候在线访问电子政府，在网上办理各类政府部门的业务。新加坡通行证作为国民唯一的身份证明，可以帮助国民直接连接到55家政府机构的300多项需要身份验证的公共服务，并实现信息共享。在出行前，新加坡国民可以登录全地图查看即时交通资讯与公共交通数据，选择起点、终点，就能找到最准确的行车路线，尽可能避免高峰期的公路电子收费系统和拥堵路线。如果你准备购房，可以通过手机客户端或网络访问新加坡组屋网站，在网站上轻松办理各项住房服务，查看感兴趣的楼盘数据分析，合理选择满足自己需求的住房，提交电子购房申请，并能随时在线查看自己申请购房的结果、楼盘出售情况和新房建成的大概时间，第一时间知道自己所中意房屋的各种信息。新加坡官员表示，随着电子政务系统功能的不断强大，越来越多的信息能在同一系统中查询，而且通过横向的数据整合，系统将变得更加智慧，甚至能预测与判断市民的需求，更高效地解决访问用户的各种申请。

与个人身份对应，每家新加坡企业也有自己唯一的身份识别码，以帮助企业办理注册登记、税收缴纳和贷款申请等事项，大大缩短了企业在相关政府部门的申请处理周期，使新加坡成为极有利于企业发展的地方。企业身份识别码可以视作企业信息档案的钥匙，在与政府打交道时，管理者提供所在企业的身份识别码就可方便高效地与各办事机构进行信息沟通与互动。假设某个企业老板想办理一张新加坡商业执照，过去，这个老板必须向多个不同的政府部门递交申请，如果不同部门的办公地点相距较远的话，那么所花费的时间成本和经济成本将令人无奈且恼火。现在，在新加坡注册的企业可以登录电子政务系统，不用出门就可享受网上商业执照服务。有了身份识别码，管理者只需通过一张综合网上申请表申请一次，由相关部门同时办理，再也不用查看要申请哪些执照、要跑哪些部门了。企业管理者还可以通过政府电子商务中心全天候查询政府招标与采购项目、下载和提呈竞标文件、了解招标结果。

一张通行证搞定全部政务，这种创新服务模式也已经在中国试水。中国人民大学“一张表工程”的管理思想与新加坡政府不谋而合：通过一个身份代码把不同来源的信息聚合成一张表，再根据需要把不同的表组合到一起，通过互联网等传达给申请者，这种真正基于民众需求的新服务模式便是大数据时代下公共管理的本质内涵。

以人为本：“移民城市”的出租屋治理

“进一步加强和完善流动人口和特殊人群的管理和服务，建立覆盖全国人口的国家人口基础信息库，建立健全实有人口动态管理机制，完善特殊人群管理和服务政策。”这是2011年中国政府一次关于社会管理创新工作会上的精神要点。

流动人口是一个具有中国特色的概念，是中国特有的户籍制度的产物，大体上是指离开了户籍所在地到其他地方居住的人口。据中华人民共和国国家统计局发布的2005年全国1%人口抽样调查结果显示，中国流动人口规模达1.47亿人，占全国人口的10%以上。这部分人口因为流动性大、涉及面广、经济水平低于城市平均水平，如果还是按照沿袭多年的户籍静态控制、重打击轻服务等传统方法对流动人口进行管理，一方面管理人员将难以获得关于该群体更全面的信息，无法保证流动人口的基本权益；另一方面忽视对流动人口的服务，将会成为激发社会矛盾的导火索，产生社会管理问题。

我们常把以人为本作为公共管理应遵循的重要原则，以人为本的前提是全面了解与服务对象有关的情况与需求，只有建立在这种数据基础上的判断，才能保证政府政策能实实在在地使每个公民受益。

深圳素有“移民城市”之称，特区经济的活力也带动了这个城市人口的快速增长。流动人口的94%居住在遍布于城市各个区域的近300万套出租屋中。由于外来人口成分复杂、流动性大，出租屋和外来人口的管理异常艰难。

从2004年起，深圳市政府便开始投入近8 000人组成了流动人口管理队伍，采集了633万流动人口的租住信息，深圳市也第一次初步摸清了全市出租屋和外来人口的基本情况。鉴于深圳流动人口多和出租屋数量大、构成复杂、信息登记难度大等特点，深圳成立了流动人口和出租屋基本信息登记管理机构，建立全市统一的流动人口和出租屋信息资源库，推行基于数据的公共治理模式，同时，鼓励社会力量参与，借助物业管理做好流动人口和出租屋管理工作。

2007年，深圳开始对出租屋进行标准化信息管理，规定出租屋业务或者管理人应向房屋租赁管理部门申报房屋信息，包括业务或管理者姓名、地址、联系方式和出租屋位置等业务相关数据，就像每个人都有唯一的身份证号码一样，深圳的所有出租屋也有唯一的身份证号码。对于流动人口，深圳在2008年办理了超过500万张居住证。

作为深圳市居住证三大系统之一，深圳市流动人口和出租屋综合管理系统的角色不可取代。第一，提供必要的人口登记入口，这是流动人口申请办理居住证的基本条件；第二，基于数据挖掘识别的未办证人口、未登记人口、地址不符等人口分类为流动人口的常态化管理提供了数据支撑；第三，这套系统将大大缩短流动人口申请办理居住证的时间，实现人口数据集中分类管理，及时掌握流动人口情况，为提高公共管理和社会服务水平提供强有力的信息支持和科学依据。

据悉，深圳市流动人口和出租屋综合管理系统有两大亮点：第一，与公安局居住证数据库实时比对，通过跨部门的数据共享，不断修正登记数据，对深圳市流动人口进行实时分类管理；第二，作为出租屋办理工商营业执照的前置环节，保证不遗漏出租屋的任何一项数据。

2007年，流动人口和出租屋管理部门向相关职能部门通报各类出租屋隐患信息52.3万条，协助开展综合整治行动43.8万次，共协助清理无证经营17 246宗，解决计生问题20 964件。深圳市也被评选为“最具经济活力城市”和“最受农民工欢迎的城市”。

智慧监测下的公共卫生与医疗

一个国家、民族的人民健康问题往往是决定该地区稳定发展和人民福祉的基石。过去，受信息传播和采集手段的局限，公共卫生管理人员很难及时监测到流行病爆发前的征兆，更难以对发生在不同时空的卫生危机进行全视角分析而制定及时的应对方案。但在今天，这一局面将得到极大的改变，无所不在的传感器、互联网和通信技术帮助我们监测病毒传播的危险信号，民众的药物购买行为和网络搜索关键词透露出流行病即将爆发的路线。越早得到这些数据，越能及时地应对。提前一步行动，挽救的将是无数条宝贵的生命。

实时监测：将流行病爆发控制在萌芽期

积极有效的公共卫生管理首先要知己知彼，知己即知道自己所在区域的环境卫生状况与居民身体健康信息；知彼则需要熟悉流行病种类、症状以及传染特征等。这要求管理者长期地、连续地搜集、核对和分析疾病的动态分布和影响因素的相关信息与数据。

过去，我们只能通过下级单位常规向上级机构报告监测数据和资料或者周期性的主动调研方式[3]，搜集某一地区人口的健康状况，这种监测方式的不足在于无法避免监测维度的遗漏和获取信息的滞后。现在，公共卫生部门能够通过不同渠道和来源的数据，快速检测传染病爆发前的征兆，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应，这些都将降低传染病感染率，通过实时捕捉流行病传播的信号，控制疾病的流行。

2009年3月，甲型HIN1流感在全球范围内肆虐。短短几周时间，病毒在美国、法国、日本和泰国等国家或地区迅速传播开来，人心惶惶。全球的医疗机构都在苦苦寻找病因，研究疫苗，甚至有悲观的公共卫生机构预测，甲型H1N1流感将引发一场全球性致命疫情，波及各个国家。乐观的医疗学者认为，虽然暂时不能研发出有效的治疗手段，但至少要努力降低病毒的传播速度，而我们能做的便是积极通过各种数据分析找到流感的发病区，尽量隔离患者，大量生产治疗药物。

所有国家的公共卫生机构都紧张地投入流感病例的收容和治疗中，保证第一时间发现流感患者，但因为信息搜集滞后[4]，药物研发进展缓慢，面对流感患者的大幅增加，各国的疾病控制与预防中心和医院等医疗机构往往显得被动而无助，在手忙脚乱中错过了控制疫情的最佳时机。

在甲型H1N1流感爆发的几周前，谷歌的工程师们（非公共卫生专业）在《自然》杂志上发表了一篇引人注目的论文，该文章声称谷歌可以根据汇总的网络搜索数据，近乎实时地对全球的流感疫情进行监测与判断。

谷歌的工程师们认为，人们输入的搜索关键词代表了他们的即时需要，反映出用户的当前状况。例如，流感爆发时，与流感相关症状描述的搜索量以及医院页面访问量都出现了爆发性增长。每天，谷歌都会收到来自全球的超过30亿条的搜索指令，在庞大的数据资源帮助下，谷歌对搜索流感关键词的人群进行后续监测，并即时预测出流感即将爆发的区域——这就是大数据。而过去，这些数据一直被忽略，直到谷歌拥有了海量的数据储存和强大的统计技术后，这种实时监测方法才被工程师们发现。

为了验证关键词与用户的即时需求存在关联性，谷歌工程师们准备了众多与流感相关的搜索关键词，如“温度计”、“流感症状”、“肌肉疼痛”和“胸闷”。任何一个用户输入以上关键词，谷歌的流感预测系统都会展开跟踪分析，创建地区流感图表和流感地图。谷歌为了测试这些搜索词，总共处理了4.5亿个不同的数字模型，并将这些模型输出结果与2007年和2008年美国疾病控制与预防中心记录的实际流感病例进行对比，谷歌的软件发现了45个搜索词的组合，一旦将它们用于一个数学模型，监测结果与官方数据的相关性高达97%。这就意味着，谷歌和疾病控制与预防中心一样，也可以判断流感传播的源头和传播的路径，而且谷歌的监测和后续预测可根据用户真实的搜索需求实时计算得出，与疾病控制与预防中心需要在一两周之后才能知道流感爆发的滞后情况相比，谷歌的监测显得更智慧。

谷歌随即推出了一项名为“流感趋势”的免费网络服务，该服务可以帮助人们了解自己所在国家或地区的流感病例爆发情况，从而采取预防措施，避免感染。流感趋势通过对“咳嗽”、“发烧”等与流感有关的关键词进行监测，在地图上对应地区，显示这些关键词被搜索的趋势。关键词被搜索得越频繁，该地区爆发流感的可能性越大。由于这类关键词与流感之间存在较强的相关性，因此该服务的可靠性比较高。

美国疾病控制与预防中心的官员表示，谷歌的流感趋势可以对现有的监测工具起到很好的补充作用，帮助防灾组织、研究人员以及公共卫生官员为流感疫情的扩散做好准备，将流行病的爆发遏止在萌芽期。

全面呈现：切断危机传播路径

当一起公共卫生事件发生时，我们最希望做的便是在危机进一步扩散前，利用数据识别出它的传播路径和可能造成的影响，尽快制定应对方案，以减少对人们生命健康的威胁。其实早在20世纪90年代，我们就已经开始借助信息化工具搜集各方面的数据，迅速绘制出危机传播路线图，以切断危机传播的路线，有序地开展卫生危机救援。

地理信息系统和遥感作为获取数据的重要手段，最初都是在冷战时期用做军事防御，随着时间的推移，这些数据搜集和处理技术已经发展得非常成熟。在地理信息系统和遥感的辅助下，政府管理者除了能获得水体、人口、建筑、街道等精确的地理位置数据外，还可与温度、土壤、地形、土地利用、植被等信息结合，通过跨界的数据处理和挖掘跟踪影响公共健康与安全的意外隐患，比如毒气的扩散。

1996年凌晨，在美国的蒙大拿州艾伯顿附近，一辆火车不幸坠轨，脱轨的车厢释放了成片的致命浓度的氯气团，导致1人当场死亡（当氯气和身体里的水分接触时，就会变成氯水酸性化合物，导致死亡）。事故发生数分钟后，当地的救护人员和州长采取抢救措施，撤离城镇和周边的人员，但仍然有350多人中毒入院，不同程度地出现红眼、干咳、喉痛等症状。通常短时间内这些症状就会消除，但对于孕妇或者有肺病的人，轻微的氯浓度就可能导致死亡。随后，州和联邦政府成立了救援委员会，联合当地的疾病控制中心，针对毒气泄漏的后续危害和影响进行研究，以制定撤离方案。

救援委员会搜集整理了事故的大量数据，包括火车装载物、泄漏数量、地形情况、毒气的扩散方向等。利用数据可视化技术，数据工程师根据人口统计信息生成毒气扩散所在城镇的人口地图，以反映儿童、老人、孕妇的居住情况，这些人口地图清晰地展现了毒气扩散区域内的人口分布以及潜在危害，帮助救援委员会决策谁先撤离、什么时候撤离。

同时，救援委员会工作人员帮助州和地方医疗卫生部门检查从居民区撤出的人，确定症状和中毒情况，然后将这些数据输入地理信息系统，重新评估毒气对当地的真实影响，不断更新，创建各种地图，以便检查人员实时跟踪氯气团的扩展情况，预测可能受到污染的人口规模，不断降低决策的误差。

鉴于氯的浓度高于空气，应该随风扩散，但是根据当日的气象信息，早晨有雨，风很小，因此救援委员会预计氯气不会扩散太快，但综合当地人口信息和地理信息的结果，为了最大限度降低毒气的潜在隐患，救援委员会还是建议住在艾伯顿及附近地区的大约1 000人撤离，关闭沿线铁路17天。

在最短的时间内，委员会利用地理信息系统进行了数据的快速搜集、分析与呈现，成功控制了毒气扩散的范围，并最大限度地缩小了中毒人员的规模，尤其减少了对当地儿童和孕妇的影响。在大数据的帮助下，真正做到了危机的实时应对，高效科学的决策让人们提前一步走出危机。

1999年年末，救援委员会决定公开该数据和事件，希望民众能知道自己所在区域的安全情况，民众登录网站便可了解这次毒气泄漏事件的信息。

智慧医疗：破解“看病难”问题

医疗卫生信息的数据量正在急剧增长已经成为不争的事实，而如何利用这些数据提升医疗效率，助力医疗机构迅速、灵活、正确地诊断和治疗疾病，是大数据时代智慧医疗不断探索的领域。

随着电子病历等电子医疗记录和其他健康资讯科技应用的迅速普及，北美医疗机构相关的数据量预计将在2015年接近14 000PB。现在，医院每秒都要搜集病人持续不断的数据，从入院的身体情况到手术后的器官恢复，从治疗的躯体症状到服用药物的各种细节，这些庞大的数据都会体现在病人的电子病历中。过去，医生为了了解清楚病人的病历，往往需要花费一二十分钟甚至更长的时间，而借助这些电子病历积累的数据和大数据分析技术，则能大大节省医生的时间，缓解医疗资源的紧张状况，在一定程度上有助于解决“看病难”问题。

麦肯锡报告分析指出，在医疗卫生行业，有药理学科研数据、临床数据、个人行为和情感数据、就诊/索赔记录和开销数据4个庞大的数据池，每个数据来源都包含了不同结构、不同类型的数据。为了整合利用这些数据，麦肯锡提出了发掘大数据生产力的15个杠杆，包括通过综合分析病人病情并比较各种治疗方法的效果，找到不同病人最适合的治疗方法；通过临床决策支持系统，减少药物的不良反应和降低索赔事件的发生率；通过医疗过程的数据分析，增强透明度，使药品价格更为合理；通过自动化系统对付款人的索赔行为进行欺诈检测以及准确性和一致性检测，等等。

现在，斯坦福大学则开始通过电子病历的推行从疾病研究上获益。斯坦福大学调取所有医院的电子病例及数据库，按照不同的来源解析大量的数据，试图发现那些对于解决问题来说最有效的模式，以便医护人员更全面地了解病人的各种需求，提高治疗效率。这些海量数据创造了研究疾病和治疗药物的一个理想条件：科学家不再局限于通过召集志愿者开展研究，而是更多地从现实生活中的计划外实验中筛选数据并开展虚拟研究。对比传统的依靠随机征集样本进行研究的方式，这种依托海量真实的病例数据和医疗记录进行的疾病研究和治疗预测将产生更多可以指导现实的重要发现，获得对于疑难病症和潜在健康危害因素研究的更深入发现。[5]例如，利用数据交叉分析识别两种药品同时服用的副作用。

斯坦福大学转化医学中心主任研究员布鲁斯称，通过不同领域之间数据的交叉分析，还发现了一些亟待改善的医疗管理问题，对于提升医疗效率十分有益。例如，研究者通过对于一般心脏疾病的治疗，发现各地区诊所分布图与目前病人居住的地方其实是不重叠的。所以，未来就需要通过大数据分析各种类型的病人都集中在哪个区域，以此调整各诊所的分布，以满足不同患者的需求。

大数据在医疗领域应用的另一创新之处是通过分析研发领域中新兴的大型数据集，提高研发生产力，发展个性化医疗。例如，伴随科学技术的不断发展，以往无比昂贵的基因测序变得不再遥不可及，那么海量的基因数据也将随之产生，一些医疗公司和研究机构正通过高级算法和云计算加速基因序列分析，让体检机构或者主治医生以更快、更便捷、成本更低廉的方式发现疾病，对这些疾病的治疗也变得更加高效。默克集团正在分析来自公开医疗系统中的海量临床资料，以期为患者提供个性化的治疗方法和更有效的药物。

精准识别：医疗欺诈难逃大数据法眼

大数据在医疗领域的应用除了有助于提高医疗效果和效率外，还有一个重要的价值就是通过数据打假防止医疗福利滥用，精准识别医疗欺诈，降低虚假公共医疗开支。

2012年的美国医疗保健行业产值已经高达2.6万亿美元，但由于效率低和成本增加，政府每年至少额外增加了600亿~850亿美元的医疗开支，对公众医疗的整体质量产生了不利影响。最典型的一个问题便是医疗服务欺诈和滥用，识别骗取医疗保险的犯罪是美国政府面临的一个重大挑战。

加州联邦医疗保险与医疗补助服务中心（CMS）在海量数据的基础上，建立了一套欺诈风险评分系统。任何一家机构收到了一份医疗报销的申请单后，系统便会根据申请单数据对其进行风险评分，只要评分低于系统设立的安全级别，这份申请便需要被提交到专门的核查小组进行人工审核。任何医疗欺诈都难逃大数据的“火眼金睛”，通过建立这样一套依靠计算机智能分析的数据异常系统，加州政府大幅缩小了医疗机构的人工审查范围，切实提高了医疗打假的效率，为国家节省了大量医疗开支。

2011年，IBM针对各国医疗机构的需求推出了一套更智能的医疗防欺诈与滥用管理系统，这套系统通过先进的分析和统计学方法，涵盖了医学领域的20多个学科，定义了超过2 000种分析指标，并且这套系统可以按照不同国家客户的具体需求进行相对应的功能裁剪和指标设立，有助于在世界范围内推广利用大数据识别医疗欺诈，降低医疗成本的应用价值。

除了识别医疗欺诈，依靠大数据还能判断医疗处方中存在的有意或无意的人为错误。例如，培非格司亭是一种用于癌症化疗的注射剂，因为价格高昂且较难获得，一旦被犯罪分子关注，很容易成为医疗套利的目标。2006年，联邦医疗保险与医疗补助服务中心通过计算众多医疗机构提交的处方数据发现，不同医院提交的培非格司亭药物报销账单存在使用剂量不一致的问题，有的账单使用毫克作为单位，有的账单使用瓶作为单位，而1瓶为6毫克。虽然无法判断使用瓶作为单位是出于何种动机，但这个错误最直接的后果就是把申报的开支扩大了6倍，产生的将是近50万美元的损失。

创意与实用兼备的环境保护

2013年以来，中国雾霾天数创52年之最，PM2.5成为2013年最热门的环境名词。大气污染、固体垃圾排放和水污染已经让我们的天空不再蓝、空气不再清新、河流不再清澈，在过去唯经济发展的管理习惯与环境保护意识的淡薄已经让我们尝到了恶果，过度的污染和环境破坏已成为影响居民健康安全的重要因素，所以推动环境保护相关的法规政策出台，加强对资源节约、废气减排和治理污染技术的研发和执行已经迫在眉睫。

借助大数据采集技术，我们将搜集到大量关于各项环境质量指标的信息，通过中心数据库进行数据分析，直接指导下一步环境治理方案的制订，并实时监测环境治理效果，动态更新治理方案，以一种创意和实用兼备的方式提升环境保护的效果与效率。而且在环境治理过程中，可以借助大数据的数据开放性，鼓励更多公众和更多社会力量参与环境保护。

优美宜居：数据驱动的绿色城市

城市人口的快速膨胀导致的最直接后果便是环境供给与人口需求之间的矛盾，不解决这个问题，环境承载的压力将越来越大。如何在保证城市居民生活质量和经济发展水平的同时又不加重环境负担，创造一个环境优美又健康宜居的“绿色之都”，保持城市的可持续发展，这些早已成为各国政府在城市管理过程中的重要关注点。

瑞典首都斯德哥尔摩在2010年被欧盟委员会评定为“欧洲绿色首都”；在普华永道2012年智慧城市报告中，斯德哥尔摩名列第五，分项排名中智能资本与创新、安全健康与安保均为第一，人口宜居程度、可持续能力也名列前茅。

和其他城市一样，这座北欧之都也承受着巨大的人口压力。根据瑞典官方统计，目前每年有近2万人移居到斯德哥尔摩。面对人口压力及其影响，斯德哥尔摩市政厅规划了“远景2030”项目，力求找到资源、环境、能源和科技的综合优势以保证城市生活质量和可持续发展。

瑞典信息技术研究中心高级科学家马库斯·比隆德说：“智慧城市的根本在于如何让城市更具可持续性、更有效率，让原有的技术或者设施以新的形式或者理念运作。”

近年来，拥有陆地面积1.6平方公里、居民1.8万人的哈姆滨湖城，成为斯德哥尔摩最大的近郊发展项目，其目标是成为未来城市发展的标志和典范。

哈姆滨湖城信息中心负责人玛琳娜·卡尔松表示：“如何使用有限的城市资源和能源满足城市居民的需求，同时保证资源可持续以及循环利用才是智慧城市最大的挑战。”

在哈姆滨湖城能看见一排电子垃圾桶，分别用于接收食物垃圾、可燃物垃圾以及废旧报纸等不同类别的垃圾。垃圾桶通过各自的阀门与地下管道相连，阀门每天自动打开两次，让不同类别的垃圾进入地下管道，并以每小时70公里的速度被输送到远郊，在计算机控制下自动分离并输送到不同的容器里，按需要循环利用，整个过程都由计算机控制。玛琳娜指出，这个系统提高了垃圾传输和处理速度，以及再利用效率，环境保护程度也相应提高了。玛琳娜继续说道：“这就好比把一个装着技术、设施、行为和环境等的大盒子，放到可持续性的托盘上。”

由于斯德哥尔摩特殊的地理环境，很多地区被湖水或海水隔断，哈姆滨湖城这样的近郊地区很容易形成“孤岛”，因此与市中心的交通衔接便十分重要。通过网络提供实时路况信息和出行路线规划，帮助人们选择最便捷、最环保、最舒适的出行路线。市政府在交通信号设计上，遵循了自行车优先原则，其次是公交车。在斯德哥尔摩，30%的城市居民选择走路或骑自行车上下班，61%的人乘坐公共交通工具。2.5万辆汽车为绿色车辆，采用新能源的比例达到26%。

“公共交通设施是衡量智慧城市的一个重要指标，斯德哥尔摩的公共交通系统已经实现了智慧化，可以随时随地用手机查阅交通工具到达时间，也可以通过短信买票，”马库斯告诉记者，“越来越多的人选择了公共交通，最终有益于城市环境的可持续发展。”

一位在哈姆滨湖城居住了8年多的瑞典人微笑着说：“其实这里原来就是个旧工业区，环境差，治安也恶劣，现在发展成一个现代化的追求可持续性的城区，这本身就很显示智慧。”让科技、环境、资源、基础设施、生活质量、城市适应力和居民意识像斯德哥尔摩居民喜欢的多座自行车一样，各环节协同驶向可持续性城市。这背后的理念更像是一种哲思。

虚拟河流：智慧的水污染治理

大数据应用大环境保护有两个亮点：首先是360天×24小时的不间断环境变化监测；其次是基于可视化方法的环境数据分析结果和治理模型的立体化展现。通过虚拟的数据，我们可以模拟出真实的环境，进而测试所制定的环境保护方案是否有效，这种极具创意的环境治理方式已经在多个国家得到应用。

纽约曼哈顿有一条哈德逊河，北起阿迪朗达克山脉,绵延500公里南下,入海口在纽约港。哈德逊河被“发现”于1609年，当时,英国人亨利·哈德逊在美国的北大西洋海岸航行，企图找寻一条快捷的水路到中国。19世纪中期，哈德逊河两岸凭借如画的风景和便利的交通, 吸引了越来越多的纽约富商来河谷两边修建宅祗。

但是在过去20年里，居民造成的下水道污物的沉积，以及近代大型工厂倒入的有毒的化学物质，致使这条河流被严重污染。通用电气的两家工厂还曾将含有多氯联苯的工业污水直接排放到哈德逊河里。多处河段不能作为饮用水水源，渔业年产量锐减60%。

20世纪80年代，环保主义热潮涌起，为了保持、恢复哈德逊河的生态系统，纽约州政府发起了一个“新一代的水资源管理计划”。政府在河的全流域都安装了传感器，一些传感器甚至高达2米。水面下的传感器把水的不同层面中的各种各样的物理、化学、生物数据，包括河流中的盐度、浊度、叶绿素和颗粒物直径等信息，实时地通过网络传递到后台的计算中心区，在水面之上的传感器则负责搜集河流的风向和风压数据。数据像流水一样不间断地生成，不间断地被处理，并与历史数据进行比对。

后台计算中心的传感器将从河中与周边环境搜集到的数据以实时连续的方式传送给系统管理层，在接下来的环节，关于河流的不同类型数据将被清洗。后台通过消除数据的异源性，使关于哈德逊的数据一致化，并具有互通性，然后在分析管理平台对这些数据进行可视化的展现。在科学家的计算机显示屏上，各种数据汇成了一条虚拟的哈德逊河，流水何时被污染以及化学、物理、生物成分发生了什么变化，一看便知。接下来，数据科学家便可利用这些处理过的信息模拟实施哈德逊河的环境模型和治理方案，评估不同的治理和人类干预对哈德逊河环境的多方影响，以保证实际治理时的效率和效果。

经过多年的努力，哈德逊河已逐渐恢复其清澈的水质和优美的环境。

污染地图：督促企业行动起来

马军是一位普通的中国公民，也是《中国水危机》一书的作者，曾入选美国《时代周刊》评选的2006年度“100位影响世界的人物”。《时代周刊》评论道：“对于中国而言，马军的《中国水危机》的意义也许如同蕾切尔·卡逊的《寂静的春天》对于美国的意义。”

中国2/3的城市面临水资源短缺，而有限的清水资源正在被滚滚排放的污水破坏。马军说：“创造水污染防治的动力是当务之急。”

2006年，马军创立IPE（公众环境研究中心），主持开发了中国水污染地图、中国空气污染地图和固废污染地图，建立了国内首个公益性的水污染和空气污染数据库，将环境污染情况以直观、简单易懂的图表在公众环境研究中心展现。点击地图后，可以访问每个地区的环境质量信息、地区排放信息、企业监管信息。

通过这个公益数据库，任何用户都可以进入全国31个省级行政区和超过300家地市级行政区的相应页面，检索当地的水质信息、污染排放信息和污染源信息，包括超标排放企业和污水处理厂信息。

马军及其团队持续对水污染的数据库进行更新。从2006年第一次发布水污染地图数据库至今，中国水污染地图已经列出了超过13万条的企业污染记录，而空气污染地图也列出了13 000余条企业违规超标记录。国内的企业占大多数，但也包括相当数量的外资企业，甚至包括很多知名跨国公司。

当各界人士可以获取这些信息时，给一些企业形成了一定的压力。有一家企业在2006年10月找到马军，说他们亚洲区的经理在香港吃早餐时看到英文报纸上写道，他们的企业竟然在中国出现超标排放，当时他非常震惊也很愤怒，随即致电其在华企业询问情况，并决定取消他们当年的奖金，让他们尽快解决这个问题。后来，又有近百家企业找过来，其中多数旨在说明他们当时做错了什么，后来采取什么改正措施，相当一部分企业希望能够从名单中消失。

为了鼓励这些企业切实改进，IPE制定了一个审核标准，一些有能力的机构可以对这些企业进行审核，以证明是不是真正解决了当时所存在的那些问题，有没有适当的管理体系，污染处理的设施是否足够，最终确定是不是能够稳定持续达标排放。一些企业通过审核后，污染记录已被消除，其他企业或者没有通过，或者还在整改的过程中。审核的过程需要有环保组织的监督。

这是一个新的尝试，它本身实际也是一个鼓励公众参与的过程。通过第三方审核，企业打开大门，将其生产过程中形成的政府环境监管记录、各种环境管理记录，包括环境管理体系的运行情况，和当地的环保组织交流，并通过报告展示给公众，这是有益的。

“每一条河流的保护最终离不开本地的社区和环保组织，”马军说，“在中国，水的问题不是任何一个机构和个人，甚至不是任何一个单独的政府部门可以解决的，一定需要全社会的广泛参与。本地的人、本地的居民要关心自己的环境，这个是肯定的。我们所做的工作只是打造一个信息的平台，当你需要做这个工作时有一个信息平台可以让你获取所需的数据。”

[3]　世界卫生组织卫生技术与中国疾控中心信息中心的合作项目“流行病学调查动态数据采集云平台”（EDDC）就是一个用于主动调研流行病发展的数据平台。

[4]　信息滞后的原因可能是因为人们一般患病多日直至影响生活和工作后才会去医院，同时信息传达回疾控中心也需要时间，而且疾控中心每周只进行一次数据汇总。因此，通告新流感病例时往往会有一两周的延迟。

[5]　在前文曾论及抽样研究和基于大数据研究的差别，在大数据时代，“样本=全体”的数据处理模式已经成为可能，我们可以分析更多的数据，而不再依赖于随机抽样。

第七章

智慧城市：立体的大数据生态系统

人们为了生存而来到城市，为了生活得更加美好而居留于城市。

——亚里士多德

身处日益庞大而拥挤的城市，人们一定都非常向往科幻电影中的未来城市：在办公室，可以随时通过摄像头观察家里的情况，在屏幕上轻轻一点，就能控制家里的暖气、灯光、电饭煲和窗帘；出门前，可以通过智能软件查询交通工具，并根据实时路况选择最佳驾驶路线；轻轨、汽车、飞行器等各类交通工具，畅行无阻地行驶在地面上和空中；城市的管理者们坐在指挥大厅里，通过巨大的屏幕背景墙，实时监控整座城市的能源生产和消耗情况，调度各种力量解决突发的交通与安全事故。

如今，借助大数据的智慧，打造基于社会运行数据的城市立体生态系统，有望使这些美好愿景从科幻走向现实。

智慧城市让生活更美好

抗击“城市病”

目前，全球有一半以上的人口生活在城市。到2030年，全世界的城市人口可能突破60%的比例。2012年《社会蓝皮书》称，中国城镇化人口已经超过50%，城镇人口首次超过农业人口。中国正以每天消失100个村庄的速度快步城镇化。麦肯锡预测，到2025年，中国将出现221座百万以上人口的城市，包括23座500万以上人口的城市。

随着城市规模的增大、城市人口的增多，人们对住房、教育、交通、医疗保健等的需求也在不断膨胀。诸如高房价、堵车、噪声、雾霾等“城市病”越来越多，像一道道紧箍咒，束缚着每一座大城市。传统的管理手段变得捉襟见肘，城市的运营管理问题日益突出。面对这种尴尬的局面，究竟该如何缓解人口规模与资源需求的冲突？如何高效、合理地分配资源保证公平？未来的城市管理究竟将走向何方？

环顾全球，纽约、华盛顿、新加坡、伦敦这些城市都曾经被空气污染问题、交通问题、治安问题和资源分配问题困扰。经验表明，信息化是抗击“城市病”的一种方式。在瑞典首都斯德哥尔摩，为解决城市交通拥堵问题，管理部门采用了一项智能化的道路堵塞税征收系统。如果你驾车进出斯德哥尔摩市区，不必在收费站前面大排长龙，也看不到收费员，你甚至无须停车：识别车辆、自动计费、自动缴费等都在你经过路口时由智能系统自动完成。采用该系统后，市中心的交通流量降低了大约25%，城区二氧化碳等温室气体排放量下降了40%，甚至连市中心的零售商店也实现了6%的营业额增长。

利用城市管理中产生的大量信息与数据，积极促进城市机构之间的实时沟通和协作，分析原因，制定对策，有效平衡社会、商业和环境发展需求，优化现有的可用资源，以最聪明的方式为城市公民提供全面又超前的服务，积极提高公民的生活幸福感——这种高效、智能且可持续的城市管理被称为智慧城市。

城市应当尽可能优化整合各种资源，使居民心情愉悦而不是压力重重。建设智慧城市对抗击“城市病”具有强烈的现实意义。

首先，智慧化运营通过运用来自城市多个部门的信息，进行数据聚集和规范化后，识别出相关的重要事件，以提升服务质量。正如美国西诺马地区水务部门首席工程师杰·杰斯潘塞所说：“通过有效地管理每一滴水，我们可以保证满足居民、环境和社会的需求。”

其次，智慧化运营能够预测城市发展的问题与危机，最大限度降低对城市居民的影响。通过可视化重要事件和警报、地理信息等数据，识别出模式和趋势，保证行动有依据，主动触发预设的预案以加快响应，减少服务中断概率，避免城市内大型事故扩大升级，减少灾害影响。“系统给我们指引了未来的方向，提供了行动指南。”美国哥伦比亚特区水务局首席信息官奥马·西迪奇这样理解大数据下的智慧城市。

最后，智慧城市可实现通过协调不同部门的资源，以提供更快、更有效的响应。大数据的智慧化帮助管理者跨部门决策、协调，提高公共服务交付效率，减少了应对突发灾害的响应时间，巴西里约热内卢市长爱德华多·帕埃斯在开始智慧城市建设后，曾深深感慨：“通过应急响应系统，我们能更快速地、有效地应对灾害，它帮助我们拯救了很多生命。”

城市的智慧化演进

城市是人类文明的果实，是智慧不断进化积累的表现。人类从农业社会发展到工业社会，再从工业社会迈向信息社会，生产力与生产工具不断发展，不断塑造和改变着城市的形态。

如果农业社会主要的生产资源是土地，工业社会主要的生产资源是能源，信息社会生产资料的主要资源就是信息。从生产力的标志——生产工具来说，农业社会的是手工工具，工业社会的是机器装备，而信息社会的就是互联网和信息网。作为继工业化、电气化、信息化之后的又一全新概念，智慧化代表了世界科技革命的又一次新突破。

伴随网络帝国的崛起、移动技术的融合发展以及创新的民主化进程，知识社会环境中的智慧城市是继智能城市之后信息化城市发展的高级形态。它采用以物联网、云计算、大数据等为核心的新一代信息技术，集成城市的组织（人）、业务（政务）、交通、通信、能源等城市运行中的各个核心系统，使整个城市成为以一种更有智慧的方式运行的宏大的智慧城市系统，对保障城市正常运行的每个系统进行全面监测、管理、预警和处置，快速、智能地响应城市管理者和市民的各种需求，提高城市运行效率，提高政府决策力。

大数据是智慧城市实现智慧化的关键支撑。从政府决策与服务到居民衣食住行，从城市的产业布局和规划到城市的运营和管理，大数据遍布城市的方方面面，成为驱动智慧城市发展的引擎。与此同时，智慧城市物联化、互联化和智能化的特点本身也会催生海量数据。

对智慧城市本质加深理解的过程，是伴随信息技术和城市建设理念的发展逐步演进的过程。在城市信息化建设进程中，曾经出现过一系列全新概念，比如数字城市、感知城市、无线城市、电子政务、智能交通和智能电网。这些概念大部分源自解决某一具体问题的需要，是智慧城市的初级阶段。智慧城市是面向城市整体的综合运营系统，信息覆盖更加全面，信息感知更加深入，信息共享和互联更加通畅，对海量数据的处理机制更加完善，并且能够分析预测、辅助决策。

建设智慧城市是城市发展的新范式和新战略，是当今世界城市发展的趋势和特征。智慧城市的精神内核是城市化发展的质量导向，其形态是由正确的发展战略引领的空间有机体。它的活力源泉是自组织能力强的社会活动体系、创新能力强的经济活动体系以及智能化程度高的支撑体系。它不是一个静态的目标，不是对理想蓝图的宣言性描述，而是运用更先进的技术解决城市发展问题的动态过程，是使城市更加高效、安全、便捷、和谐、可持续的综合状态。

在不远的未来，数据将成为维护城市运行的基本要素，智慧城市在数据这块沃土上生长繁衍，成为立体的大数据生态系统，让城市更加宜居，让居民生活得更加幸福。

跃动全球的智慧城市实践

我们的城市必须成为人类能够过上有尊严的、健康、安全、幸福和充满希望的美满生活的地方。

——联合国《伊斯坦布尔宣言》

智慧城市作为信息化潮流下的新型城市进化战略，一经提出，便迅速在世界各地流行起来，成为政府改进管理和服务的重要选择。与智慧城市相关的技术开发、设计理念如雨后春笋般涌现。

各国智慧城市：高招各有不同

2009年1月28日，奥巴马就任美国总统后，与美国工商业领袖举行了一次圆桌会议。IBM首席执行官彭明盛在会上首次提出“智慧地球”这一概念，建议奥巴马政府投资新一代的智慧型信息基础设施。

美国在智慧城市建设方面选择智能电网进行突破，注重与商业机构的合作，利用UrbanSim等智能化的城市仿真系统对城市空间发展进行优化。在美国2009年的经济复苏计划中，有项高达110亿美元的投资，用于建设可安装各种控制设备的新一代智能电网。

欧盟委员会于2010年制定了“欧洲2020战略”，提出欧盟未来10年的发展重点和具体目标。其中，智慧型增长是3项重点任务之一。欧盟的智慧城市建设注重低碳、环保、绿色发展。从阿姆斯特丹到巴塞罗那，从伯明翰到巴黎，从斯德哥尔摩到维也纳，这些城市近年来有一个共同的目标，就是建设智慧城市。在爱尔兰高威湾的智慧湾项目中，系统从装在数百个浮标上的感应器搜集信息，并接收渔民发来的短信，以了解水面是否漂浮着危险物体。信息被运用于各个方面，包括避免渔船失事、向高威湾管理员发送水位上涨警告，以及帮助渔民把鱼直销给餐厅，可以获得更高的利润。

澳大利亚于2011年6月发布了《国家数字经济战略》，智慧城市建设是其中一项重要内容。澳大利亚的第三大城市布里斯班近年来实施了“绿心智慧城市计划”，建设绿色交通系统、绿色基础设施系统，打造节能环保的城市。

新加坡早在1992年就提出了“智慧岛计划”。2006年6月，新加坡政府推出“智慧国2015”规划，旨在通过使用更具先进性和创新性的信息通信技术，促进关键经济部门、政府和社会的转型，使新加坡成为智能化、全球化、信息通信技术驱动的国家。

日本在2009年7月推出了“智慧日本战略2015”，旨在将数字信息技术融入生活的方方面面，聚焦于电子化政府治理、医疗健康信息服务、教育与人才培养3大公共事业。在上海世博会上，日本馆更是以“连接”为主题，用信息化最新科技展示了未来二三十年内城市“智慧生活”的美好场景。展会上的未来邮局融合了互联网和物联网技术，不仅能够寄送信件，还能实现人与商品的智慧交流。

韩国政府于2004年提出了“U-韩国”发展战略，经过多年的实践，首尔、釜山、仁川等一些城市已进入“泛在城市”时代。“泛在城市”以“建设尖端信息城市，提高市民生活质量和城市竞争力”为目标，利用无线传感器网络，实现对城市设施、安全、交通、环境等方面的智能化管理和控制。

2012年，IBM为巴西里约热内卢打造了智慧城市运营中心，将30多个城市管理部门数据统一于城市运营管理系统。在运营中心的大屏幕上，播放里约热内卢城市动态监控视频，包括各个地铁站、主要路口的交通状况，交通事故处理状况，天气预测系统预报的城市未来几天的降雨情况，停电处理状况，以及其他城市问题处理及其进展等状态。

根据国际数据公司预计，2011年，全球新型智慧城市信息技术的市场规模达到340亿美元，并将以每年超过18%的速度增长，到2014年将达到570亿美元。

第一座智慧城市的诞生

美国中西部艾奥瓦州的迪比克市风景秀丽，密西西比河贯穿城区，是美国最宜居的城市之一。不过，它为人所知还是因为在2009年9月，它与IBM共同宣布将建设世界上第一座智慧城市。

在智慧城市的包装下，迪比克市将实现完全数字化，并将城市的所有资源都连接起来，包括水、电、油、气、交通、公共服务等，因此可以侦测、分析和整合各种数据，并做出智慧响应，服务于市民的需求。其中，能源、水务以及交通三大系统建设是优先发展的领域。

迪比克市先给每户人家、每个店铺安装了数控水电计量器，该计量器采用了低流量传感器技术，防止公共设施和民宅的水电泄漏；同时搭建实时可持续发展综合监督平台，对信息进行整合、分析和展示。迪比克市希望通过这一计划，使城市的资源使用状况一目了然，并智能化地做出响应。

最重要的是，迪比克市将向市民提供这些信息。这样每个人、每家企业都能对自身的耗能情况有清晰的认识，为可持续发展承担更多责任。用当地政府的话说：“这是一张一弛实现优化的方法。”

此外，迪比克市希望获取有助于提高公交载客量及调度效率的信息，比如确定最适合旅游路线的巴士的大小。为了实现这一目标，城市与IBM合作分析数据，并决定采用射频识别技术追踪现有公交路线中的载客量。

在迪比克市，数百名乘客作为志愿者，带标签乘坐公交车，以便读取乘客上下车的地点、时间等数据。这些数据有助于更好地规划交通路线，通过分析数据可以有效地提高公交系统的服务水平。

中国智慧城市：新型城镇化风向标

在中国，智慧城市与新型城镇化有着天然的联系。2012年11月，住房和城乡建设部办公厅发布《关于开展国家智慧城市试点工作的通知》，将建设智慧城市作为贯彻党中央、国务院关于创新驱动发展、推动新型城镇化、全面建成小康社会的重要举措，要求各地高度重视，抓住机遇，通过积极开展智慧城市建设，提升城市管理能力和服务水平，促进产业转型发展。该文件中还提出了智慧城市试点的指标体系和管理办法。

经过地方城市申报，住建部已公布了两批国家智慧城市（区、镇）试点名单，首批试点城市（区、镇）90个，第二批试点城市（区、镇）103个。目前，国家智慧城市（区、镇）试点总数已达193个。

基于智慧城市的美好愿景以及来自国家政策层面的强力推动，目前中国已经掀起一股建设智慧城市的热潮。国脉互联智慧城市研究中心研究结果显示，截至2012年7月，中国共有150多个城市提出建设或正在建设智慧城市，其中发布智慧城市规划、行动方案或将其列入“十二五”规划及政府工作报告的已达50多个。

2011年、2012年中国智慧城市发展水平评估显示，北京、上海、广州、深圳、无锡、佛山、宁波、杭州和扬州等城市是智慧城市创建进程的领跑者。这些城市已制定并出台详细的智慧城市规划方案；城市（城区）主要领导积极关注智慧城市建设，并成立了专门的领导执行机构；财政方面提供大量的预算支持；已规划成立智慧城市试点园区，智慧城市项目全面铺开，并取得初步成效；信息基础设施基本开始换代建设，光纤或无线宽带覆盖较广；政府服务优化完善；经济发展方式集约化，高新技术产业已成为国民经济支柱产业；已设立智慧城市专门网站或子站，并举办过影响较大的智慧城市及相关会议论坛；能源利用率较高，节能意识较强。

总体上说，中国东部地区智慧城市建设重点在于以信息技术促进转变经济发展方式，提高社会管理水平，提升城市竞争力，塑造城市品牌。中西部地区智慧城市建设更加注重对城市的宣传推广作用，力争通过智慧城市建设促进投资软硬件环境的改善，加强招商引资。

从综合评价结果来看，中国智慧城市的建设主要呈现以下5大特点：第一，城市大小与智慧城市建设发展关联性不大，一、二、三线城市在领跑者、追赶者、准备者等行列均有分布；第二，长三角和珠三角地区的智慧城市建设比其他地区起步早、速度快；第三，部分智慧城市在服务能力和环保意识方面初步达到了智慧城市的基本要求；第四，大部分智慧城市基础设施的建设已开始动工，试点示范、顶层设计、规划先行的意识逐步加强；第五，智慧城市的资金投入、用户能力基础、产业基础、组织体系保障以及软环境等方面还有待提高，对软环境建设的重视程度不足。

展望未来，智慧城市的区域实践将向上和向下延伸。向上延伸主要是指从城市级的实践范围逐步向全省扩展，从全省统筹的角度推动辖区内智慧城市建设，现在江苏、广东、山东和湖北等多个省已经提出智慧城市群的设想，宁夏回族自治区也已经开展了自治区级信息化统筹的研究规划工作。向下延伸主要是指智慧城市的研究方向将更加细致，应用实践更加精致，大处着眼、小处着手。省级、市级统筹规划、统筹推进，但是在具体实施过程中，从有基础、有需求、可操作性强、示范性强的项目入手，以一个有限区域的先行先试为后续全面推行积累重要的实际经验。

在中国智慧城市建设中，有一个问题尤其应当引起注意，就是要因城而异，不能千篇一律，更不能照搬西方的模式。智慧城市建设目标的确立要符合城市当前的发展阶段，解决居民最迫切需要解决的问题，例如提高基本公共服务水平、加强并精细化城市的社会管理能力、解决城市生态环境的问题等，走出中国智慧城市建设的差异化道路。

智慧城市的生长之道

真正的智慧不仅在于能明察眼前，而且还能预见未来。

——忒壬斯，罗马作家

智慧城市，“智”即指城市的智商，强调智能化与自动化，“慧”即指人的情商，强调人的灵性与创造力。实现城市的智慧化建设，务必要考虑好驱动其向前发展的动力：一是以物联网、云计算、移动互联网、大数据为代表的新一代信息技术；二是知识社会环境中逐步孕育的开放的城市创新生态、社会协作的理念以及人文关怀的思想。前者是技术创新层面的技术因素，后者是社会创新层面的非技术因素。

智慧城市的四大法宝

有学者认为智慧城市关键在于技术应用，也有学者认为关键在于网络建设，还有学者认为关键在人的参与，有学者认为关键在于智慧效果。一些城市信息化建设的先行城市则强调以人为本和可持续创新。综而观之，智慧城市的建设有四大法宝。

第一，全面智能的感知。通过传感技术实现对城市管理各方面的监测和全面感知。智慧城市利用各类感知设备和智能化系统，智能识别、立体感知城市环境、状态、位置等信息的全方位变化。对感知数据进行融合、分析和处理，并与业务流程智能化集成，继而主动响应，促进各个关键系统和谐高效地运行。

第二，宽带泛在互联。各类宽带有线、无线网络技术的发展为城市中物与物、人与物、人与人的全面互联、互通和互动，为城市各类随时、随地、随需、随意应用提供了基础条件。宽带泛在网络作为指挥城市的“神经网络”，极大地增强了智慧城市作为自适应系统的信息获取、实时反馈、随时随地提供智能服务的能力。

第三，智能融合的应用。现代城市及其管理是开放的复杂巨系统，新一代全面感知技术的应用更增加了城市的海量数据。基于云计算，通过智能融合技术的应用实现对海量数据的存储、计算与分析，可大大提升决策水平，增强行动能力。

第四，以人为本的可持续创新。面向知识社会的下一代创新重塑了现代科技以人为本的内涵，也重新定义了创新中用户的角色、应用的价值、协同的内涵和大众的力量。智慧城市的建设尤其注重从市民需求出发，通过各种工具和方法强化用户的参与，汇聚公众智慧，不断推动用户创新、开放创新、大众创新、协同创新，实现经济、社会、环境的可持续发展。

前三点可以概括为物联化、互联化和智能化三化并举，共同提升城市的智慧水平。第四点的相关内容在第八章有所涉及,在此不展开。

表7–1 智慧城市的“三化”

物联化

从遍布整个城市的传感器系统中搜集数据

互联化

整合多个系统的数据，并通过基于互联网的门户访问信息

智能化

通过统一视图进行近乎实时的信息处理，强化决策、协调行动

物联网：智慧城市的感觉器官

20世纪60年代，传播学家麦克卢汉提出了“媒介是人体的延伸”的著名论断。麦克卢汉认为，书是眼的延伸，广播是耳朵的延伸，电话是耳朵与嘴巴的延伸，电子技术是中枢神经系统的延伸……总之，媒介是人类生理与神经系统的延伸，构成系列化交互作用的世界。

如果把城市比喻成一个鲜活的生命体，物联网相关的一些技术就是城市的感觉器官，获取声音、图像、位置、温度、化学成分等信息；移动互联网技术就如同人体的神经系统，通过感官获得信息，依靠神经系统传输；云计算则是神经中枢，感官所获的信息通过神经系统汇集到神经中枢；大数据就是使这一切得以运作的大脑，相关的信息最后都要汇集到大脑，对相关数据和信息进行整合、挖掘，再判断、决策，最后协调城市生命体中的每一个行为。

物联网是人们在20世纪90年代提出的概念，意指物物相连的互联网。物联网的核心和基础仍然是互联网，是在互联网基础之上延伸和扩展的网络。如果说互联网实现了人与人之间的沟通，那么物联网就实现了人与物、物与物之间的沟通，让物体也具有智慧。

在物联网技术支持下，公文包会“提醒”我们忘带了什么东西，衣服会“告诉”洗衣机其对水温和洗涤时间的要求，河流会自动“报告”其被污染的情况，嵌入电网、铁路、建筑物、大坝、油气管道等物体中的感应器会通过互联网连接起来，实现对物理城市的全面感知，为城市管理决策提供可靠的依据。有了无处不在的物联网，也许北京“7·21”特大暴雨中车主被困溺亡的悲剧就能避免，厦门公交车燃爆事件就能得到及早的预警，屡屡发生的奶粉安全问题就能变得可控……利用物联网等新技术来解决城市给地球、人类生活带来的问题，正在世界范围内成为探索热点。

物联网是智慧城市的重要标志。通过环境感知、水位感知、照明感知、城市管网感知、移动支付感知、个人健康感知、无线城市门户感知、智能交通交互感知，智慧城市才能实现对市政、民生、产业等方面的智能化管理。

2013年2月5日，中国国务院出台了《推进物联网有序健康发展的指导意见》，从政策层面加速推进物联网的持续健康发展，提出“在公共安全、社会保障、医疗卫生、城市管理、民生服务等领域，围绕管理模式和服务模式创新，实施物联网典型应用示范工程，构建更加便捷高效和安全可靠的智能化社会管理和公共服务体系”。2013年9月，新华社发布《2012~2013年中国物联网发展年度报告》，认为走进生活、惠及民生将成为物联网重要的发展趋势，而智慧城市则是物联网推进的重要载体。

移动互联网：编织城市数据网

来自工信部的数据显示，截至2012年6月底，中国网民数量达到5.38亿，其中手机网民规模达到3.88亿，这个庞大的数字将手机上网这一典型的移动互联网模式推到信息发展和城市化的浪潮前。

移动互联网是什么？移动互联网≠移动+互联网。移动互联网是移动和互联网融合的产物，不是简单的加法，而是乘法：移动互联网=移动×互联网。它继承了移动随时、随地、随身和互联网分享、开放、互动的优势，是整合二者优势的升级版本。

移动互联网的快速发展有赖于通信技术的更新换代，从早期的有线网络到无线网络，从1G、2G到3G，以及目前在如火如荼建设中的4G，数据传输速度越来越快，成本越来越低。移动端的数据量成倍扩张，数据实时处理的能力越来越强大。手机不再只具有通话、娱乐功能，而是成为名副其实的大数据终端，编织出以人为节点的城市数据之网，渗透到智慧城市的方方面面。

近场通信支付是借助手机、移动互联网在城市生活中实现的一个典型的大数据应用。许多人会因为需要携带公交卡、银行卡、信用卡等各种卡而感到困扰，借助移动互联网通信技术，将生活中的钱包移植到手机，用户可以使用带有近场通信支付功能的手机，通过移动客户端将公共账户信息安全下载到手机卡中，将手机变成公交卡或者银行卡。与普通卡片一样，手机也可以实现销售终端刷卡、账户充值、余额查询、历史记录查询、电子现金圈存等操作。此外，手机打车、手机订餐、车载诊断、手机拍照报修市政设施等移动数据业务也在不断出现。

越来越多的政务形态将逐步向移动端迁移，形成一座座虚拟的掌上办事大厅。目前，已有不少城市推出了手机政务门户，点对点推送政务信息，提供办事指引、公共信息查询等多项公共服务。可以预见，手机将在互动和办事等方面发挥“轻骑兵”的作用，以其多点互动、随时接触、随时传播、随时反馈等特点，解决传统电子政务面临的互动不便、渠道不畅、更新不快、办事不力等难题。

在三大运营商的支持下，一些城市已经开始建设无线城市。例如，上海移动正全力打造以TD-LTE移动通信技术为引领、2G/3G/WLAN/4G四网协同的泛在、融合、智能的无线城市。以满足移动化、宽带化的市场需求，以惠民为目标，不断丰富互联网的应用，进一步推动手机媒体化、多用化，让手机更好地融入人们的工作和生活。

未来5年，随着4G、5G移动互联网的发展，大数据将真正迎来它的全盛时代，给城市的建设和市民的生活带来更多的帮助和支持。

手机上的北京“市民主页”

“市民主页”是北京市经信委、北京移动与北京相关委办局基于手机等移动互联网终端面向市民提供的个性化的移动公共服务，是供市民随时了解政务信息和办理相关业务的信息服务聚合平台。

市民只需通过手机、平板电脑等移动终端登录wap.mybj.gov.cn或者下载市民主页客户端，便可以随时、随地、随需享受北京市政府提供的政务信息公开、民生服务在线办理等多项便民服务，比如社会保险查询、违章信息查询和市区旅游景点信息查询。另外，住房公积金管理中心与市民主页合作推出了公积金年度对账单查询服务。只要在有2G或者3G的网络环境中，再加上一部移动终端，用户便可以随时查询自己的公积金账单和缴纳信息，不必再到住房公积金管理中心办理。

图7–1 手机上的北京“市民主页”

“市民主页”设“我的提醒”、“我的服务”和“我的声音”3大栏目，涵盖民生、教育、社保、就业、税务等9大类共计59项服务。“我的提醒”显示市民个性化专属信息，例如私家车交通违章信息，可通过网信形式直接发送到用户手机。在“我的服务”，市民可享受政务信息公开、民生服务在线办理等多项便民服务，十分便捷地查看实时交通流量视频、公积金账户等信息，在14家医院预约挂号，缴纳电费、燃气费。“我的声音”是市民与政府互相沟通的有效渠道，市民可随时向市政府各部门提出意见和建议。

飘在城市上空的“云”

如果说，物联网是城市的感觉器官，互联网和移动互联网是城市的数据脉搏，那么飘在城市上空的“云”，就是驱动智慧城市运行的大脑。

云计算为城市各个单元之间协调行动、政府与公众之间有效合作提供了基础。不同领域和不同地域的城市管理者可使用集成的协作环境，保持密切沟通，运用分享数据、视频会议、在线会议、电话和即时消息，进行实时协作。通过状况感知，城市管理者可以看见在线上的人及他们的当前位置，从而更好地利用资源对事件做出反应。

在智慧城市中，只有实时地、跨组织地分享指标、事件和流程等信息，使整个城市的运营流程可使用所有领域的数据，才能不断预测影响城市的事件和趋势，并对此做出反应。然而现实情况是，每个城市区域只关注其各自运营的领域，与其他部门的信息分享非常有限，多部门行为联动更是力不从心。

表7–2 当前城市运营和智慧城市示范解决方案的对照场景

当前日常状况

示范解决方案

城市领导通过不同系统管理事故并查看关键业务指标或报告

提供一种具有管理、城市运营和机构（城市领域）指示板的城市服务请求管理系统

由于没有集中的环境可以规划、组织、监控和分享信息，城市领导不得不费力工作

集中的城市视图可以为规划、组织、监控和分享信息奠定基础

运用不同的系统管理城市服务和关键资产，提供跨系统的整合式协作，创建合适的、基于角色的信息和数据视图

提供城市级的视图，在规划及执行项目和任务时实现协调、沟通和协作

仅在细节级别提供信息，迫使较高级技术人员操作数据以得出结论和做出决策

概括信息（视图）具有挖掘和访问细节数据的能力，可确保决策人员对所需数据的访问权

城市管理人员无法端对端地查看重要事故和事件的进度

从各种来源搜集并分析数据，让城市管理人员和城市机构管理者可以监控事故和事件进度

只能手动通知受到影响的其他机构，不具有从企业或居民处获得输入的自动化机制

公布计划，并从各种来源搜集反馈，管理机构得以降低突发事件的影响，并协调该区域中其他机构的活动

要解决管理不联动的问题，信息技术可以起到一定的作用。它能解决查询、交换和访问授权等问题，支撑行政管理格局的正常运作。比如，运用公安交管等主管部门与公交系统、出租车公司、互联网信息服务商、出行公众之间的信息共享，打造智能交通系统。

然而，制约信息共享的瓶颈往往不在于数据库的协同和数据传输，而在于政府统筹管理能力。行政管理的改进远比技术上实现信息融合更为关键。与引进先进技术相比，制度建设显得更为重要。城市管理部门之间的工作计划协调好，可以缩小部门间的协作鸿沟，保证城市建设的整体高效。如城市建设的规划，水、电、气、公路建设等的协同，在工作计划层面的有效信息共享，就能避免公路或者其他城市地块被重复施工，减少资金和人力浪费，减少对交通、市容和居民正常生活的影响。这些主要是对城市管理规划的改进，无须先进的信息化手段也可以实现。

城市管理部门与社会公众间的沟通协调也至关重要。通过公开且广泛的信息发布，能够实现多方参与，降低城市综合治理问题的复杂度。使用微信、微博等工具，居民可了解城市里发生的事件和问题，并及时把情况报告给政府，得到更加优化和交互的服务。

破除原有城市管理格局的限制、建立信息共享管理机制是智慧城市建设的关键问题，也是大数据立体生态系统的命脉所在。数据的互联互通将帮助城市应对其在发展过程中面对的诸多挑战，实现城市的经济转型和可持续发展，推动环境的持续改善及居民生活质量的同步提升。

第八章

组合拳：让大数据全面落地

大数据是立足全局、面向未来的重大战略，将为中国创造社会经济创新发展的重要机遇,将引领公共管理与服务的变革。那么这种变革究竟该如何实现？

在社会学中，有一个著名的“文化堕距”理论。该理论认为，文化在发生变迁时，各部分的变迁步伐是不一致的，物质领域的变迁往往领先于非物质领域的变迁，技术的变迁往往领先于制度、组织和观念的变迁。

实施大数据战略，对于政府部门来说，不仅意味着要上马多少高新科技项目，更意味着调整自身运作的机制，进行一次政府理念的创新、政府职能的转变、政府流程的再造。要打好这套组合拳，必须经历一系列考验：政府所拥有的数据是否丰富和开放？政府的管理理念和运作方式能否适配数据化决策？在区域和国家层面，是否拥有强大的数据分析产业和人才队伍作为支撑？

打造政府信息化航母

推动大数据落地，政府部门首先应成为大数据的实践者，积极创造条件，鼓励率先在政府部门和公共事务中使用，尤其是在关系国计民生的关键行业使用，更好地增强服务能力，树立更加开放、透明、负责、高效的政府形象。

建构一套大数据系统有3个必备因素：天上有云（云平台），地上有网（物联网、泛在网），中间有数（数据）。就中国公共管理与服务的现状而言，在数据方面，除了采集更多数据，更为关键的是盘活现有的数据资产；在网络方面，难点是消除信息孤岛，否则数据的价值就会大打折扣；在云平台方面，要整合各种硬件和服务资源，高效调度资源，促成联合行动。

盘活数据资产

2013年11月，李克强总理主持召开国务院常务会议，决定整合不动产登记职责，将分散在多个部门的不动产登记职责整合由一个部门承担，建立全国不动产登记信息管理基础平台和不动产登记信息依法公开查询系统。

以往，中国不动产登记工作一直由多个部门分担，并由这些部门独立管理。相关的信息也都成了各部门的独占资源。中国在“房改”之后就再也没有进行过房产普查，除商品房外，各地还存在大量各类房产可能未录入住房信息系统，包括保障房、房改房、自建房等。有些地区的住房信息还是纸质档案，未录入电子信息库。国务院要求建立国家不动产统一登记制度，实现全国住房信息联网，就是下决心解决这些问题，打造政务大数据。

对于中国政府而言，要让大数据全面落地，首先，不能让数据成为垃圾。每时每刻每地，民生和环境等产生着大量的数据，有些数据被采用，有些则被弃之不管。积少成多、积小成大，数据也是如此。只有先如饥似渴地搜集数据，才有可能把数据变成资产，把资产化作价值。

其次，要重视历史数据的使用和挖掘。对交通和气象部门而言，实时数据对于及时调度至关重要。但是，要得出深刻的结论，往往还要把对历史和现状的分析结合起来。然而，大量历史数据都是纸质的或者零散的，要整理并加载到现有的数据库中，工作量非常庞大。这时，大数据分析工具就能够派上用场，对历史数据实现扫描、存储、识别、检索、美化和共享等。

最后，要对不同来源的数据进行整合。每个政府部门都积累了大量的数据，然而数据在不同部门、不同层级、不同地域之间却没有实现整合，恰似一个个信息孤岛。要真正做出科学的决策，需要对这些数据进行联合分析。这一方面依赖于技术，另一方面依赖于政策的支持。

盘活数据资产是一项规模浩大而又润物细无声的工作，应遵循整体设计、阶段推进的原则。我们可以从广东省地税信息化系统建设的进程中得到启发，它共经历了四个阶段。

第一阶段，“结蛹”。率先建设大集中系统（省级集中征管信息系统），统一全省税收业务，建立省级集中的数据仓库（数据总量达53太字节），搭建起数据管税的基础平台。

第二阶段，“蚕动”。依托大集中平台，研发税收分析系统，通过税收分析指标体系和模型，运用关联分析、比对分析等手段，对海量数据进行多维的深度分析。

第三阶段，“破茧”。依托大集中平台，集成研发税收管理员系统、建筑安装和房地产“两业”税源控管系统、在线网络发票系统、行政执法责任制考核系统等分析应用系统，拓展数据分析范围，开展描述性、预测性分析，进一步挖掘数据，为实施有针对性的管理服务提供依据。

第四阶段，“化蝶”。深化数据分析结果应用，服务经济税收决策、税收征管、纳税服务、诚信体系建设、队伍建设等税收工作各方面，充分释放数据管税的效能。

五大政府信息平台

同方公司作为大数据领域的研究先行者，认为更好地让大数据服务于城市和政府管理，必须搭建好信息平台，建立属于自己的资源管理平台。

基础设施监测数据资源管理平台

基础设施信息指为社会生产和居民生活提供公共服务的物质工程设施，是用于保证国家或地区社会经济活动正常进行的公共服务系统。它是社会赖以生存发展的一般基础物质条件。在城市管理中，保障城市基础设施的正常运转是城市管理运行保障工作的首要任务。

公众民情采集与服务数据资源管理平台

政府管理层知悉社会公众的民情、民意对于政府掌握和管理百姓真实意愿至关重要，通过掌握民情、民意，了解老百姓的愿望和诉求，政府管理层才能更好地进行城市管理。

目前政府各部门已经建立起各自的民情采集渠道，但各部门没有将民情信息充分共享与利用起来，服务资源相对分散。

公共安全数据资源管理平台

公共安全从来没有像今天这样遭受残酷的考验和严峻的挑战，人们对公共安全的现在和未来充满沉沉的顾虑和重重的忧患。

社会公共安全包括自然灾害、恐怖事件、城市火灾、传染病、群体性暴力事件、经济危机、商品安全、粮食安全、水安全、金融安全、网络安全、重大交通事故等社会公共安全问题，这些灾害带给生存者难以磨灭的痛苦记忆和心理压迫。

如何从信息化着手，减轻、减少人员人身及财产损失是人们深究、探索的问题。因此要构建公共安全指标体系量化和考评公共安全的管理工作，应通过梳理城市安全运行体征，进行基于整合数据的安全监测、综合分析、预测预警，为城市安全运行提供数据服务，提高城市公共安全的管理水平。

政务管理效能考评数据资源管理平台

政务行政效能是指政务管理活动达成预期结果或影响的程度，具体而言，主要指政府向公众提供服务的水平和能力，包括数量、质量、效果、影响、能力和公众满意度等多方面。与行政效率相比，行政效能是指目标的达成程度，着重质量层面，它更强调效果（而不仅是时效），重视服务质量（而不仅是工作量和投入量），注重质量保证能力（而不仅是最终结果）。提高政务行政效能是提高政府管理水平的必经之路。

资源统筹与经济监测数据资源管理平台

广义上说，可以将经济理解为社会上物质产品和服务的生产、交换和流通的综合，是一个在一定秩序规约和人类既有的思维方式作用下，由小到一人、大到一国等无数主体组成的庞大的系统。

如何在信息化层面为区域经济运行管理提供帮助呢？同方的建议是充分利用各行业、部门的数据。首先，按照经济工作的目标要求，构建一套科学、规范的经济指标体系。其次，搜集和整合这些经济指标对应的指标数据，并按照区域经济的特点，整合区域的重点资源数据。对经济数据和资源数据进行梳理，合理规划经济数据资源体系。最后，经济数据、资源数据的整合规划，要实现两个方面的作用：一是为管理层提供经济运行的直观经济监测数据、资源数据；二是通过将资源数据与城市经济监测数据相结合，进行经济主题分析，从而得出结论进行辅助决策。

消除信息孤岛

“跑断腿、磨破嘴、交了钱、受了罪。办事跑十几个部门，盖几十个公章……”这是不少普通人经历过或正在经历的事情。

买一套房子，需要填报十几张表格，每张表格1/3以上的内容是重复的，其实这些都是政府部门拥有的基础数据，完全可以根据身份证号码自动生成；同样一条道路，会被不同部门折腾，前几天是自来水公司挖开维修，几天后电力公司又在同一地点开展维修工作，而过几天通信公司再次重复；雷雨、高温天气引发电力线路故障，使得交通信号灯无法工作，从而导致交通拥堵，甚至引发安全事故……这是我们身边每天都在发生的事情，出现这些问题的原因就是信息孤岛。

信息孤岛是指部门与部门之间数据和信息相互孤立、不共享互换，以及信息与业务流程和应用相互脱节，从而影响沟通协作，导致管理成本增加的现象。在中国，虽然大多数政府部门目前都建成了比较完备的信息化平台，但是相关数据因为条块分割，如一个个信息孤岛，缺少跨部门的信息整合。中央与地方分别拥有自己的数据库，各自的数据库因为管理或者存储的不一致，处于分割状态，政府部门间彼此兼容和共享得极不充分，“我的你不知道，你的我不清楚”，在客观上形成了信息孤岛。

信息孤岛是信息化的阶段性产物，不可避免。然而，当数据化、信息化成为公共管理主题词，就对政府各层级、各职能部门所掌握的大量数据的整合、共享提出了更高的要求。大数据的核心正在于挖掘数据中蕴藏的价值，通过一个个数据库联动，实现更大规模的数据共享。无论是在网络世界还是现实社会，各自为政的信息高墙都将使得互联互通、信息资源共享举步维艰，成为公共管理未来发展的最大瓶颈。

要消除信息孤岛，一方面需进行纵向信息系统整合，在上下级政府部门之间，利用多级网络和中心数据库，构建统一的信息平台。例如，流动人口在中国是一个较大的问题。谁在流动？能不能从传统的户籍系统里找出一些规律以便于更好地管理？能不能把劳动力输出省安徽的户籍数据与输入省广东的户籍数据整合起来？这既需要自上而下的部署，又需要自下而上的实验。

另一方面需进行水平的电子政务信息系统整合，实现跨部门的政府信息资源共享和政务协同。例如，在办理社保（市民）卡时，以共享信息的方式使用第二代身份证照片，可减少市民照相和出行成本；企业报备办理港澳商务通行证，通过共享国税、地税相关信息，可以免去到国税、地税局办理纳税额证明的步骤；税务质检登记复用工商信息，可以减少办事人员等待时间等。

数据之网纵横交错，才能激发活力。中国财政部门以互联网门户网站建设和财政专网系统建设为抓手，全面打造财政政务公开的“阳光平台”，形成纵向联通国家、省、市、县财政部门，横向连接同级中国人民银行国库、代理银行、国税地税部门以及所有预算单位的横纵结合的网络系统。这些举措不断塑造着“财——金——企——社”信息资源网络化雏形。

要彻底消除信息孤岛，还需要从内部管理观念和行政体制上着手。虽然说信息孤岛形成的表面原因是信息存储规格不一致，但更深层次的原因其实是管理上的孤岛现象。观念和态度不变，即使手握利器，行政效率和服务质量也很难提高。谁都知道“九龙治水”弊端多，即使现在大数据有办法让九龙成天“坐在一起”，但如果互相谁也不理谁，水还是治不好。

此外，信息孤岛的消除也需要从技术和系统支持角度考虑，建立一个跨系统、跨平台、跨数据结构的政府综合信息处理平台，将在技术上使政府内部纵向、横向部门得以流畅协同；数据获取、处理及分析响应时间大幅缩短，提高工作效率，降低政府开支；数据产品创新应用将不断涌现，政府信息的经济价值将被充分发掘。麦肯锡估计，欧洲发达经济体政府利用大数据可以节省超过1 000亿欧元的政府开支。

信息孤岛突破试点：国家级行政服务标准化工作

办理任何一个行政服务事项都需要身份证明，但不同街道之间办理同一个行政服务事项需要的证明材料可能不一样。北京市西城区正在进行的国家级行政服务标准化工作将改变这一不规范的局面。

行政服务标准化是指通过对行政服务标准的制定和实施以及对标准化原则和方法的运用（实现统一行政标识、统一网络平台、统一业务流程、统一服务标准），以达到服务范围明晰化、服务质量目标化、服务方法规范化、服务过程程序化，从而获得优质服务的过程。但目前，政务服务在国家层面还没有一个统一的标准。

2011年，西城区经国家标准委审查确定为国家级服务业标准化试点地区之一。目前，西城区正在组织各单位进行服务事项标准的编制和转换工作，标准化专业机构对各单位上报的标准进行了审查，并进行一对一指导。据了解，事项梳理工作共涉及全区37个委办局，确定编写服务事项标准大项600多项，确定运行管理与服务保障标准57项，涉及运行管理规范、评价与改进标准及服务保障标准。

各级政府开展了行政服务标准化活动，推动贯彻服务型政府建设向纵深发展的工作部署要求。一些地市将电子政务标准化逐步延伸到其他应用领域，包括公共资源交易、重大项目建设、政务公开、依法行政、行政监察等。这些都是在大数据时代通过数据挖掘带来的改变。

建立政府云平台

2004年3月，西班牙马德里3个火车站以及附近地区连续发生10余起爆炸，造成202人死亡，另有1 800余人受伤。这是欧洲国家有史以来造成伤亡人数最多的一次恐怖袭击。为什么会导致如此重大的伤亡？马德里警察局认为，没有用于协调的通信系统是造成这种后果的主要原因之一，当时他们并不知道警察局和其他机构是否有足够的资源供调配。

此次重大事件之后，马德里警察局认识到需要优化协作方式，在不同的机构之间准确传递信息，实现联合行动。为此成立了全球最具创新性的应急呼叫中心，警察可在8分钟内达到全市81%的地区，迅速开展救援。帮助马德里警察局实现成功转型的就是云平台。

云平台依靠有线无线一体化网络技术、统一通信技术和云计算技术，把电子政务内网和电子政务外网、互联网、城市应急卫星通信网、短波通信网、集群通信网以及3G通信网络整合为一个庞大的网络资源池。使离散在指挥中心、公安、交通、水利、环保等单位的信息资源，聚合成集预案库、知识库、专家库、案例库、队伍库、地理信息库为一体的应急信息资源云。再通过统一的指挥调度界面，在各类突发事件的处理过程中为各级指挥人员及时提供他们所需的各类信息和辅助决策支持，使参与应急救援和应急处置的各级指挥人员实时、快捷地掌握突发事件现场态势，科学选择合理的应急策略，迅速调配各种抢险力量。

应用云平台，不仅能有效协调政府资源和行动，还能在政府部门间共享数据服务，避免重复投资，提高计算资源的利用率。2009年6月，为鼓励消费，美国联邦政府推出旧车换新车的现金补贴计划，其申请和审批的过程均在网上完成。交通部开发了软件、装备了服务器，并预计全美将有25万人上网申请。不料仅一个月，申请人数就达69万，系统不堪重负、一再瘫痪，引起诸多不满。白宫指出，如果是云平台，不仅可以立即增加系统的资源和容量，任务完成之后，资源还可以立即释放，另作他用。云计算的这种可伸缩性，能够实现公共资源的按需配置，获得更多的决策弹性，有效应对信息系统数据量高速增长与数据处理能力不匹配的问题。

在美国，“云政府”有大规模铺开的趋势。2010年12月，美国联邦政府宣布“云优先”政策，规定所有新建的政府信息系统必须优先考虑云平台。2011年2月，白宫正式发布了《云战略》，规定每个政府部门必须确定3个可以推向云平台的系统，并在年内至少完成1个。除了这些硬指标，奥巴马政府还辅以若干软措施。一是在工业界和学术界聘请了71名专家，成立了云委会，帮助政府普及云知识、制定云政策、推动云部署；二是针对云计算的安全隐忧，组织美国国家标准与技术研究所对云计算进行了细致的评估，出版了安全报告；三是发布了《公共机构云计算纲要》，对政府如何实施云计算提出了具体的标准和方案。

最近，美国联邦政府的赤字已达法定上限，加上经济不振，各级政府都在大幅削减预算。“多挤奶、少吃草”已成为政府官员时下最流行的口号。在这种态势之下，省钱就是硬道理。据估计，联邦总务署采纳云平台之后，人员、设备得到显著精简，消耗明显减少，5年可节省1 500万美元开支。此外，联邦政府拥有2 094所数据中心，数量之多，一再成为公众批评的众矢之的。通过云计算，未来5年至少可精简800所。白宫认为，这同时还可以腾出上百万平方英尺的国有房产，将使政府部门从固定资产的购买、管理和维护的重负中解放出来，轻装上阵。

共享与联动是云平台的关键词，也是避免制造“浮云”、让大数据真正落地的突破口。把公共管理和公共服务升级为“云模式”，建设应急安全云、城市管理云、医疗卫生云、环境保护云，最终打造政府云、城市云，让庞大的公共资源在云的笼罩下高效智能地运转，是政府信息化的必由之路。

无锡城市云

2010年10月，工信部联合发改委印发通知，确定在无锡等5个城市先行开展云计算服务创新发展试点示范工作。2011年1月，无锡城市云计算中心成立，着眼建立一套服务政府、企业和市民的城市综合信息服务系统——无锡城市云，它以城市云计算中心为主要载体，统筹建设和整合区域内分散的硬件、软件和数据资源，并以一种更加智慧的方法实现资源共享及业务协同，能够显著增强城市管理和公共服务能力。

云计算为无锡市政府带来的最大价值是通过共享、整合、精细化协作降低政府管理与协同成本。例如政府部门可以通过云计算快速获知城市环保情况，通过传感器、物联网了解太湖、飞机场、垃圾焚烧场等。这些数据通过网络传输到云计算中心，由中心对数据进行处理和应用，就是云计算的价值。此外，以社区安全一体化建设、综合性食品质量溯源管理的物联网基础技术平台、医疗预警跟踪体系等为代表的信息化项目也在无锡云计算中心项目的推动下获得实质性进展。该中心现已为无锡电子政务、物联网、移动互联网等关键应用提供云计算服务，逐渐形成了开放的城市云生态体系。

无锡城市云计算中心是国内首个物联网云计算中心，由曙光信息产业股份有限公司投资建设，中心使用了诸如曙光“星云”计算机、龙芯防火墙、国产Cloudview云操作系统等多项自主知识产权的产品和技术，旨在为无锡市提供自主、安全、可控、高效的云计算服务。作为区域标志性的IT基础设施和国家级高新技术服务产业示范基地，无锡城市云计算中心将在推动无锡市建设国家创新型示范城市的进程中发挥越来越重要的作用。

让听得见炮火的人决策

谁来呼唤炮火，应该让听得见炮声的人来决策。而现在我们恰好是反过来的。机关不了解前线，但拥有太多的权力与资源，为了控制运营的风险，自然而然地设置了许多流程控制点，而且不愿意授权。过多的流程控制点会降低运行效率，增加运作成本，滋生了官僚主义及教条主义。

——任正非，华为技术有限公司总裁

在大数据背景下，中国政府应尽快将已有的管理决策模式变为数据驱动，让听得见炮火的人决策，让领导意识、组织文化、组织结构和工作流程经历由内而外的蜕变。

用数据说话，让数据做主

托马斯·达文波特在《分析工作》一书中，总结了大数据成功所需的5个要素：数据（Data）、企业组织（Enterprise）、领导（Leadership）、目标（Target）、分析师（Analyst）。他将其总结为DELTA模型，并且认为领导是其中最为关键的要素。

然而，中国的许多领导者往往更倾向于依赖经验和直觉，有时甚至仅迫于眼前的境遇与状况，缺乏数字管理的习惯。在政府的会议室里，一件似乎经过了理智讨论的事可能是在没有什么实际标准的情况下做出的决定。

一般来说，决策可以由3种方式分别或混合驱动：直觉、经验和逻辑。虽然有时直觉和经验在决策过程中是无可替代的，但直觉和经验往往容易产生偏差。比如，决策的出发点或许是好的，但由于缺乏民主基础和科学依据，其结果往往不能令民众满意；决策过程可能很粗放，完全是“一言堂”，根本不听取社会方方面面的意见，结果在实施过程中漏洞百出。

过去，受数据获取以及分析的限制，依靠决策人的经验“拍脑袋”决策是不得已而为之。在大数据时代，各行各业都在学习如何利用数据进行预测、做出决策，政府领导者们如果不能与时俱进，做到凡事心中有“数”，很难想象他们将如何做称职的“当家人”。

需要转变的不仅仅是领导作风，更需要再造政府组织文化，改变“差不多先生”的作风，养成用数据来说话、用数据管理、用数据决策、用数据创新的思维习惯，不能再跟着感觉走。

有志于引领组织实现大数据转型的领导者们，可以从以下两个最简单的技巧开始。

首先，要养成习惯问：“数据怎么说？”大数据驱动下的管理重要的不是“我们怎么想”，而应该是“我们知道什么”。每当需要做出重大决策时，要紧跟着问题进一步问：“这些数据从哪儿来的？”“从这些数据能得出什么分析结果？”“我们对结果有多大信心？”决策者对数据与客观证据的尊重是大数据发挥价值的重要保证。当管理层的思维发生了这种变化，员工才能迅速接收信息，得到重视数据的激励。

其次，要允许数据做主。数据得出的结论，有的能够支持既有的常识，有些则可能与常识相悖。当结论与常识不符时，数据说了算还是常识说了算，这将是对数据在组织中的地位的考验。如果决策者不愿意根据数据调整自己的常识，甚至有选择地只看到那些和自己的常识一致的数据，那么无论搜集了多么海量的数据，无论引入了何种高深的算法，都只是为了支持与粉饰决策者既有的决定，不能带来新的知识与价值，进而也不能有效地发挥组织在大数据领域大量投资的价值。相反，如果员工用来自一线的大数据分析出结果，让经验丰富的领导推翻了自己原先的直觉判断，放手让大数据说话，那才是改变组织决策文化的最大力量。

“大数据的力量并不会抹杀对远见与人性化洞察者的需求。”《哈佛商业评论》这样写道，“那些在大数据时代获得成功的企业（组织），并不是简单地拥有更多或者更好的数据，而是因为它们的领导层懂得设计清晰的目标，知道自己定义的成功究竟是什么，并且找对了问题。”

美国社会管理科学化过程

每年，美国各级政府及各类慈善基金会都要投入几千亿美元支持各种社会服务，包括家庭和儿童服务、社会救济、健康教育、戒毒、酗酒防治、戒烟、家庭服务、妇女儿童虐待防护、社保、精神病防治、无居所人员救助、艾滋病防治、青少年早孕预防等。准确地评估社会服务的质量与绩效，对引导社会投资的导向、完善政策的制定、减少浪费、保证社会稳定和经济发展都有深远意义。因此，社会管理科学化成为上至国会，下至纳税人都关注的问题。

社会服务是与人打交道的，不像工业生产和金融管理有评估效益的硬指标。由于没有一套服务质量衡量标准和相关的数据采集系统，政府投资的绩效无法评估，结果很多工作出色的机构无法证明业绩，而有些工作表现不好的机构却可能浑水摸鱼、滥竽充数。

针对这一现象，美国国会在1993年通过了著名的《政府绩效与结果法案》，要求社会管理部门建立绩效评估标准，并要求所有接受政府资助的社会服务机构按标准采集系统数据，提供报告以证明服务效果。

这一法案实施后，自联邦政府到地方政府都纷纷制定了社会服务管理条例和数据采集标准。与此同时，联邦政府还从服务资助金中拨专款用于数据采集和项目评估。除此之外，美国国家健康研究院专门拨款与大学合作研究出一系列社会管理和绩效评估的理论模式、测量工具、数据采集方案和分析方法。有社会科学家和社会工作者提出，应使用社会科学的理论、方法论及数据采集模式提高社会管理和绩效评估的科学性和准确性。

数据驱动的管理模式

管理学家法约尔认为：“管理就是计划、组织、指挥、协调和控制。”这是对管理最经典的定义。要借助大数据改变当今管理效率低下和管理成本高昂的尴尬局面，就要让数据贯穿于管理的各个环节，实现科学计划、组织创新、高效指挥、全面协调和周密控制。

科学计划。凡事预则立，不预则废。如何制订计划、设立科学的目标，是政府工作的重点。政府在制订计划、评估计划是否科学时，还应当预测可能未来的趋势以及可能遭遇的问题，以便提前制定对策。区别于此前由专家、精英、权威主导的战略计划，大数据要求颠覆传统的、线性的、自上而下的决策过程，建立一个非线性的、去中心化的、自下而上的、发现群体智慧的方案编制模式。

组织创新。组织是行动的保障。以往政府开协调会，协调的主要是主管人、财、物的部门，部署的是人、财、物的配置，现在，还要加上数据信息部门，加上对数据信息的部署。可以预见的是，随着数据重要性的增强，搜集数据、解释数据的发展规划部门、统计部门的地位将大大提升，而那些每天都在产生数据的交通、气象、登记部门也将越来越深入参与其他部门的行动。在机构调整的基础上，还应相应调整人事，如设立首席信息官和首席数据官、聘请数据科学家担任政府顾问等。

高效指挥。即领导机构或个人应运用领导艺术和手段，指使组织和人员实施组织计划、达成组织目标。对大数据时代的指挥而言，领导艺术固然重要，指挥手段也要跟上。随着管理职能日益扩大、工作任务日益复杂和未来不确定因素增多，指挥者应当充分利用大数据时代的各种工具，形成“神经中枢”，从而运筹于帷幄之中，决胜于千里之外。在强调统一指挥原则的同时，还要重视每一份数据承载的民意，避免出现对上负责、对下不负责的情况。

全面协调。在传统的政府中，往往存在信息孤岛现象，各部门间沟通不畅，有时甚至各自为政，导致政府沟通成本高昂，在应对突发状况时行动缓慢。这是科层制组织普遍面临的难题。大数据框架要求政府打破条块分割，围绕问题的解决整合资源、联合行动，提升政府服务部门的效率。政府内各部门之间、层级政府之间、横向行政区之间以及政府与非政府组织之间密切又顺畅的协调与合作，是激发数据活力的关键。

周密控制。控制、监督与考核是中国的政府管理中相对薄弱的环节。比如，食品安全频繁出现问题在很大程度上就是因为控制手段有限，而可能产生问题的漏洞又分散在生产、流通、消费等各个环节。在大数据时代，全过程、全口径的监控和记录势在必行。以前缺乏对过程的监控与数据搜集，没有足够的数据分析过程与结果的因果联系。随着过程数据与结果数据的日益丰富，原因和结果间的关联将变得更明确、可追溯。周密控制不等于敌对监视。当干部考核从结果考核变成过程考核，考核手段本身将成为帮助员工改进工作的工具，而不是员工所抵触的惩罚鞭子。

开放公共数据

政府数据作为一项公共资源，应该像天气预报、体育赛事和股票信息一样实时公开。

——维维克·昆德拉，美国第一任政府首席信息官

如果说搜集数据是一种意识，使用数据是一种文化，那开放数据是不是一种态度呢？

随着数据量的爆炸性增长，尤其是政府掌握的数据越来越多，如何利用这些数据成为决策者们关心的问题。当今世界公认：政府只是其所搜集的信息的托管人，私营部门和社会对数据的利用会比政府更具创新性，提取政府数据价值最好的办法是允许私营部门和社会大众访问。开放政府数据，打造阳光政府，已成为席卷全球的趋势、理所应当的常态。

席卷全球的数据开放运动

2009年1月17日，奥巴马签署了他的首份总统备忘案《透明和开放的政府》。120天后，美国联邦政府宣布实施“开放政府计划”，数据开放的门户网站Data.gov正式上线，旨在全面开放美国联邦政府拥有的数据。

2010年1月，英国政府的Data.gov.uk正式上线，第一天就公布了3 000多项民生数据。

卡梅伦出任英国首相后，更是率先提出了“数据权”的概念，并将其视为信息时代每位公民都应拥有的一项基本权利。

2011年9月20日，美国、英国、挪威、墨西哥、印度尼西亚、菲律宾、南非7个国家宣布建立“开放政府伙伴关系”，并发布了《开放政府宣言》，承诺向本国社会开放更多的信息。几个月后，该组织收到了加拿大、意大利、韩国、肯尼亚等42个国家或地区的加入申请。其中，有31个国家或地区都建立了公共数据的开放网站。

在中国，近年来信息公开的进程加快。2007年，《中华人民共和国政府信息公开条例》颁布，自2008年5月1日起施行，2013年是第5年。日前，国务院办公厅又印发了《当前政府信息公开重点工作安排》，对当前9大重点领域政府信息公开工作做出部署。文件明确提出，2014年将实现重大事故调查报告全面公开，争取2015年前实现市县级政府“三公”公开；建立食品药品违法违规企业“黑名单”公开制度等要求。2013年10月11日，中国政府网官方微博和官方微信开通，国务院重要政务信息将第一时间通过微博、微信等新媒体形式，向社会公众公开。这些措施固然可喜，但都没有涉及数据集层面。在数据开放方面，我们还有很长的路要走。

公共资料，增值再用

“公共资料，增值再用。”这是香港公共数据开放网站“资料一线通”的口号。该网站创建于2011年3月，专门免费向公众提供交通资料、公共设施的地理参考数据、天气数据、空气污染指数和慈善筹款活动资料，可以用手机客户端访问。

香港政府还鼓励公众用政府发放的免费资料编写应用程序，委托互联网专业协会开展“资料一线通”推广运动，从3方面推进对公共数据的开发利用：

通过有特定目标的市场推广策略及各项活动，提高社会公众对增值再用公共资料的认识。

为市民大众（尤其是科技人员和大学生）提供有深度的培训课程，提高他们对公共资料的认识，并用基本技术装备他们，以鼓励及培育再用公共资料的产品开发。

举办“全城写Apps·公共资料应用比赛”，鼓励公众再用公共资料并展示有关的成果。

在传统意义上，人们往往只把信息公开和提高政府透明度联系起来。这种观点认为，人民行使管理国家的权力，是以对公共事务的充分了解为基础的，知情权、监督权是公民应有的权利。但实际上，开放公共数据的意义远不止此。

数据价值是潜在的，需要通过创新性的分析来释放。正如“互联网之父”蒂姆·伯纳斯·李所言：“政府采集数据是花纳税人的钱，束之高阁完全是浪费。”政府是最大的数据生产者，占有人口、交通、卫生、社保、税收、城市规划等方方面面的数据。这些数据如果被埋藏在档案馆的文件中，永远只能是一堆数据；而如果放在开放平台上，就能被深度挖掘，变成有用的信息。

数据开放能激发全社会的智慧和创意，产生巨大的数据红利，这早已不是新闻。1983年，美国将原本用于军事的卫星定位系统GPS向公众开放使用，并且在2000年后取消了对民用GPS精度的限制。GPS数据开放后，带动了一连串的生产和生活服务创新，从汽车导航、精准农业耕作到物流、通信等，同时还创造了大量就业岗位。据估算，仅美国国内就有约300万的就业岗位依赖于GPS。

数据公开是数据驱动和数据治理的最基本要求，会吸引大量高科技人才和企业，使社会运行更加高效。和中国的许多城市一样，美国华盛顿也被交通拥堵、社会治安、城市卫生等问题困扰。例如，社会治安曾一度是华盛顿政府最为棘手的问题，每年要投入大笔的财政经费在警务人员和警务装备上。而随着详尽犯罪记录数据的开放，不仅开发出了提示公众避免进入犯罪高发区域和提高警惕的手机应用，从而降低犯罪发生的概率，而且还能将犯罪记录信息和动态交通数据结合起来，起到指导调配警力的作用。这些在原来警察局和交通部门各自垄断数据的情况下是不可想象的。

只有将割裂存储于不同部门的数据在统一平台上开放，才能使数据创新应用不断涌现，使政府信息的附加经济价值被充分发掘。因此，在数据开放进程中，不仅要重视政府内部各个层级以及统计、档案、保密、监察、行业监管等跨部门的协调性、系统性和整体性，还需加强与社会征信、信用评级、商业资讯、学术研究等其他各项社会性信息源的协同推进，以推动形成广域的信息共享、链接、匹配以及参照等功能组合的动态差序格局，盘活整个大数据世界。

数据如何开放

提到数据开放，如果你想到的还是一份夹杂着统计数字的、照本宣科的报告，或者一张枯燥无味的数据报表，那么你的思维方式还停留在小数据时代。

在大数据时代，数据开放的形式可能是一张动态的、实时更新的信息图，可能是一个可以安装在手机上的应用程序，也有可能是一个提供数据集下载的专门网站。

数据开放的标准和原则，可以参考“Web 2.0之父”蒂姆·奥莱利制定的开放公共数据的8条规定：

数据必须是完整的。

数据必须是原始的。

数据必须是及时的。

数据必须是可读取的。

数据必须是机器可处理的。

数据的获取必须是无歧视的。

数据格式必须是通用非专有的。

数据必须是不需要许可证的。

原始数据指的是没有经过加工和解读、能够被计算机读取调用、可供再次分析的数据。而在目前，中国政府公布的数据基本都是报告和报表，没有标准的格式，不能以数据的形式查到，因此也无法进行深入的分析、加工和挖掘。

数据开放的第一步是提供尽可能多的原始数据，只要不涉及隐私和国家安全的相关数据全部开放、开源，允许公众免费查询、下载，使个人和企业以最大自由度重新处理这些数据。结合中国的情况，开放政府信息资源可以先易后难，从气象、地震、交通、公安、社保、医疗卫生、教育等公共数据资源的开放入手，再重点推进至投资、生产、消费、统计、审计等经济领域，使公共数据与民间和企业界拥有的数据资源相互融合，形成巨大的知识创新力、财富创造能力和社会进步推动力。

政府只是公开数据还不够，还需要通过各种方法鼓励公众重新处理政府数据。因此，数据公开的第二步是提供应用程序开放接口，方便企业和个人对信息资源进一步深入开发利用，创造更大的社会价值。

当然即便政府有决心，也不一定能保证数据能够得到及时完整的公开。但是一旦数据开放蔚然成风，公民也会积极要求政府开放数据。一名英国程序员为了编写定位附近邮筒和收信时间的程序，根据《信息公开法案》向英国皇家邮政申请到了一份英国所有邮筒的资料文件，覆盖到公开的电子地图上，再邀请网站用户校准位置。这个例子很好地说明了政府数据公开加上民众参与是如何使信息增值的。

与“小伙伴们”共建新型政府

失败者创建的是网页，而胜利者创建的是生机勃勃的社区；失败者创建的是有墙的花园，而胜利者创建的是一个公共的场所；失败者精心守护他们的数据和软件界面，而胜利者则将资源与每个人分享。

——唐·泰普斯科特，经济学家

在开放的互联网社会，政府的组织形态也将变得越来越开放。基于大数据技术和平台，外包、众包等灵活的组织方式将大展身手，推动政府从条块分割、封闭的架构向开放、协同、合作迈进。

找最聪明的人为你工作

美国太阳计算机系统公司的创始人之一乔伊曾提出“乔伊法则”：“大部分聪明人都是在为别人工作。”也就是说，最聪明的人并不都在你的部门里，你应该到外面去找。

传统管理学把管理学定义为组织内部的事，因此，所有技术和方法的目的都在于调动组织内部的力量。现代管理学则认为，有目的、有计划、有步骤地影响他人的行为或意愿都是管理，因此不要光盯着组织内部的资源，而是要跨越组织边界，调动一切可能调动的外部力量。

加拿大政府在实施“国民第一”的电子政务工程过程中，曾做了一项调查和研究。采访人数超过3万人，问题包括：你喜欢什么样的政府管理？政府怎样做可以改进服务？其中一项调查结果出乎大家的意料。很多人都提出：“政府不必关心谁做这件事，但要关心做得怎么样。”作为纳税人，我们不要求政府事必躬亲，而是希望能提高效率、节约资金。

要把大数据部署到公共管理的方方面面，就需要一个专业的团队，帮助政府搭建技术平台、洞察分析数据。一种做法是在政府内部和事业单位雇用一批专业技术人员，为大数据系统提供支持。这种做法成本比较高，而且缺少时间弹性、职能弹性。面对临时的重大任务时，可能会人手不足、工种不全，人人都是外行的多面手；而在其他时期，又会人员闲置、人浮于事。

另一种做法是把项目外包给企业或相关机构，让专业的人做专业的事，自己只专注于制定政策和项目监控，这种方式就灵活多了。规模庞大的政府是大数据企业最理想、最合适的消费客户，产业链覆盖电信运营商、设备软件商、方案集成商和业务运营商。在联合国，“全球脉动”计划将各国政府的专家、联合国机构、学术界和私营机构的力量凝聚到一起，应对发展挑战。在美国，各级政府对大数据的重视已经激发了激烈的行业竞争，微软、谷歌和亚马逊等行业巨头争抢政府订单，一大批中小企业也受惠于此。在中国，技术和服务已经是政府采购的常规项目，但是出于信息安全的考虑，政府更倾向于与民族企业合作，而不是业界领先的知名外企。

除了政企合作，还可以用大数据分析类的众包平台，如Kaggle，找到最聪明的人为你工作。在Kaggle上，政府把公共数据发布出来，提出希望解决的问题和希望达到的指标，通过竞赛的方式寻找解决方案。世界各地的数据分析师们或独立或组队参加比赛，利用自己的专业知识和数据分析工具建立优化模型。最后，这些结果经过原定指标的检验，被公布出来，最优的结果将获得奖金（从几百美元到几百万美元不等），而政府也能最终拥有数据分析的结果、模型等知识产权。目前，Kaggle吸引了将近6万的参与者，竞赛的内容也从单纯的预测性分析拓展到所有关于数据的创意，比如如何实现工作职位网站上的数据可视化等。

把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的（而且通常是大型的）大众网络，实现产品与服务的创新，美国《连线》杂志2006年6月刊首次用“众包”的概念形容这种做法。它蕴含着“携手用户协同创新”的理念，相信劳动人民的智慧是无穷的，通过对外部资源的合理调动，开创了一种全新的组织形式。

公民参与政府创新

4年前，美国得克萨斯州的小镇马诺尔连一台服务器都没有，如今却以“政府2.0的早期使用者”之名而闻名全美。

由于该城市常规议会出席人数太少（仅15人），马诺尔与斯坦福大学、Spigit科技公司合作发起了一个网站“马诺尔实验室”，供居民提出改善城市的意见建议，并对这些建议进行公开投票。自2009年10月网站上线后，很快就搜集了上百条建议，约有2 000人（占全镇人口1/3）发出自己声音，其中关于公共设施网上付费、公共工程订单的RSS等多项提案已经得到实施。居民甚至可以投票评论赚取积分，如果有人积分达到100万，他有可能成为市长。

让大众参与公共管理的意义不仅在于让他们发出声音，而且允许并邀请公众为共建美好社区做出积极贡献。比如，当地的一位木匠在网上看到公园长椅需要维修，他拎起自己的工具箱就去把椅子修好了。

“马诺尔实验室引发了一场城市创新运动，它改变了居民与政府之间互动的方式，从敌对的议会模式转变到友好的头脑风暴模式。”斯坦福大学的玛格丽特说：“我们的合作不是出于金钱目的，毕竟这不是纽约。如果在马诺尔镇可以成功，那么美国90%的地区都可以做得一样好。”

政府2.0是互联网2.0时代的一种新型政府形态。这个概念由“Web2.0之父”蒂姆·奥莱利最先提出。政府2.0是基于多元数据平台，以政务公开为基础，以政务服务为核心，以政民互动为前提的新一代电子政务；它建立在云计算、物联网等新一代信息技术工具和社会性网络服务、社交媒体等社会工具应用的基础上，具有用户创新、大众创新、开放创新、协同创新的特征。

要让公共管理大数据落地，最有效的推动力一定是无数活跃个体，而不仅仅依靠“政府行动+购买技术、服务”。对政府而言，如果没有来自民众的支持，不了解社会的需要，决策是不可能有效的。越是封闭的体系，决策越是缺乏效率，缺少针对性，不能满足公众的需求，政府的执行力和公信力就会受到损害，形成恶性循环。

而政府2.0的实质就是平台的政府、服务导向的政府、开放的政府，从政府为主体的政府管治转向以协同共治、公共服务为导向的公共价值塑造。通过这种开放的平台，公众能够参与政府提供公共服务产品的全过程，参与公共服务产品的设计、生产和供给等各个环节；而政府也能打开更为深入和广泛了解民情民意的政策窗口，疏通促进社会和谐的民意渠道，找到不断优化公共决策的新机遇。

缔造GBCP和谐三角

前文提到过的SeeClickFix可谓是一个小程序，却盘活了一片大数据的最好例证，通过政府、市场与公民的协同与互动，创造出无法估量的公共价值。

与之类似，在城市管理领域有一个GBCP模型：G代表政府（Government），B代表企业（Business），C代表公众和社区（Citizen and community），P是公共设施与公共环境（Public facilities and public environment）。这四者构成一个以P为内点核心，G、B、C为外点的和谐三角，即围绕公共产品的提供，充分考虑政府、企业、公众3个角色，搭建涵盖公共管理服务各方面的完整动态循环系统。

图8–1 GBCP和谐三角

调动体制外资源的最理想的状态就是GBCP和谐三角。它通过市场机制及竞争功能，把部分公共事业外包给企业，使政府得以从具体事务中脱身，有更多精力进行平台设计和宏观调控；它以自愿参与的方式，把发现问题、督促解决的权力众包给了公众，使政府有了无处不在的“眼睛”，公共服务系统中的任何故障都能得到及时的发现和解决；它充分利用了现代信息技术，并且挑战了传统的政府行为方式和组织文化，构建起一个全新的公共治理结构与公共服务体系。

GBCP和谐三角的思想，源自20世纪80年代兴起的新公共管理运动。新公共管理运动倡导利用社会力量推进公共服务的社会化；要求政府优化其对社会、市场的管理和政府自身的职能；要求充分利用网络信息技术，建立和完善信息系统；要求政府将权力进一步分散和下放，不是从管理主体的角度考虑如何管制被管理者，而是站在社会与公民的立场，要求公共管理的主体，特别是政府为公民服务，改革部门内部的组织结构。

在公共服务社会化思路下，GBCP和谐三角还能演变出很多创新的运作形式。例如，大数据的一个重要载体是数据地图。地图测绘曾经是政府一项重要职能，需要大量的人力、物力才能完成，并且测绘精度不高，需要较长周期才能更新地图。而今，尽管地图导航进入了免费时代，但在商家看来仍然有机可图，不依赖于政府的投入和维护。

有一家聪明的地图公司Waze仅用一朵虚拟的小红花（积分）把数据地图带入了新阶段。司机们爱用Waze，是因为它会在普通数字地图上附注临时道路施工、交通事故、测速区等信息。因为提交相关信息能赚小红花，所以用户们都乐意上传路况。数据显示，在2012年，共有来自110个国家和地区的6.5万名用户在Waze上对地图做了5亿次编辑，更新了170万处发生了变动的地图信息。系统检测出来的地图问题有近70%在1个月内就被解决了，几乎所有由用户发现的问题都能在一周内得到处理。

互动沟通、开放创新、平台整合，这是我们对未来政府的美好愿景。只要政府有足够的决心，公民有足够的热情，企业家有足够的智慧，相信这一切并不遥远。

全面实施大数据战略

未来数据将会像土地、石油和资本一样，成为经济运行中的根本性资源。

——舍恩伯格

把大数据上升为国家战略

1993年，克林顿政府提出了美国的信息高速公路计划，在其任期内为美国搭建了覆盖全国的光纤通信网络，为美国全面进入互联网时代奠定了基础，这也成了当时振兴美国经济的关键，极大提升了美国国力。

2012年，奥巴马政府宣布开展“大数据的研究和发展计划”，美国联邦政府的6个部门和机构宣布投入超过2亿美元，以大幅度提升从大量数据中接触、组织并搜集新发现的工具性能和技术水平。

“正如以往联邦政府对于信息技术研发部门的投资引发了超级计算机的巨大发展以及互联网的诞生一样，这一计划也必将使我们得以将大数据运用于科学研究、生态环境及生物医药的研究、教育与国防事业。”美国总统助理、白宫科学和技术政策办公室主任约翰·D·霍尔德伦博士这样评价大数据计划，“我们还计划与工业界、大学研究界、非营利性机构与管理者一起利用大数据所创造的机会。显然，不能单单依靠政府，需要总统所呼吁的‘众人拾柴火焰高’这样的努力。”

大数据是一项立足全局、面向未来的重大战略，事关经济社会发展全局，具有重要的意义。目前，大数据已经成为全球高科技竞争的前沿领域，以美国、日本等国为代表的全球发达国家已经展开了以大数据为核心的新一轮信息战略。一国所拥有数据的规模、活性以及解释、运用数据的能力，从大型复杂的数字、数据集中提取知识和观点的能力，将成为国家竞争力。国家数据主权，即对数据的占有和控制，将成为继边防、海防、空防之后，另一个大国博弈的空间。

目前，大数据已得到中国政府的高度关注。《“十二五”国家战略性新兴产业发展规划》提出支持海量数据存储、处理技术的研发与产业化；《物联网“十二五”发展规划》中，也将信息处理技术列为4项关键技术创新工程之一，其中包括海量数据存储、数据挖掘、图像视频智能分析，另外3项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，也是大数据技术的重要组成部分，与大数据发展密切相关。

多位中国科学院院士和中国工程院院士表示，在中国国家战略层面的文件中，对大数据提得不多，希望国家制定大数据国家战略。“虽然我们意识到大数据的重要性，却并未在真正意义上将其提升到国家战略高度来考量，我们迫切需要从国家层面制定大数据发展规划，将大数据上升为国家战略。”一位中国工程院院士在《关于实施大数据国家战略研究》的报告中表示。

这份研究报告建议：“通过国家层面的战略规划明确大数据产业的发展重点、空间布局和保障措施，推动和改善与大数据相关的搜集、储存和分析工具及技术，并在公共服务领域（如安防、医疗、卫生、教育等）开展大数据应用示范，增强应急处置能力和安全防范能力，提升服务能力和运作效率。”

然而，在中国当前追求国内生产总值增长的环境中，国家意志下的所谓“大数据战略”很可能与大数据的实质存在一定的距离。部分政府官员在谈论大数据项目时往往会问：“该项目需要多少亩地？需要多少资金投入？管线费跟宽带费需要多少？有几万的机架？”与信息时代的要求相比，这种工业时代的思维方式多少有些格格不入。

大数据产业引爆新增长点

在大数据的时代，所有人都预测在这个领域内会涌现一批伟大的公司，一个引爆增长的新兴产业。大数据巨大的发展前景与广阔的市场空间已吸引众多国际信息技术产业巨头抢先布局，以抢占先机。

在中国，大数据产业方兴未艾。阿里巴巴已经在利用大数据技术提供阿里信用贷款与淘宝数据服务。腾讯则通过社交网络数据挖掘打造全新营销平台，为广告主实现精准营销。百度建立了五大数据体系平台，提供企业实时数据服务。中国移动展开了海量数据处理、海量数据存储、高扩展性等技术研发。华为也挺进企业数据服务市场，并已推出了基于移动终端的数据分析方案与应用。

中国是世界第二大经济体，培育大数据产业对于促进中国高新技术产业的发展，保障中国的数据主权，并在新一轮国际经济竞争中抢占制高点具有重要意义。但是，中国的大数据相关产业规模和实力还远不能满足国民经济和社会发展需要，存在制约其发展的一些突出问题。具体表现为：大数据产业创新体系不健全，缺乏核心技术；产业链协同效应尚未充分发挥，亟待建立龙头企业带动、中小企业支撑的产业发展格局；人才结构矛盾突出，高层次、复合型、领军型数据人才依然缺乏；以市场为导向的政、产、学、研、用结合的支撑体系有待完善，产业可持续发展能力亟需增强。

为加速营造良好的大数据产业生态环境，提升中国在世界信息产业的地位，政府应在以下3方面提供有针对性的支持和引导。

第一，优化产业布局，打造大数据产业链。2012年，中国大数据产业链雏形初显，围绕大数据的产生与集聚、组织与管理、分析与发现、应用与服务各层级正在加速构建。但是，国内企业受限于信息技术产业链所处的位置，普遍在数据库、数据仓库、商业智能等方面基础薄弱，在大数据布局上还不够全面。要抢占大数据制高点，就必须对基于“硬件+软件+终端+内容+服务”的产业链进行垂直整合，加快推进软件与硬件、软件与网络、产品与服务、软件与业务之间相互融合；要推动大数据技术向泛在、融合、智能和绿色方向发展，在产品功能融合、网络融合、制造与服务融合等方面向其他产业交叉渗透，推动信息产业转型升级。

第二，鼓励创新竞争，培育一批龙头企业。大数据产业属技术密集型产业，竞争更多的是技术实力与创新能力的比拼。只有真正利用好大数据并将其价值转化成生产力的企业，才能具有强劲有力的竞争优势，成为行业领导者。要加快培育以企业为主体且市场为导向的政、产、学、研、用相结合的创新体系，集中力量掌握核心关键技术，引领数据仓库、数据挖掘、商业智能、人工智能、内容/ 知识管理等领域的技术变革，要鼓励企业兼并重组，实现优势联合，增强企业技术创新能力、市场拓展能力、经营管理能力和国际竞争能力，在具有国际市场竞争潜力的重点领域培育扶持一批龙头企业。构建产业链上下游良性互动、大中小企业协作发展的产业生态系统。

第三，扩宽应用空间，深度挖掘大数据的价值。要实施信息化带动工业化、现代化战略，用大数据改造提升传统农业、传统工业和传统服务业，推动产业融合发展和转型升级。要把技术创新与服务模式创新结合起来，在食品安全、医疗卫生、教育文化、就业养老等社会民生领域实现大的突破，推动服务模式、商业模式不断创新。

在产业政策方面，政府也应对大数据相关产业给予积极支持。比如，突出区域优势，加快中国大数据产业基地建设，依托重点地区、重点园区，汇聚优势资源，发挥产业集聚效应；建立以政府投入为引导，企业投入为主体和广泛利用社会资金的投融资体系，完善高新技术风险投资机制，充分发挥财税政策的支持作用；鼓励科研机构、高等院校和企业联合开展高新技术的研究开发，支持建设一批重点实验室、工程技术研究中心、企业技术开发中心和新型科研实体；进一步扩大大数据领域的国际合作与交流，积极建立新的对外科技合作平台，等等。

此外，还应从国家战略层次解决数据标准和数据交易的问题。在国际上，未来数据的所有权已经成为重大的战略问题，国际数据资产不仅关系未来的国家经济，还关系国际政治和战略。中国要占领国际数据资产制高点，应该发挥优势，率先发起并领导国际数据标准的制定。比如，提出并倡导数据主权、《国际数据公约》，规范世界各国数据获取、使用和所有权等重大问题；政府启动并设立国家级数据银行，对数据资产的交易和流通进行保护。

数据科学家的崛起

21世纪最热的职业，你觉得是什么？《哈佛商业评论》认为是数据科学家。

那么什么是数据科学家？数据科学家的首要任务是在数据的海洋中探索发现。他们要把大量散乱的数据变成结构化的、可供分析的数据，找出丰富的数据源，整合其他可能不完整的数据源，并清理成结果数据集，从而帮助决策者穿梭于各种分析，揭示蕴含在数据中的规律。数据科学家是复合型人才，需要掌握数学、统计学、数据分析、商业分析和自然语言处理的技能和行业相关知识，应当具备创新、坚韧、好奇等多方面的素质。

一种新兴技术要落地，人才是关键。大数据最关键的部分是数据分析和挖掘数据价值，要获得这些，就需要大量的数据科学家。随着大数据热的持续升温，大数据相关人才缺乏已然成为全球性的问题，数据科学家将成为21世纪最稀缺的资源。

高德纳近期发布的市场研究报告称，到2015年，全球大数据市场需要440万个信息技术岗位，每个岗位将催生3个非信息技术岗位，而现有市场仅能满足1/3的需求，人才缺口巨大。

根据麦肯锡的预测，未来6年，仅在美国本土，对大数据深入分析师的需求就面临14万~19万人的缺口（见图8-2）。同时，对于能够用大数据分析为企业做出有效决策的数据管理人员和分析师，也有150万人的需求缺口。

图8–2 美国未来对数据人才的需求存在巨大的缺口

要当好伯乐，面临3大挑战：培养人才、吸引人才、善用人才。如何培养更多的数据科学家，如何吸引科学家投身相关领域，如何发挥数据科学家的作用，是政府和各行业领导者应当关注的核心议题。

要加快建设高层次、高技能的大数据人才队伍，首先，必须在科教兴国、人才强国战略的支持下，建立多层次的大数据人才培养体系，在高等院校中增设大数据相关课程、专业方向和学位点，充分发挥社会教育与培训机构的作用，鼓励企业与高校及培训机构合作培养人才；其次，要进一步做好吸引、聘用高级专门人才的工作，鼓励有相关专业背景和从业经历的海外高端人才回国就业、创业；最后，还要营造有利于高端人才脱颖而出的人才发展环境，建立和完善期权、股权、技术入股、业绩等分配制度和激励机制，建立高层次人才的创业与创新支持体系、人才评价体系、管理与服务保障体系等。

第九章

问题与挑战

大数据时代为我们展现了一幅广阔而美好的图景，也为政府全面升级公共管理与公共服务提供了一种有效路径。正如舍恩伯格所言：大数据对社会的好处将是无穷无尽的，它在一定程度上将解决迫在眉睫的全球问题，如处理气候变化、根除疾病以及促进善政和经济发展。然而，世界上并不存在一个全知全能的办法，任何事物尤其是新兴事物都存在一定的局限性。大数据在带来大知识、大发展、大价值的同时，也潜藏着巨大的社会风险。

2013年5月9日，美国《外交政策》杂志网站上发表了微软研究院首席研究员、麻省理工学院客座教授凯特·克劳福德的一篇文章《对大数据的再思考》，从5个方面对大数据理论提出质疑。他认为，数据集是人类设计的产物，因此存在无法摆脱的曲解、偏见和盲区；数据生成和采集的过程不一定是平等的，某些民众和社区可能被忽略或未得到充分代表；大数据能够对群体行为做出论断乃至预测，使部分人遭受价格、司法等各方面的歧视；利用大数据能追查出大量的个人隐私，高度个人化的大数据集很容易成为黑客或泄露者攻击的目标；大数据在解释人类社会生活方面存在一定的不足，科学的大数据研究需要与小数据研究和社会科学的方法相结合。

大数据时代来临得如此之快，与其他变革相比，其中的不确定性也大大增加。政府和公共部门应当对大数据的局限性保有清醒的认识，通过系统的制度创新，迎接大数据带来的问题与挑战。

数据质量：清醒认识数据的缺陷

大数据的倡导者认为：“有了足够的数据，数字就可以自己说话。”其实，数据远远没有我们所想的那么可靠，过分依赖数据可能产生一系列的风险。例如，数据质量可能很差，数据指标可能根本达不到量化它的目的，数据分析可能是错误的或者具有误导性，信息可视化图表可能偏离了实际情况，更糟糕的是，现实中还存在大量的数据造假行为。传统数据的质量问题在大数据时代依然存在，并且由于大数据具有一些新的特性，也产生了新的问题。

数据造假：威胁数据质量的生命线

有3种谎言：谎言、糟糕透顶的谎言和统计资料。

——本杰明·迪斯雷利，英国政治家

真实准确是数据的生命。政府如果没有能力获得反映真实情况的数据，数据规模再大、数据分析技术再先进都是徒劳。特别是在当前中国经济增速放缓、形势严峻复杂的特殊背景下，更要坚决维护统计数据的真实准确，这样才能服务好宏观决策，才能有效保证中国经济社会的平稳发展。

国内生产总值是数据虚高的重灾区之一。自20世纪末以来，各省经济规模加总超过全国数是一种常态。以2013年上半年为例，截至7月28日，全国30个省市区已公布上半年的经济统计数据，各省市区的国内生产总值增速均高于国家统计局公布的7.6%的全国水平，国内生产总值总量达到279 639.46亿元，远远超出全国国内生产总值初步核算数248 009亿元。地方数据与国家数据严重不一致，固然有重复计算、统计口径差异等原因，但主要是错误政绩观下行政干预的结果。

在国家统计局曝光的一起工业企业统计数据造假案件中，我们可以看到虚假数据产生的灰色链条。2012年，广东省中山市横栏镇年报工业总产值85.1亿元，经核查实际数据应为22.2亿元，虚报62.9亿元，是实际的3倍。乡镇统计员大部分是专职的数据造假员。为了把企业的底账做到位，他们经常需要模仿企业的签名，甚至印章。2012年，国家统计局实行“四大工程”联网直报制度，要求所有的规模以上企业直接上报经营数据，消除以往中间环节被地方政府造假的可能。但是调查发现，横栏镇企业填报的数据也是由当地政府一手包办的。企业多报就有多缴税的风险，所以企业会要求乡镇写保证书，保证上报数据和应缴纳的税收之间无关。乡镇有两套表，一套表专门应对经济统计，另一套表则是企业真实的纳税情况。一家会计师事务所的工作人员在接受《第一财经日报》采访时透露，工业总产值、工业增加值等项目，企业都是乱填的，“企业的财务人员一般都不清楚这些概念，更别说算出准确的工业总产值了”，企业不会填，就请会计师事务所帮忙，而会计师事务所通常嫌麻烦，有时也不会细算，就乱填。除了上报失实，数据挪用现象也普遍存在，比如，预算内收入不好看，就把预算外收入的一部分通过某种操作方式变为预算内收入：某一季度情况不太好，没有达到预定的目标，就把其他季度的数据挪过来一点儿。

在房地产市场方面，经常出现发展改革、统计、住房建设、房屋管理、国土资源等部门在房价涨幅数据上“掐架”的现象。业内人士指出，差距如此之大不仅在于统计方法和计算方式不同，更与部门利益密切相关，各个部门都希望自己提供的统计数据成为决策的参照，以引导有利于自己的政策出台。

除了经济数据，其他领域也存在造假情况。有媒体报道称，公安系统的破案率、刑事犯罪率等都可能造假，比如，某市公安局要求今年刑事案件立案数不能超过某个数字，一些刑事案件就会被人为“洗白”。随着生态文明建设力度的加强，环境监测数据掺水也成为业内的潜规则。有些地方政府在采购PM2.5等大气环境质量监测设备时，明确说希望数据能测低一些，在确定监测点位时也刻意选择那些空气质量较好的地点，因此，很多环境质量监测数据与公众的真实感受偏差较大。

数据造假现象的广泛存在，反映了中国基层统计基础薄弱的现实。而要遏制数据造假冲动，一方面要改进统计方法，改革统计制度，完善干部考核机制，加强监督检查，严惩统计违法违纪行为；另一方面应充分利用大数据思维反击。例如，推广数据联网直报系统，将传感器生成的原始数据通过互联网直接报送全国统一的数据中心，实现各级统计机构在线同步接收、审核和共享；在不涉密的情况下，开放原始数据，并通过移动通信客户端、信息可视化的方式及时发布数据，接受公众监督，让统计造假陷入“人民战争”中不战自溃；培育社会化的第三方监测机构，使其参与数据信息的运行管理和质量控制。

大数据还为审核数据真实性提供了有效的手段。比如，可以给数据指标之间设定某种关联，互相印证检验。例如，横栏镇的工业产值虚报了3倍左右，而它的用电量和能耗并没有达到相应的规模，这种严重的数据异常就应该被自动识别出来。有关部门再根据警报对数据进行复核，就能更有针对性地打击造假。事实上，相比国内生产总值，李克强总理更愿意用耗电量、铁路运输与银行贷款数据跟踪中国经济的真实情况，这3个指标也因此被称为“李克强指数”。

不合格的数据比没有数据更可怕。在历史上，我们就曾因为数据浮夸和攀比使国家建设遭受了重大失误。改革开放后，重新树立实事求是的工作作风，才奠定了当下中国经济与社会繁荣的基础。可以说，真实性既是数据的生命线，也是一条不可逾越的红线。当大数据被运用到公共管理的方方面面，政府的数据能力也将接受空前的考验。

错误发现：数据呈现与解读的谬误

如果想要在庞大的数据“干草垛”中找到一根有意义的“针”，那么将面临的问题就是“许多稻草看起来就像是针一样”。

——特来沃尔·哈斯迪，斯坦福大学统计学教授

大数据在一定程度上可以使公共管理和服务变得更加智能和高效，但大数据的集合和高密度的测量将令错误发现的风险增加。有时候是因为用来分析的数据质量不佳；但在大多数情况下，是因为误用了数据分析结果。以下是数据错误推论的几种常见情况，对于正确辨别和利用数据有所裨益。

第一种情况是滥用相关关系或者把相关关系与因果关系混为一谈。1954年出版的《统计陷阱》一书已认识到了这样一个现象：“在我们这个时代的任何一对数据，例如大学生的人数、心理研究机构同房间的病人数、香烟的消费量、心脏病的发病率、X光的使用次数、假牙的生产量、加利福尼亚学校老师的薪水、内华达州赌博的利润等，都很容易显示出正相关关系。把上面的一个事物说成是另一个事物的成果是十分可笑的。但每天都有类似的事情发生。”大数据时代更强调数据混搭与联想，也更容易出现荒唐的结论。

此外，把相关关系误认为因果关系也是危险的。在谷歌上搜索了流感的症状，不代表这个人就是流感患者，应该被隔离起来；一个地区某种疾病案例的增多，很可能是因为检测手段更加先进，不能等同于发病率提高。然而，普通民众很容易受误导，从而引发不必要的社会恐慌。

第二种情况是数据只反映了片面的事实或者被偷换了概念。举一个简单的例子，美国的军费开支是6 090亿美元——相当庞大的数字，位居世界第一。但是从军费开支占国内生产总值的比重衡量，美国就一下落到了第8位。从军队人数看，中国当之无愧要数第一，可是如果和人口基数相比，中国只能排到第124位了。因此，我们需要将数据联系起来进行对比，才能看到整个图景，改变我们的视角，继而改变我们的行为。

政府有关部门在报告居民生活水平时往往公布的是人均可支配收入，公众看到这样的数据时纷纷调侃自己“被平均”、“被增长”了，“拖了后腿”。之所以产生这样的认识差异，原因之一是平均收入掩盖了贫富差距，少数高收入群体把均值拉高到了一个大多数人根本达不到的水平。政府部门经常使用的另一个指标是在岗职工平均工资，它没有把个体工商户、进城务工人员统计在内，因而也不能反映真正的社会平均工资。此外，民众对收入水平的感知还与消费物价有关。只谈收入，不提物价，也会使数据反映的情况失准、失衡。

第三种情况是展示数据的图表失实，使数据结论具有误导性。在信息可视化图形中，设计师常常用一个钱袋或一堆硬币表示成千上万的钱，用一片猪肉表示猪肉的供应量。这些形象化的图形十分吸引人，是一种有效的传播工具，但同时它也能摇身一变蒙蔽人们的感知。

20世纪中叶，美国《新闻周刊》曾经刊登了一幅图来表达“美国人长寿了”。图中有两个人，其中一个人的身高是另一个人的2倍。前者代表现代人的平均预期寿命68.2岁，后者代表1879~1889年人们的平均预期寿命34岁。这两个人的身高之比是2∶1，其实所占据的纸张面积之比是4∶1，体积或重量之比给人的感觉是8∶1。

即便是最简单的折线图，也能由于坐标轴刻度的设置，展示出截然不同的涨跌幅度；而柱状图在代表一种事物时，柱体的长度和宽度也可能被随意地改动。大数据的信息可视化图形和视频往往比这些复杂得多，每个环节的设置都有可能导致失真，这些都对信息可视化技术提出了非常严格的要求，也考验着我们辨别数据信息的能力。

第四种情况是简单量化的方式可能掩盖对实际意义的考量。1979年，退休的美国将军道格拉斯·金纳德写了《战争管理者》。这是一部关于将军们对越战看法的里程碑式的调查报告，它揭露了量化的困境。用歼敌人数评判战争进度、衡量战争成果是军方惯常的做法，然而，只有2%的美国将军们认为这样做是有意义的，2/3的人认为大部分情况下数据被一层一层地夸大了。

错误的前提会导致错误的结论。前提是否正确，这常常是一个道德与价值层面的问题，数据不一定能给出答案。

数据盲点：关注信息时代的缺席者

尽管大数据搜集的是全体数据，不存在抽样偏差的问题，但是数据在生成或采集的过程中并不都是平等的，大数据集存在信号问题，即数据的代表性可能存在局限，某些民众和社区被忽略或未得到充分代表。

那些感受到大数据益处的人可能把大数据运用于不适用的领域，过分膨胀对大数据分析结果的信赖。例如，社交媒体是大数据技术催生的一个新的重要信息源。有研究表明，推特网的数据显示人们离家越远越快乐，而且在周四晚上最为沮丧，这个结论是非常值得推敲的。根据皮尤研究中心的调查，美国网民中只有16%的成年人使用推特网，因而他们绝对不是一个具有代表性的样本——与整体人口相比，他们中年轻人和城市人的比例偏高。此外，许多推特账号是被称作“机器人”程序的自动程序、虚假账号或是“半机器人”系统。有估计显示，推特上的虚假账号可能多达2 000万个。因此，在利用社交媒体数据时，我们得先问一下这些数据究竟是来自真人，还是来自自动化算法系统。

如果城市开始依靠仅来自智能手机用户的信息，也将面临同样的问题。能够发布信息的市民只是一个自我选择样本——它必然导致拥有较少智能手机用户的人群的数据缺失，这样的人群通常包括了年老和不那么富有的市民。最终得到的不均衡数据会进一步加剧已有的社会不公，产生强者越强、弱者越弱的马太效应。例如，波士顿的StreetBump应用程序从开车经过路面坑洼处的驾驶员的智能手机上搜集数据，这固然是一个以低成本搜集信息的途径，但是，这样搜集的信息是存在偏差的，一些贫穷社区、老年社区的道路很可能会因为报告较少而得不到及时维护。

在科技迅猛发展的今天，还有很大一部分的农民和城市底层居民，他们因为各种原因而成为信息时代的缺席者，无法在网络世界表达意见和诉求。尽管他们的意愿也会由一些网民代为表达，但毕竟只是“被代表”。社会中的弱势群体在信息占有与表达上也处于弱势，城乡差异、地域差异（方言差异）、年龄差异、教育程度差异、收入差异、职业差异等，无时无刻不在制造数据鸿沟。

此外，中国不同地区使用数字技术的程度也不同：东部沿海城市数字化程度相对来说比较高，而中西部地区数字化程度较低。无论是网络人口还是信息化设施，东部地区都大大领先于中西部地区。经济社会发展的不均衡与数据话语权的不平等相互作用，可能会使中西部地区追赶的进程更为艰难。

在中国，数字鸿沟造成的差别正在成为继城乡差别、工农差别、脑体差别这三大差别之后的第四大差别，其本身已不仅仅是技术问题，而正在成为社会问题。只有确保人们能够平等地享用现代通信和网络基础设施，拥有大体平等的教育机会，才能使这些问题得到解决。

总之，要运用好大数据，首先要保证数据的真实性，要对数据进行科学的解读；其次要缩小数字鸿沟，主动关注那些被数据遗忘的地区和人群；最后，政府官员必须对数据及其局限性有充分了解。凯特·克劳福德在《对大数据的再思考》中有这样一段深刻的表述：“数字无法自己说话。不论其规模有多大，数据集归根到底是人类设计的产物，而大数据并不能使人们摆脱曲解、隔阂和错误的成见。当大数据试图反映人类所生活的社会化世界时，认清这些因素就尤为重要。偏见和盲区存在于大数据中，从大数据得出的结论并不比人为的意见更客观。”

信息安全：个人隐私与国家安全的威胁

英国《金融时报》分析，大数据时代刚拉开序幕，它有很多让人惊叹的地方，但要爱上它，还需要时日，因为它呈现给人类未来的是一幅既美丽又可怕的图景。

在大数据时代，无论公民个人，还是一个国家，都时刻暴露在“第三只眼”之下，个人隐私与国家安全都面临着前所未有的威胁。与此同时，大数据的分析与使用，显然无论对个人（如跟踪健康状况防范疾病）、对企业（如了解市场偏好以有效处理库存），还是对国家（如防范疫病或防止恐怖袭击）都有难以被取代的好处，因此，如何在激发大数据创新性利用的同时，兼顾安全与自由、国家利益与个人隐私，成为高难度的争议性问题。

“棱镜门”事件：山姆大叔在窥探你

2013年6月5日，英国《卫报》发表文章称，美国国家安全局有一项代号为“棱镜”的秘密项目，要求电信巨头威瑞森公司必须每天上交数百万用户的通话记录。一天之后，美国《华盛顿邮报》披露，在过去6年间，美国国家安全局和联邦调查局通过进入微软、谷歌、苹果、雅虎等9大网络巨头的服务器，监控美国公民的电子邮件、聊天记录、视频及照片等秘密资料。6月7日，正在加州圣何塞市视察的美国总统奥巴马公开承认该项目的存在。由此，这项由美国国家安全局自2007年起开始实施的绝密电子监听计划浮出水面。“棱镜门”事件强烈地触动了全球民众的神经，引发民众对于政府侵犯个人隐私、个人自由的极大担忧。就在“棱镜门”被曝光后的几天内，英国作家乔治·奥威尔写于1949年的反极权小说《1984》销量一路飙升，在畅销书排行榜上高居不下。

“棱镜门”的揭露者是美国中央情报局前职员爱德华·斯诺登。他就像《皇帝的新衣》里的那个小孩子，揭开了大家心知肚明的网络监控秘密。只不过，随着“棱镜门”的公开，大家惊讶地发现，美国的网络监控在大数据盛行的今天已经走得那么远、那么快。

美国的网络监控已经具备了大数据时代的显著特征，主要搜集的不是电话或邮件内容，而是把通话或通信的时间、地点、设备、参与者等元数据作为监控对象。举例来讲，如果恐怖分子用电子邮件相互联系，那么元数据就是指他们之间的发信时间、地点、设备、频率等基本信息。以往，这样的信息往往被认为没有多少价值，情报部门会把精力放在搜集信件内容上，但是，现在具备海量数据存储与分析能力之后，这些庞杂的信息经过超级计算机的快速运算，会显露出不易察觉的规律，从而提供有效的情报信息。

美国犹他州南部的盐湖城是美国国家安全局一处数据中心的所在地。美国《星岛日报》称，在这个占地约10万平方米的建筑群里，安放着棱镜项目的主服务器。这里的计算机能够储存至少50亿千兆字节的数据，单是冷却服务器消耗的能源每年就要耗资4 000万美元，而整个棱镜项目耗资约20亿美元。

“棱镜门”事件不仅在美国国内愈演愈烈，在欧洲也引发不小震动。欧盟官员表示，美国此举可能侵害欧洲公民的基本权利，并影响未来美欧合作。奥巴马辩解，情报机构的工作是“为了更好地认识世界”，对盟国进行监控在国际关系领域“并没有什么不寻常”；美国国务卿克里则称，监控是出于国家利益考虑，“各种各样的情报对维护国家安全都有好处”；白宫新闻发言人也表示，备受争议的监控举措“是让国家免受恐怖威胁的重要手段”。

然而，正如斯诺登在接受《卫报》采访时所言：“你什么错都没有，但你却可能成为被怀疑的对象，也许只是因为一次拨错了的电话。他们就可以用这个项目仔细调查你的过去，审查所有跟你交谈过的朋友。一旦你连上网络，就能验证你的机器。无论采用什么样的措施，你都不可能安全。”斯诺登说：“我愿意牺牲一切的原因是，良心上无法允许美国政府侵犯全球民众隐私、互联网自由……我的唯一动机是告知公众（政府）以保护他们的名义所做的事以及针对他们所做的事情。”

隐私保护：寻找新的制衡机制

在大数据时代之前，民众能以保密的方式保护隐私，但今天，采集个人数据的工具就隐藏在我们日常生活所必备的工具当中，我们的每一个行为都透露了一定的个人信息。

信用营销分析专家张川讲述了这样一则既有趣又可怕的经历：他的一位朋友的父母要去美国探望他，国内亲戚两个月前把老两口的航班信息发到这位朋友的Gmail（谷歌的邮箱服务）里。原定航班到达的当天，Google Now（谷歌应用程序，可全面分析用户的习惯和动作，并为用户提供相关信息）居然自动搜寻出这个航班因故取消，一大早给他朋友发提醒信息。接到提醒信息的人不用白跑一次机场去接机，但也突然发现原来自己的一举一动都被网络巨头监控。

即便是最无害的数据，只要数据搜集器采集到足够的量，也会暴露出个人身份与行为。例如，在美国和欧洲部署的一些智能电表每6秒采集一个实时读数，这样一天所得到的数据比过去传统电表搜集到的所有数据还要多。而每个电子设备通电时都会有自己独特的“负荷特征”，比如热水器不同于计算机，而它们与大麻生长灯又不一样，所以能源使用情况就能暴露如一个人的日常习惯、医疗条件和非法行为等个人信息。

即便所有能揭示个人情况的信息都不出现在数据集里，比如名字、生日、住址和信用卡号，随着数据量和种类的增多，就能通过对数据内容的交叉检验做出精准的推测。在这一点上，我们是没有差别的，世界上最富有的1%的人的个人信息和普通人的信息一样，非常容易被公开。

告知与许可曾经是世界各地执行隐私政策的共识性基础，它强调数据搜集者必须告知个人，他们搜集了哪些数据、做何用途，也必须在搜集工作开始之前征得个人同意。但是在大数据时代，这种传统的隐私保护策略已经失效了。因为很多数据在搜集时并无意用于他处，而最终却产生了很多创新性的用途。大数据所提取的一些个人信息可能连本人都不完全熟知，比如个人的行为特征、语言风格和社交网络。所以，公司无法告知个人信息将被用于何处，而个人亦无法同意。如果要求谷歌在使用检索词预测流感之前征得数亿用户的同意，那简直是不可能完成的任务。

在大数据时代，隐私保护问题已经突破传统的法律界限。我们需要设立一个不一样的隐私保护模式，这个模式应该着重于数据使用者为其行为承担责任，而非取得个人许可。政府不应假定消费者在使用企业的通信工具等产品时主动透露了自己的隐私，就意味着他们授权企业使用，而是应当要求保存和管理信息的企业承担更大的责任。使用数据的公司要基于其将对个人产生的影响，对涉及个人数据再利用的行为进行正规评测，规避或者减轻潜在伤害。敷衍了事的评测和不达标准的保护措施将使企业承担法律责任。

政府也应当对自身的数据监控行为采取更透明的态度。在国际、国内舆论的强大压力下，2013年8月，奥巴马在白宫召开媒体见面会，提出若干整改措施以增加美国国家安全局及其他情报机构监视项目的透明度。他表示，美国国家安全局将指定一位隐私和民权官员，以保护公民的隐私和自由；包括美国国家安全局、中央情报局在内的美国情报机构将建立一个新网站，提供有关这些机构活动的更多信息；白宫正在组建一个独立的顾问团体，由外部专家组成，这些人将被授权检查政府的监视活动，定期发布公开报告；白宫还将与国会合作改革涉外情报调查法院，这一秘密法庭的裁决需要交由听证会审议。上述这些承诺如何兑现还有待观察，但新的制衡机制已经呼之欲出。在更加开放的社会环境中，重塑保护个人信息的法律规范与行业道德，引入更多的监督和约束，提高透明度，是个人隐私保护的必由之路。

你肯卖自己的数据吗

在大数据时代，我们每个上网的人都逃不开隐私数据被搜集的问题。

“与其让那些大公司贩卖我的数据赚钱，倒不如我自己把自己给卖了。”近日，纽约一位软件开发者费德里科·詹尼尔在众筹平台Kickstarter上发起了一个名为“A Bite of Me”的项目，在网上出售自己的私人数据，起价1美元。

关于商品说明，他这样写道：“去年广告产业赚了300亿美元，他们在用我的数据赚钱，我却一毛钱都没拿到。如果大家都像我这样做的话，那些商家就会直接向我们购买私人数据了。”

从2013年2月起，詹尼尔开始搜集自己所有的数字轨迹，在短短3个月内，就积攒了超过7GB的隐私数据。购买者花一点儿钱，就可以得到一个数据包，里面包含了詹尼尔最少相当于一天分量的数字轨迹。例如，花2美元，你可以得到70个网站记录、500张屏幕截图、500张视频截图、一份GPS数据、一份应用程序使用记录，外加所有的鼠标运动轨迹。

截至2013年5月，已经有85人购买了詹尼尔的私人数据，销售额共1 069美元，换算下来，每GB数据价值接近1 000元人民币。

数据独裁：呼唤政府对公民权的救济

大数据如果应用得当，会是合理决策的有力武器；倘若运用不当或者出现数据分析错误，就可能变成数据独裁的武器，轻则伤害某个群体的利益，重则损害公民的人身安全。

群体歧视：无法抗争的社会标签

大数据的倡导者认为，大数据对不同的社会群体不会厚此薄彼，其理由是，对原始数据的分析是在大规模水平上进行的，因而避免了基于群体的歧视。但克劳福德认为，实际情况并非如此。由于大数据能够做出有关群体不同行为方式的论断，而且其主要目的是把不同个体归入不同的群体中，因此，大数据不仅不会避免群体歧视，还可能加剧这一趋势。

谷歌和脸谱网的核心理念是，人就是社会关系、网上互动和内容搜索的加和。所以，只要得到关于这个人的这些数据，就能对他的各项特征做出判定。

最近，英国剑桥大学的米哈尔·科辛斯基等研究人员开发了一个数学模型，可以根据5.8万位美国脸谱网用户的“赞”记录推测用户极其敏感的个人信息，如性取向、种族、宗教和政治观点、性格特征、智力水平、快乐与否、年龄及性别等。记者汤姆·福尔姆斯基这样评价该研究：“此类容易获得的高度敏感信息可能被雇主、房东、政府部门、教育机构及私营组织用来对个人实施歧视和惩罚，而人们没有任何抗争的手段。”凯业必达招聘网站的调查数据表明，约有37%的公司会在做出最终录用决定之前，通过网络社交媒体进一步审核备选者。

群体歧视现象在金融保险、安全检查、医疗记录等经济社会的各个领域都普遍存在。例如，保险精算表上指出，超过50岁的男性更容易患前列腺癌，所以如果你不幸正好处于这个年龄段，就需要支付更多的保险费，即使你根本没有得过这种病。没有高中文凭的人更容易偿还不起债务，所以如果你没有高中文凭，就可能贷不到款或者必须支付更高的保险费。有些人在通过安检时可能需要进行额外检查，仅仅因为他带有某种特定的特征。美国马萨诸塞州参议员特德·肯尼迪就曾因为与美国禁飞名单中的某个人名字相同而被逮捕、拘留并接受调查。

当然，我们也能通过大数据获取更加详尽的个人信息，以印证预测结果，规避将群体特征直接强加于个人的风险。例如，一个用现金购买头等舱单程票的阿拉伯人，只要其他数据表明他基本没有恐怖主义倾向，就不会再被认为是恐怖分子而接受额外检查。但是，这样做的结果是进一步扩大了歧视的维度，诱使我们想尽办法把数据采集得更多、存储得更久、利用得更彻底。而一旦在隐私和预测方面对大数据管理不当，后果将不堪设想。

基于数据的群体歧视，是对公民基本人权和社会公平正义的侵犯，可能会造成非常严重的后果。舍恩伯格在《大数据时代》中曾指出，20世纪，我们见证了太多由于数据利用不合理所导致的惨剧。比如1943年，美国人口调查局递交了地址数据来帮助美国政府拘留日裔美国人（当时它没有提交街道名字和具体街号，居然幻想着这样能保护隐私）；荷兰著名的综合民事记录数据则被纳粹分子用来搜捕犹太人；纳粹集中营里罪犯的前臂上刺青的5位数号码与IBM的霍瑞斯穿孔卡片上的号码是一致的，这一切都表明，数据处理帮助实现了大屠杀。

行为预测：未来罪责判定的隐忧

大数据有利于我们预见未来的风险，从而在损害发生之前采取相应的措施。美国30多个州的假释委员会正在使用数据分析决定是释放还是继续监禁某人。越来越多的美国城市都采用了“预测警务”，即通过大数据分析决定哪些街道、群体、个人需要更严密的监控。这些做法帮助司法、执法部门更好地分配其有限的资源，但是也造成了差别化执法。正如美国某位警察局局长撰文指出的，尽管预测性警事登记系统不考虑种族和性别等因素，但是如果缺乏对差别化影响的考虑，使用这种系统的实际结果可能“会导致警方与社区关系恶化，让公众产生司法程序缺失的感觉，引发种族歧视指控，并使警方的合法性受到威胁”。

通过预测来预防犯罪，最终要精准到谁会犯罪这个级别，这是大数据的新用途。美国国土安全部正在研发一套名为“未来行为检测科技”的安全系统，通过监控个人的生命体征、肢体语言和其他生理模式，发现潜在的恐怖分子。美国国土安全部声称，在研究测试中，系统检测的准确度可以达到70%。尽管这些研究还处于早期阶段，执法者和监管部门还是给予高度重视。用大数据预防犯罪很可能导致对未来罪犯的惩罚，因为如果只是阻止了犯罪行为而不采取惩罚措施的话，他就可能因为没有损失而再次犯罪；如果我们因为他未实施的犯罪行为而惩罚他的话，可能就会威慑他。

把个人罪责判定建立在大数据预测的基础上，也许可以为我们打造一个更安全、更高效的社会，然而却否定了我们之所以为人的重要组成部分——自由选择的能力和行为责任自负。我们永远不会知道这个受惩罚的人是否会真正犯罪，因为我们已经通过预测预先制止了这种行为，但是我们却依然坚持他应该为自己尚未实施的未来行为付出代价，而这种预测永远无法得到证实。对预测到的未来行为判罪否定了法律的无罪推定原则，因为我们之所以被追究责任，可能是为了我们永远都不会实施的行为。这种预测还否定了个人道德选择的能力，让我们失去了自由意志。

大数据预测给我们带来的威胁，不仅体现在司法公正方面，而且还体现在其他可能运用大数据预测对我们的未来行为进行罪责判定的领域，比如民事法庭案件中判定过失以及公司解雇员工的决策。

舍恩伯格在《大数据时代》中告诫我们在大数据时代，需要重新定义公正的概念，即只能依法对我们过去的真实行为进行追究，而不可以追究大数据预测到的未来行为；在评判我们过去的行为时，也应该防止单纯依赖大数据的分析。

在依据大数据预测进行关乎公民个人利益的重大决策时，政府必须保证特定的防护措施到位，必须在各领域普遍树立以下3个原则：一是公开原则，因为这将直接影响个人，所以必须公开预测分析的数据和算法系统。二是公正原则，具备由第三方专家公证的可靠和有效的算法系统。三是可反驳原则。明确个人可以对预测进行反驳的具体方式。最重要的是，要确保个人动因能防范数据独裁的危害，以免赋予数据本不具备的意义和价值。

此外，由于大数据的运作过程就像一个“黑盒子”，有着极其复杂的运算法则、预测模型，所以必须有一群以一种灵活的自我监管方式组织起来的专业人员保护大众的利益，这些人可以被称为“算法师”。当人们认为自己受到大数据预测危害——被拒绝手术、被拒绝假释、被拒绝抵押贷款时，能够向算法师咨询，并针对这些决定提起诉讼。

无法删除：时间维度上的圆形监狱

一位想做教师的25岁单身母亲在MySpace博客上发布了一张自己头戴海盗帽，举着塑料杯喝酒的照片，校方发现后，认为她不适合当老师；一位60多岁的加拿大心理咨询师因为40年前曾服用过致幻剂的事情在网上被公开，被美国边境卫兵发现后，失去再次进入美国境内的机会。单身母亲和心理咨询师都想删除自己在网络上的记录，可惜谷歌早已索引。他们可以删掉源头，却阻止不了自己的信息在网络上被永久记录。

这是舍恩伯格在其另一部著作《删除：大数据取舍之道》一书中提到的案例。这部著作提出的“被遗忘的权利”这一概念开启了一场“互联网遗忘运动”，受到了《连线》、《自然》、《华尔街日报》、《纽约时报》等各大媒体的广泛关注。这本书告诉我们，在大数据时代，面对海量信息，人类该如何取舍，怎样才能构建一个积极而安全的未来。

一直以来，信息隐私专家认为，对自己的信息保留一定的控制，可以给一个人留有一些他需要的空间来定义他自己。除了失去第二次开始人生的机会，数字世界对个人信息的长久记忆也将导致想再塑造自己的身份变得更困难。人们在网上能看到你的过去，但多年以后，其中有些你并不想让别人看到，或者时过境迁，你对事物的看法已经有所变化时，别人仍然认为你持有原来的观点，这将导致别人对你个人认知的混乱。在当今数字社会，我们并没有对个人信息的完整控制权。我们只能控制自己的信息是否公布，但公布之后怎么传播、传播范围多大以及传播之后是否可以收回，则由不得我们自己。

麦克卢汉说“媒介是人的延伸”，笔是手的延伸，书是眼的延伸，广播是耳的延伸，电视是眼和耳的延伸。舍恩伯格为这句话添加了一个注解：我们的记忆已经在向外延伸，被近乎永久地存储到外部且能为他人调用。从模拟时代演化到数字时代后，记忆已经无法被删除。“记忆成了常态，遗忘才是例外。”舍恩伯格认为，有4个因素在驱动记忆常态化：一是信息的数字化，二是存储器越来越廉价，三是存储的信息易于提取，四是全球性覆盖。这4个因素一环套一环，最终让“世界被设置为记忆模式”。

谷歌董事长埃里克·施密特在2012年3月出席美国国家新闻基金会颁奖晚宴时，表示互联网不是乌托邦。他列举了互联网的3大潜在威胁，分别是：黑客和罪犯、无删除按钮导致个人隐私泄露、互联网审查体系。这3大威胁归根到底是一个威胁：我们无法控制我们想要的删除。

罗伯特·基欧汉和约瑟夫·奈两位学者曾经指出，信息的力量来源于对信息获取的控制能力。但作为普通人，我们已经丧失了这种力量：我们生产信息，但我们无法控制它如何被获取以及该不该被获取。舍恩伯格不无忧虑地认为我们生活在一个时间维度上的圆形监狱里，独裁者无须控制我们的大脑，只要控制外部记忆就可以达到独裁。

遗忘是一种美德。随着时间的推移，忘记其中一些数据，并不会破坏整个大数据的运行和使用。因为如果有100万个数据点，一个单独的数据点就不再那么重要了，这和传统数据时代非常不一样。

2013年5月，施密特在纽约大学演讲时表示，互联网需要一个“删除按钮”，以免人们犯下的错误形成永久困扰。舍恩伯格在《删除：大数据取舍之道》这本书中主张来一场“互联网遗忘”运动，通过“数字化节制、保护信息隐私权、建设数字隐私权基础设施、调整人类的现有认知、打造良性的信息生态、完全语境化”，应对数字化记忆与信息安全带来的挑战与威胁。

公民力量：指向政府的达摩克利斯之剑

由于互联网的发明，“开放”已经成为人类社会一个不可逆转、不断加速的社会思潮。如雨果所说：你可以阻挡一支入侵的军队，但你无法阻挡一种思想。在这个浩浩荡荡、不断前进的世界大潮当中，我们将发现，中国如果不跟上，我们的处境将会越来越微妙、越来越尴尬、越来越孤立。

——涂子沛

信息公开：倒逼政府行为的变革

2013年是《政府信息公开条例》条例实施5周年。5年来，地方和部门都在推动各种形式的政务公开，但仍是一种供给主导而需求遭轻视的机制。中国社科院法学所研究员周汉华认为：一方面政府特别重视信息公开，设机构、拨经费支持运作；另一方面又抑制公民对信息公开的需求。发展到最后就会出现一个怪现象：一手抓建设，一手压需求，导致供给与需求脱节。这就像花费了很多成本修了一条水渠，却不让水在渠里流。

有人形象地总结说，中国申请信息公开有道“玻璃门”，看着让你申请，往往一申请就碰壁。业务相关部门信息公开责任不明确，互相推诿，市民的公开申请被随意“踢皮球”；对于有义务公开的信息，政府部门给申请公开者任意附加条款，人为设置门槛。保密需要、程序烦琐等成了一些地方政府面对公众信息需求的挡箭牌，起诉政府及其职能部门要求信息公开的行政案件逐年增加。

据统计，2011年，山东省此类案件达177件；2012年，这一数字达到了656件，其中很大一部分是要求公开土地、房产、城建等相关税费征收及其使用情况的信息。在社会上，一批要求信息公开的“专业户”和公益诉讼也陆续出现，相当一部分案件中法院判决政府及其职能部门败诉，责令后者根据法律规定公开相关信息。

在主动公开方面，也存在不小的需求缺口。一些政府门户网站的内容陈旧，或不够详尽。部分政府部门在发布信息时消极、被动和拖拉：重形式、轻实效的应付式公开，“想知道的不公开、不重要的才公开”的选择性公开，“只公布不回应、只告诉不说明”的单向度公开。这些做法对政府部门的公信力产生了不良影响，同时也导致大规模的数据被政府采集过来，而其中大部分的数据价值并没有得到很好的利用。如何让信息的阳光照亮公众信息需求，已成为政府信息公开亟须破解的课题。

信息公开困难在于相关政策法规不够健全，执行力与社会期望值不匹配。有必要把《政府信息公开条例》提升为国家信息公开法，强化信息公开问责制。此外，现行条例中一些表述为信息不公开预留的空间太大，影响条例的实施。比如，主动公开的范围怎样界定？依申请公开的范围是采用列举式，还是以不公开为例外？如何界定因“危及国家安全、公共安全、经济安全和社会稳定”而不能公开的信息？这些规定都比较模糊、弹性很大，而解释权往往在政府手里，很容易成为政府不公开信息的借口。

信息公开困难更与中国政府长期以来的行为方式密切相关。在中国，政府习惯的是全能型的社会管理模式。政府权力与公民权利不对等，使得政府信息公开与否都不存在巨大的外在压力，不能从自发走向自觉，把信息公开作为一种常态并内化为一种工作方式和行政文化。政府信息拥有量与公民知情权实现程度不对称，使得注重保密教育和养成保密习惯胜过主动对外公布信息。法律规定的公民知情权、参与权、表达权往往沦为一种抽象概念。政府自上而下的管理手段与运用现代信息技术和信息手段、与公民双向交流和双向沟通的扁平化网络化信息管理方式很不协调。部分政府部门背后存在一定的利益驱使，政府的利益诉求与民众及社会利益的诉求存在不一致甚至严重冲突的现象，因此，在征地、“三公”经费等问题上信息公开更加步履维艰。

而今，数据公开对政府行为的倒逼效应正在显现。从积极的层面来看，数据公开将打开行政管理过程的末端环节，促进行政机关从源头上完善工作流程，从而带动原有政府工作模式的改进和优化，进一步推动依法行政。从应对挑战的层面来看，随着行政行为的程序、方式和结果更多地暴露在阳光下，公民更容易对政府运作链条上各项决策的合法性、正当性产生质疑，这就要求政府的每个工作环节都经得起各方面考验。而且，由于互联网上的数据开放，面对的对象不仅是一个国家的人民，而是全世界的人民。在众多目光的注视下，政府只有拿出最诚恳的态度，才能得到信任和尊重。

网络问政：考验政府对民意的回应

随着数据公开的内容越来越多、面越来越广，官员必须打破“爱找茬的公民就是麻烦制造者”的思维定势，接受网络民主正在日益扩大的现实。

当前很多政府机构和官员都开通了官方微博，然而微博不仅仅是一个新的信息发布渠道，还是一个公众与政府双向互动的平台。它提供了一种公开的问政渠道，而对问政的内容却没有办法做出限制。无论是提出事关发展改革的重大问题，还是报告所在社区的一盏损坏的路灯，公众提出的任何疑问与要求，政府都应该迅速予以回应，不能容忍任何的打官腔、说空话。在这些平台上，民意变得如此明显，每一条评论和转发都应当引起政府足够的重视。众目睽睽之下，任何漠视民意的行为都将被无限放大，使政府承受空前的舆论压力。

如何科学应对汹涌而来的民意，是执政能力建设的题中之义，然而，当前中国的政府官员却相对缺乏这种全面把握信息的视野和应对媒体诘问的能力。广东、河北和海南等省份近年来也纷纷开通网络问政平台，欢迎广大网民“拍砖”。各地的政府、部门还借助互联网上火爆的微博问政，并使其逐渐成为主流方式。目前，仅通过新浪微博认证的各领域政府机构及官员微博就已近2万个，遍布中国各省级行政区。在各种形式的问政面前，官员们在前台接受质询，直呼“冒汗”。一些市民通过电话、微博等方式对官员在问政中的表现表达了诸多不满：一些官员答非所问，打官腔、打太极、说空话。

网络打开了民主政治的通道，成为今天政治生活函数中的重要变量。但由于网络社区的草根意见过于分散、无序竞争以及网络舆论结晶机制的缺失，尚难对政府决策和社会民主产生令人期待的效果。

舍恩伯格认为信息全面数字化之后，产生的一个不良后果是所有的信息都去语境化了。在社交网站上，大多数信息都没有语境、没有背景，人们会因为其中某一句激烈或极端的言论而引发转发或评论的欲望。如果这句话出现在一篇长文章中或一本书中，人们更容易接受，因为那句话放在当时的语境中合适，单拎出来之后往往刺激眼球。人们在脱离原有语境的情况下理解单一信息，自然会产生偏差，引发不必要的争议。

大数据时代下的民意只可能比以往任何时候都复杂多变。个性互动与写作快感容易招致一些情绪激烈、见解偏颇的跟帖和言论，个别言论通常在脱离情境后被无限放大，刻意编辑的信息可能操控民意、煽动社会情绪，甚至扰乱正常的司法程序。

2011年，以脸谱网和推特网为代表的新媒体，贯穿埃及危机从酝酿、爆发、升级到转折的全过程，成为事件发展的催化剂及反对派力量的放大器。同样，类似的事件也在突尼斯和伊朗等国上演过。在中国，百万级点击量的网络群体性事件屡见不鲜，一个普通人在网络上可能做到一呼百万应，而且公权力大、公益性强、公众关注度高的“三公部门”及其公职人员极易成为网络热点新闻炒作的焦点。网上、网下群体性事件联动，可以在很短时间内产生很严重的影响。

网络监督：大数据时代的技术反腐

2012年8月26日，细心的网民在陕西延安特大交通事故的现场照片上发现，陕西省安监局局长杨达才“满面笑容，情绪稳定”。

这张原本很普通的新闻图片在微博上一经发布，旋即引起全民围观，继而网友发现杨达才佩戴过多款价值不菲的名表，其又因回应言辞欠妥陷入诚信危机，再因其眼镜、皮带等昂贵饰物被接连曝光，催生腐败疑云。杨达才被网民发现的名表总数达11块之多，其中高级手表5块，每块价值万元以上，最高价值达40万元。

事件发生27天后，杨达才因涉嫌严重违纪被撤职。新任局长战战兢兢，感觉“周围有无数双眼睛盯着自己”。这“无数双眼睛”就是大数据时代下无处不在的网络监督。

近年来，因网络监督落马的官员不在少数，比如周久耕、韩峰。官员的一言一行都受到网民的监督，一些地方官员更是谈网色变。公众通过网络监督官员与现实中的制度反腐形成良好互动，网络在惩治腐败、推进廉政建设中发挥的重要作用日益显现。

大数据为网络反腐提供了一个非常庞大且可以便利索取的数据库和信息来源。海量数据的存储使得网络犹如一个巨大的“信息蓄水池”，有许多地方官员数据库，包括他们的最新动态和历史活动。尽管这些信息是碎片化且是无序排列的，但是我们可以通过设置关键词等形式，使信息有序排列，从而获取有价值的信息。

利用大数据技术，对搜索、社交网络、网络新闻进行语义分析和关键词分析，还可以建立全国各地的市民满意度指数、市民抱怨度指数，甚至腐败指数和清廉指数，在政府数据库的基础上，分析出任何一位官员背后的关系网络，指出可能存在的各种裙带关系。

在大数据时代，一件普通的事件也容易引发多米诺骨牌效应，“拔出萝卜带出泥”。互联网上的无数双眼睛能够将关键信息从数据之海中重新打捞起来，把反腐倡廉变成一场“人民参与的战争”。这很像19世纪末20世纪初美国著名的“掏粪运动”，美国新闻界以杂志为主体掀起了一场揭露丑闻、谴责腐败、呼唤正义与良心的运动。在大数据时代，“掏粪运动”有愈演愈烈之势。

当前中国社会处于转型期，矛盾突出，全民进入围观时代。在千万网民围观面前，现实中再强势的官员也会变成弱势群体。官员任何不恰当的言行举止都有可能引发网络围观效应，瞬间激起网民“拍砖”的热情，在虚拟社区形成巨大的舆论漩涡，并投射到现实社会中。

反腐倡廉是一项社会系统工程，纪检部门更需要借助多方面的力量，尤其是充分利用大数据技术，将反腐斗争寓于广大网民之中，发挥亿万网民的积极性。网络监督作为现实反腐机制的一种有力补充，也是一面“正衣冠”的镜子，能够促使政府官员时刻谨言慎行，更好地执好政、用好权。

但是，网络监督也存在一些问题。有一些信息可能是虚假的，广大网民和纪检部门应该增强对信息的判断力和鉴别力。随着新的传播技术、手段的不断革新，图片造假、图文张冠李戴的现象可能层出不穷并演变成新的舆情。

此外，从发现腐败线索到问题的解决，通常要经过“发帖爆料——网民围观——传统媒体介入——纪委调查”这4个阶段。纪检部门的工作往往是比较滞后的，这就要求纪检部门把工作重点放在判断消息真伪以及强力问责官员上，同时更应时刻保持清醒、独立与客观，不被舆论所挟持。

庞大能耗：数据中心背后的环境代价

《纽约时报》一项历时一年多的调研发现，向来被公众认为是绿色环保的信息产业其实是污染和耗能大户。调查结果中的数字令人震惊，数据中心浪费的电力可以占到总能耗的90%以上，已经成为美国各州污染大户名单上的常客。

业内专家估计，全球范围内所有数据中心的总功率高达3 000万千瓦，几乎等于30座核电站的发电量。麦肯锡对药厂、银行、媒体和政府机构等70个大型数据中心、约2万个服务器进行了调查，发现实际用于计算机运算的用电量只占6%~12%，剩余的大量电力主要用以确保服务器处于闲置状态，以应对突如其来的网络流量高峰。

“这些数据会让多数人大吃一惊，即使是业内人士。”彼得·戈洛斯曾参与设计了数百个数据中心，“一个数据中心的能耗可能比一个中型城市还高。”一位IT业资深总裁在接受《纽约时报》采访时表示：“数据中心的夸张能耗是这个行业的灰色地带，谁也不愿出来捅破这层窗户纸。如果这是在制造业，这么大的能源浪费就直接等着关门大吉吧。”

实际上，这种低效率的能耗是由互联网上用户与服务商的关系决定的。用户在点击网页时希望能够迅速出现自己希望看到的内容，谁都不愿等待，而服务商就必须时刻准备着满足用户的这种需求，否则就没人点击自己的网站了。为了保证自己的服务器每时每刻都能够运行无碍，在将电力“火力”全开之余，为了保险起见，多数大型数据中心都配有大型发电机或是数以千计的备用的铅酸电池。因此，除了服务器之外，数据中心的工业制冷系统、备用电池的持续充电也非常耗电。

由于普通民众不知道网络上无形信息事实上会消耗大量有形的能源和空间，多数人也没有节省资源的意识。人们往往喜欢发送超大的视频文件，或是附有超大附件的电子邮件。但即便是最寻常的应用程序（比如在电子地图上找一家餐馆或者用手机预订一辆出租车）都要求服务器保持24小时开机待命，这样服务器才能即时处理这些信息。

数据传输的复杂性往往不为常人重视。即使你只是给隔壁邻居发送一封电子邮件，这封邮件在到达邻居邮箱之前必须在互联网世界穿梭上千公里，经历万水千山，而且需要经过多个数据中心的处理。为了满足互联网用户的各种需求，在全球范围内已经建立了超过300万个规模不等的数据中心。

由于很多公司服务器处理的信息都涉及用户的个人隐私，所以大多数公司需要采取保密措施。很多公司都不愿意公布自己的数据中心具体位置。这些数据中心大多设置在一些非公开的建筑物内，而且警戒级别很高。而这些数据中心的能源消耗也在公司的保密范围之内，这给产业评估和升级带来了很大的困难。

尽管现在已经有许多办法帮助数据中心降低能耗，但出于对风险的恐惧，多数公司不愿做出任何改变。麦肯锡的调查数据显示，与4年前相比，只有6%~12%的公司的数据中心能源利用率稍有提升。

目前，中国多个地区已经开始或计划兴建大型数据中心。在建设过程中应提前考虑能耗问题，避免重蹈西方国家一些大型数据中心的覆辙。可喜的是，中国相关部门已经意识到了这一点，提前进行了规划。2013年年初，在工信部发布的《关于数据中心建设布局的指导意见》中，指出重点推广绿色数据中心和绿色电源，明确要求新建大型云计算数据中心的能源使用效率必须在1.5以下；已建的数据中心通过整合、改造和升级，能源使用效率应降到2.0以下。如何顺应全球节能减排的时代需求，引导更多的企业以及社会公众关注大数据相关的环境议题，是大数据技术可持续发展面临的严峻挑战。

后记

大数据本质上是一种提倡技术理性的思路，把一切社会现象都归为一串串的数字。而现代化对技术理性过度推崇所带来的弊端，在韦伯和海德格尔的时代，就已经出现了许多检讨和批判。当前中国已经到了许纪霖先生所说的“富强已至、文明还远”的阶段，如何摒弃理工科思维治国的局限，回归人文关怀，防止“社会的麦当劳化”，也是一个耐人寻味的话题。

大数据强调可计量性。计算机能够准确测出物体的速度、数量和尺寸，测出社会交往的数量，却不一定能真正把握人们的情感质量。《纽约时报》刊载的一篇文章曾举例说，网络科学家可以测量出你在76%的时间里与6名同事的社交互动情况，但是他们不可能捕捉到你心底对于那些一年才见两次的儿时玩伴的感情，更不必说但丁对于仅有两面之缘的贝阿特丽斯的感情了。因此，“在社交关系的决策中，不要愚蠢到放弃头脑中那台充满魔力的机器，而去相信你办公桌上的那台机器”。

大数据的核心是可预测性，但它却往往偏爱潮流、忽视杰作。当大量个体对某种文化产品迅速产生兴趣时，数据分析可以敏锐地侦测到这种趋势。但是，一些重要的趋势在一开始就被数据摒弃了，仅仅因为它们的特异之处不为人熟知。据说乔布斯不相信任何市场调查、统计数据，因为调查只能告诉你既有的观念和结论，“消费者并不知道他们需要的是什么，而苹果会告诉他们什么才是潮流！”

大数据要达成的目标是可控制性。但假设目标是刺激衰退的经济形势，我们不可能找到一个平行世界当对照组，测试最佳的经济刺激手段到底是什么。尽管数据像海浪一般涌来，但是我们却发现自己仍然对这些影响经济社会运行的基本因素缺乏了解。最终，出于良善目的的社会行动可能带来不可预期的后果[6]，甚至原本为了让万事万物可控的数据也会造成国家安全、个人隐私和数据独裁问题的失控。

这些并不意味着大数据不是一种伟大的工具。只是与任何其他工具一样，大数据有其拿手强项，也有不擅长的领域。

[6]　“社会行动的意外后果”是人类活动的独有现象，社会学家默顿、吉登斯和贝克曾把它作为一个专门的社会学理论问题做了系统的讨论。他们指出，科学知识的增长没有创造出一个我们能够预期和控制的世界，反而产生许多不确定性的风险。

致谢

本书起源于北京市委办公厅的一次读书学会活动。徐继华受邀结合工作讲大数据。在学习交流的过程中，徐继华和冯启娜开始合作研究大数据在政府管理领域的应用。后来，陈贞汝也加入研究团队。我们三人开始了此书的创作。

形势发展之快远远超出了我们的预计。大数据各种新应用、新观点不断涌现。知识的圆越大，圆外的未知就越多。回头来看，我们深感本书不够全面、不够深刻。与此同时，我们又迫不及待地想将本书呈献给大家。与尽善尽美相比，我们更希望尽早发出声音，呼吁更多的人为大数据时代摇旗呐喊，争取更多的有识之士把握这场空前的历史机遇。

本书的出版首先要感谢领导、恩师的关心与培养。赵凤桐同志、崔述强同志、费宝岐同志，以及陈焱、赵亚群、孙舫三位同志非常关心年轻人的成长，给予思想引领、心灵引路、学习点化，令我们如沐春风。母校中国人民大学领导陈雨露教授、牛维麟教授、冯惠玲教授、刘向兵教授，以及我们的导师贺耀敏教授、高德步教授、洪大用教授、江林教授鼓励我们结合工作实际，开展研究性学习，因此，我们才能坚持至今。谨以本书作为人才培养成果，回馈他们对我们的指导和帮助。

在本书撰稿和出版的过程中，我们充分感受了来自各个方面的关怀与鼓励。中央党校前副校长刘海藩老先生为本书欣然挥墨题词，令我们非常感动。冯俊常务副院长、陶斯亮会长、朱立言教授三位非常具有影响力和个人魅力的领导为本书作序，给了我们莫大的鼓舞。杜平主任、袁卫教授、许耀桐教授、董克用教授、杜小勇教授、彭宗超教授、黄恒学教授、沈浩教授、廉思教授，以及何仁春先生、刘积仁先生、张斌先生、张晓欢主任等都审阅了书稿、撰写了书评，在此表示由衷的感谢。本书还得到了刘强东校友、陈彤校友和涂子沛先生的推荐，以及《大数据时代：生活、工作与思维的大变革》作者舍恩伯格教授、百度大数据首席架构师林世鼎先生的关注，深感荣幸，在此一并表示感谢。

北京市委读书学会的赖毅斌同志是引导我们认识大数据时代的人。田静、周博两位同志为配合读书会活动，牺牲了很多个人时间，也衷心表示感谢。中国人民大学信息技术中心的沈晓春主任对现代信息技术有非常深刻的理解，给了我们很多启发。校友办公室的郭海鹰主任也为本书的推广提供了帮助。另外，还有很多关心、支持本书和我们的热心人士，在此也都表示感谢。

最后，感谢中信出版社蒋永军主编及其团队的杰出工作，是你们成就了这本书，并将它带给了读者。

参考文献

1. 中华人民共和国国务院，“十二五”国家战略性新兴产业发展规划（国发〔2012〕28号）[R]，2012年7月9日。

2. 中华人民共和国住房城乡建设部办公厅，关于开展国家智慧城市试点工作的通知（建办科〔2012〕42号）[R]，2012年11月22日。

3. 中华人民共和国国务院，关于推进物联网有序健康发展的指导意见（国发〔2013〕7号），2013年2月5日。

4. 广东省经济和信息化委员会，广东省实施大数据战略工作方案[R]，2012年12月。

5. [英]维克托·迈尔-舍恩伯格、[英]肯尼思·库克耶，盛杨燕、周涛译，大数据时代[M]，杭州：浙江人民出版社，2013年。

6. 涂子沛，大数据：正在到来的数据革命[M]，桂林：广西师范大学出版社，2012年。

7. [美] 安德鲁·麦卡菲、[美] 埃里克·布林约尔松，大数据：一场管理革命[J]. 哈佛商业评论，2012年10月。

8. [英] 维克托·迈尔-舍恩伯格，袁杰译. 删除：大数据取舍之道[M]．杭州：浙江人民出版社，2013年。

9. [美] 米歇尔·夏洛克、[美]瑞贝卡·肖莱克等，分析：大数据在现实世界中的应用——创新型企业如何从不确定的数据中获取价值[R]，IBM商业价值研究院，2013年。

10. 窦飞鹏、干倚翠、以智慧城市支持中国城市经济转型和持续发展[R]，IBM商业价值研究院，2013年。

11. 佚名，犯罪预测与预防——利用先进的分析技术营造安全的公共环境[R]，IBM网站，2010年6月。

12. [美] 威廉·D·埃格斯，政府2.0：通过信息技术来改善教育、削减开支、缓解交通拥堵、增强民主[M]，北京：北京大学出版社，2004年。

13. [美] 比尔·弗兰克斯，黄海、车皓阳、王悦译，驾驭大数据[M]，北京：人民邮电出版社，2013年。

14. [美] 斯蒂芬·贝克，张新华译，当我们变成一堆数字[M]，北京：中信出版社，2007年。

15. [美] 伊恩·艾瑞斯，宫相真译，超级数字天才[M]，北京：青年出版社，2008年。

16. [美] 迈克尔·刘易斯，游宜桦译，魔球：逆境中致胜的智慧[M]，香港：早安财经文化有限公司，2005年。

17. [美] 戴维·奥尔森，石勇译，商业数据挖掘导论[M]，北京：机械工业出版社，2007年。

18. [美] 茱丽叶·斯蒂尔、[美] 诺亚·伊林斯基编，祝洪凯、李妹芳译，数据可视化之美[M]，北京：机械工业出版社，2011年。

19. 侯惠勤等主编，公共服务蓝皮书：中国城市基本公共服务力评价（2011-2012）[R]，北京：社科文献出版社，2012年。

20. [加] 马歇尔·麦克卢汉，何道宽译，理解媒介：人的延伸[M]，成都：四川人民出版社，1992年。

21. [美] 达菜尔·哈夫，廖颖林译，统计陷阱[M]，上海：上海财经大学出版社，2002年。

22. [美] 詹姆斯·格兰治，果壳包果核译．互联网浪费了多少能源？ [J]，果壳网，原载于纽约时报，2012年10月5月。

23. [美] 安雅·卡缅涅茨，技术公民占领政府：政府2.0时代的凯歌 [J]，高成长公司，2010年。

24. 冯启娜、徐继华，大数据将引领公共管理大变革[N]，光明日报，2013年11月30日（06）版。

25. 徐继华，政务大数据不能各自为政[N]，人民日报，2013年9月12日（05版）。

26. 赵效民，大数据到底是什么？[J]，互联网周刊，2013年。

27. 邹铮编译，你需要知道的7个大数据定义[J]，网界网，2013年。

28. 李开复，网络时代的金科玉律[N]，人民日报，2000年（03版）。

29. 吴甘沙，大数据漫谈之四：Velocity——天下武功，唯快不破[J]，虎嗅网，2013年。

30. 国际数据公司，中国大数据技术与服务市场2012~2016年预测与分析[R]，2012年。

31. 冯冰，基础性制度成为深化改革的障碍[N]，中国改革报，2007年8月。

32. 冀勇庆，《大数据时代》舍恩伯格谈大数据[J]，中国企业家，2013年7月16日。

33. 中国政务网站服务能力建设中心，基于大数据的智慧政府门户[J]，国家信息中心网络政府研究中心，2013年。

34. 新华社，2012~2013年中国物联网发展年度报告[R]，2013中国国际物联网（传感网）博览会，2013年9月26日。

35. 丁慧茹，政府用大数据做科学决策需重视五大要素[J]，ZDNet CIO频道，2012年12月05日。

36. [美] 凯特·克劳福德，对大数据的再思考：对“大数据”的五大误解 [J]，新华网，转载自《外交政策》，2013年5月17日。

37. 杜小勇、肯尼思·丘基尔、黄智生、朱扬勇、维克托·迈尔–舍恩伯格、法迪·谢哈德、斯蒂夫·帕尔默对话实录，吴成良、张杰、白阳、陈一鸣、崔寅采访整理，四问大数据：大数据究竟怎么用？[J]，人民日报，2013年7月9日。

38. 李立明、宋刚、曹杰峰、张骥、朱斌、程永强、周达，电子公务eGBCP初探[J]，城市管理与科技，2006年01期。

39. 涂子沛，“云”笼罩之下的美国政府[N]，南方都市报，2011年5月31日。

40. 任正非，让听得见炮声的人来决策[J]，中国企业家，2009年3月18日。

41. 周宝曜、刘伟、范承工编，大数据——战略·技术·实践[M]，电子工业出版社，2013年6月1日。

42. 方世南，当代中国政府信息公开面临的八大挑战[C]，“信息公开与政府创新——成就、挑战与未来发展”论坛，2012年12月12日。

43. 佚名，程序员讲述政府数据上网：不仅满足公众知情权[J]，中国青年报，2012年8月22日。

44. 何秋养，“棱镜门”解读：瑞星揭露国内信息安全五大盲区[N]，信息时报，2013年07月。

45. 郑毅，数据时代的企业变革[J]，管理学家，2013年3月25日。

46. 刘新，大数据产业引爆新的增长点[N]，中国电子报，2012年12月11日。

47. 方家喜，两部委启动示范工程，大数据国家战略有望提上议程[N]，经济参考报，2013年10月11日。

48. 丁大伟、李宁、商璐等，走进智慧城市，感知发展脉动[J]，人民日报，2013年3月15日。

49. 杨冰之等，首届中国智慧城市发展水平评估报告[R]，北京国脉互联网信息顾问有限公司，2011年9月。

50.郑爱军等，2012年中国智慧城市发展水平评估报告[R]，北京国脉互联信息顾问有限公司，2012年12月。

51. 黄颖川、黄海霞、赵永清，广东地税大数据破茧化蝶之一[N]，南方日报，2012年11月9日。

52. 黄颖川、黄海霞、赵永清，广东地税大数据破茧化蝶之二[N]，南方日报，2012年11月10日。

53. 黄颖川、黄海霞、赵永清，广东地税大数据破茧化蝶之三[N]，南方日报，2012年11月11日。

54. 佚名，突发公共卫生事件应急响应地理信息系统——跟踪毒气扩散[R]，美国环境系统研究所公司中国（北京）有限公司官方网站，2008年10月18日。

55. 张培颖，探访马德里警察局的SOA之路[J]，TechTarget中国，2011年06月14日。

56. 许继楠，里约热内卢智慧城市运营实例[J]，中国计算机报，2012年。

57. 鞠靖，一个城市的信息化防控：苏州警方告别“GDP崇拜”[N]，南方周末，2013年。

58. 烨岚，应对“堵城”：国外智能交通借鉴之新加坡[J]，赛迪网，2010年10月26日。

59. 赵新川，英国依靠智能交通缓解行车拥堵[J]，环球财经，2011年。

60. 单炜，IBM智能交通解决方案介绍[J]，IBM developerWorks中国，2013年4月15日。

61. 郑国、叶裕民、皮定均，国内外数字化城市管理案例[M]，北京：中国人民大学出版社，2009年4月。

62. 刘宗琦、李俊杰，北京市东城区：网格化精细管理[J]，时事报告，2011年07期。

63. 郭超，北京网格管理出现成效，试点街道发案率全市最低[N]，新京报，2011年03月03日。

64. 佚名，新加坡电子政府迈向新旅程[J]，中国电信业，2011年（7）。

65. 许跃芝、李万祥，精细、规范、便捷——看深圳如何创新流动人口管理模式[N]．经济日报，2013年4月1日。

66. [美] 山姆·彼得，蓝色泡沫译，怎样摧毁互联网[J]，果壳网，原载于Gizmodo，2012年6月7日。

67. 洪黎明，物联网：“智能城市”生长的沃土[N]，福建日报，2010年12月23日。

68. 张炎，一位中国公民和他的“中国水污染地图”[N]，21世纪经济报道(广州)，2009年5月31日。

69. 佚名，智慧的城市：理解IBM智慧城市的基础[R]，IBM官方网站，2011年7月14日。

70. 陈弢，大数据分析的众包平台——Kaggle[N]，中云网，2013年。

71. 杨月辉，大数据时代网络反腐新特点[N]，学习时报，2012年12月20日。

72. 柳华芳，用大数据来反腐，用云计算来执政[J]，钛媒体，2012年12月10日。

73. Office of Science and Technology Policy, Executive Office of the President. Fact Sheet: Big Data Across the Federal Government[R]. March 29, 2012.

74. McKinsey Global Institute．Big data: the next frontier for innovation, competition, and productivity[R]．2011.

75. UN Global Pulse. Big Data for Development: Challenges & Opportunities[R]. May, 2012.

76. Martin Hilbert and PriscilaLópez.The world’s technological capacity to store, communicate, and compute information[J]. Science, Feb10, 2011.

77. Douglas, Laney. 3D Data Management: Controlling Data Volume, Velocity and Variety[R]. Gartner, Feb6, 2001.

78. John Gantz and David Reinsel. Extracting Value from Chaos[R]. IDC iView, Sponsored by EMC, June, 2011.

79. DaveFeinleib. The 3 I’s of Big Data[J]. Forbes.com,2012.

80. Ginsberg J, Mohebbi MH, Patel RS, Brammer L, Smolinski MS, Brilliant L. Detecting influenza epidemics using search engine query data[J]. Nature, Feb 19, 2009.

81. U.S. Department of Justice. Report of the Task Force on Crime Mapping and Data-Driven Management[R]. Attorney General Janet Reno, July, 1999.

82. Eisenstein, Elizabeth L. The Printing Revolution In Early Modern Europe[J]. Cambridge: Canto /Cambridge University Press,1993.

83. Alan Mislove, Sune Lehmann, Yong-YeolAhn, Jukka-PekkaOnnela, NielsRosenquist, Pulse of the Nation: U.S. Mood Throughout the Day, as inferred from Twitter[C].NielsRosenquist Conference Proceeding,Jan, 2011.

84. Nancy Messieh. Survey: 37% of your prospective employers are looking you up on Facebook[J]. 18 Apr, 2012.

85. Janet Reno. Report of the Task Force on Crime Mapping and Data-Driven Management[J]. U.S. Department of Justice, July 1999.

Table of Contents

推荐序一 大数据时代的国家治理

推荐序二 大数据，政府管理改革的新机遇

推荐序三 大数据助推公共管理转型

前言 智慧政府：大数据引领国家治理大变革

第一章 大数据的一天

第二章 大数据：一个新的政府治理命题

第三章 万千气象：感受数据之大

第四章 思维变革：大数据主义来袭

第五章 多算胜：驾驭大数据

第六章 智慧政府：大数据应用面面观

第七章 智慧城市：立体的大数据生态系统

第八章 组合拳：让大数据全面落地

第九章 问题与挑战

后记

致谢

参考文献