大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活 [2.0升级版]-涂子沛

            在线阅读                   百度网盘下载(6ce4)

书名:大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活 [2.0升级版]

作者:涂子沛

格式:EPUB, HTMLZ, PDF

路径:点击打开

排序作者:涂子沛

排序书名:大数据：正在到来的数据革命，以及它如何改变政府、商业与我们的生活 [2.0升级版]

日期:08 12月 2018

uuid:71ac8b8d-f8be-40bd-bd8c-0094d035ec06

id:487

出版日期:4月 2014

修改日期:08 12月 2018

大小:12.64MB

语言:中文

后记　搭建“大数据”的世界

2008年12月，我刚从卡内基梅隆大学毕业，就碰上了美国的金融危机，被卷进了失业大军。

两年多的留学生活，既紧张又辛苦，结果却没工作，不免郁闷。但“宅”在家里，却有了和女儿一起玩耍、抒情咏志的时间。我开始写博客，记录自己在异国他乡的生活和感受。后来，一篇文章被中山大学的郭巍青教授读到，经他推荐，发表在2009年9月的《时代周报》上。

没想到，一个崭新的写作空间，就此豁然打开。

此后，我陆续接受了《新快报》、《南方都市报》、艾瑞网等报纸网站的邀约，写了近一年的专栏。期间，郭巍青教授、《新快报》的杨震编辑、《南方都市报》的邓志新编辑和《时代周报》的彭晓芸编辑都对我的写作有过帮助，令我受益匪浅。

但促成本书最重要的原因，是我们这个时代的迅猛发展，以及我在其中的职业经历。

1996年，作为计算机专业的毕业生，我的第一份工作是数据库程序员。后来担任了边防巡逻艇的指挥官，从事过政府部门的统计工作。但没想到，在美国的工作，又和数据、政府发生了关系。我所在的美国公司，是政府合同商，致力于为各级政府部门提供数据解决方案。我的新职位，和十几年前在中国的第一份工作极为相似，但所使用的技术已经无法同日而语。通过和一个又一个项目的“亲密”接触，我真真切切地“透视”到数据在美国政府和企业当中的重要作用。在深入了解其成因、背景和趋势的过程中，我常常被数据的力量和美感所震撼。

我将这种新的特点和趋势概括为“大数据时代”的“循数管理”和“数据竞争”。

作为一名曾经在中国工作过10年的公务人员，我知道，这种管理方法和竞争态势还不为我们的政府、企业和大众所熟悉。

这触发我产生了一个系统的中文写作计划。

就在我决心暗下之时，我的职业发展突然峰回路转：2010年下半年，被公司提拔成技术部门的主管。在美国带队伍——立刻又成为一个挑战。为了做好本职工作，我无暇他顾，本书的设想，甚至专栏写作，都被迫搁置。

次年3月，在回国期间，我和东西网的张文武总编提到了这本书的构思。他听后眼睛一亮，说这是一本好书，建议我快快写出来。

他的眼神，又拨动了我心底那根弦。加上新岗位的工作慢慢驾轻就熟，写作的计划，于是重上日程。

从2011年6月起，全书历经8个月。这8个月当中，我几乎断绝了一切的社交、娱乐和休闲，投入了全部的业余时间。如精卫填海、乌鹊衔枝，每晚夜深人静之时，我就坐在书桌和电脑前，一点一点搭建“大数据”的世界。无论白天黑夜，一有空，谋篇布局、遣词造句的问题就在脑中盘旋。记得好几次，下班回家，过了家门的路口，还浑然不觉，一直把车往前开，最后绕了个大弯才调头回来。

本书的完成，首先要感谢我在华中科技大学的同窗王怡河。虽然都是理工科出身，但在校期间，我们就对文、史、哲很感兴趣，常常聚在一起讨论国家和社会的问题。怡河博闻强记，对我的写作，给予了很大帮助。本书的每一篇章，他都是第一读者，一些精彩片段，凝聚有他的智慧。挚友张炳剑也曾阅读过部分章节，提出过很好的意见。我还要感谢KIT Solutions软件公司的总裁张小彦博士。小彦在美国工作、生活了30多年，对美国的政治、经济、文化都有深入的体察和了解。与他的日常交流和思想碰撞，是我写作灵感的重要来源。

广西师范大学出版社的曹凌志主编、王家胜编辑对本书的编辑和出版倾注了心血。戚丽艳、肖准对个别文本和图片的翻译有贡献。杨文卓、王玺等好友曾关心过本书的写作。在这里，无法列出所有我心存感激的人员。我在34岁的

时候，下决心负笈海外，中山大学的周超教授、华中科技大学的梁木生教授都曾在我人生的这个关键点上对我指点、关心、鼓励良多。

除了辛苦和感激，在我的心里，还堆积了愧疚。

这8个月中，记不清有多少次，5岁的女儿奕奕拿着玩具、来到我的书房门口，轻声地问：

“爸爸，你可以跟我一起玩吗？”

我总是保持统一的口径，转过身、硬着心肠回答说：

“爸爸在工作，没时间……”

带着失望的表情，她怏怏地离开。

一个周末的下午，大雪初晴。我坐在电脑前修改最后一个章节。起身休息，踱步到窗口，忽然看见女儿和太太俩人正在给我停在院子中的车清扫积雪。奕奕的身高，刚过车头，她穿着大衣、戴着手套，站在厚实的雪地中，一下一下挥动着小铲。隔着玻璃窗，我听不到声音，第一反应是抬脚下楼，一转念，又不忍打扰这个画面。我静静地靠在窗口，看着红色的车身慢慢从白色的积雪当中露出来，心，像被抚摸了一样，感到特别的温暖。

我知道，很多事难以周全。我期望这本书，能为他人带去知识和视野。

旅居海外的经历，让我深深感到，美国，是一个值得中国人认真学习的国家。所谓的“中国崛起”，我认为现阶段还是要证明我们有正确的学习态度和敏锐的学习能力。不要有桥不走，硬要下河摸石头。

要学习、要上路，这是中国的当务之急。我们的进步，应该以全世界的文明为基础。在这个过程中，中国需要对西方世界客观的观察者、理性的思考者和开放的分享者。

海外的华人、留学生拥有这样的历史机遇。我也愿把这作为自己的坐标，为国家的进步尽绵薄之力。

为了确保本书引用的资料和数据准确，我查对了很多资料。语言表达上，也做了反复的修改。尽管如此，肯定还有错漏和不足。感谢您的阅读，也欢迎您的意见和评点，以备再版时修订完善。

涂子沛　于美国匹兹堡

从小数据到大数据

“大数据”是一股新的技术浪潮，也是逐步形成的历史现象，其具体是指随着信息存储量的增多，人类在实践中逐渐认识到，通过数据的开放、整合和分析，能发现新的知识、创造新的价值，从而为社会带来“大科技”、“大利润”、“大智能”和“大发展”等新的机遇。大数据概念的提出，可以追溯到1980年代，但其“数据”二字却和我们传统的理解有所不同。

传统意义上的“数据”，是指“有根据的数字”，但在进入信息时代之后，“数据”二字的内涵在扩大，它不仅指代“数字”，还统称一切保存在电脑中的信息，包括文本、声音、视频等。更重要的是，随着信息技术的进步，其数量在爆炸，特别是新媒体出现之后，数据的收集、保存、维护、使用等任务，成为横跨各个领域的现象和挑战。

大数据之“大”，并不在于其表面的“大容量”，而在于其潜在的“大价值”。有很多例子可以证明，由于新工具的出现，我们从以前的小数据当中也能发现大的价值。例如，美国把20多年的犯罪数据和交通事故数据映射到同一张地图上后惊奇地发现，无论是交通事故和犯罪活动的高发地带，还是两者的频发时段，都有高度的重合性。这引发了美国公路安全部门与司法部门的联合执勤，通过共治数据“黑点”，交通事故率和犯罪率双双降了下来。再例如，最近有学者将白宫200多年总统洗衣服的记录电子化，然后进行分析，也得出了一些新的结论。这些数据，都是地道的小数据。这说明，小数据只要在纵向上有一定的时间积累，在横向上有细致的记录粒度，再和其他数据整合，就能产生大的价值。从这个角度来看，大数据也可以理解为针对某个对象在时空两个维度上的“全息”数据。这种“全息”，在大数据的时代还表现为“多源”，即有多个源头在从不同方向对同一个对象进行数据记录，数据之间可以互相印证。

另外，从全球数据技术投入的资金分布来看，传统的小数据仍然占据绝对的重头。据国际数据集团（IDG）统计，2012年，全球对小数据分析工具的投资为349亿美元，而对大数据分析工具Hadoop的投资仅为1.3亿美元，不及前者的1％。IDG的结论是，传统的小数据软件满足了企业和组织95％的需求。目前行业发展的最新态势，是“大”、“小”数据分析工具趋于一体化并在向“云”迁徙。

大数据的战略意义

大数据的意义，也远远不局限于我们当前众多新闻报道中所津津乐道的“啤酒和尿布”等通过数据挖掘、实现精准营销的故事。事实上，数据挖掘已经不是大数据领域的前沿，取而代之的是机器学习。数据挖掘是指通过特定的算法对大量的数据进行自动分析，从而揭示数据当中隐藏的历史规律和未来的发展趋势，为决策者提供参考。时下兴起的机器学习，凭借的也是计算机算法，但和数据挖掘相比，其算法不是固定的，而是带有自调适参数的，也就是说，它能够随着计算、运行次数的增多，即通过给机器“喂取”数据，让机器像人一样通过学习逐步自我提高改善，使挖掘和预测的功能更为准确。这也是该技术被命名为“机器学习”的原因。这也是大数据之所以被称为革命性现象的根本原因，因为从本质上来说，它标志着我们人类社会在从信息时代经由知识时代快速向智能时代迈进。

不妨举一两个例子，来说明大数据对社会形态的影响以及对国家战略的重要性。

今年以来，一股在线教育的浪潮正在席卷美国的教育领域，一种新型的智能学习平台正在成为高科技领域创新和投资的重点，其中不少公司已经获得了初步成功。如著名的在线教育公司Coursera，已经和普林斯顿、伯克利、杜克、香港理工等全世界30多所大学达成协议，通过其平台免费开放课程。如今这些学校的课程可以实现全球几十万人同步学习。分布在世界各地的学习者不仅可以在同一时间听取同一位老师的授课，还和在校生一样，做同样的作业、接受同样的评分和考试。一些学校看到了这种智能学习平台的价值和潜力，甚至开始投资兴建自己的独立平台，2012年5月，哈佛大学和麻省理工学院就宣布，将投入6000万美元开发一个类似平台，并向全世界免费开放。

这种学习平台的崛起，在美国引起了广泛的关注和激烈的讨论。其中的原因，在于该平台已经不是一个镜头、一段视频那么简单，而能对学习者的学习行为自动进行提示、诱导和评价，从而弥补没有老师面对面交流指导的不足。例如，通过记录鼠标的点击，计算机能够记录你在一张幻灯片上停留的时间，判别你在答错一道题之后有没有回头复习，发现不同的人对不同知识点的不同反应，从而总结出哪些知识点需要重复或强调，哪种陈述方式或学习工具在哪种情况下最有效等规律。

不难发现，该平台之所以强大，正是因为大数据。单个个体学习行为的数据似乎是杂乱无章的，但当数据累积到一定程度时，群体的行为就会在数据上呈现一种秩序和规律。通过收集、分析大量的数据，就能总结出这种秩序和规律，然后有的放矢，对不同的学习者提供有针对性的帮助。哈佛大学和麻省理工学院之所以向全世界免费开放其学习平台，目的也是想让更多的学习者在上面学习，以收集更多的数据，有了数据，它们才能研究世界各国学习者的行为模式，进而打造更好的智能学习平台。

来源：我是码农，转载请保留出处和链接！

本文链接：http://www.54manong.com/?id=1146

• 智慧社会：大数据与社会物理学 (财富汇) - 电子书下载（高清版PDF格式+EPUB格式）2018-12-27 23:33
• Hadoop运维12问--应急手册(中国程序员) - 电子书下载（高清版PDF格式+EPUB格式）2018-12-31 00:37
• 哈佛商业评论增刊：大数据时代的营销变革 - 电子书下载（高清版PDF格式+EPUB格式）2018-12-28 00:31
• Spark大数据处理：技术、应用与性能优化 (大数据技术丛书) - 电子书下载 -（百度网盘 高清版PDF格式）2018-12-31 21:15