大数据架构商业之路：从业务需求到技术方案 (大数据技术丛书)-黄申

            在线阅读                   百度网盘下载(d3jm)

书名:大数据架构商业之路：从业务需求到技术方案 (大数据技术丛书)

作者:黄申

格式:EPUB, HTMLZ, PDF

路径:点击打开

排序作者:黄申

排序书名:大数据架构商业之路：从业务需求到技术方案 (大数据技术丛书)

日期:08 12月 2018

uuid:6f79702c-d7b0-4b11-abfc-9d6c297c8e74

id:484

出版日期:4月 2016

修改日期:08 12月 2018

大小:22.67MB

语言:中文

为什么要写这本书

李克强总理提出“大众创业，万众创新”。在如此美好的大环境下，互联网创业如火如荼。各种模式的O2O，各种精彩的移动App，突然之间都冒了出来，正所谓“忽如一夜春风来，千树万树梨花开”。而在其中，大数据因为蕴含着巨大的商业价值，成为这个时代的趋势之一。众人都希望利用好这个“魔棒”，为自己的事业开疆扩土。可是，就笔者在业界的经历来看，真正能挖掘大数据潜力的公司少之又少。笔者一直很好奇，中国的相关人才如此之多，商业市场又如此之大，何以至如此境地呢？为了找到答案，笔者阅读了不少观察性文章，也走访了一些业内的从业者，发现目前的一大窘境是：大数据技术、产品和商业的结合度还远远不够。导致这个现状的原因有很多，具体分析主要有以下几点：

·涉及范围广：“大数据”本身是一个比较抽象的概念，任何关乎大规模数据的处理，都可以称为“大数据”。因此它既包括了很多已有的技术，如数据挖掘、机器学习、商业智能等，又包括了近几年诞生的新技术[1]，如NoSQL相关的生态系统。而且，一个商业需求也可能会涉及多个相关技术。

·技术含量高：数据挖掘和机器学习之类的算法和大规模数据处理的架构，相对于普通的应用开发而言，需要更多的理论知识和实践经验积累。而商业价值的挖掘程度却往往取决于使用的技术深度。越是钻研得深入，所产生的价值就会越大。

·发展速度快：最近几年，算法方面有不少的创新，如深度学习（Deep Learning）；系统架构也在不断升级，如Hadoop的第二代框架Yarn、Storm、Spark等实时流式计算，技术的更新换代非常频繁。但是，商业的发展需要技术系统能够随时应变，快速响应，这与技术的飞速发展本身又存在冲突。

·成熟方案少：大数据的技术多数是免费的，这对于盈利模式而言无疑是有利的，不过代价就是存在一定的稳定性和易用性问题。现在有一些大型的技术公司提供了更成熟的解决方案，但是价格不菲，对于经费并不宽裕的初创公司而言选择余地太少。

以上这些因素都会形成进入大数据领域的门槛，而高门槛势必会导致大数据在工业界应用的步伐放缓。为了解决这个问题，企业需要培养自己的复合型人才，要求业务人员懂技术、技术人员懂业务。只有如此才能让公司使用合适的工具、获得准确的数据、制定合理的方案。

然而，激烈的市场竞争，膨胀的用户需求，不会给创业公司太多的时间去挥霍。在黑夜之中不断摸索的人们，需要明灯指引前进的方向。虽然目前市面上已有一些相关图书做了不错的尝试，但是它们大多数偏向两个极端：一端是面向金融、经济、社会和管理类等非技术型读者，讲述概念、定义、背景和业界的成功案例等；另一端是面向程序员、算法工程师、架构师和数据科学家等纯技术型读者，讲述具体的技术框架、编程范例、系统调试等。能同时覆盖两者的图书可谓凤毛麟角。因此，笔者萌生了通过一本书来帮助企业快速地建立复合型团队，将合理的业务需求尽快转化为实际产品的想法。笔者在写作过程中，力求：

·易读易懂。通过生动的案例和形象的比喻来解读难点，降低技术理解的门槛。这样就能够让偏向业务的人员更

容易理解大数据背后的运作原理，促进他们和技术人员的沟通及协作。

·可实践性强。通过分享需要大量实践才能积累的宝贵经验，最大程度地针对业务需求和技术方案之间的空白进行弥补。这将有利于技术人员针对不同的业务需求，规划更为合理的技术方案。

本书通过讲述一个虚拟的（如有雷同纯属巧合）互联网O2O创业故事，逐步展开介绍各个阶段可能遇到的大数据课题、业务需求，以及相对应的技术方案，甚至是实践解析。让读者身临其境，一起来探寻大数据的奥秘。对于想进一步深入研究技术实现细节的读者，也给出了继续阅读的方向和指导性建议。笔者衷心希望，无论是技术专家、产品经理，还是业务人员，只要阅读了本书便都能愉快地遨游在大数据的海洋中。

读者对象

根据本书撰写的起心动念，笔者觉得其内容适合如下读者：

·中小互联网创业公司的CIO、CTO和技术骨干。他们可以获知常见的互联网公司从创业初期到中期这个阶段里，数据平台需要满足怎样的业务需求（当然，也包括业务方和产品经理所说的“XXOO”了），技术上通常会面临哪些挑战，以及如何解决。

·中小互联网创业公司的产品经理和项目经理。个人认为，在不久的将来，最炙手可热的产品经理或项目经理一定是懂一些技术的。技术背景将帮助产品经理和项目经理更好地理解哪些是技术上可以实现的，如果可以实现又大致

需要多少开发资源。此外，本书所提及的案例也许能提供一些产品设计上的灵感和启发。

·中小互联网创业公司的CEO、合伙人。读懂这本书，CIO、CTO和产品VP的招募，不用靠第三方和人力资源，因为你可以自己来选。这绝对可以帮助公司少走弯路，加速发展。

·刚刚起步的算法和架构工程师。很多刚刚毕业或工作没多久的朋友，学了一身本领，对新技术也很有热情，苦于没有太多实践的机会。书中的故事浓缩了不少业界实践的经验和心得，如能融会贯通对他们将很有裨益。同时，覆盖面较广的技术课题概述也为他们继续深入研究提供了方向和指导。

·梦想家。最后的最后，本书也献给那些希望通过大数据技术进行互联网创业的人们。也许现在你既不是“CXO”（CEO、CIO、CTO、CPO、COO等的统称），也不是产品经理或项目经理，可是你有自己的创业梦想，那么这本书也献给你。

当然，由于侧重点不同，因此本书并不适合钻研技术细节的程序员和编程专家，不过仍然可以在书中找到重要的参考图书指导。同时，本书也不适合关注宏观行业发展的商务人士。

如何阅读本书

为了达到深入浅出、通俗易懂的效果，本书的第一大部分概述了大数据的主要技术，包括大数据的获取、存储、处理，还有架构设计的基本理念，以及常用的消息和缓存机制。这一部分你会发现关于Nutch、Flume、Hadoop、

HBase、Redis、Hive、Kafka、Spark、Storm等的简介。对于数据处理的高级技术，本书着墨不少，但不乏对于信息检索和数据挖掘课题的探讨。例如站内搜索引擎、推荐系统、广告系统、聚类、分类和线性回归等。由于商业需求尤其看重实际产出，因此第一部分的最后还会分析常见的效果和性能评估。相信这部分对于构建读者的大数据知识体系会很有帮助。在每一章的最后，我们还会给出重要的参考图书，以便于读者继续深入学习。

第二大部分的每个章节都是从业务需求的描述入手，然后进行需求分析，根据需求的特点，对第一大部分所涉及的备选技术进行筛选，最后是技术方案和架构的确定。不同的商业需求可能会使用类似的技术点。但是具体使用方式不会雷同，根据不同的数据集合、不同的应用场景和不同的进阶难度，我们为读者提供了反复温习和加深印象的机会。

勘误和支持

正如前文所述，大数据发展得实在是太快了。可能就在你阅读这段文字的同时，又有一项新的技术诞生了，N项技术升级了，M项技术被淘汰了。再加之笔者的水平有限，编写的时间也较仓促，书中难免会出现一些不够准确或有遗漏的地方，不妥之处在所难免，恳请读者通过如下渠道积极建议和斧正，我们很期待能够听到你们的真挚反馈。

后记

时光荏苒，岁月如梭，转眼间又是一个春天，夕阳透过薄薄的窗帘，懒懒散散地洒入屋内。当一缕光线偷偷地爬上杨大宝的眼角时，他睁开了朦胧的双眼。一看挂钟，已经是下午5点钟了。创业一年多以来，他和他的团队就没有好好休息过。在今天凌晨公司大促圆满结束后，他也第一次申请了休假，一方面是想调整身心，另一方面也是想对自己创业的一年进行总结。这一觉，大宝睡得很踏实。

起床后，大宝冲了一杯咖啡，斜坐在躺椅上，悠悠地回顾了工作、生活和奋斗的点点滴滴。他深深感到自己在大数据领域的积累已在逐渐增多。当然，大宝绝不会忘记引领自己进入大数据领域的导师：表哥黄小明。从一开始的“大数据盲”，到对基础知识的了解，再到业务实践中的应用，都离不开小明的悉心指导。可以说，没有小明的付出，大宝和他的团队就不能撑起整个公司的业务发展。一想到这里，大宝忍不住要拿起电话，向表哥再次表达谢意。突然，他想起来，现在是美国时间的半夜，小明一定还在睡觉。于是，他在电脑上写了一封长长的感谢信，告诉小明他是如何学以致用，将公司的业务持续扩大的。

第二天，大宝收到了小明的回信：

“大宝，你好。

好久不见，最近可好？

听说你们公司进展得很顺利，我也很高兴。看来我之前关于大数据的经验之谈，还是起到了一定的作用。我也看到，在我离开中国之后，你替公司设计的几个方案相当不错。从搜索自动提示，以及CRM的用户画像方案中，都能看到你的创新精神。有些地方你比我想的还要周全，难能可贵！加油吧，年轻人，相信你们的前景会更美好，说不定哪天你会来美国为上市而敲钟呢。

至于我，目前一切安好。这里的美国同事都很友善，我很快就适应了这边的环境。另外，我也发现了很多技术上和生活上有趣的地方，有机会我再和你当面聊聊。我想在美国多深造几年，学成之后，再回到祖国，毕竟中国互联网的机会还很多，希望到时候我们还有合作的机会！”

大宝看完微微一笑，回复了5个字：“等你好消息！”

来源：我是码农，转载请保留出处和链接！

本文链接：http://www.54manong.com/?id=1149

• 与大数据同行—学习和教育的未来 - 电子书下载（高清版PDF格式+EPUB格式）2018-12-27 13:43
• Scala程序设计:Java虚拟机多核编程实战 (图灵程序设计丛书) - 电子书下载 -（百度网盘 高清版PDF格式）2018-12-31 21:18
• 新未来简史：区块链、人工智能、大数据陷阱与数字化生活 - 电子书下载（高清版PDF格式+EPUB格式）2018-12-28 00:03
• 欢迎来到异步社区！2018-12-18 22:48