终极算法：机器学习和人工智能如何重塑世界-[美]佩德罗·多明戈斯

            在线阅读                   百度网盘下载(oj04)

书名:终极算法：机器学习和人工智能如何重塑世界

作者:[美]佩德罗·多明戈斯

格式:EPUB, HTMLZ, PDF

书号:9787508668673

路径:点击打开

出版:中信出版社

排序作者:[美]佩德罗·多明戈斯

排序书名:终极算法：机器学习和人工智能如何重塑世界

日期:09 12月 2018

uuid:e562f170-55dd-44c6-bb17-ce313e19cc9d

id:505

出版日期:1月 2014

修改日期:09 12月 2018

大小:2.51MB

语言:中文

为了让广大读者更深入地探索机器学习世界，我们特此附上延伸阅读部分。此部分包含大量文献，对读者深入学习大有裨益。同时，为了保证准确性，我们保持了此部分中涉及的人名、文献、出版信息等内容的原貌，以飨读者。希望读者朋友能通过本书和这些文献进入丰富多彩的机器学习世界。

如果本书激发了你对机器学习及其相关问题的兴趣，那么在本部分你会找到许多建议。本书的目的不是面面俱到，而是为了引导人们了解与机器学习相关的知识（正如Borges说的那样）。我尽量为读者选择合适的书籍和文章。专业类出版物的阅读至少需要一些计算、统计或者数学领域的背景知识，我们会以星号（*）来标记这些出版物。即使这些是专业出版物，对读者来说也可以接受很大一部分。我没有把卷号、期刊号、页码列出来，因为网站使这些变得多余，对于出版商的地址来说也同样如此。

如果你想从整体上对机器学习了解更多，网络课程就是开始学习的好选择。并非巧合，与本书内容最为相近的就是我教的这门课（www.coursera.org/course/machinelearning）。也可以参考安德鲁·恩格的课程（www.coursera.org/course/ml）和亚瑟·阿布·穆斯塔法的课程（http://work.caltech.edu/telecourse.html）。接下来就要阅读教材。和本书最相近且最容易接受的一本教材就是Tom Mitchell的Machine Learning *（McGraw–Hill, 1997）。更现代且更精确的教材包括Kevin Murphy的Machine Learning: A Probabilistic Perspective （麻省理工出版社，2012）, Chris Bishop的 Pattern Recognition and Machine Learning *（Springer, 2006），以及An Introduction to Statistical Learning with Application in R ,*（作者是Gareth James、Daniela Witten、Trevor Hastie、Rob Tibshirani，Springer, 2013)。我的文章“A few useful things to know about machine learning ”（Communications of the ACM, 2012）总结了一些关于机器学习的传统知识，这些知识在教材中往往较为隐晦，且可作为开始阅读本书之前的参考资料。如果你懂得如何编程，并想尝试机器学习，可以从众多开源软件包开始，例如，Weka（www.cs.waikato.ac.nz/ml/weka）。有两本重要的机器学习杂志：《Machine Learning 》和《Journal of Machine Learning Research 》。每年举办的机器学习的重要会议包括机器学习国际会议（International Conference on Machine Learning）、国际神经信息处理大会（Conference on Neural Information Processing Systems）、国际学术和技术开发研讨会（International Conference on Knowledge Discovery and Data Mining）。在http://videolectures.net上有众多关于机器学习的访谈。网站www.KDnuggets.com是机器学习的一站式服务店，你可以注册账号，获得实时通信，了解最新发展动态。

序

早前列举的机器学习对日常生活的影响可在George John（SIGKDD Explorations , 1999）所著的“Behind–the–scenes data mining”中找到，序言部分“日常生活”段落的灵感也源于此。Eric Siegel的书Predictive Analytics （Wiley, 2013）探索了众多机器学习的应用。麦肯锡全球研究所2011年的报告Big Data: The Next Frontier for Innovation, Competition, and Productivity 对“大数据”这一术语进行了推广。在该报告中，Viktor Mayer–Schönberger和Kenneth Cukier所著的Big Data: A Revolution That Will Change How We Live, Work, and Think （Houghton Mifflin Harcourt, 2013）一文，讨论了许多由大数据引发的问题。我了解人工智能的教材是Elaine Rich所著的Artificial Intelligenc *（McGraw–Hill, 1983）。现在通用的版本是Stuart Russel和Peter Norvig所著的Artificial Intelligence: A Modern Approac （3rd., Prentice Hall, 2010）。Nils Nilsson的The Quest for Artificial Intelligence （Cambridge University Press, 2010）介绍了早期的人工智能。

第一章

John MacCormick写的Nine Algorithms That Changed the Future （Princeton University Press, 2012）一书介绍了在计算机科学中一些最重要的算法，其中有一章是关于机器学习的。Sanjoy Dasgupta、Christos Papadimitriou和Umesh Vazirani写的Algotithms *（McGraw–Hill, 2008）一书是介绍该主题的简明教材。Danny Hillis写的The Pattern on the Stone （Basic Books, 1998）解释了计算机如何运转。Walter Isaacson在The Innovators （Simon & Schuster, 2014）一书中生动描述了计算机科学的历史。

SumitGulwani、William Harris和Rishabh Singh写的“Spreadsheet data manipulation using examples”（Communications of the ACM , 2012）一文就是一个例子，体现了计算机如何通过观察用户来进行自我编程。Tom Davenport和Jeanne Harris的Competing on Analytics （HBS Press, 2007）一书介绍了在商务领域如何使用预测分析。Steven Levy在In the Plex （Simon & Schuster, 2011）一书中高水平地介绍了谷歌技术如何起作用。Carl Shapiro和Hal Varian在Information Rules （HBS Press, 1999）一书中解释了网络的影响。Chris Anderso在The Long Tail（Hyperion, 2016）一书中介绍了长尾现象。

由Tony Hey、Stewart Tansley、Kristin Tolle主编的The Fourth Paradigm （Microsoft Research, 2009）一书探索了通过数据密集型运算来实现科学转型。James Evans和Andrey Rzhetsky在“Machine Science ”（Science , 2010）一文中讨论了一些计算机做出科学发现的不同方法。Pat Langley等人写的Scientific Discovery: Computational Explorations of the Creative Processes *（MIT Press, 1987）一书介绍了自动发现科学规律的一系列方法。Usama Fayyad、George Djorgovski和Nicholas Weir在“From Digitized Images to Online Catalogs”（AI Magazine ，1996）一文中介绍了SKICAT项目。Niki Wale的Machine Learning in Drug Discovery and Development（Drug Development Research , 2001）一文正好对这个问题进行了概述。Ross King等人写的The Automation of Science（Science , 2009）一文介绍了机器人科学家Adam。

SashaIssenberg的The Victory Lab （Broadway Books, 2012）一书仔细分析了在政治领域中数据分析的用途，他的How President Obama’s Campaign Used Big Data to Rally Individual Votes（MIT Technology Review ，2013）一文告诉读者迄今为止数据分析的最大功绩。Nate Silver的The Signal and the Noise （Penguin Press, 2012）一书中的一章介绍了他集中民意的方法。

P. W. Singer的Wired for War （Penguin, 2009）一书主要介绍了机器人战争。Richard Clarke和Robert Knake的Cyber War（Ecco, 2012）一书敲响了互联网战争的警钟。我将机器学习与博弈论结合打败对手，这个观点开始是以课题的形式呈现，后来在Nilesh Dalvi等人的Adversarial Classification*（Proceedings of the Tenth International Conference on Knowledge Discovery and Data Mining , 2004）上进行了介绍。Walter Perry等人的Predictive Policing （Rand, 2013）引导人们如何在警察工作中使用解析学。

第二章

Laurie von Melchner、Sarah Pallas和Mriganka Sur的Visual Behaviour Mediated by Retinal Projections Directed to the Auditory Pathway（Nature , 2000）一文介绍了雪貂大脑重新布线的实验。Joanna Moorhead的Seeing with Sound （Guardian , 2007）和www.benunderwood.com这个网站介绍了Ben Underwood的故事。Otto Creutzfeldt在Generality of the Functional Structure of the Neocortex（Naturwissenschaften , 1977）一文中表明皮质是一种算法。Vernon Mountcastle在“An Organizing Principle for Cerebral Function: The Unit Model and the Distributed System”一文中也做了同样的阐述，这篇文章收录在Gerald Edelman和Vernon Mountcastle编辑的The Mindful Brain （MIT Press, 1978）一书中。Gary Marcus、Adam Marblestone和Tom Dean在The Atoms of Neural Computation（Science , 2014）中提出反对意见

Alon Halevy、Peter Norvig和Fernando Pereira在The Unreasonable Effectiveness of Data（IEEE Intelligent Systems , 2009）中赞成机器学习是新的发现范式。Benoit Mandelbrot在同名书（Freeman, 1982）中探索大自然中的分形几何。James Gleick的Chaos （Viking, 1987）一书讨论并描述了曼德布洛特集合。Edward Frenkel的Love and Math （Basic Books, 2014）一书介绍了朗兰兹纲领，这是一个尝试将数学的不同子域联合起来的研究。Lance Fortnow的The Golden Ticket （Princeton University Press,2013）一书介绍的是NP完全问题和P=NP问题。Charles Petzold的The Annotated Turing （Wiley，2008）通过重新研究图灵最初关于图灵机器的论文来对图灵机器进行解释。

Douglas Lenat等人著的“Cyc: Toward programs with common sense” *（Communication of the ACM , 1990）一文就介绍了Cyc项目。Peter Norvi在“On Chomsky and the Two Cultures of Statistical Learning”（http://norvig.com/chomsky.html）一文中讨论Noam Chomsky对于数字学习的批评。Jerry Fodor的The Modularity of Mind （MIT Press, 1983）一书总结了他关于大脑如何运转的观点。Leon Wieseltier的“What Big Data will Never Explain”（New Republic , 2013）和Andrew McAfee的“Pundits, Stop Sounding Ignorant about Data”（Harvard Business Review, 2013）中揭示了围绕大数据能做和不能做之间的矛盾。Daniel Kahneman在Thinking, Fast and Slow （Farrar, Straus and Giroux, 2011）一书的第21章解释了算法为什么可以打败感官直觉。David Patterson在“Computer Scientists May Have What it Takes to Help Cure Cancer”（New York Times , 2011）一文中证明了计算与数据在与癌症的斗争中所起的作用。

更多学派关于如何获得主算法的观点在以下相应部分中会提到。

第三章

休谟的归纳法经典公式出现在A Treatise of Human Nature （1739）的I卷中。因为“The Lack of a Priori distinctions between Learning Algorithms”（Neural Computation , 1996）一文中的归纳推理，David Wolpert得出了“天下没有免费的午餐”定理。我在“Toward Knowledge–Rich Data MJining”（Data Mining and Knowledge Discovery , 2007）一文中讨论先验知识在机器学习中的重要性，并在“The role of Occam’s razor in knowledge discovery”（Data Mining and Knowledge Discovery , 1999）一文中讨论了对奥卡姆剃刀理论的误读。在Nate Silver的The

Signal and the Noise （Penguin Press, 2012）一书中，过拟合是其重要主题之一，他称之为“你绝对没有听过的最重要的科学问题”。John Ioannidis的“Why most published research findings are false”*（PLoS Medicine , 2005）一书讨论了在科学领域中，将巧合发现误以为是真发现的问题。在“Controlling the false rate: A practical and powerful approach to multiple testing”*（Journal of the Royal Statistical Society , Series B, 1995）一文中，Yoav Benjamini和Yosef Hochberg提出了反对该观点的方法。在Stuart Geman、Elie Bienenstock和René Doursat的“Neural networks and the bias/variance dilemma”（Neural Computation , 1992）一文中展示了方差分解的过程。Pat Langley的“Machine learning as an experimental science”（Machine Learning , 1998）一文讨论了机器学习中实验法的作用。

William Stanley Jevons在The Principles of Science （1874）一书中首次提出了将归纳法视作演绎法的反向。Steve Muggleton和Wray Buntine的“Machine learning of first–order predicates by inverting resolution”*（Proceedings of the Fifth International Conference on Machine Learning , 1988）一文首先提出在机器学习中使用逆演绎。Saso Dzeroski和Nana Lavrac主编的书Relational Data Mining *（Springer, 2001）介绍了归纳逻辑编程这个领域，这个领域研究的是逆演绎。Peter Clark和Tim Niblett在“The CN2 Induction Algorithm”*（Machine Learning , 1989）一文中总结了主要的米夏莱克样式规则归纳算法。Rakesh Agrawal和Ramakrishnan Srikant的“Fast algorithms for mining association rules”*（Proceedings of the Twentieth International Conference on Very Large Databases , 1994）一文介绍了零售商使用的挖掘规则的方法。Ashwin Srinivasan、Ross King、Stephen Muggleton和Michael Sternberg的“Carcinogenesis predictions using inductive logic programming”（Intelligent Data Analysis in Medicine and Pharmacology , 1997）一文介绍了规则归纳法用于预测癌症的例子。

J. Ross Quinlan的C4.5: Programs for Machine Learning * （Morgan Kaufmann, 1992），以及Leo Breiman、Jerome Friedman、Richard Olshen和Charles Stone的Classification and Regression Trees *（Chapman and Hall, 1984）两本书提出了两大主要的决策树学习算法。Jamie Shotton等人的“Real–time human pose recognition in parts from single depth images”*（Communications of the ACM , 2013）一文解释了微软的Kinect如何利用决策树来追踪玩家的动作。Andrew Martin等人写的“Competing approaches to predicting Supreme Court decision making”（Perspective on Politics , 2004）一文介绍了决策树在预测最高法院投票中如何打败法律专家，并展示了大法官桑德拉·戴·奥康纳的决策树。

Allen Newell和Herbert Simon在“Computer science as empirical enquiry: Symbols and search”（Communications of the ACM , 1976）一文中提出假设，认为所有智能都是符号操纵。David Marr在Vision *（Freeman, 1982）一书中提出信息处理的三个层面。Ryszard Michalski、Jaime Carbonell和Tom Mitchell主编的Machine Learning: An Artificial Intelligence Approach *（Tioga, 1983）一书简单介绍了机器学习中象征主义研究的早期成果。Paul Smolensky的“Connectionist AI, symbolic AI, and the brain”*（Artificial Intelligence Revie , 1987）一文对符号论模型提出了联结主义的观点。

第四章

Sebastian Seung的Connectome （Houghton Mifflin Harcourt, 2012）一书对神经科学、神经联结组学、对大脑进行逆向工程的严峻挑战做了浅显易懂的介绍。David Rumelhart、James McClelland主编的Parallel Distributed Processing *（MIT Press, 1986）一书是20世纪80年代处于繁盛时期的联结主义的“圣经”。James Anderson和Edward Rosenfeld编辑的Neurocomputing *（MIT Press, 1988）一书整理了许多篇经典的联结主义论文，包括：McCulloch和Pitts的第一批神经模型；Hebb的Hebb规则；Rosenblatt的感知机；Hopfield的Hopfield网络；Ackley、Hinton和Sejnowski的玻尔兹曼机；Sejnowski和Rosenberg的NETtalk；Rumelhart、Hintonation和Williams的反向传播。Yann LeCun、Léon Bottou、Genevieve Orr和Klaus–Robert Müller的“Efficient backdrop”*一文由Genevieve Orr和Klaus–Robert Müller收录到Neural Networks: Tricks of the Trade （Springer, 1998）一书中，提出了一些使反向传播起作用的重要技巧。

Robert Trippi和Efraim Turban编辑的Neural Networks in Finance and Investing *（McGraw–Hill, 1992）收录了关于神经网络在金融领域应用的文章。Todd Jochem和Dean Pomerleau的“Life in the fast lane: The evolution of an adaptive vehicle control system”（AI Magazine , 1996）一文介绍了ALVINN无人驾驶汽车工程。Paul Werbos的博士论文是Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Science *（Harvard University, 1974）。Arthur Bryson和Yu–Chi Ho在Applied Optimal Control *（Blaisdell, 1969）一书中介绍了他们反向传播的早期版本。

Yoshua Bengio的Learning Deep Architectures for AI *（Now, 2009）一书简要介绍了深度学习。Yoshua Bengio、Patrice Simard和Paolo Frasconi的“Learning long–term dependencies with gradient descent is difficult”（IEEE Transactions on Neural Networks, 1994）一文介绍了反向传播中的信号误差扩散问题。John Markoff的“How many computers to identify a cat?16,000”（New York Times, 2012）一书对谷歌的脑计划及其结果进行汇报。Yann LeCun、Léon Bottou、Yoshua Bengio和Patrick Haffner的“Gradient–based learning applied to document recognition”*（Proceedings of the IEEE, 1998 ）一书介绍了卷积神经网络、当前深度学习冠军。Jonathon Keats的“The $1.3B quest to build a supercomputer replica of a human brain”（Wired, 2013）介绍了欧盟的大脑模仿项目。Thomas Insel、Story Landis和Francis Collins的“The NIHBRAIN Initiative”（Science , 2013）一文介绍了BRAIN计划。

Steven Pinker在How the Mind Works （Norton, 1997）一书的第二章中总结了符号学者对联结主义模型的批判。Seymour Paper在“One AI or Many? ”（Daedalus , 1988）一文中争论性地发表了自己的看法。Gary Marcus的The Birth of the Mind （Basic Books, 2004）一书中解释了进化如何促成人类大脑复杂的功能。

第五章

Josh Bongard的“Evolutionary robotics”（Communication of the ACM , 2013）一文讨论了Hod Lipson以及其他人关于进化机器人的作品。Steven Levy的Artificial Lif （Vintage，1993）一书也游览了一遍数字化这个“动物园”，从虚拟世界中计算机创造的动物到遗传算法。Mitch Waldrop的Complexity （Touchstone, 1992）一书第五章讲述了John Holland的故事，以及遗传算法研究前几十年的情况。David Goldberg的Genetic Algorithms in Search, Optimization, and Machine Learning *（Addison–Wesley, 1989）一书对遗传算法进行了标准介绍。

在T. J. M.Schopf主编的Models in Paleobiology （Freeman, 1972）一书中，Niles Eldredge和Stephen Jay Gould发表了“Puntuatedequilibria: An alternative to phyletic gradualism”一文，这篇文章中提出了他们的间断平衡理论。Richard Dawkins在The Blind Watchmaker （Norton, 1986）一书的第九章批评了该观点。在Richard Sutton和Andrew Barto的Reinforcement Learning *（MIT Press, 1998）一书中，第二章讨论了探索—利用困境。在Adaptation in Natural and Artificial System *（University of Michigan Press, 1975）中，John Holland提出了自己的解决方法及其他观点。

John Koza的Genetic Programming *（MIT Press, 1992）一书是对该范式的重要参考。在Minoru Asada和Hiroaki Kitano编写的RoboCup–98: Robot Soccer World Cup II （Springer, 1999）一书中，David Andre和Astro Teller发表了“Evolving team Darwin United”*一文，这篇文章中介绍了进化的机器人足球队。John Koza、Forrest Bennett III、David Andre和Martin Keane著的Genetic Programming III *（Morgan Kaufmann, 1999）一书包含许多经过改进的电子线路。Danny Hillis在“Co–evolving parasites improve simulated evolution as an optimization procedure”*（Physica D , 1990）一文中提出寄生虫有助于进化。AD iLivnat、Christos Papadimitriou、Jonathan Dushoff和Marcus Feldman在“A mixability theory of therole of sex in evolution”*（Proceedings of the National Academy of Sciences , 2008）一文中提出，性别可优化可混性。Kevin Lang的文章“Hill climbing beats genetic search on a Boolean circuit synthesis problem of Koza’s”*（Proceedings of the Twelfth International Conference on Machine Learning , 1995）对遗传编程和爬山法进行了比较。Koza对此的回应见“A response to the ML–95 paper entitled...”*（unpublished; online at www.genetic–programming.com/jktahoe24page.html）一文.

在“A new factor in evolution”（American Naturalist , 1896）一文中，James Baldwin提出了同名反应。Geoff Hinton和Steven Nowlan在“How learning can guide evolution”* （Complex Systems , 1987）一文中介绍了它的运用。鲍德温效应是Peter Tusrney、Darrell Whitley和Russell Anderson主编的期刊Evolutionary Computation 1996年的一个特殊问题的主题。

John Neville Keynes的The Scope and Method of Political Economy （Macmillan, 1891）一书区分了描述性和规范性理论之间的区别。

第六章

Sharon Bertsch McGrayne在The Theory That Would Not Die （Yale University Press, 2011）一书中对贝叶斯主义进行了介绍，从Bayes到Laplace再到现在。Peter Hoff的A First Course in Bayesian Statistical Methods *（Springer, 2009）一书则对贝叶斯统计进行了介绍。

在Richard Duda和Peter Hart（Wiley, 1973）的Pettern Classification and Scene Analysi *一书中，朴素贝叶斯算法被首次提到。在Essays in Positive Economics （University of Chicago Press, 1966）一书中，Milton Friedman发表了自己对过简理论的支持。朴素贝叶斯在过滤垃圾邮件中的应用则出现在Joshua Goodman、David Heckerman和Robert Rounthwaite的“Stopping spam”（Scientific America , 2005）一文中。Stephen Robertson和Karena Sparck Jones的“Relevance weighting of search terms”*（Journal of the American Society for Information Science , 1976）一文介绍了与朴素贝叶斯相似方法在信息检索中的应用。

Brian Hayes的“First links in the Markov chain”（American Scientist , 2013）一文叙述了马尔可夫对同名链的创造。Thorsten Brants等人的“Large Language models in machine translation”*（Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning , 2007）一文解释了谷歌翻译如何运行。Larry Page、Sergey Brin、Rajeev Motwani和Terry Winograd的“The PageRank citation ranking: Bringing order to the Web”（Standford University technical report, 1998）一文介绍了网页排序算法及其在网页上游动的说明。Eugene Charniak的Statistical Language Learning *（MIT Press, 1996）一书揭示了隐藏的马尔可夫模型的工作原理。Fred Jelinek的Statistical Methods for Speech recognition （MIT Press, 1997）一书描述了这些方法在语音识别领域的应用。在David Forney的“The Viterbi algorithm: A personal history”（unpublished; online at arxiv.org/pdf/cs/0504020v2.pdf）一文中，介绍了隐马尔可夫模型式的推理在传播中的情况。Pierre Baldi和Søren Brunak的Bioinformatics: The Machine Learning Approach *（2nd ed., MIT Press, 2001）一书介绍了机器学习在生物学以及隐马尔可夫模型中的应用。Barry Cipra的“Engineers look to Kalman filtering for guidance”（SIAM News , 1993）对卡尔曼滤波法及其历史、应用进行了简要介绍。

Judea Pearl关于贝叶斯网络的先锋之作出现在他的Probabilistic Reasoing in Intelligent Systems *（Morgan Kaufmann, 1988）一书中。Eugene Charniak的“Bayesian networks without tears”*（AI Magazine , 1991）一文很大程度上用非数学的方法对贝叶斯网络进行了介绍。David Heckerman的“Probabilistic interpretation for MYCIN’s certainty factors”*（Proceedings of the Second Conference on Uncertainty in Artificial Intelligence , 1986）一文解释在何种情况下，包含置信度估计的规则集是贝叶斯网络的合理假设，在什么情况下不是。Eran Segal等人的“Module networks: Identifying regulatory modules and their condition–specific regulators from gene expression data”（Nature Genetics , 2003）一文就是贝叶斯网络在基因调控领域的一个应用。Ben Paynter的“Microsoft virus fighter: Spam may be more difficult to sthp than HIV”（Fast Company , 2012）一文讲述David Heckerman如何从垃圾邮件过滤器中获取灵感，并利用贝叶斯网络设计了一种艾滋病疫苗。概率性的或者“喧哗”OR在Pearl的书籍中得到了解释。M.A.Shwe等人的“Probabilistic diagnosis using a reformulation of the INTERNIST–1/QMR knowledge base”一文为医学诊断介绍了一种“喧哗”OR贝叶斯网络。Kevin Murphy的Machine Learning*（MIT Press，2012）的26.5.4部分描述了谷歌的贝叶斯网络在广告配置方面的运用。Ralf Herbrich、Tom Minka和Thore Graepel的“TrueSkillTM: A Bayesian skill rating system”*（Advances in Neural Information Processing Systems 19 , 2007）一文介绍了微软的游戏评分系统。

Adnan Darwiche的Modeling and Reasoning with Bayesian Networks *（Cambridge University Press, 2009）一书解释了贝叶斯网络中用于推理的主要算法。Jack Dongarra和Francis Sullivan主编的Computing in Science and Engineering 期刊的2000年的1~2月刊包含了和21世纪前十位算法有关的文章，包括马尔可夫链蒙特卡洛。Sebastian Thrun等人的“Stanley: The robot that won the DARPA Grand Challenge”（Journal of Field of Robotics , 2006）解释了同名无人驾驶汽车如何运行。David Heckerman的“Bayesian networks for data mining”*（Data Mining and Knowledge Discovery , 1997）一文总结了用于学习的贝叶斯方法，并解释如何从数据中掌握贝叶斯网络。David MacKay的“Gaussian processes: A replacement for supervised neural networks?”*（NIPS tutorial notes, 1997; online at www.inference.eng.cam.ac.uk/mackay/gp.pdf）一文大致描述了贝叶斯学派如何安排网络入侵防火墙系统。

Dan Jurafsky和James Martin的Speech and Language Processing *（2nd ed., Prentice Hall, 2009）一书的9.6部分讨论了在语音识别中对词汇概率进行加权的必要性。我和Mike Pazzani关于朴素贝叶斯的论文是“On the optimality of the simple Bayesian classifier under zero–one loss”*（Machine Learning , 1997; expanded journal version of the 1996 conference paper）。上面提到的Judea Pearl的书讨论了马尔可夫网络和贝叶斯网络。计算机视觉中的马尔可夫网络就是Adrew Blake、Pushmeet Kohli和Carsten Rother主编的Markov Random Fields for Vision and Image Processing *（MIT Press, 2011）这本书的主题。John Lafferty、Andrew McCallum和Fernando Pereira的“Conditional random fields: Probabilistic models for segmenting and labeling sequence data”*（International Conference on Machine Learning , 2001）一文介绍了可将条件释然性最大化的马尔可夫网络。

Jon Williamson和Dov Gabbay主编的Journal of Applied Logic 2003年的一期特刊探索了试图将概率与逻辑结合起来的历史。Michael Wellman、John Breese和Robert Goldman的“From Knowledge bases to decision models”*（Knowledge Engineering Review , 1992）一文讨论了早期一些解决该问题的智能方法。

第七章

Frank Abagnale在和Stan Redding一起创作的自传Catch Me If You Can （Grosset& Dunlap, 1980）中详细描述了他的英勇事迹。Evelyn Fix和Joe Hodges最初关于最近邻算法的技术报告是“Discriminatory analysis: Nonparametric discrimination: Consistency properties”*（USAF School of Aviation Medicine, 1951）。Belur Dasarathy主编的Nearest Neighbor (NN) Norms*收录了许多该领域中的重要论文。Chris Atkeson、Andrew Moore和Stefan Schaal的“Locally weighted learning”（Artificial Intelligence Review , 1997）一文探索了局部线性回归。Paul Resnick等人的“GroupLens: An open architecture for collaborative filtering of netnews”*（Proceedings of the 1994 ACM Conference on Computer-Supported Cooperative Work , 1994）一文介绍了基于最近邻的首个协同过滤系统。Greg Linden、Brent Smith和Jeremy York的“Amazon.com recommendations: Item–to–item collaborative filtering”*（IEEE Internet Computing , 2003）一文介绍了亚马逊的协同过滤系统（参见第八章网飞的延伸阅读部分）。Mayer–Schonberger和Cukier的Big Data 以及Siegel的Predictive Analysis （之前引用过）引用了推荐系统对于亚马逊和网飞销售业绩的贡献。1967年，Tom Cover和Peter Hart写了一篇关于最近邻的误差率的文章——“Nearest neighbor pattern classification”*（IEEE Transactions on Information Theory ）。

Trevor Hastie、Rob Tibshirani和Jerry Friedman的The Elements of Statistical Learning *（2nd ed., Springer, 2009）的2.5部分讨论了维数灾难。Ron Kohavi和George John的“Wrappers for feature subset selection”*（Artificial Intelligence , 1997）一文对比了属性选择方法。David Lowe的“Similarity metric learning for a variable–kernel classifier”*（Neural Computation , 1995）就是一个特征赋权算法的例子。

Nello Cristianini和Bernhard Schokopf的“Support vector machines and kernel methods: The new generation of learning machines”（AI Magazine , 2002）一文在很大程度上运用了非数学的方法来介绍支持向量机。Bernhard Boser、Isabel Guyon和Vladimir Vapnik的“A training algorithm for optimal margin classifiers”*（Proceedings of the Fifth Annual Workshop on Computational Learning Theory , 1992）。Thorsten Joachims的“Text categorization with support vector machines”（Proceedings of the Tenth European Conference on Machine Learning , 1998）是第一篇将支持向量机运用到文本分类中的论文。Nello Cristianini和John Shawe–Taylor的An Introduction to Support Vector Machine （Cambridge University Press, 2000）一书中的第五章在支持向量机的背景下简要介绍了约束优化。

Janet Kolodner的Case–Based Reasoning *（Morgan Kaufmann, 1993）是该主题的教材。Evangelos Simoudis的“Using case–based retrieval for customer technical support”*（IEEE Export , 1992）一文揭示了它在求助台中的运用。“Rise of the software machines”（Economist , 2013）及其公司的主页上介绍了正畸诊疗软件的Eliza。Kevin Ashley在Modeling Legal Argument *（MIT Press, 1991）中探索了基于案例的法律推理。David Cope在“Recombinant music: Using the computer to explore musical style”（IEEE Computer , 1991）一文中总结了他用于进行自行音乐创作的方法。Dedre Gentner在“Structure mapping: A theoretical framework for analogy”*（Cognitive Science , 1983）一文中提出了构造图。James Somers的“The man who would teach machines to think”（Atlantic, 2013）讨论了道格拉斯·霍夫斯泰特对于人工智能的看法。

我的文章“Unifying instance–based and rule–based inducton”*（Machine Learning , 1996）介绍了RISE算法。

第八章

Alison Gopnik、Andy Meltzoff和Pat Kuhl的The Scientist in the Crib （Harper, 1999）一书总结了心理学家关于儿童如何进行学习的发现。

1957年，Stuart Lloyd在贝尔实验室的一篇技术报告“Least squares quantizataion in PCM”*（最后以一篇论文的形式出现在1992年的IEEE Transactions on Information Theory ）中，k均值聚类算法首次被提出。关于最大期望算法的原文是Arthur Dempster、Nan Laird和Donald Rubin的“Maximum likelihood from incomplete data via the EM algorithm”*（Journal of the Royal Statistical Society B , 1977）。Leonard Kaufman和Peter Rousseeuw的Finding Groups in Data: An Introduction to Cluster Analysis *（Wiley，1990）介绍了分级聚类及其他方法。

Kar Pearson在1901年的一篇名为“On lines and planes of closets fit to systems of points in space”*（Philosophical Magazine ）的文章中提出，pricipal–component analysis是机器学习及统计中最古老的技术。Scott Deerwester等人的文章“Indexing by latent semantic analysis”*（Journal of the American Society for Information Science , 1990）介绍了用于给SAT作文打分的一种降维方法。Yehuda Koren、Robert Bell和Chris Volinsky在“Matrix factorization techniques for recommender systems”*（IEEE Computer , 2009）中解释网飞式协同过滤系统如何运行。Tenenbaum、Vin de Silva和John Langford的“A global geometric framework for nonlinear dimensionality reduction”*（Science, 2000）介绍了Isomap算法。

Rich Sutton和Andy Barto的Reinforcement Learning: An Introduction *（MIT Press, 1998）一书是该主题的标准教材。Marcus Hutter的Universal Artificial Intelligence *（Springer, 2005）尝试对加强学习进行理论上的总结。“Some studies in machine learning using the game of checkers”*（IBM Journall of Research and Development , 1959）一文介绍了Arthur Samuel关于学习如何下国际象棋的开创性研究，这篇文章也是“机器学习”这个术语最早出现的印刷品之一。Chris Watkins对于强化学习问题的构想也出现在他的博士论文Learning from Delayed Rewards *（Cambridge University, 1989）中。Voloydymyr Mnih等人的“Human–level control through deep reinforcement learning”*（Nature , 2015）一文介绍了DeepMind用于视频游戏的强化学习算法。

在“A cognitive odyssey: From the power law of practice to a general learning mechanism and beyond”（Tutorials in Quantitative Methods for Psychology , 2006）一文中重述了组块的发展。A/B测试和其他在线实验技术在Ron Kohavi、Randal Henne和Dan Sommerfield的“Practical guide to controlled experiments on the Web: Listen to your customers not to the HiPPO”*（Proceedings of the Thirteenth International Conference on Knowledge Discovery and Data Mining , 2007）一文得到了解释。Eric Siegel的Predictive Analytics （Wiley, 2013）一书第七章的主题就是隆起建模，即对A/B测试的多维度概括。

Lise Getoor和Ben Tasker编辑的Introduction to Statistical Relational Learning *（MIT Press, 2007）一书探索了这个领域的主要方法。“Mining social networks for viral marketing”（IEEE Intelligent Systems , 2005）是我和Matt Richardson关于模拟口头语的文章。

第九章

Zhi–Hua Zhou的Model Ensembles: Foundations and Algorithms *（Chapman and Hall, 2012）对元学习进行了介绍。关于堆叠的最早文章是David Wolpert的“Stacked generalization”*（Neural Networks , 1992）。Leo Breiman在“Bagging predicts”*（Machine Learning , 1996）中介绍了装袋预测法，在“Random forests”*（MchineLearing , 2001）介绍了随机森林法。Yoav Freund和Rob Schapire的“Experiment with a new boosting algorithm”（Proceedings of the Thirteenth International Conference on Machine Learning , 1996）一文介绍了助推法。

Anil Ananthaswamy的“I, Algorithm”（New Scientist, 2011）记录了在人工智能中将逻辑与概率结合起来的方法。我和Daniel Lowd一起合写的Markov Logic: An Interface Layer for Artificial Intelligence *（Morgan & Claypool, 2009）一书是对马尔可夫逻辑网络的介绍。Alchemy网站http://alchemy.cs.washington.edu也包含教程、录像、MLN、数据集、刊物和其他系统的指示器等。Jue Wang和Pedro Domingos的“Hybrid Markov logic works”*（Proceedings of the Twenty-Third AAAI Conference on Artificial Intelligence , 2008）一文介绍了MLN在DARPA的PAL项目中的用途。Stanley Kok和Pedro Domingos的“Extracting semantic networks from text via relational clustering”*（Procedings of the Nineteenth European Conference on Machine Learning , 2008）一文介绍了我们如何运用MLN从网站上获取语义网络。

在Mathias Niepert和Pedro Domingos的“Learning and inference in tractable probabilistic knowledge bases”*（Proceedings of the Thirty-first Conference on Uncertainty in Artificial Intelligence , 2015）一文介绍了带有类层次和部件结构的有效MLN。Jeff Dean等人的“Large–scale distributed deep networks”*（Advances in Neural Information Processing Systems 25 , 2012）一文介绍了谷歌的并行梯度下降算法。Pedro Domingos和Geoff Hulten的“A general framework for mining massive data streams”*（Journal of Computional and Graphical Statistics , 2003）一文总结了我们用于掌握开放式数据流的取样方法。David Weinberger所写“The machine that would predict the future”（Scientific American , 2011）的主题是The FuturICT项目。

“Cancer: The march on malignancy”（Nature supplement, 2014）一文介绍了目前对抗癌症的情况。Chris Edwards的“Using patient data for personalized cancer treatments”（Communications of the ACM , 2014）一文介绍了有可能会发展为CaneRx的早期情况。Markus Covert的“Simulating a living cell”（Scientific American , 2014）解释了他的团队如何构建整个感染细菌的计算机模型。Antonio Regalado的“Breakthrough Technologies 2015: Internet of DNA”（MIT Technology Review , 2015）总结了全球基因组学与健康联盟的工作。Jay Tenenbaum和Jeff Shrager的“Cancer: A Computational Disease that AI Can Cure”（AI Magazine , 2011）一文介绍了常见的癌症。

第十章

Kevin Poulsen的“Love, acturaially”（Wired ，2014）介绍了一个人怎样通过机器学习来在OkOcupid约会网站上寻找爱情。Christian Rudder的Dataclysm （Crown, 2014）挖掘了OkCupid的数据，用于各式各样的想法。Gordon Moore和Jim Gemmell的Total Recall （Dutton, 2009）一书探索了对我们所做的一切进行数字化记录的启示。Patrick Tucker的The Naked Future（Current，2014）探索了在我们的世界中，进行预测时对数据的使用及滥用。在“Privacy pragmatism”（Foreign Affairs , 2014）一文中，Craig Mundie支持在收集和利用数据时使用均衡法。Erik Brynjolfsson和Andrew McAfee的The Second Machine Age （Norton，2014）讨论了人工智能的进步会对未来的工作及经济造成的影响。Chris Baraniuk的“World War R”（New Scientist , 2014）总结了围绕能否在战争中使用机器人的辩论。Stephen Hawking等人的“Transcending complacency on superintelligent machines”（Huffington Post , 2014）一文提出当下正是担心人工智能危机的时候。Nick Bostrom的Superintelligence （Oxford University Press, 2014）一书提到了一些危险，并说明应该怎样应对这些危险。

Richard Hawking的A Brief History of Life （Random Penguin, 1982）一书总结了计算机出现之前的量子跳跃。Ray Kurzweil的The Singularity Is Near （Penguin, 2005）可带领我们进入“超人类”未来。在Radical Evolution （Broadway Books , 2005）中，Joel Garreau就人类指向的进化在Radical Evolution （Broadway Books, 2005）中如何展现设想了三个不同的情景。在What Technology Wants （Penguin, 2010）中，Kevin Kelly提出技术就是以其他方式来对进化进行延续。George Dyson的Darwin Among the Machine （Basic Books, 1997）一书回顾了技术的发展史，并设想技术将会把我们带往何处。在Life at the Speed of Light （Viking，2013）一书中，Craig Venter解释了他的团队如何合成活细胞。

图书在版编目（CIP）数据

终极算法：机器学习和人工智能如何重塑世界 / （美）佩德罗·多明戈斯著；黄芳萍译. -- 北京：中信出版社，2017.1

书名原文：The Master Algorithm:How the Quest for the Ultimate Learning Machine Will Remake Our World

ISBN 978-7-5086-6867-3

I. ①终… II. ①佩… ②黄… III. ①机器学习－研究②人工智能－研究 IV. ①TP18

中国版本图书馆CIP数据核字（2016）第256013号

终极算法：机器学习和人工智能如何重塑世界

著者：[美]佩德罗·多明戈斯

译者：黄芳萍

出版发行：中信出版集团股份有限公司

（北京市朝阳区惠新东街甲4号富盛大厦2座 邮编100029）

电子书排版：张明霞

中信出版社官网：http://www.citicpub.com/

官方微博：http://weibo.com/citicpub

更多好书，尽在大布阅读 ;

大布阅读：App下载地址 （中信电子书直销平台）

微信号：大布阅读

【更多得到系列图书和订阅专栏分享微信：boksharer，本书仅供学习，请勿他用】