这页说统计学及其在人工智能的应用特别是最近出现的一类机器学习理论-统计学习、也介绍统计学的一些名家和名著(可参考与海南琼大母校有渊源的几个当今最伟大统计学大师等的统计学网,因此统计学习也已在人工智能占居很重要的位置,并早就结合几何发展出“信息几何”,还可参考这个建立在随机图随机过程基础上的十几个相关领域)。下面先说我读过并现在身边仍有的3统计学习的世界经典名著:

统计学及其在人工智能的应用最先较有影响的William A. Gale主持主编1986年的Artificial Intelligence and Statistics人工智能与统计学”-并有Lyna L. Wiggins对这书的评论Thomas C. CierzynskiJürgen Läuter对这书的评论YoshioTakane对这书的评论等;1990年的2届会议David J. Hand主持的论文集“Annals of Mathematics and Artificial Intelligence”;1991年的3届会议William DuMouchel主持;第4届论文集“Selecting Models from Data”。

最近出版不少统计学习方面的著作:1The Nature of Statistical Learning Theory统计学习理论的本质》,1995作者Vladimir N. Vapnik弗拉基米尔·万普尼克(这领域由Vapnik万普尼克建立的一套机器学习理论发展而成,其使用统计的方法,有别于归纳学习等其它机器学习方法)2Vapnik万普尼克在1998年又出版更全面详尽的736Statistical Learning Theory统计学习理论》巨著

3斯坦福大学这3个已当选美国国家科学院院士Trevor HastieRobert TibshiraniJerome Friedman合撰统计学习基础:数据挖掘、推理与预测》(此书以统计学为工具对“数据挖掘”为主题展开探索就如内容简介说“对于统计学相关人员、科学界和业界关注数据挖掘的人,本书值得一读”。我也攻读的这里第2段高度评价海南琼州大学的中国常务主席的学生撰写2001年中文版《数据挖掘:概念与技术》就是主要建立在统计学理论之上的学科领域著作)。下面先简介这3个斯坦福大学作者:

1作者Trevor Hastie2个华人博士Ji Zhu朱冀教授和Hui Zou邹晖教授同在2015年新晋数理统计学会(IMS)会士名单其中有五位华人教授(还有Yaozhong HuMing Yuan-哥伦比亚大学Tong Zhang-即曾在多个著名公司的张潼教授-图非凸优化中,他提出了用于高斯图模型中的最优估计的图非凸优化

2作者Robert Tibshirani指导的也同获统计学诺贝尔奖博士Larry Alan Wasserman写了知名的《统计学完全教程-还有《现代非参数统计》是由北大毕业的吴喜之翻译

3作者Jerome Friedman和伯克利Leo Breiman院士、Charles Joel Stone以及斯坦福Richard Allen Olshen合撰《Classification and Regression Trees

(最近统计学习已成为机器学习甚至人工智能的中心,如有诺贝尔奖得主说“人工智能其实就是统计学-即这斯坦福大学的诺贝尔经济学奖获得者 Thomas Sargent托马斯·萨金特认为“人工智能发展到今天,并没有脱离统计学的范畴,根本不算什么科学领域的新突破,甚至于人工智能的大多数技术的突破都是基于过去二三十年统计学的进步”。也附上面三个斯坦福大学作者的这书课程视频-即前2Trevor HastieRobert Tibshirani主讲的统计学习公开课视频。这诺贝尔奖得主所说或有些偏颇但也不无道理,如几乎所有机器学习国内外书籍的多数内容都讲与统计学习有关的理论知识,就如已如陆汝钤院士所说“在二十世纪80年代的时候,符号学习可能还是机器学习的主流,而自二十世纪90年代以来,就一直是统计机器学习的天下了其中的Robert Tibshirani1996提出的LASSO方法已是最近20年里统计学习领域的研究热点之一,如提出它的论文“Regression shrinkage and selection via the lasso. J. Roy. Statist. Soc. Ser. B 58 (1996), 1, 267–288的谷歌学术引用次数已超过1万3千次其后结合图论的Graphical LASSO就如Bo Chang以及Xiaohui Chen只提到上面书的3个作者Jerome FriedmanTrevor HastieRobert Tibshirani的这论文Sparse inverse covariance estimation with the graphical lasso”,以及Tibshirani的博士Wenjiang Fu的这论文这个诺贝尔奖得主Nicolai Meinshausen和其导师的论文,其实上面哥伦比亚Ming Yuan等对此也起重要作用

 

下面介绍统计学的一些名家和名著:

斯坦福大学

除了上面3美国科学院院士及其书籍外,还有

1985年当选美国科学院院士的斯坦福大学Bradley Efron,最近他做客许宝騄(丘成桐主持的清华统计学方面)讲座首场Bradley Efron也是上面Robert Tibshirani的博士导师并有许多世界名著:

Bradley EfronTrevor Hastie最近合撰并已变得非常著名的《Computer-Age Statistical Inference -豆丁下载- 文档下载-

Bradley Efron还独撰《Large-Scale Inference: Empirical Bayes Methods for Estimation, Testing, and Prediction-文档下载-道客下载

Bradley Efron 和他的博士Robert Tibshirani也早合撰《An Introduction to the Bootstrap-文档下载-这基于1979Bradley Efron自己在后附论文中提出并现已在很多学科领域都有重要应用的Bootstrap,即Efron 教授在总结前人研究成果的基础上提出来的一种新的统计分析方法,它是比经典统计法更优的非Bayes方法。这种方法的特点是直接利用样本数据, 借助于近代计算技术, 进行统计推断。而对于总体的分布, 可以不作任何假定。Bradley EfronBootstrap methods: another look at the jackknife, Ann. Statist.7 (1979), no. 1, 1--26.刚见Bradley Efron在最近的2005年获得美国国家科学奖章

Bradley Efron的师爷Samuel Karlin也早在1973年当选美国科学院院士1989年获美国国家科学奖章,他撰写的几本世界名著我都购买-不过它们都是随机过程方面的,上面合撰《分类与回归树》的Charles Joel Stone是他的博士。

Theodore Anderson, Jr.也是斯坦福统计学系前辈大师-如他1976年当选美国国家科学院院士、并1950年已是国际数理统计学会主席等等

David Donoho是斯坦福大学统计系教授,美国国家科学院与美国科学艺术研究院院士,最近获得奖金120万美元的2013邵逸夫数学科学奖

还有Persi Diaconis,斯坦福大学统计系著名教授,美国国家科学院院士并在组合数学杂志发表许多论文,他的书似乎少了点但他和David Aldous院士、台湾哈密顿图领袖人物徐力行的导师Joel Spencer、组合数学博士 J. Michael Steele教授合编的《Discrete Probability and Algorithms》有11篇他写2--他的奇闻也很多

David O.Siegmund,斯坦福大学统计系著名教授(他的导师是开创随机迫近Robbins-Monro算法Herbert Ellis Robbins

Herman Chernoff,斯坦福大学和哈佛大学统计系著名教授和该系Lincoln E. Moses合撰《Elementary decision theory基本决策理论》(他俩分别是Abraham Wald的博士和另一博士的高徒,再另一博士Charles M. Stein也是该系教授

David Everett Rumelhart(下面伯克利分校三院院士Michael I. Jordan的导师)在人工智能机器学习等做出许多重要开拓工作,他从斯坦福大学统计系博士毕业,后半生又回到斯坦福统计系并1991年当选美国国家科学院院士

Wing-Hung Wong王永雄(他也有一个华人里很著名的统计学博士-就是下面哈佛大学刘军教授-或看这里-但也可知国内与国外统计学仍有太大的差距王永雄教授现是斯坦福大学统计系著名教授,美国国家科学院院士

Tze Leung Lai 黎子良(他是华人首个统计学诺贝尔奖考普斯总统奖获得者,但浙江大学吴朝晖校长会见、中国统计重镇西南财经大学校长颁发聘书、西南交通大学校长会见等等这些正校长的会见中都报道说他是美国科学院院士-可这似乎不实吧--如可看这里、斯坦福大学统计学以及医学网也有简历等):据说2004 年吴建福教授Chien-Fu Jeff Wu当选美国国家工程院院士-这是华人统计学者当选主流国家院士第一人?

这里已附几本比较常用的统计学习的世界名著,这因机器学习的很多领域与统计学密切相关,也附相关的概率论随机过程粒子系统网页、以及随机过程海浪理论网页、也可参看随机图论、以及这里说的我读研时曹汝成教授亲手交给我研读的765《有限型动态规划-它的第九章是概率、第十章是随机型多阶段决策问题、第十一章是有限型Markov链与有限型Markov决策链这3章共200页涉及统计学很多领域特别是统计决策,等等

 

哈佛大学:

Frederick Mosteller(我早就有他和他的导师John Wilder Tukey以及其师弟David C. Hoaglin合编的世界名著《探索性数据分析》译者陈忠琏1964年的这篇论文是做组合数学-用统计方法去处理,陈忠琏还写书评或称导读,此书英文名是《Understanding Robust and Exploratory Data Analysis-但译者序已解释为啥不称“理解稳健探索性数据分析”,可惜译者写著而不分AuthorEditor而使我被骗-且除了他仨合写第9章外其余章是由David C. HoaglinJohn David EmersonColin Robert GoodallJames L. RosenbergerBoris Iglewicz撰写的;他仨还合编《Fundamentals of Exploratory Analysis of Variance方差》-有文档下载-道客下载就行;而《Beginning Statistics with Data Analysis-道客下载-才是Frederick Mosteller和他的博士Stephen E. Fienberg等合写的)

Frederick Mosteller20世纪最有影响力的统计学家之一,哈佛大学统计系创始人,美国国家科学院、美国艺术和科学院院士与美国哲学会院士。

William G. Cochran

后半生是哈佛大学统计系教授,美国国家科学院、美国艺术和科学院院士,曾任数理统计学会主席、美国统计协会主席、生物统计学会主席、国际统计学会主席等职,独撰《抽样技术》-微盘下载,由张尧庭等译,合撰《统计方法》

Donald B. Rubin(上面William G. Cochran的博士哈佛院长孟晓犁的导师刚加盟为清华大学丘成桐数学中心教授

他是哈佛大学统计系教授,美国国家科学院、美国艺术和科学院院士。独撰《Matched Sampling for Causal Effects因果效应的匹配抽样》文档下载-道客下载,还和他的博士生Andrew Gelman等合撰《Bayesian Data Analysis贝叶斯数据分析》

Herman Chernoff

他是哈佛大学统计系教授,美国国家科学院、美国艺术和科学院院士。他和Lincoln E. Moses合撰《Elementary Decision Theory》道客下载-文档下载

Alan Zaslavsky(他的导师是上面Donald B. Rubin

他是哈佛大学统计系教授,美国国家科学院院士。

Arthur P. Dempster(他的导师是图基)

他是哈佛大学统计系教授,美国艺术和科学院院士。

哈佛也有一些知名的华人统计学家如Donald B. Rubin的博士孟晓犁以及刘军、人才“魔术师”蔡笑晚1977年出生的女儿蔡天西Tianxi Cai教授等。

 

伯克利分校:

Jerzy Neyman

随着他来到美国和加州大学伯克利分校并通过多年的努力,从而使伯克利统计研究成为世界领导中心之一,如此他荣获美国科学院院士、美国国家科学奖章、英国皇家学会院士等,

Lucien Marie Le Cam

他是加州大学伯克利分校统计系教授,美国国家科学院院士,他独撰《Asymptotic Methods in Statistical Decision Theory统计决策理论中的渐近方法》,并合撰Asymptotics in Statistics统计学中的渐近性》

Peter BickelChien-Fu Jeff Wu吴建福Jianqing Fan范剑青的博士导师。Bickel和师弟Doksum合撰《数理统计:基本思想和选题》,第1卷文档下载

Peter Bickel是加州大学伯克利分校统计系教授,美国国家科学院院士与美国科学艺术研究院院士,伯努利学会与数理统计学会前主席,获麦克阿瑟奖、有统计界的诺贝尔奖之称的COPSS奖等。

Michael I. Jordan(最近2015年给学生开组合数学与离散概率论,是当前在世界上很活跃很受推崇的人工智能、机器学习大师,他编著《Learning in Graphical Models》,其后又和随机图论博士Martin J. Wainwright合撰《Graphical Models, Exponential Families, and Variational Inference

Michael I. Jordan是加州大学伯克利分校电子工程与计算机科学系、统计系教授美国国家科学院院士、美国工程院院士与美国艺术和科学院院士,

David Blackwell

他是加州大学伯克利分校统计系教授,1965年当选美国国家科学院院士,美国和国际统计学会都当过副主席,和Meyer A. Girshick合撰《Theory of Games and Statistical Decisions博弈论与统计决策》

Leo Goodman(他的导师是John Wilder Tukey

他是加州大学伯克利分校社会学系与统计系教授,美国国家科学院、美国艺术和科学院院士与美国哲学会院士。

David Aldous(上面已说他为第一主编和概率组合大师Persi Diaconis院士、台湾哈密顿图领袖人物徐力行的导师Joel Spencer、组合数学博士 J. Michael Steele教授合编的《Discrete Probability and Algorithms》,他还和随机图论大师Geoffrey Grimmett院士等合撰《Probability on Discrete Structures》,以及和上面斯坦福的Persi Diaconis指导的组合数学与概率论博士Robin Pemantle合编《Random Discrete Structures》)

他是加州大学伯克利统计系教授,美国国家科学院外籍院士和英国皇家学会院士。

几年前刚逝世Leo Breiman也是加州大学伯克利统计系教授,美国国家科学院、美国科学艺术研究院院士并合撰《Classification and Regression Trees》(我的导师是Michel Loève说“你最好全部课程都得A,不然我会把你从窗户扔出去

加州大学伯克利统计系教授、美国科学院院士David Freedman和其学生Robert Pisani及上面David Blackwell的学生Roger Alexander Purves合撰的《统计学》由1941年获UI博士的魏宗舒、施锡铨等翻译吴喜之校(吴喜之写了很多统计学方面的书籍并翻译这David Freedman的《统计模型

David Brillinger加州大学伯克利统计系教授、美国艺术和科学院院士,他的学生,John A. Rice撰写《Mathematical Statistics and Data Analysis版数理统计与数据分析》

Bin Yu郁彬,加州大学伯克利分校统计系教授,美国国家科学院、美国艺术和科学院院士(她的导师之一Terence Paul Speed培养了这么多统计学人才仍不是美国的任何一个国家级院士-仅是澳洲科学院院士)

多年来至最近的统计学专业排名几乎都是由上面斯坦福、伯克利和哈佛3个大学包揽前3名,当然以前剑桥、牛津曾有很厉害的一些统计大师的,正如普林斯顿大学曾有John Tukey等但现在的统计学已落人后

上面斯坦福等统计学系的美国国家科学院院士就如此之多,可知这学科之广之重要,其它大学的院士也少不了,如华盛顿大学统计系的除了下面几个,其余就不用列举了。此外,下面也只说和上面相关的:

Adrian E. Raftery

他是华盛顿大学统计系教授,美国国家科学院院士与美国艺术和科学院院士

Elizabeth A. Thompson

她是华盛顿大学统计系教授,美国国家科学院院士与美国艺术和科学院院士

Norman Breslow(导师是Bradley Efron

他是华盛顿大学统计系教授,美国国家科学医学院院士、英国皇家统计学会院士,哈佛大学林希虹教授是他的博士。

Webb Miller(师爷是Oswald Veblen

他是宾夕法尼亚州立大学生物、计算机科学与工程的退休教授,生物资讯领域的BLAST算法作者之一,《时代》2009年最有影响力的100人。
Grace Wahba
(斯坦福统计系博士,也是上面斯坦福统计系王永雄院士的导师)

他是威斯康星大学麦迪逊分校统计系教授,美国国家科学院与美国艺术和科学院院士

Ronald Thisted(导师是Bradley Efron            

他是芝加哥大学统计系教授。

Donald Andrews(导师是Peter Bickel

他是耶鲁大学统计系教授,美国艺术和科学院院士

Bruce Lindsay(师爷是Bradley Efron

他是宾夕法尼亚州立大学统计系杰出教授,获费雪报告奖

Lawrence Brown(他的博士有蔡天文等)

他是宾夕法尼亚大学沃顿商学院统计教授,美国国家科学院与美国艺术和科学院院士,美国统计协会与数理统计学会成员。他的博士James O. Berger写了很著名的《Statistical Decision Theory and Bayesian Analysis统计决策论及贝叶斯分析》文档下载-微盘下载-

 

虽然华人统计学家当选美国科学院院士的很少,但却是统计学诺贝尔奖考普斯总统奖得主的大户,直到2012年的32个获奖人中华人已有9人获奖-即除了上面说到过的黎子良,吴建福,王永雄,范剑青,孟晓犁,刘军,林希虹,还有下面2人:

T. Tony (Tianwen) Cai蔡天文-他的父亲是人才“魔术师”蔡笑晚。

他是宾夕法尼亚州立大学统计系杰出教授,

S. C. Samuel (Shingchang) Kou寇星昌(导师是Bradley Efron  

1993年考入北京大学数学系本科,现任哈佛大学统计系主任

除华人外,下面依次是2000年前的考普斯总统奖获得者,2000年前的得主仅有5人后来当上美国科学院院士,即这5个院士当时也仅是小教授,可见统计学这么小的学科的诺贝尔奖还是不要过分宣染(不过-还是可看出统计学的中心早就绝对在美国):

Peter Bickel

Stephen Elliott Fienberg

David. Hinkley

James O. Berger

Ross L. Prentice

Raymond J. Carroll

Peter Hall,澳大利亚

Peter McCullagh

Bernard Silverman,英国

Nancy Reid

David Donoho

Iain M. Johnstone

Robert Tibshirani

Kathryn Roeder

Pascal Massart,法国

Larry A. Wasserman

:关于上面斯坦福的2个作者中Robert Tibshirani1996提出的LASSO方法已是最近20年里统计学习领域的研究热点之一,如该文“Regression shrinkage and selection via the lasso. J. Roy. Statist. Soc. Ser. B 58 (1996), no. 1, 267–288.的谷歌学术引用次数已超过13千次。其后在简介Graphical lasso的概述如Bo ChangXiaohui Chen都提关键是写上面书的3个作者Jerome FriedmanTrevor HastieRobert Tibshirani的论文Sparse inverse covariance estimation with the graphical lasso”,以及Tibshirani的博士Wenjiang Fu博士的这论文和这个诺贝尔奖得主Nicolai Felix Meinshausen和其导师的论文。全称Least absolute shrinkage and selection operator。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型,使得它压缩一些回归系数,即强制系数绝对值之和小于某个固定值;同时设定一些回归系数为零。因此保留了子集收缩的优点,是一种处理具有复共线性数据的有偏估计。。为了同时进行参数估计和变量选取 , Tibishirani综合了岭回归和子集选取,1996提出了 LASSO 法“正则化稀疏模型”、“基于ArctanLASSO的参数估计和变量选取”、“广义线性模型组LASSO路径算法”。《稀疏统计学习及其应用》“本书就稀疏性统计学习做出总结, lasso方法为中心,层层推进,逐渐囊括其他方法,深入探讨诸多稀疏性问题的求解和应用”。Tibshirani(1996)提出Lasso方法之前的变量选择方法高引论文Gideon E. Schwarz的“Estimating the dimension of a model. Ann. Statist. 6 (1978), no. 2, 461–464. 谷歌学术引用次数已超过2万次 Tibshirani1996)提出Lasso方法之后的变量选择方法高引论文Bradley Efron, Trevor Hastie, Iain Johnstone, Robert Tibshirani的“Least angle regression. With discussion, and a rejoinder by the authors. Ann. Statist. 32 (2004), no. 2, 407—499谷歌学术引用次数超过5千次

 

至于国内统计学教材,如基础部分的,可能陈希孺院士的《数理统计引论》更受重视--但回归、多元分析、时间序列、抽样等各主要分支的专著教材还是读国外的为好。有空也可结合参看如上面哈佛大学蔡天西教授的师爷Stephen Mack Stigler(其父亲是诺贝尔奖得主George J. Stigler)的《计学七支柱》等一些大师级统计学家撰写的著名通俗书籍,统计与组合分析学家C.R.撰写的《计与真理由李竹渝译和《线性统计推断及其应用》由张燮等译是2本很著名的著作-前者是很好的学科思想导读书,我也购买世界第一名师的博士统计学家约翰·图基和他的2个博士HoaglinMosteller合编的统计学名著《探索性数据分析》以及数据分析与回归》高级课程)David A. Freedman合撰Statistics并独撰Statistical Models Theory and Practice》和《Statistical Models and Causal Inference等也已成名著-他还写了很多随机过程方面的书籍。:计学家以及统计之都(Capital of Statistics)