这页主要简介信息几何(Information geometry,它是统计学与微分几何相结合的学科--特别是统计学的“试验设计”-它在以前还几乎等同评审推荐2个专家获得国内和国外最高奖-而可称中国第一人钟集先生的“组合设计”就如刘炯朗校长的《组合数学导论》1987年中文版的序说到“试验设计(第十四章)”而其目录第十四章标题写“组合设计”--而中国组合设计第一人是海南琼州大学的导师钟集先生,如可参考钟集教授的“完备正交表的唯一性”等开创性论文)。
其实我们研究室更为中国这学科最先的根据地-如点击广东省志“第十三章数学”见在某些数学领域也很好的中山大学等都只是成立自己的研究机构而华南师范大学成立中国第一个组合数学研究室进而促进办《东南亚数学学报》或见这页(其中也说到海南琼大的师爷的成为国务院批准的广东省第一个博士生导师的学生梁之舜教授、中大李岳生校长并我都有他俩的全部撰译著),并这“第一室”其后又成为中国第一个由“诺贝尔奖”得主担任领导的机构、还如这页要介绍的‘信息几何就是海南琼州大学的中国第一个组合数学研究室的客座教授C.
R. Rao发表于1945年的论文中提出利用微分几何来研究概率模型进而创建的’(关于我们的这客座教授-在历史上最受关注的数学家中C. R. Rao位居165,而信息论创始人Shannon仅192、他后193的 Al-Battani是约850年出生的天文学家--当然这200人中物理的有:牛顿、爱因斯坦、霍金、伽利略、开普勒、普朗克、费曼、薛定谔、安培、法拉第、多普勒、狄拉克、威廉·汤姆森、玻尔、海森堡,哲学的:柏拉图、亚里士多德、芝诺,经济学的凯恩斯,计算机的有现代哈密顿图先驱Ore的2个博士Donald Knuth、Grace Hopper以及图灵和Babbage等,并这“最受欢迎的传记”200人中的全球华人也只有Tao陶哲轩和魏晋时期的Liu Hui刘徽分居49和161)。C. R. Rao独立指导的博士论文做极值图论的U. S. R. Murty就是写出我们学科图论的在世界各国都是第一用书《图论及其应用》的世界著名图论专家[并且U. S. R. Murty的博士William J. Cook是旅行商问题的世界权威专家并是最近独撰《迷茫的旅行商》的美国工程院院士--这旅行商问题就是最小带权的海南琼州大学曾在其中一般图居世界领先的哈密顿圈图问题-就如William J. Cook等4个世界大师合撰的《组合优化》第七章说“旅行商问题是求解最小哈密顿圈”--当然该问题的至高地位就如在这《组合优化》最先的第一章的全部习题都已是旅行商问题的],独立指导这世界级组合数学博士Murty [以前的图论也属于组合数学]的C. R. Rao大师做为组合数学分析专家而成为我们海南琼大的中国第一个组合数学研究室客座教授也是因组合数学与统计学的诸多交融。其与我们的交汇还如我们海南琼州大学不仅读C. R. Rao的下面韦博成教授的世界第一本“信息几何”主要参的他的书-特别是这里的他的矩阵论世界名著更是我们学科各国人人必读的世界经典-而我也还读C. R. Rao大师的学生即居于联合国副秘书长之前的中国侨联第一副主席古华民老师的《应用统计方法》-我读研究生时古老师还是系里的老师并我们的中国第一个组合数学研究室的第一主攻领域是“组合设计”-这也就是古华民教授一直从事研究的“试验设计”。当然也有象C. R. Rao独立指导的博士S. R. S. Varadhan更是第5个诺贝尔奖阿贝尔奖得主。此外,统计学的重要领域-“实验设计(也叫试验设计)”再看它的内容就知道这个统计学几乎就是我们组合数学的“组合设计”领域-并这学科就是我们研究室的客座教授C. R. Rao的导师Ronald Fisher(即罗纳德·费希尔-现代统计学奠基人)开创的即如这里说“费希尔于1923年与W.A.梅克齐合作发表了第一个实验设计的实例,1926年提出了实验设计的基本思想,1935年出版了他的名著《实验设计法》”而且“试验设计”很多方向也是海南琼州大学的导师钟集先生做为中国第一先驱宗师的“组合设计”的内容-还就如C. R. Rao的这篇1947年的论文以及C. R. Rao的同乡发表于1942年的论文等所说;也如Henry B. Mann的名著《试验的分析与设计》的很大部分内容是我们的“组合设计”的并Mann这书说其是从数学的系统性和深度上主要诠译C. R. Rao的导师Ronald A. Fisher的统计学名著《The Design of Experiments》(因这书的主要内容有我们的“组合设计”如此我也有这本统计学世界名著[当然试验设计的内容较之以前已有不小变化。不论如何,试验设计是在很多方面都有重要作用的数理统计的重要分支,这也许而上面古华民主席的研究专长、著作和论文也主要是“试验设计”以及这里也见我们研究室钟、曾、黄等很多大师名师在1980年以前就已在它大有建树;也如刚在2004年出版的《六西格玛(6σ)过程改进技术》所说“试验设计是质量改进的主要工具”并其主要内容就是试验设计且其作用就如其说“本书适合作为六西格玛(6σ)管理的黑带、绿带的培训教材”,我也常看看更早些出版的中国质量协会副会长唐晓芬指导这里的第5批研究生用书作者茆诗松教授为首周纪芗王金德等参加撰写的《六西格玛核心教程》-黑带读本等。当然,组合数学图论除了与试验设计有诸多交融外,还在这类经济质量管理等的其它许多领域也起很多作用]。不仅“组合设计”与统计学有诸多交融、还就如1939年出生的我们全国第一个组合数学研究室另一矢志不移仍不言休的老前辈黄番华老师2000年以来的多篇论文全是做组合数学2大领域中的另一个“组合计数”与统计学交融的工作,如此,还有最能代表Ronald A. Fisher这现代统计学奠基人的最成熟时期的最深刻洞察禅悟成就的《统计方法和科学推断》以及他的最早的《研究工作者的统计方法》我都一直有在身边以前也常读--Fisher最受关注的科学家中居85-师徒都入选且还有统计学家可见这学科之重要)。
关于上面说的我们的客座教授C. R. Rao大师开创的信息几何,可参考韦博成1988年由清华大学出版社出版的《统计推断与微分几何》一书(这本书也可称为“信息几何基础”或“统计推断的几何理论基础”,这是因如作者说“假设检验的几何理论、时间序列的几何理论、非线性回归模型的几何理论等”没有编入)。关于C. R. Rao是这学科的开创人就如这书第一章第一段说“在一定条件下,可以根据统计模型的分布在流形上建立微分结构,从而通过微分流形来研究分布的统计性质,这个想法早在1945年C. R. Rao就提出来了,并建议以Fisher信息阵定义流形上的黎曼度量(见[19])”。当然,从这书的下面目录看其时这学科仍需要更大的发展,其它参考资料也极少,正如作者说“这个分支尚有待进一步探讨和研究。目前,国内外介绍这一分支的论著尚少”(这书27个参考文献中C. R. Rao的2个是上面[19]以及这里说的《线性统计推断及其应用》一书,当然还有微分几何黎曼几何如陈省身的《微分几何讲义》)。
第一章 参数分布族的几何与指数族。
第二章 曲指数族的几何及其统计分析。
第三章 Edgeworth展开式的几何及其应用。
第四章 关于a-联络的几何。
附录A 有关的微分几何概念。
附录B 一元Edgeworth展开式。
这韦博成教授的书不用信息几何为名似乎是因Information geometry一词出现较晚如似乎最先是出现在Roman S.
Ingarden的1981年的论文 Information
geometry in functional spaces of classical and quantum finite statistical
systems. Special issue dedicated to Prof. K. Kondo. Internat. J. Engrg. Sci. 19 (1981), no. 12, 1609--1633.
即上面Roman S. Ingarden 的1981年的这论文的第1620页说:This is the reason why we try to
construct the “information geometry” for statistical spaces.(关于这作者其人参考Roman
Ingarden (1920–2011))
这论文的参考文献61是这“information geometry”开创者海南琼州大学的CM中国第一个研究室的客座教授C.
Radhakrishna Rao的下面论文:
C. R. Rao的开创性论文:Information and
the accuracy attainable in the estimation of statistical parameters. Bull. Calcutta Math. Soc. 37 (1945),
81--91.
韦博成教授的书也参考1985年的《Differential-geometrical
methods in statistics》-其作者Shun-Ichi Amari是为独撰1990年5月出版我们海南琼州大学的导师钟先生为中国第一权威之组合设计领域的中国第一本专著《组合设计与编码》的靳蕃教授在其后1991年12月又出版的《神经网络与神经计算机》一书写“序”的Shun-Ichi Amari(甘利俊一),并看到Amari的这书《Differential-geometrical methods in
statistics》-第一章Introduction导论,第二章Differential
Geometry of Statistical Models统计模型的微分几何,第三章α-Divergence and α-Projection in Statistical
Manifold统计流形中的α-散度和α-投影,第四章Curved
Exponential Families and Edgeworth Expansions曲线指数族和Edgeworth展开,第五章Asymptotic
Theory of Estimation渐近估计理论,第六章Asymptotic Theory of Tests and Interval
Estimators检验和区间估计的渐近理论,第七章Information, Ancillarity and Conditional
Inference信息、辅助性和条件推断,第八章Statistical Inference in the Presence of Nuisance
Parameters存在干扰参数时的统计推断。这应是第一本“信息几何”书籍-那能写出一本也算有足够内容体系的书应说这学科领域也可算是奠基了,而从韦博成的书的“序言”和参考文献中Shun-Ichi
Amari的是其他人的2倍以上就可说他是“信息几何”的最主要奠基人,如此我就找到Amari的这书。而关于我们中国第一个CM研究室的客座教授C. R. Rao是这学科的开创人也如Amari的这书说“It was Rao (1945),
in his early twenties, who first noticed the importance of the
differential-geometrical approach. He introduced the Riemannian metric in a
statistical manifold by using the Fisher information matrix and calculated the
geodesic distances between two distributions for various statistical models.
This theory made an impact and not a few researchers have tried to construct a
theory along this Riemannian line”;刚还知不久前的2000年这Shun-Ichi
Amari又写了一本《信息几何的方法》-这书第一章Elementary of
differential geometry微分几何基础、第二章Geometric structure of statistical models统计模型的几何结构、第三章Dual connections对偶联络、第四章Statistical inference and differential geometry统计推断与微分几何、第五章The geometry of time series and linear systems时间序列和线性系统的几何、第六章Multiterminal information theory and statistical inference多端信息理论与统计推断、第七章Information geometry for quantum systems量子系统的信息几何、第八章Miscellaneous topics其他主题。
单参数联络即a-联络是Shun-Ichi
Amari在下面的论文中引入的;
Amari曲率-也出于Shun-Ichi Amari的论文 Differential geometry of curved exponential families—curvatures and information loss. Ann. Statist. 10 (1982), no. 2, 357--385.
Efron曲率-出于Bradley Efron的论文Defining the
curvature of a statistical problem (with applications to second order
efficiency). Ann. Statist. 3 (1975), no. 6, 1189--1242.
Bates-Watts曲率-出于Douglas M. Bates,Donald G. Watts合撰的Relative
curvature measures of nonlinearity. With discussion. J. Roy. Statist. Soc.
Ser. B 42 (1980), no. 1, 1--25.
关于统计学书籍-似乎中国第一届18个博士中的3人的导师陈希孺院士校订的美国两院院士Peter Bickel和他的师弟Kjell Doksum合撰的1991年出中文版的《数理统计》是比较好的统计学书籍-其既有深度也较全面-并这书第1、3、4、6、8章和附录的参考文献中都有上面C. R. Rao的《线性统计推断及其应用》一书,可见Rao这书是极有影响的名著(除了美国两院院士Peter Bickel等的,George W. Snedecor,和哈佛大师William G. Cochran的《统计方法》也很有名但它主要是基于从作者的农学和生物学用书《数理统计方法》修订而来;David R. Cox大师和他的博士D. V. Hinkley合写的《理论统计学》、以及William G. Cochran 、Gertrude M. Cox合撰的《Experimental Designs》也很著名)。
至今“信息几何”已在机器学习、优化、人工智能等起越来越大的作用,可参考这篇论文,Shun-Ichi Amar写的Information
geometry in optimization, machine learning and statistical inference等;
统计学也已发展出一个机器学习分支-统计学习,如Vladimir Vapnik弗拉基米尔·万普尼克在1995年出版的《The nature of statistical
learning theory统计学习理论的本质》、1998年更出版大部头的《Statistical learning theory统计学习理论》。斯坦福大学三个统计学大师Trevor Hastie,Robert Tibshirani,Jerome Friedman其后也合撰2001年出版《The elements of statistical learning统计学习基础》等。我有William A. Gale 主编1986年出版的《Artificial Intelligence and
Statistics人工智能与统计学》(就如刚见诺贝尔奖得主Sargent说:人工智能其实就是统计学-当然这句话太过爆炸了-但它又必竟出自在多个学科都有高深造诣且是经常频繁地接触包括科技人工智能很多大师等的大师);微分几何除了衍生出信息几何--在世纪之交衍生的流形学习当时就广受关注就是我国也在最近2003年已完成这博士论文等(即它由《科学》2000年的“一种用于非线性降维的全局几何框架”以及“The
manifold ways of perception”、“通过局部线性嵌入减少非线性维数 ”和《自然》1999年的“通过非负矩阵分解来学习对象的部分”等加速孵化而已广受重视)。
可参考其它概率统计以及一些相关的数学等的学科领域.
I. Introduction.
II. The principles of experimentation,
Illustrated by psych-physical experiment.
III. A historical
experiment on growth rate.
IV. An agricultural
experiment in randomised blocks.
V. The latin square
VI. The factorial
design in experimentation.
VII. Confounding
VIII. Special cases of partial confounding.
IX. The increase of precision by concomitant measurement.
Statistical control.
X. The generalisation of null hypotheses. Fiducial probability.
XI. The measurement of amount of information in general.
I. Introductory.
II. Diagrams.
III. Distributions
IV. Tests of Goodness of Fit, Independence and
Homogeneity; with table of χ2
V. Tests of Significance of Means, Difference of Means, and
Regression Coefficients
VI. The Correlation Coefficient
VII. Intraclass Correlations and the Analysis of Variance
VIII. Furthern Applications of the Analysis of Variance
X. The principles of statistical estimation
Sources used for data and methods index