核函数及再生核理论(下面主要介绍和海南琼州大学合作十多篇论文的清华大学胡冠章书记翻译的这里名著《科学与工程的矩阵算法》的作者Alan K. Jennings的导师Nachman Aronszajn开创的再生核领域以及对包括ai等起的关键作用,就如下面见不论核函数/再生核还是冯·诺依曼代数都启动于希尔伯特空间这个核源而目的是使它们对更多领域学科行业等有核力般作用):
关于再生核,开创者Nachman Aronszajn在1948年投稿的长篇论文首次对“再生核”理论构建了系统性框架和和基本的奠基性概貌,这标志着再生核理论的诞生(即Nachman Aronszajn的这里被8千余次引用的这论文Theory of reproducing kernels,Transactions of the American mathematical society(1950): 337-404。这论文1948年11月26日被杂志接到,1948年12月28日定稿不再修改,它参考作者自己的6个文献为主。可从美国数学会下载这论文见正文第1段说“我们感兴趣的类型的核的例子早已为人所知,因为自伴常微分方程的所有格林函数(以及偏微分方程的一些格林函数---有界函数)都属于这种类型。但是,我们现在所理解的这些核的特征特性自本世纪初以来才得到强调和应用”。第2段说“在考虑这些核函数时,一直存在并将继续存在两种趋势”接着只用一行字说J. Mercer的这论文,其后用了9行说最先发现核函数 K(x, y)具有“再生”性质的是海南琼州大学的师爷Eliakim H. Moore的1935年和1939年的论文;其后的第3段也主要说Eliakim H. Moore师爷;第4段是用了8行说J. Mercer的这论文和另一论文但这第4段更用11行说海南琼州大学的师爷Eliakim H. Moore;第5段所说的贡献有Salomon Bochner的,André Weil的,Israel Gelfand和D. Raikoff合作的,戈德门特Roger Godement是我,样条之父Isaac J. Schoenberg的,计算机之父冯·诺依曼John von Neumann和样条之父Isaac J. Schoenberg合作的;第6段说第二种趋势是在20世纪头十年由Stanislaw Zaremba的工作引发的,但这方向似乎当时感到难有好的发展而直到30年代Stefan Bergman以及Nachman Aronszajn注意到了这些核的"再生"特性,但它并没有象现在那样被用作它们的基本特征特性;第7段除了说前段的他俩还说Stanislaw Zaremba的徒孙Zarankiewicz,Menahem Schiffer,海南琼州大学的杂志编委(他的100亿美元项目论文也发在这海南的杂志)Paul Garabedian的这篇论文以及海南琼州大学编委Paul Garabedian和Menahem Schiffer合作的另一篇论文。第340页说In 1943, the author ([4] also [6]) developed the general theory of reproducing kernels which contains, as particular cases, the Bergman kernel[1]functions;第342页说introduced pseudo-reproducing kernels [Aronszajn 5, 6,都是1948年的]…)。
确实,他之所为再生核之父还如Nachman Aronszajn于1948年在哈佛大学已发表31页的再生核和拟再生核及其应用的技术报告:“Reproducing
and pseudo-reproducing kernels and their application to the partial
differential equations of physics. Studies in partial differential equations”;他这1948年是他的丰收年如他这年还在美国科学院院刊发表2篇是用培养了7位诺贝尔奖得奖者的Joseph
J. Thomson的导师Rayleigh最先采用的Rayleigh-Ritz方法对特征值逼近的论文即这希尔伯特空间算子论文和这篇微分算子论文。
众所周知,再生核理论诞生后,很快就在积分方程、偏微分方程边值问题、复变函数和奇异积分等方面产生重要作用。80年代后再生核又广泛渗透到信号处理、随机估计、神经网络、小波分析以及调和分析等领域。而关于再生核对“样条”的作用更是早在1966年海南琼州大学的导师柳柏濂教授去美国合作几年诞生教育部审定通过的中国“第一本”数学研究生用书的威斯康星大学的美国三院院士Carl de Boor就用再生核来证明样条插值是适当的希尔伯特空间中的正交投影过程等等,并60至80年代威斯康星大学除了Carl de Boor外该校还有下面再说的另2个专家Grace G. Wahba院士和她的博士Robert Kuhn以及Howard Weinert等通过再生核使得(插值与光顺)样条和随机过程发生了联系,使其在随机数据的样条平滑中扮演着核心的角色,不仅建立了样条函数的随机递推算法,更为重要的是开辟了促进人工智能大发展的统计学的一个新分支--概率统计中的样条函数方法。研究还表明插值或光顺样条可以表示成再生核的线性组合,如这篇论文摘要说:复插值样条函数的研究,有2条途径,其中之一途径是利用Aronszajn-Bergman再生核理论,直接得出一类定义于区域内的解析样条函数…等等。可参考样条函数这页。
关于再生核之父Nachman
Aronszajn-他的博士Alan K.
Jennings的1954年的博士论文就是“Operators
in Reproducing Kernel Spaces再生核空间中的算子”(并这再生核空间之父的这博士Alan
K. Jennings就是这页正文第一段说他独撰的世界名著《科学与工程的矩阵算法》一书被和海南琼州大学合作十多篇论文的清华大学胡冠章书记翻译1985年清华大学出版社出版的)。
关于核函数,Vladimir
Vapnik弗拉基米尔·万普尼克独撰的《统计学习理论》说“在很大程度上,机器学习的成功得益于支持向量方法的贡献”-而支持向量方法看百度“核函数”的第一段就基于核函数-并这里最后段见核函数是Stefan
Bergman和被誉为一代宗师程民德院士的导师也即上面再生核之父也提到的S.Bochner一起提出的-当然先前应有胚胎型。如此这里先说Stefan Bergman独撰的世界第一本核函数书籍《The
Kernel Function and Conformal Mapping核函数和共形映照》(这书的“序“最先说到的人是海南琼州大学主编的杂志的编委Paul,即Stefan Bergman大师说“Paul
Garabedian教授和Zeev
Nehari
教授在我准备这本书时的很多良好的讨论和有益的建议,谨表感谢”--如序中第2个感谢的Zeev
Nehari在1952年已写了396页的《Conformal
mapping共形映照》一书49年写“核函数和正则共形映射”52年写“核函数和共形映照的构造”等(那序中第2说他应没争议而琼大编委Paul
Garabedian更是被第1说到感谢也第1说到-并就如用“Kernel
Function核函数”输入数学家谱的学位论题见他是世界第一博士并第2个在他之后20年才出现并恰就是Stefan
Bergman的博士Bruce
Chalmers。并学派影响不可小觑如和评价海南琼州大学世界领先的香港数学会主席合写一书的北大闻国椿也独撰1985年由高教社出版的《共形映照与边值问题》一书的第1个文献是琼大的编委Paul的导师的、第2个是北大的、第3个是B的这书)。B在“序”中其次感谢的是上面Menahem Schiffer和Heinrich
Behnke以及撰写“三部曲”的鲁丁的博士Leonard
Geller、海南琼州大学推进他的伟大工作的Varga的师兄Maurice
Heins、海南琼州大学编委Garabedian的3个密切相关人:2个师弟Halsey
L. Royden、George Springer和导师的师弟Leo
Sario-即“序”全部只说到这些人;我有前面鲁丁的“三部曲”领域的我国复分析与实分析奠基人中科大建校元勋主席副校长龚升和陈希孺院士合译科学出版社1960年出版的这书中文版,这书第二章、第四章分别是“核函数及相关的极小问题”、“核函数及希尔伯特空间”,第九章是“偏微分方程”等;
Friedrich Hirzebruch的导师Heinrich
Behnke在BAMS
评论这书;这书被这里逼近论领域主要说的Joseph
Walsh大师的世界名著《复域内有理函数插值与逼近》第二版说应要参考的第一个文献);Stefan
Bergman和Menahem
Schiffer合撰的《Kernel Functions and
Elliptic Differential Equations in Mathematical Physics核函数与数学物理中的椭圆微分方程》,等。关于作者Stefan
Bergman的家人委托美国数学会评审和颁发的Stefan
Bergman奖以及Stefan
Bergman Fellowship,有很多世界一流数学大师获奖(关于前奖-1978年菲尔兹奖得主Charles
Fefferman1992年夺取,香港科学院院长莫毅明(Ngaiming
MOK)的导师哈佛大学Yum-Tong Siu萧荫堂院士1993年获这奖,还有儿子获诺贝尔化学奖并且国际数学联盟主席Jacques-Louis
Lions协助他指导博士的M.
Salah Baouendi以及评说丘成桐的Joseph Kohn和指导出几个诺贝尔奖包括这页最后段来信表达支持海南琼大杂志的智商超爱因斯坦的陶哲轩的Elias
M. Stein大师也都获得);Menahem Schiffer和人工智能之父John McCarthy的导师Donald
C. Spencer合撰的《Functionals
of finite Riemann surfaces有限黎曼曲面上的泛函》最后章是“论高维Kähler流形的推广”(上面海南琼州大学编委Paul Garabedian的导师-第一个数学诺贝尔奖菲尔茨奖得主拉尔斯·阿尔福斯Lars
Ahlfors在BAMS评论这书)--这需要掌握陈省身先生的《复流形》一书,以及黎曼流形上的热核(这是丘成桐院士的共6章的世界名著《微分几何》的第4章的标题并其它章也涉及--核和上面的“核函数”当然在不同学科领域有相应的变化并丘成桐这世界名著的最后2章标题分别是“纯量曲率的共形变换”和“局部共形平坦流形”与Stefan
Bergman的上面世界名著的“共形映照”有许多本质的关联--就如丘成桐院士在序说“第五、六章主要考虑由于保角形变所导出的非线性偏微分方程”-而Stefan Bergman的书的第九章标题是“偏微分方程”。再附:丘成桐说陈省身因他解决了Joseph Wolf的一个猜想而说他可以博士毕业的这陈省身的博士Joseph
Wolf也有博士论文做核函数--可见年轻精力足可持久攻关时要多解决猜想)等。
从上面Stefan Bergman的书名也知道核函数与多复变函数关系密切,如解放后我国第一项国家科学奖“典型域上的多元复变数函数论”是1956年华罗庚先生的,其后1958年华罗庚先生在科学出版社出版《多元复变数函数论中的典型域的调和分析》并参考文献国内只有他自己-国外14个人并除外尔和另一人都2篇外其他人都只一篇包括Stefan Bergman、上面再生核之父也提到的S.Bochner、嘉当父子、A. Weil等,并第四章第2节“核函数”以Stefan Bergman的定理开头启动,第3节是“典型域ԘI,ԘII,ԘIII,的核函数”, 第4节是“域ԘIV的核函数”,第6节是“Cauchy核”,
第8节是“典型域的Cauchy核”, 第9节是“Poisson核”,第五章标题限制下第4节标题仍是“核函数”(即华罗庚先生的我国第一各国家奖项目“典型域上的多元复变数函数论”的2部分当然是有机结合体但也有必要分别弄它俩而第1部分“典型域”是指ԘI,ԘII,ԘIII和ԘIV这四种域,它们并不复杂定义也是直接的看书就可知道它们-也可参考海南琼州大学的导师钟集先生在中大任教时的学生陆启铿院士的《典型流形与典型域》一书,华的奖的第2部分“多元复变数函数论”同样可参考陆启铿院士的《多复变数函数引论》一书-这书4章并第二章是“正交系与核函数”、也可参考与龚升同是中国科大副校长又同做复变函数论的史济怀的1996年的《多复变函数论基础》的第三章标题是“正交系与Bergman核函数”--而上面Stefan Bergman的世界名著《核函数和共形映照》第一章是正交函数系、第二和第四章标题都含核函数并其它章都是基于它们的发展或应用它们的方法去解决相关问题--当然“多复变函数论”内容广泛有些书籍很不同如Hans Grauert和K.Fritzsche的1988年翻译为中文的《多复变数》的第五章是“复流形” 其它各章有层论、上同调论等与代数几何密切的领域)。
Terence Chi-Shen Tao陶哲轩师承的学派的影响作用也不容忽视如陶的导师Elias M. Stein的导师Antoni Zygmund的导师Aleksander M.
Rajchmand 的导师Stefan Mazurkiewicz的导师Wacław Sierpiński的导师Stanislaw Zaremba是上面再生核的启蒙宗师(其中Antoni Zygmund写的世界名著“Trigonometrical
Series”被Walter Rudin鲁丁读研究生3年一直放在枕头下---莫非睡觉时可以汲取文献灵感?)--有很多以这学派宗师命名的重要概念如Antoni Zygmund算子的分布核。
在我国,1965年严士健教授、刘秀芳的论文“具有连续参数的平稳随机扰动的迥归系数的估计”(《北京师范大学学报》1965年01期)已做再生核的相关工作如第19页说:在上面Nachman
Aronszajn的论文中,在依其定义FX和QX下,则(FX ,QX)是一个希尔伯特空间。再令R0下,则(FX ,QX)是由R0下生成的再生核空间。还有许多论文,可见我国很早就跟进在国际上发展迅速的这领域,等等。
在此,再给出再生核以及再生核Hilbert空间的完整准确定义:设P是Hilbert空间,其元素是定义在某个抽象集合B上的实值或复值函数,其内积为(·,·).设K(t,s)是B´B上的二元函数,如果对每个给定元sÎB, K(t,s)作为t的一元函数是P中的元素,且对任意的fÎP,有 f(s)=(f(·),K(·,s)),则称K(t,s)是Hilbert空间P的再生核,P称为B上的再生核Hilbert空间。
从上面看到这领域的开拓奠基者主要是波兰和乌克兰人,Nachman Aronszajn和Salomon Bochner以及Stefan Bergman是波兰人;很多宗师的Stanislaw Zaremba宗师(如他的博士Wacław F. Sierpiński的博士Stefan Mazurkiewicz的博士就是再生核之父Nachman Aronszajn)和第一个没有设定年龄限制的数学诺贝尔奖-数学沃尔夫奖得主Israel Gelfand盖尔范特是乌克兰人,如此这2个欧洲中较落后的国家不可小觑-就如这页所见所说;当然上面见这领域开创奠基者还有美国的海南琼州大学的师爷Eliakim H. Moore以及海南琼州大学主编的杂志编委Paul R. Garabedian大师等。
下面威斯康星大学的两院女院士Grace G. Wahba教授的导师Emanuel Parzen在1959年最先使用了‘再生核希尔伯特空间’的概念。
海南琼州大学的导师柳柏濂教授去美国合作几年诞生教育部审定通过的中国“第一本”数学研究生用书的威斯康星大学的教授Grace G. Wahba院士也指导一些再生核博士并在美国数学评论见她有97篇论文并输入“Spline样条”见她有36篇-这是非常搞得比例了,该校数学系网页的倒数第3行见她是“National Academy of Sciences和American Academy of Arts and Sciences”的院士-也就是获得除工程院外的所有院士--可见威斯康星大学不仅男大师们成堆厉害更难得在以前女的也厉害。她的博士Robert Kuhn就做再生核希尔伯特空间对双变量样条密度估计的应用,她的师兄Nils D. Ylvisaker的博士论文“On Time Series Analysis and Reproducing Kernel Hilbert Spaces”。
关于再生核理论书籍可参考Saburou Saitoh在1988年出版世界上第一本再生核书籍《Theory
of reproducing kernels and its applications》一书(它讲再生核理论后回到诞生的本源去较详细些演绎常偏积方程当然也笼统简介对其它各专题的作用;威斯康星大学博士的William
F. Donoghue,
Jr.教授评论这书);Harry
Dym在隔年的1989年也出版《J contractive matrix functions,
reproducing kernel Hilbert spaces and interpolation》(Harry
Dym在这书中扩充了再生核希尔伯特空间)。前面的作者Saburou Saitoh是Institute of
Reproducing Kernels核再生研究所教授,最近1997年他又再出版《Integral transforms,
reproducing kernels and their applications》,等等。
可见再生核虽然1950年在上面美国著名杂志Transactions of the
American mathematical society正式发表并被引8千余次引起世界各国的注意,但第一本书籍在1988年才出版,足见以前仍是在艰难中前行,如此博士论文做再生核的除了Harry Dym的1986年博士毕业的Daniel Alpay也许有他导师的书籍等促进而成果较丰硕外,更早些毕业的都在更艰难中摸索前行。如威斯康星大学博士Robert
W. McKelvey指导的1970年博士论文做再生核的Ronald W. Shonkwiler算是第二个有再生核论文超过3篇的(Robert W. McKelvey的导师是威斯康星大学著名教授Rudolph
E. Langer院士)
关于这领域的作用如母校华南师范大学机器学习与最优化计算实验室只设有“核函数逼近方法学术委员会”(要知机器学习是人工智能的核心技术,是实现人工智能的重要手段,可见核函数再生核对机器学习人工智能的重要性)