因海南琼州大学在它的许多分支居世界领先的哈密顿图促进神经网络的复兴和蓬勃生命力-这页就主要介绍神经网络（如北大前辈状元唐策善教授1991年出版《并行图论算法》一书的最后章是“神经网络在图论问题中的应用”--共4节“概述”“H模型和旅行商问题”“其它模型和旅行商问题”“应用举例”，而这全唯一讲的“旅行商问题”就如下面见其是最小哈密顿圈问题，其重要作用体现在下面的第六代计算机和人工智能等--更还可参考蔡少堂开创的细胞神经网络和他的忆阻器可模拟突触行为而实现人工智能终极目标的神经形态计算）：
因我们海南琼州大学的导师钟集教授是中国组合设计第一先驱，如此我有靳蕃教授1990年5月出版的《组合设计与编码》（当时组合设计书籍尚少而建立在其上的编码理论就应有很大发展空间,这书由在厄巴纳-香槟分校做BCH码博士论文的Kenneth Kai Ming
Tzeng曾开明写序）。此外，本来神经网络从60到80年代初是低潮期,但随着Hopfield其后用H神经网络（离散型和模拟型）解决TSP（最小哈密顿圈问题）从而就如我也有的靳蕃1991年出版的《神经网络与神经计算机》中Shun-ichi
Amari的序所说“它是当今全世界关注的高科技热点”（这书文献的6本书中第1个是其博士已成科创版我国首富的陈院士的并行算法其后3本是包括上面的图论组合书-这书只有一个附录“中国旅行商问题”-这就是一类最小哈密顿圈问题。许多人认为这作序的日本人Amari是世界第一，当然各受不同影响的常有自己的说法。
我们海南琼州大学90年代初已在多个方向居于世界领先或世界先进水平的图论与神经网络的关系，也可参考三尊大神：许进（北京大学一级教授、中科院院士候选人），焦李成（人工智能领域先行者、担当者、推动者），保铮（西安电子科技大学原校长、院士）合写的《神经网络与图论》的摘要所讲：“本文讨论了神经网络与图论之间的相互关系：神经网络的深入研究与发展离不开图论，神经网络的深入发展必将对图论中许多问题的进一步研究产生重要的影响。文中论述了图论在神经网络研究中的作用、地位及应用现状，同时概述了神经网络在图论中的应用情况”。 也如意大利神经网络学会Eduardo Renato Caianiello奖以其命名的E.R. Caianiello大师就独撰《量子场论中组合数学及其重正则化》一书-再见其两个学科领域的关系。
如此关于这领域书籍除了靳蕃教授1991年出版外，我也有焦李成1990年出版的《神经网络系统理论》、清华大学郑君里等1992年的《人工神经网络》、包约翰著马颂德等译1992年出版的《自适应模式识别与神经网络》、庄镇泉等1992年出版的《神经网络于神经计算机》、清华大学阎平凡教授等1993年出版的《人工神经网络》、胡守仁等1993年的《神经网络导论》等。
关于大赞靳蕃教授的书Amari，就如Haykin的世界经典的神经网络书籍《神经网络与机器学习》引他的第一作者文献17个，其次是9个的Y.LeCun, R.Linsker, D. Prokhorov，再其次是7个的S. Haykin,
D. Bertsekas-其它人都比他们少；日本在神经网络还有提出cognitron认识器模型及其改进型新认识器的Kunihiko
Fukushima福岛邦彦）（还有独撰《组合密码学》的沈世镒教授也独撰《神经网络系统理论及其应用》但这两书都比靳蕃教授的稍迟--沈世镒教授的第一个博士杨恩辉的博士论文就做“算法信息论及信源编码”并当选加拿大皇家科学院院士）；做为攻读离散数学的我们，我也有靳蕃教授的大学获得麻省理工博士并1980年就已当选中科院院士的曹建猷资深院士独撰于1985年独出版的《离散数学》（这书华人文献只有2个并第1个是靳蕃的其后是张大师的，巧的是曹建猷院士培养的60%博士生都和靳蕃教授合作指导--要知1934年生的靳蕃教授和曹建猷院士是14个中国铁道、交通专家入选人中的2人并这14人中靳蕃教授是最年轻的且第2年轻的沈志云都是1929年出生的1991年当选的中科院院士、1994年当选的我国第一届中国工程院院士--该校的密码学家何大可教授最近也搞得不错）
其中的自组织神经网络的自适应谐振理论模型是我们现代组合数学奠基人Gian-Carlo
Rota的博士Stephen
Grossberg根据史上罕有的全才Hermann von
Helmholtz亥姆霍兹的无意识推理学说的协作-竞争网络交互模型而于1976年提出的。我以前重视神经网络也还因这3本书：《第六代计算机.人工神经网络计算机》，王汝笠,章明,周斌，科学技术文献出版社1992年；《电脑化人脑 神经网络-第六代计算机》-作者是以美国国父乔治·华盛顿命名的乔治·华盛顿大学的Harold Hwa-Ling Szu斯华龄-曾任INNS主席（他的导师是多次获得诺贝尔物理学奖提名的乌伦贝克、他的师姐是王承书院士和清华王明贞教授），北京大学出版社1993年；《人工神经网络:第六代计算机的实现》，周继成,周青山,韩飘扬，科学普及出版社，1993（还有《第六代计算机信息处理基础——联想记忆原理》，李盘林，姜克隽，卫作人，大连理工大学出版社1991年，它的联想记忆是神经网络的主要领域，而它的第一作者李盘林也是1982年出版的海南琼大师爷R. A. Brualdi的组合数学世界第一名著《组合学导引》的第一译者）；如此，曾一直展望：“现代计算机还能走多远？第六代神经网络计算机是人类的终极追求?”，但看来人们曾经怀抱的期望有些过大，现实是还需要期待更多更深入的探索…
W.
Thomas Miller III和强化学习之父Richard
S. Sutton以及反向传播算法之父Paul
J. Werbos在1990年主编的《Neural
networks for control神经网络控制》有Guenther的报道，Tony Owen的报道等（我们琼州大学物理系林雄教授1998年在中国教育部直属重点大学的陕西师大学报增刊的论文引用的4篇文献就有Paul
J. Werbos的博士论文、斯华龄的上面书和庄镇泉等的书）最大公约数倍数和表示通式及其应用, 最大公约数的倍数和表示；
图学习各领域书籍特别是图神经网络（Graph
Neural Networks，GNN；可参考一个简列表中的“逻辑学与人工智能”的后部分，以及最近机器学习之父Michael
I. Jordan和做概率图与圈等的Martin J.
Wainwright合撰的《Graphical
Models, Exponential Families, and Variational Inference》等）
关于这领域正如“GNN全名图神经网络，这里的G是图（Graph）的意思，GNN之所以重要，是因为图很重要”，也如“GNN里的“图”，正是指图论的“图”。应该说，图神经网络并不是图与机器学习的第一次结合，次结合,机器学习在此之前已经大量使用…”
最近图神经网络风起云涌广受关注如世界人工智能大会举行,专家热议图神经网络与认知智能：就如“图机器学习已成为了机器学习领域中炙手可热的‘明星’”，并且图神经网络（GNN）也许是人工智能（AI）的未来。
下面只举出清华大学3个组的3篇综述和一些著名的GNN论文（其它大学等就不说了也可想而知一、二状况。关于这领域有说在2008年,Franco
Scarselli和Marco
Gori等人最早提出了图神经网络(GNN)的概念-但其实2005年的Marco Gori等的这篇提出了图神经网络(GNN)-这个不难得到证实，总之是因所需而由神经网络和图论相结合而诞生的）：
Graph
Neural Networks: A Review of Methods and Applications，作者：刘知远，孙松茂等（清华大学孙茂松组一文综述GNN。孙松茂是清华大学人工智能研究院常务副院长，该院学术委员会主任由图灵奖得主姚期智院士担任。这领域正如不久前这清华大学人工智能研究院院长张钹院士首次全面阐述第三代人工智能的理念，提出第三代人工智能的发展路径是融合第一代的知识驱动和第二代的数据驱动的人工智能，基于知识图谱的推理体现了第三代人工智能的特点。而图神经网络的研究趋势恰恰是面向推理和认知（张钹院士和他弟弟张铃教授也在1997年合撰出版《人工神经网络理论及应用》。不仅清华搬出姚期智和张钹院士坐镇统帅人工智能，北京大学人工智能研究院院长更由北京大学副校长担任）
A
Comprehensive Survey on Graph Neural Networks，Philip S.
Yu俞士纶（清华大学数据科学研究院院长）
Deep
Learning on Graphs: A Survey,
Wenwu
Zhu朱文武（清华大学计算机系副主任、信息科学与技术国家研究中心副主任、欧洲科学院外籍院士等）
Relational
inductive biases, deep learning, and graph networks，作者：DeepMind、谷歌大脑、MIT等27位作者重磅论文--图网络让深度学习也能因果推理。
Graph-based
Evidence Aggregating and Reasoning，孙松茂等； Graph-based
Evidence Aggregating and Reasoning for Fact Verification，周界，刘知远等；
有许多视频的斯坦福大学年轻的大牛Jure Leskovec，Recent
Advancements in Graph Neural Networks
不需举出过多，在许多专业网上或点击这里可得所索GNN论文.
其中异质图表示学习及神经网络方向最近大受重视并已出版一些专著。
（至于卷积神经网络(CNN)，如“CNN已老,GNN来了！图神经网络(GNN)也许是 AI 的未来”。不仅做为过度应有所掌握且尚有许多可借鉴的生命力
图神经网络的几个很受重视的领域：
1. 图卷积网络（Graph Convolution
Networks，GCNs）
2. 图注意力网络（Graph Attention
Networks）
3. 图自编码器（Graph Autoencoders）
4. 图生成网络（Graph Generative
Networks）
5. 图时空网络（Graph
Spatial-Temporal Networks）
随机神经网络（Stochastic
neural network）：
可参考最近ClaudioTurchetti出版的书《Stochastic Models of Neural Networks随机神经网络模型》,
随机神经网络向神经网络引进随机变化，一类是在神经元之间分配随机过程传递函数，一类是给神经元随机权重。这使得随机神经网络在优化(Optimization)问题中非常有用，因为随机的变换避免了局部最优(local
minima)。由随机传递函数建立的随机神经网络通常被称为波茨曼机(Boltzmann
machine)。随机神经网络在风险控制，肿瘤学和生物信息学相关领域均有应用。
图挖掘（graph
mining）
图数据库（Graph Database）：
关于这领域，上面清华大学人工智能研究院、清华-中国工程院知识智能联合研究中心联合重磅发布了《人工智能之图数据库》报告：图数据库（Graph Database）是一个基于图论模型的在线数据库管理系统，并目前图数据库的应用已有(1)
金融，保险，电信，医疗，公共安全，情报等部门反欺诈、…(9)等9个典型的图数据库应用场景
图网络(Graph
Network, GN)：
再说一个由点集合V=(v1, v2, …,vn)和边集合E=(e1, e2, …,en) 组成的图网络G(V, E):，它是图神经网络（graph
neural network, GNN）和概率图模型（Probabilistic Graphical Model, PGM）的推广（在MGP的Thesis Keyword输入“Probabilistic
Graphical Model”见第1篇Probabilistic
Graphical Model博士学位论文是Eric
Xing(邢波)教授在这里第1哈佛学派Richard Karp等合作指导下于2004年完成的-其实在罗格斯大学杨中枢教授指导下Eric Xing(邢波)1999年已获别的学科博士学位，其后第2篇Probabilistic
Graphical Model博士学位论文是Gal
Elidan在Nir Friedman指导下于2005年完成的--这Nir Friedman就是1208页的《概率图模型》巨著的第2作者）,
图网络由图网络块（GN block）构成，具有灵活的拓扑结构，可以特化为各类连接主义（connectionist）模型，包括前馈神经网络（Feedforward
Neural Network）、递归神经网络（Recursive
Neural Network）等
即图网络由相互连接的图网络块（GN block）组成，在神经网络实现中也被称为“节点（node）”。节点间的连接被称为“边（edge）”，表示了节点间的依赖关系。图网络中节点和边的性质与图结构相同，因此可分为有向图（directed
graph）和无向图（undirected
graph）。有向图的例子包括递归神经网络（Recursive
Neural Network）和循环神经网络（Recurrent
Neural Network）；无向图的例子包括Hopfield神经网络、马尔可夫网络（Markov
Network）等
图网络的每个节点都有内部状态和系统状态，被称为“属性（attribute”。图网络的属性会在计算中按时间步（time-step）更新，更新方式包括同步和异步两种，同步更新时，一个时间步内所有节点的属性都会更新，异步更新时，一个时间步内只有部分节点的属性得到更新.
诚然，图论的作用极多如现在各重要大学纷纷成立“大数据学院”--而有脸书公司创始人兼CEO扎克伯格讲解图论的这文章标题是“图论是理解大数据的关键”--可参看朱小虎总裁翻译的这文章；这个脸书公司无人机项目带领人弗兰克•戴乐特(Frank Dellaert)最近以第一作者和Michael Kaess合写《机器人感知：因子图在SLAM中的应用》--其中的“因子图-Factor graph”就是海南琼州大学在许多领域曾世界领先或先进的图论与概率结合而成的一类概率图论（近代图论之父Claude Berge的世界名著《The theory of graphs and its
applications》由李修睦先生译之为《图的理论及其应用》的第11章是“因子图”的第1节是“哈密顿路与回路”和第19章是“半因子图”的第1节是“哈密顿圈与半因子”，但这图论书的因子图和这“机器人感知”书的因子图略有不同，也可参看他的《分数图论》并搞图论和概率的Ullman和S也合著《分数图论》）。
附：YouTube原创剧集《人工智能时代》（这剧由收入曾居福布斯全球演员富豪榜连续三年排名世界第一、并曾主演电影《卓别林》而入围1993年第65届奥斯卡最佳男主角奖的小罗伯特·唐尼主持）；关于神经网络-其应用的主战场是模式识别---此外如我曾百次去的华南理工大学而知是全中国最伟大的冯秉铨教授-他的解放前的研究生后是华南理工大学原副校长的徐秉铮教授和张百灵教授、韦岗教授编著1994年出版的《神经网络理论与应用》的第四章“优化计算的神经网络方法”就讲在哈密尔顿图为主的组合优化问题的应用（徐秉铮教授指导1990年毕业的这博士论文是中国最早一批神经网络博士论文）