CN100576197C

CN100576197C - 具有学习和表达能力的神经网络及其方法、神经组件

Info

Publication number: CN100576197C
Application number: CN200480017847A
Authority: CN
Inventors: 罗伯特·乔治·赫克斯
Original assignee: Neuramatix Sdn Bhd
Current assignee: Neuramatix Sdn Bhd
Priority date: 2003-06-26
Filing date: 2004-06-21
Publication date: 2009-12-30
Anticipated expiration: 2024-06-21
Also published as: EP2472444A2; WO2004114145A1; EP2472442A3; SG153700A1; EP2472441A3; AU2004250403B2; EP2472445A2; JP5430597B2; JP5165664B2; CN101470813A; EP1639494A1; EP1639494B1; AU2004250403C1; EP2472442B1; IL195610A0; EP2472444A3; US7778946B2; IL195610A; IL172201A; AU2009202547B2

Abstract

一种包括多个神经元的神经网络，其中所述多个神经元中的任何一个都能够通过到所述多个神经元中的又一个神经元的活动连接来与自身或所述多个神经元中的另一个神经元关联。

Description

具有学习和表达能力的神经网络及其方法、神经组件

技术领域

本发明涉及神经网络，具体且不排他地说，本发明涉及基于一个或多个下述特性的神经网络，所述特性包括时间、空间、强度、数量，以及相对位置；并且可用于学习、知识获取、发现、数据挖掘和表达中的一种或多种。

背景技术

现有的神经网络通常基于海布学习法(Hebbian learning)的单个解释。海布概念这一基础常常被表述为“连在一起的神经元一起兴奋(fire)”。实际的解释是“连在一起”是由将两神经元连接在一起的突触实现的。起连接作用的突触的强度被修改或加权，以反映突触前神经元与突触后神经元(或反之亦然)同时兴奋的重要性/概率。

使用该概念，已发展出了将若干输入神经元通过突触关联到若干输出神经元的神经网络。输入神经元限定输入状态；而输出神经元限定期望输出。

因此几乎全部现有的神经网络都基于三层的概念：输入神经元层、隐藏神经元层，以及输出神经元层。图1和图2是现有神经网络的图示。

对这类神经网络的训练在其最基本形式中是通过施加特定输入状态到所有输入神经元、选择特定输出神经元来表示特定输入状态，并调整隐藏层中突触强度或权重。就是说，训练是在假定已知期望输出的知识下进行的。在训练完成之后，施加不同输入状态将引起不同的输出神经元以不同水平的置信度被激活。因此输入事件的识别取决于原始训练状态与当前输入状态的匹配有多接近。

取决于期望输出神经元的数目和期望结果的准确度，这类神经网络通常需要数以百千计的不同输入状态来进行广泛、重复的训练。这产生仅有10,000个输入和输出神经元数量级的实用网络，该网络具有多达一千万个互联的突触或表示突触的权重(当前存在的神经网络较之具有10¹²个神经元和10¹⁶个突触连接的人脑在大小上还是很小的)。

此外，现有网络是基于生成预定义输出神经元来训练的，并且以后可以识别与用于输入的训练集非常类似的输入。现有的神经网络不能够独立学习，因为训练它们使用了在先假定-期望目标是由输出神经元表示的。现有神经网络不能够根据输出层中的任何输出神经元的激励来表达和回忆输入状态。

现有的神经网络是基于施加独立输入状态到网络来训练的，其中训练的顺序通常不重要。当广泛、深入的训练完成后，输出神经元不再显著依赖输入状态被施加到网络的顺序。现有的神经网络提供的是完全基于当前输入状态的输出。输入状态施加的顺序与网络识别它们的能力无关。

现有神经网络可能具有下列缺点的一些或全部：

1.它们需要基于预定或期望的输出目标先训练，-它们不学习；

2.它们仅能识别与所受训练的输入状态相似的输入状态(对象)；

3.它们计算量非常大，因此很慢；

4.它们在计算上受限于表示仅仅相当小数目的神经元；

5.如果要它们识别不同的对象，则它们需要重新训练；

6.它们不能通过施加激励到输出神经元来表达或回忆输入对象；

7.它们基于全部输入神经元的并发激励；

8.它们不具创造性，并且不能表达或回忆事件；

9.它们仅能标识/识别它们所针对训练的事件；

10.它们假定并发或快速连续兴奋的神经元被突触链接，但是不区分彼此或神经元兴奋的顺序；以及

11.每个隐藏层神经元可并发接收来自多个输入神经元的输入。

发明内容

本发明的一个方面提供了一种包括多个神经元的神经网络，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元和结构神经元都能够通过活动连接被关联；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

在该神经网络中，所述多个神经元中的任何一个神经元都能够通过到所述多个神经元中的又一个神经元的活动连接来与所述多个神经元中的另一个神经元关联；所述活动连接在所述多个神经元中的一个神经元和所述多个神经元中的又一个神经元之间、以及在所述多个神经元中的另一个神经元和所述多个神经元中的又一个神经元之间存在；所述多个神经元中的又一个神经元被定义为在比所述多个神经元中的一个神经元和所述多个神经元中的另一个神经元都深的层级中。另外，所述多个神经元中的任何一个神经元都能够通过到所述多个神经元中的又一个神经元的活动连接来与自身关联；所述活动连接在所述多个神经元中的一个神经元和所述多个神经元中的又一个神经元之间存在；所述多个神经元中的又一个神经元被定义为在比所述多个神经元中的一个神经元深的层级中。所述一个神经元和所述另一个神经元在从包括相同和不同层级的组中选出的层级中。每个基本神经元能够用于输入和输出基本值。每个结构神经元表示由一对神经元表示的组合信息或记忆，所述结构神经元自所述神经元对接收输入；并且每个基本神经元表示从下述组中选出的至少一个，所述组包括：正被处理的信息的输出激励、基本激励、定义的基本模式、定义的基本数据元素、以及基本输入激励。关联是从下述组中选出的至少一个，所述组包括：基本神经元与基本神经元、基本神经元与结构神经元、结构神经元与基本神经元、结构神经元与结构神经元。所述多个神经元中的每个是从下述组中选出的一个或多个，所述组包括：起始神经元、被关联神经元、以及关联神经元。起始神经元经由到所述关联神经元的活动连接与被关联神经元关联。所述起始神经元、所述被关联神经元和所述关联神经元是基于邻近特性连接的，所述邻近特性是下述至少一个：时间、空间、强度、大小和相对位置。结构神经元表示信息和记忆中的至少一个；并且创建结构神经元和表达结构神经元关联到的所述神经元对是所述神经网络的两种处理。所述多个神经元中的一个是起始神经元、所述多个神经元中的另一个是被关联神经元，并且所述又一个神经元是关联神经元；并且其中当所述起始神经元被激活或兴奋时，所述关联神经元被加强；并且当被关联神经元被激活或兴奋时，所述关联神经元进一步被加强，从而被激活并且能够兴奋。所述被关联神经元与所述起始神经元同时被激活或兴奋。相对于所述关联神经元，所述被关联神经元在所述起始神经元之后被激活或兴奋。所述起始神经元和所述被关联神经元的激活或兴奋基于邻近特性。所述起始神经元和所述被关联神经元的所述邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。所述关联神经元表示从所述起始神经元和所述被关联神经元学到的总和；所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。所有基本神经元表示在所述神经网络的根层中。一旦所述关联神经元被激活以表示期望的结果，就不需要在另一个神经元中重新创建所述期望的结果。创建结构神经元是学习，表达所述神经元对是表达。

本发明的第二方面提供了一种包括多个基本神经元和多个结构神经元的神经网络，其中每个结构神经元表示任意一对神经元之间的关联，所述一对神经元是从下述组中选出的，所述组包括：两个基本神经元、两个结构神经元、一个结构神经元和一个基本神经元、以及一个基本神经元和一个结构神经元。

在该神经网络中，所述多个基本神经元表示在所述神经网络的根层中，并且每个基本神经元表示下述至少一个：基本激励、定义的模式和定义的数据元素；每个基本激励用于表示正被处理的信息的输出激励和基本输入激励中的至少一个。每个基本神经元是从包括感觉神经元和运动神经元的组中选出的。所述正被处理的信息是记忆。所述处理是学习和表达中的至少一个。所述多个结构神经元是在比根层级深的多个更深的神经元层级中定义的。所述多个更深的神经元层级中的层数由待处理来表达的记忆或模式的范围确定，其中记忆表示多个基本神经元。表示所述记忆所需的基本神经元和结构神经元的数目由所述待处理的记忆的性质确定。所述多个结构神经元中的任何一个结构神经元都能够通过到所述多个结构神经元中的又一个结构神经元的活动连接来与所述多个结构神经元中的另一个结构神经元关联；所述活动连接在所述多个结构神经元中的一个结构神经元和所述多个神经元中的又一个结构神经元之间、以及在所述多个结构神经元中的另一个结构神经元和所述多个结构神经元中的又一个结构神经元之间存在。所述又一个结构神经元在比所述结构神经元和所述另一个结构神经元都深的层级中。

本发明的第三方面提供了一种包括由关联链接的多个神经元的神经网络，就所述多个神经元表示的或者从其导出所述多个神经元的至少一个基本神经元来说，所述多个神经元都能够被表达。

在该神经网络中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

本发明的第四方面提供了一种包括多个神经元的神经网络，所述多个神经元中的每个由阵列中的唯一可寻址节点表示，所述多个神经元中的每个由关联链接，并且所述多个神经元都能够被表达。

在该神经网络中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。每个神经元由所述阵列中的单个节点整体表示。

本发明第五方面提供了一种神经网络，包括由多个节点组成的阵列，其中所述阵列中的每个节点表示单个神经元，每个节点包括至少一个指针，每个指针是所述节点的数据元素；每个数据元素表示所述阵列中的一个节点的唯一地址，每个地址表示多个神经元中的一个神经元；并且所述多个神经元中的每个神经元由关联链接，所有神经元都能够被表达。

在该神经网络中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。所述多个神经元中的每个都由阵列中的可寻址节点表示。

本发明第六方面提供了一种神经网络，包括多个神经元，所述多个神经元由阵列表示；所述多个神经元中的每个神经元由所述阵列中的一个节点表示；所述阵列中的所述多个神经元中的每个神经元能够被表达；每个节点具有多个指针，所述多个指针中的两个指针用于提供表达。

在该神经网络中，每个节点中的每个指针包含下述至少一个：另一个神经元的地址，以及基本神经元的基本值。每个指针具有特定并唯一的功能，并且表示突触连接。所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。所述指针除了表示所述基本神经元中的基本激励的值之外，每个指针还包含另一个神经元的地址。指针的数目取决于所述神经网络所执行的功能。每个神经元的指针的数目至少为二。所述神经网络包括起始神经元、被关联神经元、以及连接到所述起始神经元和所述被关联神经元的关联神经元。每个指针的功能是从下述组中选出的，所述组包括：起始、关联、后继、所述起始神经元的下个后继、前驱、以及所述关联神经元的下个前驱。基本神经元的每个指针表示基本值。所有的神经元都是固定长度的。

本发明第七方面提供了一种在神经网络中使用的神经组件，所述神经组件包括起始神经元、被关联神经元、以及操作连接到所述起始神经元和所述被关联神经元的关联神经元。

在该神经组件中，当所述起始神经元被激活或兴奋时，所述关联神经元被加强；且当所述被关联神经元被激活或兴奋时，所述关联神经元被加强和激活，并且能够兴奋。所述被关联神经元与所述起始神经元同时被兴奋。所述被关联神经元在所述起始神经元之后被兴奋。所述起始神经元和所述被关联神经元的所述激活或兴奋基于邻近特性。所述起始神经元和所述被关联神经元的邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。所述关联神经元表示从起始神经元和被关联神经元学到的总和。所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。一旦所述关联神经元被激活以表示期望的结果，就不需要在另一个神经元中重新创建所述期望的结果。

本发明第八方面提供了一种用于表示神经网络中的神经元的关联的方法，所述神经网络具有多个神经元，所述多个神经元中的一个是起始神经元，所述多个神经元中的另一个是被关联神经元，并且所述多个神经元中的又一个是关联神经元；所述方法包括：(a)激活或兴奋所述起始神经元以加强所述关联神经元；以及(b)激活或兴奋所述被关联神经元以加强和激活所述关联神经元；如果所述关联神经元已存在则所述关联神经元然后成为被激活的，并且如果所述关联神经元不存在，则创建所述关联神经元。

在该方法中，所述被关联神经元与所述起始神经元同时被激活或兴奋。所述被关联神经元在所述起始神经元之后被激活或兴奋。所述起始神经元的激活或兴奋和所述被关联神经元的激活或兴奋基于邻近特性。所述起始神经元和所述被关联神经元的邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。所述关联神经元表示从起始神经元和被关联神经元学到的总和。所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。一旦所述关联神经元被激活以表示期望的结果，就不需要在另一个神经元中重新创建所述期望的结果。

本发明第九方面提供了一种操作神经网络的方法，所述神经网络具有包括多个基本神经元和多个结构神经元的多个神经元，所述方法包括：(a)定义所述基本神经元和结构神经元将表示的事件；(b)针对所有已定义事件的待表示的唯一值的总数，创建基本神经元；以及(c)基于空间特性和时间特性中的至少一种，创建用于关联所述多个神经元的一组规则。

在该方法中，所述多个神经元的任何一个神经元都能够经由到所述多个神经元中的又一个神经元的活动连接来与所述多个神经元中的另一个神经元关联；所述活动连接在所述多个神经元中的一个神经元和所述多个神经元中的又一个神经元之间、以及在所述多个神经元中的另一个神经元和所述多个神经元中的又一个神经元之间存在。所述又一个神经元在比所述一个神经元和所述另一个神经元都深的层级。所述一个神经元和所述另一个神经元在相同的层级中。所述一个神经元和所述另一个神经元在不同的层级上。所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。关联是从下述组中选出的一个或多个，所述组包括：基本神经元与基本神经元、基本神经元与结构神经元、结构神经元与基本神经元、结构神经元与结构神经元。所述多个神经元的每个是从下述组中选出的一个或多个，所述组包括：起始神经元、被关联神经元、以及关联神经元。起始神经元通过到所述关联神经元的活动连接来与被关联神经元关联。所述起始神经元、所述被关联神经元和所述关联神经元基于邻近特性被连接。所述邻近特性是下述至少一个：时间、空间、强度、大小和相对位置。该方法还包括：(a)激活或兴奋所述起始神经元加强所述关联神经元；以及(b)激活或兴奋所述被关联神经元加强并激活所述关联神经元，所述关联神经元然后被激活，并且能够兴奋。所述被关联神经元与所述起始神经元同时被激活或兴奋。所述被关联神经元在所述起始神经元之后被激活或兴奋。所述起始神经元的激活或兴奋和所述被关联神经元的激活或兴奋基于邻近特性。所述起始神经元和所述被关联神经元的邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。所述关联神经元表示从所述起始神经元和被关联神经元学到的总和。所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。所述多个基本神经元表示在所述神经网络的根层级中，并且每个基本神经元对应于基本激励或模式，每个基本激励是用于表示正被处理的信息的输出激励和基本输入激励中的一个。所述信息是记忆。所述处理是表达。所述多个结构神经元表示在比根层级深的多个更深的神经元层级中。所述多个更深的神经元层级中的层数由待处理来表达的记忆或模式的范围确定，其中记忆表示多个基本激励，并且每个基本激励由基本神经元直接表示。表示所述记忆所需的基本神经元的数目由待处理的所述记忆的性质确定。每个神经元由阵列中的单个节点整体表示。所述多个神经元的每个都在阵列中，所述阵列具有用于提供表达的指针。每个神经元由所述阵列中的节点表示，每个节点具有多个指针，每个节点中的每个指针包含另一个神经元独有的地址。所有的神经元都是固定长度的。所述神经网络是双向的。

本发明第十方面提供了一种神经网络，其中，所述神经网络是双向的，并能够在正向模式中工作和反向模式中工作，其中在正向模式中结构神经元根据输入事件被激活，而在反向模式中输入事件作为经由基本神经元来自结构神经元的输出而被表达。

在该神经网络中，所述正向模式是学习，所述反向模式是表达。

在本发明的神经网络，所述神经网络存储关联而不是数据。所述神经网络可以识别关联的模式中的模式。所述神经网络被用于下述一个或多个：监控和预测股票价格运动、互联网监测、互联网安全、计算机病毒检测、计算机蠕虫检测、语音和文本中的短语、语音和文本中的从句、剽窃检测、生物信息学、视觉识别、语义分析、数据本体的表示、机器人学、以及数据压缩。

附图说明

为了容易理解本发明并将其投入实用，现在参考说明性附图对仅本发明优选实施方式的非限定性示例进行描述，在附图中：

图1图示了现有的神经网络结构；

图2进一步图示了现有的神经网络结构；

图3图示了两个神经元和一个突触之间的现有关系；

图4图示了根据本发明的三个神经元之间的关系；

图5是本发明的处理流程的流程图；

图6图示了神经元和指针/链接之间的关系；

图7图示了说明关联的事件序列；

图8是学习过程的流程图；

图9是匹配过程的流程图；

图10是在学习过程期间创建神经元的流程图；以及

图11是神经元的表达的过程的流程图。

具体实施方式

根据本发明的优选方面本质上提供了神经网络和用于利用神经元关联构造这种神经网络的方法，神经元关联是基于包括时间、空间、强度、大小和相对位置中的至少一个特性的，并且用于形成记忆，记忆包括输入激励(由基本神经元表示)或输出动作(由基本神经元表示)中的一个或两者。

还提供了由表示多个基本激励的结构神经元表示的一个或多个记忆的记忆回忆和记忆表达的任意一个或两者。除了其已经学习的事物之外，神经网络还允许新的行为或思想的可能表达，从而可表现出创造性。输入激励可包括听觉、视觉、触觉等中的一个或多个。

输出激励可包括运动、动作、讲话等中的一个或多个，每个都由适当的基本神经元定义。

现有的神经网络是基于这样的假定：并发激活两个神经元(神经元B和C)在它们之间创建了活动的突触连接，或增强已有的突触连接。这在有两个神经元和一个突触的图3中作出了图示。

根据本发明的一个方面，激励或激活两个神经元创建了经由另外的第三神经元(关联神经元)的在这两个神经元之间的关联。这在有三个神经元41、42和43与两个突触44和45的图4中作出了图示。为方便起见，这个基本的神经结构在整个说明书中将被称作“神经元组件”。神经元41、42和43可基于邻近特性而关联在一起，所述特性包括时间、空间、强度、大小和相对位置中的至少一个。神经元43处于神经结构中比神经元41、42两者更深的层中。神经元41、42可处于神经结构的相同或不同的层中。神经元在神经网络结构中的深度或层是基于要表达其表示的基本神经元所需的步骤数。

神经结构包括神经元，其中每个神经元表示数据、事件、对象、概念或行为的记忆。每个神经元所表示的信息的类型可变化，并取决于构成神经网络的基本神经元(表示感觉和/或运动神经元激励)。基本激励仅在每个神经网络结构的根层处所维护的基本神经元中表示。更深层或后续层的神经元(结构神经元)仅表示其他神经元的关联，并不在它们本身之中存储感觉、运动或基本激励值。

神经结构中的每个神经元可表示仅两个神经元的关联，这两个神经元一个是起始神经元(initiating neuron)，另一个是被关联神经元(associated neuron)，虽然通过关联神经元(associating neuron)每个神经元可作为起始神经元和/或作为被关联神经元参与无限数目的关联。起始神经元41可具有任何数目的后继神经元，例如神经元43，其中神经元41的后继神经元是将神经元41作为其起始神经元的关联神经元(43)。另一个神经元42可具有任何数目的前驱神经元(precessor neuron)，其中神经元42的前驱神经元是将神经元42作为其被关联神经元的关联神经元(43)。因此，神经元43可被称作关联神经元、神经元41的后继神经元，或神经元42的前驱神经元。

关联是基本神经元41、42中的一个作为起始神经元，而一个是被关联神经元。假定神经元41是起始神经元，那么神经元42是被关联神经元，当神经元41兴奋或被激活时，关联神经元43被加强。在神经元41兴奋的同时或随后，神经元42兴奋或被激活，从而也加强了关联神经元43。神经元43然后被认为已激活。如果关联神经元43原先不存在(即不存在关联起始神经元41和被关联神经元42的神经元)，那么其被创建并可随后被激活，否则其仅被激活。神经元41和42的邻近激活或兴奋引起关联神经元43的激活，以及神经元41与43之间和神经元42与43之间的活动连接的创建，或现有突触连接的增强。关联神经元43表示从另外两个神经元41、42所学习的事物总和。该总和可包括下列一个或多个：记忆痕迹(memory trace)、两个神经元的经历的组合、事件序列、事件的邻近度等。一旦关联神经元被激活或创建以表示期望的记忆或事件，期望的记忆或事件就不需要在另一个神经元中重新创建。

邻近度或邻近激活或兴奋的定义将由每个神经网络的操作规则来定义。邻近度(″ΔP″)可在一个层中变化，可在多个多个层间变化，并可根据正表示的基本神经元的类型而变化。处于神经网络中更深层的神经元很少可能会紧密邻近，因此可能ΔP将增加。如果ΔP表示时间或时间的事件，ΔP可能短至零、毫秒或秒，或长达分钟、小时、天或周。真实世界中同时发生的事件仍可基于突触激活或兴奋的次数或树状兴奋路径的长度的差异来在时间上表示。ΔP还可根据正由神经结构所表示的记忆或事件的处理需求而变化。ΔP还可表示对象或事件之间的空间关系，并还可表示大脑中神经元的空间拓扑关系。

根据本发明的神经网络包括两个基本要素：

1.基本神经元，其可表示基本激励、感觉或运动神经元、或者所要求或期望的这类基本数据。这些是构成神经网络的基本神经元或根神经元。不同类型的基本神经元可取决于其所表示的经历或事件或信息的类型而被定义。例如，如果表示听觉皮层，基本神经元将是表示明晰的声音的。基本神经元可结合许多不同类型的基本神经元，例如一组是表示声能或声音的强度(音量)的，而另一组是表示声音的频率的。

如果表示嗅觉和味觉，可能有一组味觉的神经元和另一组嗅觉感觉的神经元。

在视觉上，可能有表示彩色的圆锥、棒、边缘、对比度、运动等的多组基本神经元，如神经节细胞所表示的，或专门表示感光神经元。

对皮肤感受器，可能有基本神经元对应于：触觉-机械性激励感受器神经元；温度-热感受器神经元；疼痛-伤害感受器神经元等。运动可由导致运动的各种类型的运动神经元来表示。

当感觉神经元兴奋或被激活时，其将已从特定位置处的特定细胞或感觉器官接收到的某形式的能量经突触或神经细胞传输到大脑的不同区域。所有感觉神经元具有类似的中央处理机制。当在大脑中运动神经元兴奋或被激活时，其引起身体中特定位置处的肌肉收缩，从而产生运动。当感觉神经元检测到事件时，其将数据传递到大脑中，在大脑中，该数据在大脑的神经结构中被处理。

还可定义人工基本神经元。例如，如果使用神经网络来处理英文文本，可定义一组基本神经元来表示字母字符和标点字符。对于中文，可为每个中文字符或其子集定义基本神经元。如果使用神经结构来处理蛋白质序列，可定义基本神经元来表示二十个氨基酸或其子集。对于语音，可定义不同的运动神经元来产生不同的肌肉收缩，从而产生对应于音素声音，等等。

基本神经元可以是起始神经元和被关联神经元，但不可以是关联神经元。

2.结构神经元表示神经结构。如图4所示的神经结构包括表示其他神经元的关联的神经元，不管它们是感觉神经元、运动神经元，还是其他结构神经元。这样，神经结构可以增长，表示越来越多的信息。

结构神经元还可被用于形成表示多组不同的基本神经元的结构神经元之间的关联。例如，可在由字母基本神经元的关联所表示的英文单词“ball”和由视觉基本神经元的关联所表示的形状“ball”之间形成关联。这样可以建立神经网络，其允许跨越不同皮层或跨越不同神经网络的信息的关联。在形状“ball”和由运动神经元的关联所表示的口语单词“ball”之间可存在关联，以使音素神经元能够产生声音“ball”。

结构神经元是基于包括时间、空间、强度、大小和相对位置的特性而彼此关联的。如果用神经结构来表示语音，关联将是时间性质，表示在表达语音中使用的音素、词、短语、从句等的顺序。同样，如果处理文本或读书，单独字符的处理将是时间性质的，逐步形成词、短语、从句等。大脑中的许多神经元也是空间或地形组织的，例如用于视觉、听力、触觉、疼痛等的那些。象这样可以构造表示空间特性的神经结构。例如，在表示视觉场景的神经结构的形成中，表示边缘或直线或曲线或物体或图案的神经元可被关联到神经结构中，该神经结构基于邻近关系(近的物体和远的物体，或高的物体与低的物体)将表示点的基本神经元关联为线或曲线，从而建立环境的三维地图。

可以使用相同的神经结构来表示由空间和时间定义的四维中任意维里的信息。

如上所述，由空间神经结构表示的形状“ball”可与由时间神经结构表示的口语单词“ball”相关联。

结构神经元是关联神经元。结构神经元还可以是起始神经元和被关联神经元中的一种或两种。

神经结构中的关联的根层处基本神经元的组合允许创建表示皮层(神经集合)中特定基本特性或特征的结构神经元。神经结构允许用神经结构中的动态关联来表示特性组合。新皮层中由感觉神经元引起的神经活动总是被分布到大脑中不同区域。在感觉系统中，大脑的不同区域可以处理同一输入激励的不同方面(空间/时间/强度/大小/相对位置)。为了表示一致的概念/认知和行为，所提议的神经结构允许同一区域内的神经关联。神经结构中更深层的关联(皮层内关联)允许表示愈加复杂的信息或行为。

神经元可根据其功能、特性、层级、性质等来组织、分类或命名。也可为针对特定纬度来定义神经元。该纬度可以是时间、距离、空间、长度、高度、斜度、广度，或任何其他可定义的特性。

在其特定纬度中，任何两个神经元可根据它们相对的或相关的发生、位置、比例或大小而被区分。该相对定位由ΔP表示。

构造神经网络的基本参数是：对于任何两个通过相对位置相联系的活动神经元A和B，存在第三神经元C，其具有经由突触到神经元A和B两者的连接。如果这样的神经元不存在，那么可以创建这样的神经元和其连接。因此神经元C将神经元A和B关联在一起，从而维持A和B的相对位置。A和B可能但不一定在它们的相对位置中是连续或连贯的。因此神经元C可以关联表示事件的任何两个神经元A和B，无论该事件是并发的、连续的、连贯的、非连续的、非连贯的或重叠的。

关联的逻辑是：对于任何两个兴奋或被激活的活动神经元A和B，其中的一个将是起始神经元。第三神经元C将关联起始神经元与第二神经元，并保留它们激活或兴奋的顺序。这样，神经元C表示由第二神经事件跟随的起始神经事件的组合事件。这个新神经元C可以随后参与与其他神经元的结合(从而创建新的关联)，等等。

创建新的神经元的基本规则是：如果神经元A兴奋或被激活，神经元B与之并发或随后兴奋或被激活，那么新的神经元C可被构造并可能兴奋或被激活，从而表示神经元A和B的关联(即事件AB在时间或空间上的关联)。如果神经元C因为在前的事件或关联而已经存在，那么神经元C也可以类似地被重新激活或兴奋，并允许其参与随后现有的或新的激活，从而允许其形成新的关联。这允许构造具有无限数目的关联和/或关系的神经网络。

图5中示出了表示创建新的神经网络的基本流程的流程图。这个优选实施示例示出了用于处理基本事件的简单顺序的处理步骤和模型应用。

图5中，在50中神经网络或表示神经网络的阵列被初始化。在51中每个基本神经元的类型或种类被定义，并可被相关到例如文本、视觉斜度、颜色、边缘、声音、音量、味觉、嗅觉感受、色锥、色棒、疼痛、对比度、运动、肌肉运动、神经节细胞、受光体、触觉、机械性激励感受器、温度、热感受器、伤害感受器、运动、语言、符号、字母、词等等。

在52中基本神经元然后被定义/编程/输入。然后考虑的问题是：基本神经元已经存在？(53)。对于要由每种已定义类型的已定义基本神经元表示的每个唯一的值，全部基本神经元必须被创建，并作为一列后继神经元被附接到根神经元，从而由表示该神经元网络的阵列中的节点零表示的根神经元。如果询问的答案是“否”，新的基本神经元被创建(54)，然后处理回到(52)。如果询问的答案是“是”，处理继续前进到55。这里，关联神经元的规则被定义。可替换地，当新的基本神经元在学习过程中出现时，其可被定义。

第一神经元或下一个起始神经元被找到(56)。这个是指定的神经元A。随后的神经元(神经元B)然后被找到(57)。如果神经元A和神经元B的关联已经存在(58)，处理回到56。如果不存在，神经元C被创建，以表示神经元A和神经元B的关联或组合(59)，然后处理回到56。在这个过程中神经元C可被称为关联神经元。

图8的流程图提供了图5的步骤56到59的更多细节。这里，神经处理或学习属于由基本神经元事件的模式或序列表示的经历。

在步骤81中，事件指针被指向事件模式或序列中的第一个基本事件。在步骤82中，匹配的神经元被找到。匹配神经元是神经网络中与事件指针所指向的事件的模式或序列中的主要事件或多个主要事件相匹配的神经元(记忆)。这个匹配神经元被定义为起始神经元(神经元A)。然后根据神经网络的已定义规则，事件指针被更新以指向下一个事件。

然后在步骤83中，另一个匹配神经元被找到。再一次，这个神经元(记忆)是针对由事件指针指向的事件的模式或顺序中的事件或多个事件。这另一个匹配神经元被定义为被关联神经元(神经元B)。然后，根据神经网络的已定义规则，事件指针被更新以指向下一个事件。如此，新的关联神经元或关联总是被创建，尽管要符合一定规则。通常神经元C先前并不存在，否则在步骤82处其已被匹配。

已完成单遍的处理后，相同的数据或事件序列可被重新处理(如果期望这样的话)，从而相应扩充神经网络结构。

在步骤84中，另一个未被使用过的神经元被找到。在步骤85中，创建关联神经元(神经元C)。在86中，步骤82到85的过程被重复，直到事件模式或序列中不再有事件被处理为止。

图9提供了图8的处理步骤82和83(寻找匹配神经元)的更多细节。

在步骤91中，匹配神经元指针通过指向根神经元而被置零。对于匹配神经元的每个后继神经元(步骤91)，检查被执行以确定后继神经元的完整表达是否与正被处理的事件模式或序列中的随后的事件或多个事件或序列相匹配。如果的确匹配，处理前进到步骤93，其中匹配神经元的指针被设为指向匹配事件模式或顺序的后继神经元。另外，事件指针可被调节指向事件模式或序列的剩余事件，即到那时为止还未被匹配的事件。处理然后回到步骤92并继续。如果步骤92的结果是不匹配，在步骤94中，匹配神经元指针被返回指向最后匹配神经元，然后处理在步骤95中结束。

图10更详细地图示了图8中步骤85的过程一关联神经元的创建。在步骤101中，关联神经元的起始指针被设为指向起始神经元，在步骤102中，关联神经元的被关联神经元指针被设为指向被关联神经元。因为关联神经元没有后继神经元(刚被激活或创建)，其后继神经元指针被置零(步骤103)。关联神经元的下一个神经元指针然后被设为等于起始神经元的后继神经元指针。最后，在步骤105中，起始神经元的后继指针被设为指向关联神经元，从而关联神经元成为起始神经元的后继神经元列表中的第一个条目。

表示一个共同特性的一组基本神经元可被组织成一个皮层。因此，可以具有视皮层，其包含涉及第一视觉特性(例如用于颜色的一组神经元)的多组神经元；用于第二视觉特性(例如形状)的第二组；用于第三视觉特性(例如大小)的第三组，等等。来自一个神经网络的表示独特模式或事件的结构神经元可以是另一个神经网络中的基本神经元。可能由多个神经网络(以及其中的神经元)表示的多个皮层可被互链或相关，以形成不但可以提供完整的学习环境而且可以提供智能行为潜能的完整的“大脑”。

传统的神经网络通常是单向的。这意味着给出一定输入可得到输出。然而，它们不能反向工作。就是说，给出输出不可以得到输入。

本发明提供了“表达”的能力，由此可以表达导致任意神经元的构造的事件序列。表达的重要性在于：其允许事件的完整序列由单个神经元来表示，并且可通过激活那个单个神经元、然后按照与创建它们时相同的相对位置或顺序激活表示起始神经元和被关联神经元的关联的多个神经元，从而再现该序列。如此，可以表达表示完整的经历或记忆(事件序列)的单个神经元，从而回忆该经历。

表达能力是经由神经结构中每个神经元的起始指针和被关联指针实现的。

在图11中图示了表达。当需要表达时，在步骤111中第一检查确定要被表达的神经元的起始指针是否等于零。如果“是”，其一定是基本神经元且处理过程回到步骤114，其中，表达是存储在被关联神经元之中的基本事件或值的激活，以表示该基本神经元。如果该值不是零，开始步骤112。步骤112中是要表达由神经元的起始神经元指针所指向的神经元的表达。步骤113中是要表达由神经元的被关联神经元指针所指向的神经元的表达。这继续到所有表示记忆的基本神经元都已经被表达为止。

网络中的每个神经元都具有地址来标识其在可寻址节点阵列中的位置，其中每个节点表示单个神经元。所有的神经元指针指向表示神经元阵列中单个神经元的节点的地址。地址或指针的位大小(bit size)将影响表示神经网络的阵列中可以表示的神经元的最大数目。例如：使用32位的指针地址大小将允许建立包括2³²或者说4,294,967,296个神经元的神经网络。

每个神经元是由传统阵列或结构中的单个的固定长度的节点表示的。可在阵列中存储的神经元的数目将依赖于总的可用记忆存储(内部的和/或外部的)，并依赖于指针地址结构：

(a)16位指针地址结构将允许多达2¹⁶个神经元。

即6.4×10³个神经元；

(b)32位指针地址结构将允许多达2³²个神经元。

即4.1×10⁹个神经元；

(c)48位指针地址结构将允许多达2⁴⁸个神经元。

即2.7×10¹⁴个神经元；

(d)64位指针地址结构将允许多达2⁶⁴个神经元。

即1.8×10¹⁹个神经元；

因为人脑具有大约10¹²个神经元，使用48位指针地址结构可以匹配一百个人脑的容量。根据最新的支持64位寻址的计算机，可以具有能力表示包括10¹⁹个神经元的神经结构，大小等同于一千万个人脑连在一起。

要表示神经网络，节点要包括最少4个指针。每个指针包括到另一个神经元的地址。如以上说明的，使用32位的地址大小将允许构造包括高达2³²或40亿个神经元的神经网络。

如图6所示，在最基本的实现中，每个神经元可由四个指针/链接(P₁、P₂、P₃、P₄)表示。每个指针是到另一个神经元的地址或位置的链接。神经元通常要具有四个指针，这是要创建带表达能力的智能神经网络所需的最小值。然而，神经元可具有多于四个指针，以提供额外的功能。例如在创建表示起始神经元A和被关联神经元B的关联的神经元C的过程中，神经元C需要下列指针：

P1-到起始神经元(即神经元A)的指针；

P2-到参与形成关联的另一个神经元(即神经元B)的指针；

P3-到以神经元C作为起始神经元的一列(LsC)更深层的神经元的指针(神经元C的后继指针)；以及

P4-到将神经元A作为其起始神经元的下一个神经元的指针(LA)(神经元A的“下个后继者”指针)。

还可以为神经元C定义额外的指针，如果有必要向被关联神经元提供关于前驱者的信息的话。例如：

P5-到将神经元C作为被关联神经元的一列(LpC)更深层的神经元的指针(前驱者指针)；以及

P6-到将神经元B作为其被关联神经元的一列中的下一个神经元的指针(“下个前驱者”指针)。

更深层的神经元可表示复杂的事件序列。因为每个结构神经元具有至少一个起始神经元和一个被关联神经元，处于第十层的单个神经元可表示多达2¹⁰或1,024个基本事件的序列。神经元仅可以与相同层的神经元关联不是必要条件。

因此，在存储新的事件序列的过程中，仅仅需要识别表示事件流中的现有事件序列的那些现有神经元，然后通过构造新的神经元来将这些关联在一起，例如，如果有分别为1,024个事件和512个事件的两个事件序列，则可以构造单个新的神经元来表示1,536个事件的事件序列。从而可以在神经网络中节省地表示新的序列/事件信息。

这在图7中得到图示。图7图示了从对句子“The cat sat on the mat”的处理文本和学习得到的可能神经网络。标有箭头的直线指示出起始神经元和关联神经元之间的连接，而标有圆圈的直线指示出被关联神经元和关联神经元之间的连接。

在图7(a)中，零层中的第一基本神经元701和第二基本神经元702识别或表示字母“T”和“H”，并关联以形成由第一层中的关联神经元711表示的字母组合“TH”。

图7(b)示出了识别字母“E”的第三基本神经元703和识别空格“^”的第四基本神经元704。这两个关联在一起而形成由第一层中的关联神经元712表示的组合“E^”。第一层中的结构神经元711和712关联以形成由关联神经元721表示的单字(distinct word)“THE^”。

在图7(c)、(d)和(e)中，零层中的接下去的两个基本神经元705和706分别识别字母“C”和“A”，并关联以形成由第一层中的关联神经元713表示的字母组合“CA”。

对字母“T”和“^”，神经元701与神经元704相关联以创建第一层中的表示组合“T^”的关联神经元714。神经元714和713然后关联以创建第二层中的关联神经元722，从而形成单字“CAT^”(图7(e))。神经元721和722然后可以关联，以在第三层中的关联神经元731处给出形成短语“THE^CAT^”的结果(图7(f)和7(g))。

对于对图7(h)所示的单字“SAT^”，神经元707识别字母“S”，并与神经元706相关联以在第一层中的关联神经元715处给出结果，即字母组合“SA”。第一层中的神经元715与神经元714(″T^″)相关联，以在第二层中的关联神经元723处给出结果，即单字“SAT^”。

在图7(i)和7(j)中，神经元708和709分别识别字母“O”和“N”，然后关联以形成由第一层中的关联神经元716表示的字母组合(和单词)“ON”。神经元716与神经元704相关联，以在第二层中的关联神经元724处给出结果，即单字“ON^”。第二层中的神经元723与神经元724相关联，以在第三层中的关联神经元732处给出结果，即从句“SAT^ON”。第三层中的神经元731和神经元732可关联以在第四层中的神经元741处给出结果，即从句“THE^CAT^SAT^ON^”。

图7(k)和(1)图示了神经元7010识别字母“M”并与神经元706相关联以在第一层中的神经元717处给出结果，即字母组合“MA”。神经元717与神经元712(“T^”)相关联，以在神经元725处给出结果，即单字“MAT^”。神经元721与神经元725(“THE^”)相关联，以在神经元733处给出结果，即短语“THE^MAT”。

神经元741和733可以相关联，以在第五层中的神经元751处给出结果，即句子“THE^CAT^SAT^ON^THE^MAT”。很明显每个关联神经元具有至多一个起始神经元和一个被关联神经元。然而，神经元可以具有多个后继和前驱神经元。例如基本神经元701(“T”)具有表示“TH”(711)和表示“T^”(714)的后继神经元。基本神经元706(“A”)具有表示“CA”(713)、“SA”(715)和“MA”(717)的三个前驱神经元。

要扩展其中零层中的神经元7011识别字母“D”的图7(m)中图示句子。神经元7011与神经元704相关联，以在神经元719处给出结果(组合“D^”)。神经元706与神经元709组合以在神经元720处给出结果(组合“AN”)。神经元720与神经元719相关联，以在神经元726处给出结果(组合“AND^”)。神经元733与神经元726相关联，以在神经元742处给出结果(组合“THE^MAT^AND^”)。神经元741与742可以相关联，以在神经元752处给出结果(表示短语“THE^CAT^SAT^ON^THE^MAT^AND^的组合”)。

图7(n)中示出了零层中每个基本神经元仅表示一个字母/字符。第一层中的每个神经元表示两个字母/字符的关联；第二层中的每个神经元可表示多达4个字母/字符的关联；第三层中多达8个字母/字符；第四层中多达16个字母/字符；第五层中多达32个字母/字符；以2的倍数继续，第十层中每个神经元可表示多达1,024个字母/字符的关联；而第二十层中的每个神经元可表示多达1,048,576个基本事件的关联。

可见，对于文本识别，所需的基本神经元的数目是相当有限的。下列每个都需要一个基本神经元：

1.大写字母表的26个字母；

2.小写字母表的26个字母；

3.10个数字；

4.标准字母数字键盘上的32个标点符号和类似的字符；

5.可能需要的任何其他特殊字符(例如来自希腊字母表)。

在学习过程期间，所需的结构神经元的数目和所需的结构化神经元的层数可能由于使用神经网络的缘故而增长。使用文本识别的示例，有关档案的数目，有关(一个或多个)学习事件的大小，档案中使用的语言，以及单词、短语、从句、句子、段落、章节、书等等的最大可能数目将影响结果神经网络结构的大小。作为示例，如果威廉莎士比亚的全部剧本使用本发明以文本识别来记录，在第一剧本被记录之后，将会有某一数目的结构神经元“N1”。当第二剧本被记录时，在相同的神经网络中，总计所需的神经元将不会是每个剧本独立处理过程所需的那些(神经元)的简单的算术总和。只有超出为第一剧本创建的那些(神经元)的处理第二剧本所需的额外的神经元将被加到N1，以给出增大后的总的N2。用于任何先前存在的字母、单词、短语、从句、句子(等等)的神经元将不会被增加，但它们新的关联将被增加。当第三剧本被记录时，所需的额外的神经元将被同样地增加以给出N3。

在最后的剧本被输入之前，所需神经元的数目上的增长将不会很大。主要的增长将在于神经结构中的更深的层，其中新的关联将被增加。最深的层可以是单个神经元，其具有要表示全部剧本所需的所有的关联。

因为每层中的每个神经元可以与任意层中的任何其他神经元相关联以在第三神经元处给出结果，可得到的可能的排列组合的数目是很大的。

考虑图7，存在可能被用于在神经元751处提供结果(“THE^CAT^SAT^ON^THE^MAT”)的不同的组合。例如，在图示出的第一层中下列组合被记录：

“TH”、“E^”、“CA”、“T^”、“SA”、“ON”，以及“MA”。

其他组合是可能的。例如：

“TH”、“HE”、“E^”、“CA”、“AT”、“T^”、“ON”、“N^”、以及“MA”。

在第二层中可能跟随更大范围的可能的组合。通过采用适于使用神经网络的期望目标的规则，从而减少或消除组合，效率也可得到提高。

如果考虑十层的神经元，其能够表示多达1,024个基本事件的序列。可通过沿着指针一直到基本或根层来表达第一元素。这样允许相对迅速的表达。

对于学习和在表达期间两者而言，基本神经元可被频繁地激活。在纯粹二进制实现中，可以通过单个第一层神经元来表达或关联两个基本神经元或根层神经元。可通过一个第二层神经元来表达或关联两个第一层神经元，依次类推。如果1,024个基本事件的序列被激活且通过网络被学习/表达，那么在每层中可以处理下列数目的神经元：

1,024第零层

512 第一层

256 第二层

128 第三层

64 第四层

32 第五层

16 第六层

8 第七层

4 第八层

2 第九层

1 第十层

从而表示基本事件的整个序列。

如果在根层处的神经元兴奋之间的基本时间是1毫秒，那么第十层神经元将是每1024毫秒或每秒才兴奋或被激活一次。因此如果表示神经结构的阵列是作为不同的存储块/区域的组合而被表示的，那么更深层的神经元可以被存储在较慢的存储/记忆区域中不影响学习和表达的性能。

在优选的神经网络结构中，基本神经元将神经网络结构的根神经元作为其起始神经元。这样就允许不限数目的基本神经元被即时创建，而不是必须预定义基本神经元。可替换地，可以将结构中的预定神经存储/记忆区域分配给基本神经元，然后每个基本神经元就可被直接地定址(例如对ASCII文本字符是8位)，256个神经元的地址可以预先分配(0到255)而第一结构神经元的地址将处于地址256。

在优选的模式中，新的基本神经元可以在任何时候、任何位置被添加到神经元结构，从而提供了完全的灵活性。当使用用于基本神经元的预定义区域时，因为无需搜索附于根神经元的后继者的列表，处理过程可能会更快。

基本神经元可能这样表示：它们的起始神经元指针被设置为零-指向根神经元(无论其是否存在)，而它们的被关联神经元指针被设为要由那个基本神经元表示的基本事件的值。基本神经元总是可以容易地确定或识别，因为其起始神经元值总是零。因此，当表达神经元时，要判定我们什么时候已达到基本神经元是容易的，因为起始神经元值为零，指向根神经元。替换方法可被用来定义基本神经元，不影响所表示的神经网络的实质。

在优选的模式中，起始神经元的新的后继神经元被简单地添加到列表的开头。因此，它们被直接地附接到起始神经元。这样最近的记忆痕迹被容易地表达。

然而，许多的选择可以用于维持后继神经元的列表。神经结构允许以用户选择的任何方式使用这项特性，来向神经网络结构提供额外的功能。例如，新的关联神经元可以被添加到列表的结尾，或者列表可以用数字顺序、字母顺序等等来维护。同样地，可以将频繁访问的神经元向列表的开头移动，或移动到列表的开头，使得越是最近激活的记忆总是更容易访问。这还意味着越久的记忆处于列表的结尾，并更少可能会经历表达。

这样，列表的顺序可以被用来表示起始神经元的后继神经元的相对突触强度或激活层级，而非必须使用权重来表示突触连接的强度，如果期望这样的话。

可以通过简单表达由起始神经元指针表示的神经元，然后表达由被关联神经元指针表示的神经元，来表达由任意神经元表示的记忆。如果起始指针是零，可以表达基本神经元的基本值。否则，可以针对起始指针重复处理-表达其起始神经元指针和其被关联神经元指针，依次类推。因此，任意神经元可以通过按顺序表达其多个部分来完全表达。

可以创建表示学到的知识的神经网络结构。例如，如果下列文本的句子是输入：

LUCY^IS^CRYING^UNDER^THE^TABLE^.

JOHN^IS^PLAYING^IN^THE^PARK^.

PETER^IS^READING^IN^THE^CHAIR^.

MARY^IS^SLEEPING^UNDER^THE^TREE^.

JOHN^IS^RUNNING^IN^THE^RACE^.

PETER^IS^PLAYING^ON^THE^SWING^.

MARY^IS^TALKING^ON^THE^PHONE^，

可以创建表示下列短语或记忆的神经元：

IS CRYING

IS RUNNING

IS READING

IS SLEEPING

IS PLAYING

IS TALKING

在这个例子中“IS^”具有六个后继神经元。

同样地可以创建下列短语或记忆：

UNDER THE TABLE

UNDER THE TREE

IN THE PARK

IN THE CHAIR

IN THE RACE

ON THE SWING

ON THE PHONE

因此LUCY与IS CRYING相关联，而IS与六个不同的动作相关联。通过改变IS的替换后继神经元的表达，可以表达多达六个不同的短语/从句：

LUCY IS CRYING

LUCY IS RUNNING

LUCY IS READING

LUCY IS SLEEPING

LUCY IS PLAYING

LUCY IS TALKING

虽然只是第一短语曾经被学习，或被输入到神经网络，但是可以对JOHN、PETER和MARY作同样的事情。

可以根据结构**IS和IS**来有效地生成新的表达。即：

LUCY IS IS CRYING

JOHN IS IS RUNNING

MARY IS IS READING

LUCY IS IS SLEEPING

PETER IS IS PLAYING

IS TALKING

因此，可以创建或表达30(5×6)个短语/从句，它们在句法和语义上都是正确的。同样地：

ON THE THE TABLE

IN THE THE PARK

UNDER THE THE CHAIR

THE TREE

THE RACE

THE SWING

THE PHONE

提供了生成21(3×7)个这样性质的短语/从句的可能性，所述短语/从句都是句法上正确的，但不都是语义上正确的。

将这两组组合在一起给出结构：

{*}IS{*}(*)THE{*}

这样提供了{5}IS{6}*{3}THE{7}个表达，或5×6×3×7＝630个可能的表达，虽然只学习了七个输入的句子。因此神经模型允许学习和建立记忆的神经结构，并还允许根据用户定义的过程将这些神经元或记忆组合成新的表达或行为。用先前已学习到的，大脑可以探索句法上行得通的概念或建议。用数百万的神经元，可以表达数十亿的句法上正确的句子。就是说，神经网络结构为创造性表达提供了理想的方法。

通过使用上述的神经网络，可以具有这样的系统：

·能够学习；

·具有表达能力；

·存储关联而不是数据；

·能够有效使用计算机的内存和存储空间；

·计算上有效率。

因此网络能够识别关联模式中的模式。这样其可用于各种工业，例如监控和预测股票价格运动、因特网监测、安全、计算机病毒检测、言语和文本中的短语、言语和文本中的从句、剽窃检测、数据压缩，等等。

上述神经网络的结构和处理过程可以实现在软件或硬件中。如果在硬件中，它们可能是芯片的一部分、专用芯片的全部，或者芯片阵列，都可作为基本或结构神经元。基本和结构神经可在芯片的一部分中，或在专用神经元的存储阵列中。当所有的神经元都存在时，在第一遍数据后，第一基本神经元将学习到数据的第一元素。例如，图7中使用的示例中的大写字母“T”。下个基本神经元将学习数据的下个元素。还是使用图7的示例，即小写字母“h”。依次类推。因为基本神经元和神经网络的更低层中的那些神经元将被更频繁地激活以创建更深层中的关联，为了最佳性能它们需要更快的处理器速度。更深层的神经元将被更不频繁的激活，因此可被存储在具有更慢的处理器速度的存储器中。

因此，提供了这样的神经网络，其基于包括感觉神经元、运动神经元的神经元以及突触连接的概念。大脑中的每个神经元可以以简单的方式由阵列或存储器中的单个节点来表示。神经元是阵列或存储器中的固定长度的节点。每个突触连接可以由每个节点中的指向其他神经元的指针来表示。阵列中的神经节点可单独排他地包括指向数据阵列中其他神经元的指针。然而，运动或感觉神经元包括用于与外部环境相互作用的感觉值或运动值。每个神经元包含到其他神经元的连接。如果期望的话，神经元还可维持其他信息，例如学习期间激活的频率、后继神经元的数目、前驱神经元的数目等等，以协助处理和用作用于创建关联和用于表达的规则中。

为了用接口连接到并与外部输入设备或外部输出设备装置交互，可定义相应于感觉神经元或运动神经元的基本神经元。

使用用于创建神经结构和经过神经连接的合适的规则，可以根据神经元和突触关联来表示和建立/构造神经网络。该网络通过在神经元之间创建关联来学习。对于任意神经元，其表示可以被回忆或表达，并且多个关联的探查以及它的到其他神经元的关联的排列可以被回忆或表达。神经元可以表示记忆，其中记忆被定义为神经元的表达。

用接口连接或学习或处理外部感觉神经元事件的经历和创建输入经历的记忆是由神经元和神经元之间新的连接来表示的。

用接口连接或学习或表示外部运动神经元事件的活动和创建输出动作的记忆是由新的神经元和神经元之间新的连接来表示的。

神经网络可以学习，它可以表达或回忆或记起记忆，它可以与外部环境相互作用或表达自己，并有能力思考(被定义为探索如上所述的可替换的神经元关联的过程)和创造性地表达自己。

本发明还扩展到包括计算机程序代码的计算机可用介质或专门制造的数字处理器芯片，它们被定制以使一个或多个处理器执行一个或多个功能以执行上述的方法。

虽然已经在前面的描述中描述了本发明的优选实施例，但是本领域的技术人员将明白，可在设计、构造或操作的细节中作出许多变化或修改而不脱离本发明。

Claims

1.一种包括多个神经元的神经网络，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元和结构神经元都能够通过活动连接被关联；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

2.如权利要求1所述的神经网络，其中，所述多个神经元中的任何一个神经元都能够通过到所述多个神经元中的又一个神经元的活动连接来与所述多个神经元中的另一个神经元关联；所述活动连接在所述多个神经元中的一个神经元和所述多个神经元中的又一个神经元之间、以及在所述多个神经元中的另一个神经元和所述多个神经元中的又一个神经元之间存在；所述多个神经元中的又一个神经元被定义为在比所述多个神经元中的一个神经元和所述多个神经元中的另一个神经元都深的层级中。

3.如权利要求1所述的神经网络，其中，所述多个神经元中的任何一个神经元都能够通过到所述多个神经元中的又一个神经元的活动连接来与自身关联；所述活动连接在所述多个神经元中的一个神经元和所述多个神经元中的又一个神经元之间存在；所述多个神经元中的又一个神经元被定义为在比所述多个神经元中的一个神经元深的层级中。

4.如权利要求2所述的神经网络，其中，所述一个神经元和所述另一个神经元在从包括相同和不同层级的组中选出的层级中。

5.如权利要求1所述的神经网络，其中，每个基本神经元能够用于输入和输出基本值。

6.如权利要求1所述的神经网络，其中，每个结构神经元表示由一对神经元表示的组合信息或记忆，所述结构神经元自所述神经元对接收输入；并且每个基本神经元表示从下述组中选出的至少一个，所述组包括：正被处理的信息的输出激励、基本激励、定义的基本模式、定义的基本数据元素、以及基本输入激励。

7.如权利要求1所述的神经网络，其中，关联是从下述组中选出的至少一个，所述组包括：基本神经元与基本神经元、基本神经元与结构神经元、结构神经元与基本神经元、结构神经元与结构神经元。

8.如权利要求1所述的神经网络，其中，所述多个神经元中的每个是从下述组中选出的一个或多个，所述组包括：起始神经元、被关联神经元、以及关联神经元。

9.如权利要求8所述的神经网络，其中，起始神经元经由到所述关联神经元的活动连接与被关联神经元关联。

10.如权利要求9所述的神经网络，其中，所述起始神经元、所述被关联神经元和所述关联神经元是基于邻近特性连接的，所述邻近特性是下述至少一个：时间、空间、强度、大小和相对位置。

11.如权利要求1所述的神经网络，其中，结构神经元表示信息和记忆中的至少一个；并且创建结构神经元和表达结构神经元关联到的所述神经元对是所述神经网络的两种处理。

12.如权利要求2所述的神经网络，其中，所述多个神经元中的一个是起始神经元、所述多个神经元中的另一个是被关联神经元，并且所述又一个神经元是关联神经元；并且其中当所述起始神经元被激活或兴奋时，所述关联神经元被加强；并且当被关联神经元被激活或兴奋时，所述关联神经元进一步被加强，从而被激活并且能够兴奋。

13.如权利要求12所述的神经网络，其中，所述被关联神经元与所述起始神经元同时被激活或兴奋。

14.如权利要求12所述的神经网络，其中，相对于所述关联神经元，所述被关联神经元在所述起始神经元之后被激活或兴奋。

15.如权利要求12所述的神经网络，其中，所述起始神经元和所述被关联神经元的激活或兴奋基于邻近特性。

16.如权利要求15所述的神经网络，其中，所述起始神经元和所述被关联神经元的所述邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。

17.如权利要求12所述的神经网络，其中，所述关联神经元表示从所述起始神经元和所述被关联神经元学到的总和；所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。

18.如权利要求1所述的神经网络，其中，所有基本神经元表示在所述神经网络的根层中。

19.如权利要求12所述的神经网络，其中，一旦所述关联神经元被激活以表示期望的结果，就不需要在另一个神经元中重新创建所述期望的结果。

20.如权利要求11所述的神经网络，其中，创建结构神经元是学习，表达所述神经元对是表达。

21.一种包括多个基本神经元和多个结构神经元的神经网络，其中每个结构神经元表示任意一对神经元之间的关联，所述一对神经元是从下述组中选出的，所述组包括：两个基本神经元、两个结构神经元、一个结构神经元和一个基本神经元、以及一个基本神经元和一个结构神经元。

22.如权利要求21所述的神经网络，其中，所述多个基本神经元表示在所述神经网络的根层中，并且每个基本神经元表示下述至少一个：基本激励、定义的模式和定义的数据元素；每个基本激励用于表示正被处理的信息的输出激励和基本输入激励中的至少一个。

23.如权利要求21所述的神经网络，其中，每个基本神经元是从包括感觉神经元和运动神经元的组中选出的。

24.如权利要求22所述的神经网络，其中，所述正被处理的信息是记忆。

25.如权利要求22所述的神经网络，其中，所述处理是学习和表达中的至少一个。

26.如权利要求22所述的神经网络，其中，所述多个结构神经元是在比根层级深的多个更深的神经元层级中定义的。

27.如权利要求26所述的神经网络，其中，所述多个更深的神经元层级中的层数由待处理来表达的记忆或模式的范围确定，其中记忆表示多个基本神经元。

28.如权利要求27所述的神经网络，其中，表示所述记忆所需的基本神经元和结构神经元的数目由所述待处理的记忆的性质确定。

29.如权利要求1所述的神经网络，其中，所述多个结构神经元中的任何一个结构神经元都能够通过到所述多个结构神经元中的又一个结构神经元的活动连接来与所述多个结构神经元中的另一个结构神经元关联；所述活动连接在所述多个结构神经元中的一个结构神经元和所述多个神经元中的又一个结构神经元之间、以及在所述多个结构神经元中的另一个结构神经元和所述多个结构神经元中的又一个结构神经元之间存在。

30.如权利要求29所述的神经网络，其中，所述又一个结构神经元在比所述结构神经元和所述另一个结构神经元都深的层级中。

31.一种包括由关联链接的多个神经元的神经网络，就所述多个神经元表示的或者从其导出所述多个神经元的至少一个基本神经元来说，所述多个神经元都能够被表达。

32.如权利要求31所述的神经网络，其中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

33.一种包括多个神经元的神经网络，所述多个神经元中的每个由阵列中的唯一可寻址节点表示，所述多个神经元中的每个由关联链接，并且所述多个神经元都能够被表达。

34.如权利要求33所述的神经网络，其中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

35.如权利要求33所述的神经网络，其中，每个神经元由所述阵列中的单个节点整体表示。

36.一种神经网络，包括由多个节点组成的阵列，其中所述阵列中的每个节点表示单个神经元，每个节点包括至少一个指针，每个指针是所述节点的数据元素；每个数据元素表示所述阵列中的一个节点的唯一地址，每个地址表示多个神经元中的一个神经元；并且所述多个神经元中的每个神经元由关联链接，所有神经元都能够被表达。

37.如权利要求36所述的神经网络，其中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

38.如权利要求36所述的神经网络，其中，所述多个神经元中的每个都由阵列中的可寻址节点表示。

39.一种神经网络，包括多个神经元，所述多个神经元由阵列表示；所述多个神经元中的每个神经元由所述阵列中的一个节点表示；所述阵列中的所述多个神经元中的每个神经元能够被表达；每个节点具有多个指针，所述多个指针中的两个指针用于提供表达。

40.如权利要求39所述的神经网络，其中，每个节点中的每个指针包含下述至少一个：另一个神经元的地址，以及基本神经元的基本值。

41.如权利要求39所述的神经网络，其中，每个指针具有特定并唯一的功能，并且表示突触连接。

42.如权利要求40所述的神经网络，其中，所述多个神经元包括多个基本神经元和多个结构神经元；所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

43.如权利要求42所述的神经网络，其中，所述指针除了表示所述基本神经元中的基本激励的值之外，每个指针还包含另一个神经元的地址。

44.如权利要求39所述的神经网络，其中，指针的数目取决于所述神经网络所执行的功能。

45.如权利要求39所述的神经网络，其中，每个神经元的指针的数目至少为二。

46.如权利要求39所述的神经网络，其中，所述神经网络包括起始神经元、被关联神经元、以及连接到所述起始神经元和所述被关联神经元的关联神经元。

47.如权利要求46所述的神经网络，其中，每个指针的功能是从下述组中选出的，所述组包括：起始、关联、后继、所述起始神经元的下个后继、前驱、以及所述关联神经元的下个前驱。

48.如权利要求42所述的神经网络，其中，基本神经元的每个指针表示基本值。

49.如权利要求1所述的神经网络，其中，所有的神经元都是固定长度的。

50.一种在神经网络中使用的神经组件，所述神经组件包括起始神经元、被关联神经元、以及操作连接到所述起始神经元和所述被关联神经元的关联神经元。

51.如权利要求50所述的神经组件，其中，当所述起始神经元被激活或兴奋时，所述关联神经元被加强；且当所述被关联神经元被激活或兴奋时，所述关联神经元被加强和激活，并且能够兴奋。

52.如权利要求51所述的神经组件，其中，所述被关联神经元与所述起始神经元同时被兴奋。

53.如权利要求51所述的神经组件，其中，所述被关联神经元在所述起始神经元之后被兴奋。

54.如权利要求51所述的神经组件，其中，所述起始神经元和所述被关联神经元的所述激活或兴奋基于邻近特性。

55.如权利要求54所述的神经组件，其中，所述起始神经元和所述被关联神经元的邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。

56.如权利要求50所述的神经组件，其中，所述关联神经元表示从起始神经元和被关联神经元学到的总和。

57.如权利要求56所述的神经组件，其中，所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。

58.如权利要求51所述的神经组件，其中，一旦所述关联神经元被激活以表示期望的结果，就不需要在另一个神经元中重新创建所述期望的结果。

59.一种用于表示神经网络中的神经元的关联的方法，所述神经网络具有多个神经元，所述多个神经元中的一个是起始神经元，所述多个神经元中的另一个是被关联神经元，并且所述多个神经元中的又一个是关联神经元；所述方法包括：

(a)激活或兴奋所述起始神经元以加强所述关联神经元；以及

(b)激活或兴奋所述被关联神经元以加强和激活所述关联神经元；如果所述关联神经元已存在则所述关联神经元然后成为被激活的，并且如果所述关联神经元不存在，则创建所述关联神经元。

60.如权利要求59所述的方法，其中，所述被关联神经元与所述起始神经元同时被激活或兴奋。

61.如权利要求59所述的方法，其中，所述被关联神经元在所述起始神经元之后被激活或兴奋。

62.如权利要求59所述的方法，其中，所述起始神经元的激活或兴奋和所述被关联神经元的激活或兴奋基于邻近特性。

63.如权利要求62所述的方法，其中，所述起始神经元和所述被关联神经元的邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。

64.如权利要求59所述的方法，其中，所述关联神经元表示从起始神经元和被关联神经元学到的总和。

65.如权利要求64所述的方法，其中，所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。

66.如权利要求59所述的方法，其中，一旦所述关联神经元被激活以表示期望的结果，就不需要在另一个神经元中重新创建所述期望的结果。

67.一种操作神经网络的方法，所述神经网络具有包括多个基本神经元和多个结构神经元的多个神经元，所述方法包括：

(a)定义所述基本神经元和结构神经元将表示的事件；

(b)针对所有已定义事件的待表示的唯一值的总数，创建基本神经元；以及

(c)基于空间特性和时间特性中的至少一种，创建用于关联所述多个神经元的一组规则。

68.如权利要求67所述的方法，其中，所述多个神经元的任何一个神经元都能够经由到所述多个神经元中的又一个神经元的活动连接来与所述多个神经元中的另一个神经元关联；所述活动连接在所述多个神经元中的一个神经元和所述多个神经元中的又一个神经元之间、以及在所述多个神经元中的另一个神经元和所述多个神经元中的又一个神经元之间存在。

69.如权利要求68所述的方法，其中，所述又一个神经元在比所述一个神经元和所述另一个神经元都深的层级。

70.如权利要求68所述的方法，其中，所述一个神经元和所述另一个神经元在相同的层级中。

71.如权利要求68所述的方法，其中，所述一个神经元和所述另一个神经元在不同的层级上。

72.如权利要求67所述的方法，其中，所有基本神经元都能够表达它们的基本值，并且所有结构神经元都能够表达它们关联到的一对神经元。

73.如权利要求72所述的方法，其中，关联是从下述组中选出的一个或多个，所述组包括：基本神经元与基本神经元、基本神经元与结构神经元、结构神经元与基本神经元、结构神经元与结构神经元。

74.如权利要求67所述的方法，其中，所述多个神经元的每个是从下述组中选出的一个或多个，所述组包括：起始神经元、被关联神经元、以及关联神经元。

75.如权利要求74所述的方法，其中，起始神经元通过到所述关联神经元的活动连接来与被关联神经元关联。

76.如权利要求75所述的方法，其中，所述起始神经元、所述被关联神经元和所述关联神经元基于邻近特性被连接。

77.如权利要求76所述的方法，其中，所述邻近特性是下述至少一个：时间、空间、强度、大小和相对位置。

78.如权利要求74所述的方法，还包括：

(a)激活或兴奋所述起始神经元加强所述关联神经元；以及

(b)激活或兴奋所述被关联神经元加强并激活所述关联神经元，所述关联神经元然后被激活，并且能够兴奋。

79.如权利要求78所述的方法，其中，所述被关联神经元与所述起始神经元同时被激活或兴奋。

80.如权利要求78所述的方法，其中，所述被关联神经元在所述起始神经元之后被激活或兴奋。

81.如权利要求78所述的方法，所述起始神经元的激活或兴奋和所述被关联神经元的激活或兴奋基于邻近特性。

82.如权利要求81所述的方法，其中，所述起始神经元和所述被关联神经元的邻近激活或兴奋引起所述起始神经元与所述关联神经元之间、以及所述被关联神经元与所述关联神经元之间新突触连接的创建或现有突触连接的增强。

83.如权利要求78所述的方法，其中，所述关联神经元表示从所述起始神经元和被关联神经元学到的总和。

84.如权利要求83所述的方法，其中，所述总和包括从下述组中选出的一个或多个，所述组包括：记忆痕迹、所述起始神经元和所述被关联神经元的经历的组合、记忆、以及事件序列。

85.如权利要求69所述的方法，其中，所述多个基本神经元表示在所述神经网络的根层级中，并且每个基本神经元对应于基本激励或模式，每个基本激励是用于表示正被处理的信息的输出激励和基本输入激励中的一个。

86.如权利要求85所述的方法，其中，所述信息是记忆。

87.如权利要求85所述的方法，其中，所述处理是表达。

88.如权利要求85所述的方法，其中，所述多个结构神经元表示在比根层级深的多个更深的神经元层级中。

89.如权利要求88所述的方法，其中，所述多个更深的神经元层级中的层数由待处理来表达的记忆或模式的范围确定，其中记忆表示多个基本激励，并且每个基本激励由基本神经元直接表示。

90.如权利要求89所述的方法，其中，表示所述记忆所需的基本神经元的数目由待处理的所述记忆的性质确定。

91.如权利要求67所述的方法，其中，每个神经元由阵列中的单个节点整体表示。

92.如权利要求67所述的方法，其中，所述多个神经元的每个都在阵列中，所述阵列具有用于提供表达的指针。

93.如权利要求92所述的方法，其中每个神经元由所述阵列中的节点表示，每个节点具有多个指针，每个节点中的每个指针包含另一个神经元独有的地址。

94.如权利要求67到93中的任何一个所述的方法，其中，所有的神经元都是固定长度的。

95.如权利要求1所述的神经网络，其中，所述神经网络是双向的。

96.一种神经网络，其中，所述神经网络是双向的，并能够在正向模式中工作和反向模式中工作，其中在正向模式中结构神经元根据输入事件被激活，而在反向模式中输入事件作为经由基本神经元来自结构神经元的输出而被表达。

97.如权利要求96所述的神经网络，其中，所述正向模式是学习，所述反向模式是表达。

98.如权利要求1到49，或者95到97中的任何一个所述的神经网络，其中，所述神经网络存储关联而不是数据。

99.如权利要求98所述的神经网络，其中，所述神经网络识别关联的模式中的模式。

100.如权利要求98中所述的神经网络，其中，所述神经网络被用于下述一个或多个：监控和预测股票价格运动、互联网监测、互联网安全、计算机病毒检测、计算机蠕虫检测、语音和文本中的短语、语音和文本中的从句、剽窃检测、生物信息学、视觉识别、语义分析、数据本体的表示、机器人学、以及数据压缩。