CN101252502A - 带有可变令牌激活的环形网络 - Google Patents

Abstract

一种装置包括：环形网络；在该环形网络上作为发送器的多个节点；在该环形网络上作为接收器的一个节点，该接收器具有用以将令牌放置在环上的接收器逻辑，该令牌则进一步地具有激活状态的指示；以及网络逻辑，用以在该令牌被放置在环形网络上之后沿着该环形网络将该令牌从每个节点传递到下一节点，并通过将激活状态的指示设置为指示该令牌在环上一被确定的位置处活动的值来激活令牌，以使得超过一限定时段，该令牌在每个发送器附近以大致相同的频率被激活。

Description

带有可变令牌激活的环形网络

背景

计算机网络内的流量控制机制管理从源节点到目的地节点的分组传送(本领域中且在下文中，术语“源”可与“发送器”、“目的地”可与“接收器”、“节点”可与“代理”交替使用)。典型的流量控制机制包括否定应答(NACK)/重试、分支/源-超时/重试、贷项/借项(credit/debit)、以及网络缓冲。通常，源或者发送节点或代理向目的地或汇节点或代理发送分组，其中目的地节点具有有限量的“入口处缓冲”，用来在处理之前保持其已从源节点接收到的分组。

在用于网络的借项/贷方机制中，网络上的源节点通过使用“借项”和“贷项”追踪在目的地节点处可用缓冲器的数量。如果源节点知晓在目的地节点处有空闲缓冲器可用来接收分组，则源节点将仅向目的地节点发送一分组或通常是数据。当源节点向目的地节点发送分组时，源节点就“借记(debit)”(减1)目的地节点已可用的空闲缓冲器数量的本地计数。当目的地节点从其引入缓冲器中移除一分组时，目的地节点就将一“贷项”报文发送回源节点，并且该源节点就“贷记(credit)”(加1)目的地节点已可用的空闲缓冲器数量的本地计数。

目的地节点能够选择以在发送节点中静态地分配其缓冲器，由此为M个源节点中的每一个保留固定数量的目的地节点的引入缓冲器。如果目的地节点具有总量为N的引入缓冲器，它可以向每个源节点平等地分配N/M个缓冲器条目。这在从所有源节点到目的地节点的通信量非常平均的情况下能够很好地工作。但是对平均通信量的任何偏离都将会导致N个缓冲器的利用率低下。这一设计的退化形式是在目的地节点处提供足够的缓冲，以使得源节点可以同时发送的所有分组都能够被容纳。换句话说，如果M个源节点中的每一个都具有P个飞行中的分组，则每个目的地节点必须具有P*M个缓冲器条目。这一机制的缺点在于它导致了低效且占用大量面积的设计，因为缓冲器的利用率通常极低。

目的地节点可以代替地分配N个贷项，它的每一个接收缓冲器一个。源节点需要共享这N个贷项。在S个分布式发送代理中共享贷项的最简单方法是给每个代理N/S个贷项用于接收代理缓冲器。这促进了各代理之间的公平，但无法优化地处理各代理不平衡的需求。例如，当单个代理有许多报文要发送而其他代理却没有要发送时，这单个代理被限于使用N/S的贷项，这会限制来自该代理的报文带宽。

附图说明

图1描绘了根据一个实施例包括耦合至单个双向环形互连的多个节点的半导体芯片。

图2描绘了根据一个实施例包括耦合至某些任意拓扑网络的多个节点的网络。

图3描绘了一个实施例中较高级别的具有发送器和带缓冲器的接收器的逻辑贷项环形网络。

图4描绘了一个实施例中的处理的流程。

具体实施方式

在一个包括处理器的半导体芯片的实施例中，在各处理器之间共享的地址空间可以包括用以将各处理器和共享的地址空间耦合在一起的双向环形互连。根据本发明的一个实施例，处理器可以包括CPU而地址空间则可以包括大型共享的高速缓存。

实施例还提供一种用于在双向环形互连上选择方向以在各处理器和共享的地址空间之间传输分组的方法。该方法可以包括计算分组的源和目的地之间顺时针方向的距离和逆时针方向的距离，从而基于计算的距离确定传输该分组的方向，并在相应的环上以所确定的方向传输分组。

图1是根据本发明的实施例包括耦合至双向环形互连的多个节点的半导体芯片。节点110(1)至110(n)在各接入点或停止点(stop)处连接至双向环形互连120。分组以顺时针或逆时针的方向在互连120上的节点110(1)至110(n)之间传播。

节点110(1)至110(n)可以包括处理器、高速缓存库、存储器接口、全局连贯性引擎接口、输入/输出接口、以及在半导体芯片上找出的任何其他的此类处理分组的组件。

在图1中，在本发明的一个实施例中，节点110(1)至110(n)可以通过将单个大型的共享高速缓存分成多个子集而被实现为高速缓存库。每个高速缓存库节点可以包括单个高速缓存的地址空间的一部分，并且可以独立地服务于单个高速缓存的地址空间的该部分的块请求(读、写、使无效等)。在互连120处，每个高速缓存库节点具有其自身的接入点或停止点。

在图1中，互连120可以包括多条单向导线(未示出)，其中这些单向导线的第一集合可以按顺时针方向传输分组，而第二集合则可以按逆时针方向传输分组。单向导线的每个集合都可以是专用(例如，发送地址命令)或通用的(例如，支持多种分组类型(地址请求、数据、高速缓存连贯性协议报文等))。可选地，单向导线的每个集合都可以被指定用以传输一种分组类型。

可选地，在图1中，互连120可以包括多条能够在两个方向上传输分组的双向导线。在此可选实施例中，半导体芯片可包括将每条导线切换至期望方向以在一特定事务中传输分组的切换逻辑。

互连120可以按各种速率来传输分组。例如，互连120可以按每一时钟周期一个或多个节点或每两个或多个时钟周期一个节点的速率来传输分组。许多因素可确定传输速率，包括通信量、时钟速率、节点间的距离等等。通常情况下，节点等到已经在互连120上和该节点处的任何分组都通过该节点时才将一分组注入到互连120。

其他实施例包括任意网络连接节点。图2是这一网络22的逻辑图示，其中该网络220可以具有任何任意的拓扑结构，诸如本领域内已知的环形、毂和辐、2-D网孔、2-D环面、星形或其他网络拓扑结构、平坦或分层。可选地网络220可以是无线(例如，射频、红外线等)网络，或者是混合无线和有线网络。对该网络的结构和下层功能性的其他变化也是可能的。

根据本发明的实施例，多个节点耦合至多个环形互连。节点210(1)至210(n)可以在各个接入点或停止点连接至网络220。

用以在发送器之间管理接收器处缓冲器可用性的基于贷项的系统可在诸如处理器、其他半导体器件或另一电路的实施例中图1所述的环形网络上实现，也可以在如任何联网环境的实施例中图2所描绘的任何形式的更为通用的网络上实现。在一个实施例中，发送代理或节点可以是多处理器系统内的处理器或多核系统内的核，而接收代理或节点可以系统的电路、高速缓存、存储器或其他逻辑。在另一实施例中，发送代理或节点可以是计算机、基于处理器的平台、或者能够在诸如图2网络之类的网络上发送数据的其他设备，而接收节点或代理可以类似地是计算机、基于处理器的系统或平台、或者能够接收数据并在存储器或诸如基于盘的介质(除其他已知介质之外还包括磁性或光存储)之类的其他形式的数据存储中缓冲数据的另一设备。

为了改善这一贷项系统管理各发送代理间不平衡要求的能力，贷项可以基于来自每个代理的要求被动态地分布。当设计基于要求向各代理动态分布贷项的机制时，可期望具有以下属性：

·贷项趋向于根据请求代理的相关要求而被分配，藉此要求更多资源的代理得到更多的贷项。

·大量空闲的请求代理在其偶尔需要做出请求时应该通常不会经历明显的等待时间。

·一个或多个代理应该无法让贷项的另一代理缺乏贷项。

·与各代理间在前相关请求的量无关，当请求相等时，贷项的分配也将相等。

·来自单个代理偶尔的猝发活动在其他代理空闲的情况下可以利用流中的接收代理处的贷项(环形网络上每一周期固定数量的贷项)。

在一个实施例中使用一种动态贷项分配机制，其中该机制使用能实现期望属性的逻辑贷项环形网络。在图3中以逻辑级描绘了这一系统。在图中，环形网络300将发送器310连接至接收器330。接收器具有一组缓冲器320的集合。每个发送器和接收器都是在逻辑贷项环形网络(环或贷项环)上的停止点340，其中在环上传播的分组可以被添加至该停止点340或从中移除。在各分布式请求代理之间路由的逻辑环形网络300可以携有令牌或者用作接收代理缓冲器的贷项的指定数据分组。分布的发送代理310可以在贷项被需要时从环中拿走贷项。发送代理310在其不需要贷项或与其他代理正相当的情况下也可允许贷项不变地通过。在该实施例中的发送代理可以拿走并持有部分贷项以将其作为将来使用的储备。这就允许在一请求出乎意料地需要一缓冲器时较短的等待时间。例如，在一个实施例中，每个发送代理可以储备高达两个贷项，并允许其他贷项在环上自由地旋转。

当接收代理330处的缓冲器320变得可用时，该接收代理就将一有效贷项放在贷项环上。为了对分布的发送代理310公平，在贷项环上新释放的贷项可以仅在某一停止点340处被激活，即，在该环一发送代理的一个位置(如果各贷项在接收代理将其放在贷项环时立即活动，则该环上的第一代理就会有优于其他各代理的不公平的优势，并且会在实际上使得其他代理缺乏(贷项))。贷项在接收代理将其放在环上时生效，但是该环上的每个开槽(slot)会在该环上的某一停止点处被激活。各代理必须允许不活动的有效贷项经过。在一个实施例中，返回贷项将会具有保证每个代理获取各贷项的1/N处的“首次尝试”(其中N是代理的数量)的激活点。

在此实施例中，贷项是两比特令牌，其中一比特设置“有效”而另一比特则设置“活动”。它还可以在单个环用于多种资源类型或接收代理时包含贷项类型。令牌也可以含有贷项的计数，从而允许在一个开槽上携有多个贷项。

贷项的激活可以在每个发送代理处被本地完成(一个发送代理每1/M个周期激活一个有效贷项，其中M是贷项环上停止点的数目)。可选地，发送代理例如可以使用有关一特定发送器的标识符来进行编码，其中该贷项要被激活并且在每个停止点处的发送器可以做出一比较。

可以使用包括随机机制在内的许多其他的贷项激活机制。通常说来，对各贷项的处理可以是能够让贷项在沿着网络的每个停止点处以近似相同的频率变得活动的任何已知机制。

重要的是，注意到贷项环网络是逻辑网络。该网络可以被实现为诸如图1所描绘的本身是有关环形网络的物理网络，或者它也可以被实现为如图2所描绘的另一类型的网络。在某些实施例中，被实现为环的物理网络可用于如上所述传递并激活贷项令牌，而其他形式的网络则可用于在各节点之间传送其他类型的数据。对于这些配置的许多变化都是可能的。

图4描绘了可能会在诸如图3所描绘的一个实施例中出现的处理的流程图。在该图中示出了在接收器和在发送器处的处理。在接收器处，从405开始，其中将N个贷项放置在贷项环上，每个缓冲器一个贷项，并且每个贷项被设置用以在网络上一特定位置处激活，以使得每个发送器都可至少N/M次见到被激活的贷项。在410，缓冲器随后等待下一事件，和/或执行其他处理。通常情况下会是来自发送器的接收，其中该发送器(如485)已经使用一活动的贷项，并存储该贷项(475和480)，并在随后已经变为准备发送数据(450)。一旦发送器已经验证其具有存储的贷项(455)，它就可使用该贷项(460)并将数据发送给接收器(465)。在每一次贷项的存储或数据的发送之后，在470处，发送器都进入等待状态或执行其他处理。一旦接收器接收数据(415)，它就可以将一缓冲器分配给该数据(420)。接收器处的事件也可能是由一数据使用425处的进程从缓冲器中移除数据的事件，在这种情况下在430释放该缓冲器之后，接收器将其他贷项放置在网络上(435)。随后，可以通过使m增加其模M，是更新网络上下一停止点的索引，在该停止点处一贷项将被激活，。

在先前的描述中，出于解释的目的，阐述了多个特定细节以提供对所述实施例的透彻理解，但是本领域普通技术人员将会认识到无需这些特定细节也可以实践许多其他的实施例。

将按照对基于处理器的系统内的数据位的操作的算法和符号表示来给出上述详细描述的某些部分。这些算法描述和表示是数据处理技术领域的普通技术人员用来最有效地将他们的工作主旨传达给该领域其他普通技术人员的手段。这些操作是需要对物理量进行处理的那些操作。这些量具有能被存储、传输、组合、比较以及进行其他处理的电、磁、光或其它物理信号的形式。已证实有时主要出于通用的原因将这些信号称为位、值、元素、符号、字符、项、数字等等是很方便的。

然而，应该意识到，所有这些和类似的术语都将与合适的物理量相关联并且只是加在这些量上的方便的标签。除非另外特别指出，否则可从描述中显见的是：诸如“执行”、“处理”、“计算”、“演算”或“确定”之类的术语指的是基于处理器的系统或者类似的电子计算设备的动作和过程，这些动作和过程将基于处理器的系统的寄存器和存储器内被表示为物理量的数据处理并变换成类似表示的其他数据或其他这类信息存储、传输或显示设备。

在对各实施例的描述中，可对附图做出参考。在附图中，类似的标号在各图中描述基本类似的组件。也可以利用其他实施例，并能做出各种结构上、逻辑上和电学上的修改而不背离本发明的范围。此外，可以理解各个实施例虽然不同，但是也未必彼此互斥。例如，在一个实施例中描述的一具体特征、结构或特性可以被包括在其他实施例中。

此外，可以在处理器中实现的一个实施例的设计可以经历从创建到仿真到制造的各个阶段。表示设计的数据可以按各种方式表示该设计。首先，在用于仿真时，可以使用硬件描述语言或另一功能描述语言来表示该硬件。此外，可以在设计进程的某些阶段生成带有逻辑和/或晶体管门的电路级模型。此外，大多数设计在某些阶段会达到表示在硬件模型中各个设备的物理布置的数据级。在使用常规半导体制造技术的情况下，表示硬件模型的数据可以是指定用于制造集成电路的各掩模的不同掩模层上各特征存在或不存在的数据。在该设计的任何表示中，数据可以被存储在任何形式的机器可读介质中。被调制或以其他方式生成用来发送这些信息的光波或电波、存储器或诸如盘片的磁性或光学存储器可以是机器可读介质。任何这些介质可以“携有”或“指示”该设计或软件信息。当指示或携有该代码或设计的电载波被发送，达到执行电信号的复制、缓冲或重发的程度时，就做出新的副本。于是，通信提供方或网络提供方可以做出构成或表示一实施例的一物品(载波)的副本。

各实施例可以作为包括其上存储有数据的机器可读介质的计算机程序产品来提供，该数据在由机器访问时可使得该机器执行根据所要求保护的主题的过程。机器可读介质包括但不限于软盘、光盘、DVD-ROM盘、DVD-RAM盘、DVD-RW盘、DVD+RW盘、CD-R盘、CD-RW盘、CD-ROM盘、以及磁光盘、ROM、RAM、EPROM、EEPROM、磁卡或光卡、闪存、或者适用于存储电子指令的其他类型的媒体/机器可读介质。此外，各实施例还可以作为计算机程序产品被下载，其中该程序可经由通信链路(例如，调制解调器或网络连接)通过嵌入在载波或其他传播介质中的数据信号从远程数据源传送至请求设备。

对多种方法用它们最基础的形式做出了描述，但是可以向上述方法任意添加步骤或从中删除步骤，并且可以向任意所述报文添加信息或从中删减信息，而不背离所要求保护的主题的基本范围。本领域普通技术人员显而易见的是可以做出多种进一步的修改和改编。具体实施例不是被提供来限制本发明而是用于解释本发明。所要求保护主题的范围不由上述特定示例所限定，而仅由所附权利要求书所限定。

Claims (27)

1.一种装置，包括：

逻辑环形网络(环)；

在所述环上的多个节点，所述多个节点中的每一个还包括在数据传输网络上的发送代理(发送器)；

在所述环上用作进一步包括在所述数据传输网络上的接收代理(接收器)的一个节点，

所述接收器包括用以将令牌放置在所述环上的接收器逻辑，所述令牌

还包括激活状态的指示；以及

网络逻辑，用以

在所述令牌被放置在所述环之后沿着所述环将所述令牌从每个节点传递到下一节点；以及

通过将所述激活状态的所述指示设置为指示所述令牌在所述环上一被确定的位置处活动的值来激活所述令牌，以使得超过一时段(over a period oftime)，所述令牌在每个发送器附近以大致相同的频率被激活。

2.如权利要求1所述的装置，其特征在于，

所述接收器逻辑还将所述令牌放置在所述环上以指示所述接收器正准备接收数据；

所述令牌还包括有效状态的指示；并且

所述接收器逻辑还在将所述令牌放置到所述环之前将所述有效状态的所述指示设置为指示所述令牌有效的值。

3.如权利要求1所述的装置，其特征在于，所述网络逻辑每1/M个周期激活一令牌，其中M是所述环上的发送器的数量。

4.如权利要求1所述的装置，其特征在于，所述接收器逻辑还将发送器标识符编码入每一令牌，而所述网络逻辑在与所述令牌的所述发送器标识符相对应的所述发送器处激活所述令牌。

5.如权利要求2所述的装置，其特征在于，在所述环上的每个发送器还包括发送器逻辑，用以截取所述令牌并在截取所述令牌之后，

如果所述令牌的所述激活状态指示为活动，则做出以下动作的一个或多个从所述环中移除所述令牌，以及

将所述令牌的所述有效状态设置为无效；并且

如果所述令牌的所述激活状态指示为不活动，

则允许所述令牌以所述令牌的所述激活状态或所述令牌的所述有效状态继续沿着所述环传播而不改变。

6.如权利要求3所述的装置，其特征在于，只有在所述发送器具有其激活状态为活动且其有效状态的指示为有效的令牌时，所述发送器逻辑才经所述数据传输网络将所述数据发送给所述接收器。

7.如权利要求3所述的装置，其特征在于，如果所述令牌的激活状态的指示为活动并且如果预定数量的令牌尚未在前被所述发送器存储，则所述发送器逻辑还存储所述令牌。

8.如权利要求6所述的装置，其特征在于，

所述接收器还包括缓冲器池，每个令牌包括用于固定数量缓冲器的贷项；并且

所述发送器逻辑还经所述数据传输网络将数据发送给所述接收器以供存储在所述缓冲器池之一中。

9.如权利要求8所述的装置，其特征在于，所述缓冲器池具有N个固定数量的缓冲器；所述接收器具有N个令牌；并且每个令牌包括用于所述N个缓冲器之一的贷项。

10.一种基于处理器的系统，包括：

互连所述系统的各处理器节点(节点)的逻辑环形网络(环)；

在所述环上的多个节点，所述多个节点中的每一个还包括在数据传输网络上的发送代理(发送器)；

在所述环上用作所述数据传输网络上数据的接收器的一个节点，

所述接收器包括用以将令牌放置在所述环上的接收器逻辑，所述令牌还包括激活状态的指示；以及

网络逻辑，用以

在所述令牌被放置在所述环之后沿着所述环将所述令牌从每个节点传递到下一节点；以及

通过将所述激活状态的所述指示设置为指示所述令牌在所述环上一被确定的位置处活动的值来激活所述令牌，以使得超过一限定时段，所述令牌在每个发送器附近以大致相同的频率被激活。

11.如权利要求10所述的基于处理器的系统，其特征在于，

所述接收器逻辑还将所述令牌放置在所述环上以指示所述接收器正准备接收数据；

所述令牌还包括有效状态的指示；并且

所述接收器逻辑还在将所述令牌放置到所述环之前将所述有效状态的所述指示设置为指示所述令牌有效的值。

12.如权利要求10所述的基于处理器的系统，其特征在于，所述网络逻辑还在有效、不活动令牌每通过1/M次时激活令牌，其中M是所述环上的发送器的数量。

13.如权利要求10所述的基于处理器的系统，其特征在于，所述接收器逻辑还将标识符编码入每一令牌，而所述网络逻辑在与所述令牌的所述标识符相对应的所述处理节点处激活所述令牌。

14.如权利要求10所述的基于处理器的系统，其特征在于，在所述环上的每个处理节点还包括发送器逻辑，用以截取所述令牌并在截取所述令牌之后，

如果所述令牌的所述激活状态指示为活动，则做出以下动作的一个或多个从所述逻辑环中移除所述令牌，以及

将所述令牌的所述有效状态设置为无效；并且

如果所述令牌的所述激活状态指示为不活动，

则允许所述令牌继续沿着所述环传播而不改变所述令牌的激活状态或所述令牌的有效状态。

15.如权利要求14所述的基于处理器的系统，其特征在于，只有在所述发送器具有其激活状态为活动且其有效状态的指示为有效的令牌时，所述发送器逻辑才将所述数据发送给所述接收器。

16.如权利要求14所述的基于处理器的系统，其特征在于，如果所述令牌的激活状态的指示为活动并且如果预定数量的令牌此前没有被所述发送器存储，则所述发送器逻辑还存储所述令牌。

17.如权利要求16所述的基于处理器的系统，其特征在于，

所述接收器还包括缓冲器池，每个令牌包括用于固定数量缓冲器的贷项；并且

所述发送器逻辑还将数据发送给所述接收器以供存储在所述缓冲器池之一中。

18.如权利要求17所述的基于处理器的系统，其特征在于，

所述缓冲器池具有N个固定数量的缓冲器；

所述接收器具有N个令牌；并且

每个令牌包括用于所述N个缓冲器之一的贷项。

19.一种方法，包括：

在数据传输网络上的接收器将包含激活状态指示的令牌放置在逻辑环形网络(环)上；

在所述令牌被放置在所述环之后沿着所述环传递所述令牌；

在所述环上确定用于激活所述令牌的停止点，以使得超过一限定时段，所述令牌在所述环上所述数据传输网络的每个发送器附近以大致相同的频率被激活；以及

通过将所述激活状态的所述指示设置为指示所述令牌在所述被确定的停止点处活动的值来激活所述令牌。

20.如权利要求19所述的方法，其特征在于，所述接收器逻辑将所述令牌放置在所述环上以指示所述接收器正准备接收数据；并且

所述接收器在将所述令牌放置到所述环之前将所述有效状态的所述指示设置为指示所述令牌有效的值。

21.如权利要求20所述的方法，其特征在于，还包括在有效、不活动令牌每通过1/M次时激活令牌，其中M是所述环上的发送器的数量。

22.如权利要求20所述的方法，其特征在于，还包括将发送器标识符编码入每一令牌，并在与所述令牌的所述发送器标识符相对应的发送器处激活所述令牌。

23.如权利要求20所述的方法，其特征在于，还包括截取所述令牌并在截取所述令牌之后，

如果所述令牌的所述激活状态指示为活动，则做出以下动作的一个或多个

从所述环中移除所述令牌，以及

将所述令牌的所述有效状态设置为无效；以及

如果所述令牌的所述激活状态指示为不活动，

则允许所述令牌继续沿着所述环传播而不改变所述令牌的激活状态或所述令牌的有效状态。

24.如权利要求23所述的方法，其特征在于，所述接收器还包括缓冲器池，每个令牌包括用于固定数量缓冲器的贷项，还包括发送器将数据发送给所述接收器以供存储在所述缓冲器池之一中。

25.如权利要求24所述的方法，其特征在于，

所述缓冲器池具有N个固定数量的缓冲器；

所述接收器具有N个令牌；并且

每个令牌包括用于所述N个缓冲器之一的贷项。

26.一种具有存储于其上的数据的机器可读介质，所述数据在由机器访问时会使得所述机器执行一方法，所述方法包括：

接收器将包含激活状态指示的令牌放置在逻辑环形网络(环)上；

在所述令牌被放置在所述环之后沿着所述环传递所述令牌；

确定在所述环上用于激活所述令牌的停止点，以使得超过一限定时段，所述令牌在所述环上每个发送器附近以大致相同的频率被激活；以及

通过将所述激活状态的所述指示设置为指示所述令牌在所述被确定的停止点处活动的值来激活所述令牌。

27.如权利要求26所述的机器可读介质，其特征在于，所述方法还包括将所述接收器所述令牌放置在所述环上以指示所述接收器正准备接收数据。

Images