交叉口智能信号控制
2基于智能体的信号交叉口控制
1）MARL控制系统的优势
• 从控制理论来看， MARL控制可根据控制效果的反馈信息自主学习并优化策略知 识，是一种真正的闭环反馈控制。
• 第二，在系统运行过程中，每隔一个评价周期(6个信号 周期）按照前面所述的方法计算一次输入、输出，训练 处于空闲状态的神经网络。
• 如此重复，一个神经网络投入运行，一个学习
1 单路口智能信号控制
▪ 随着时间的推移，训练样本将会越来越 多，网络训练也将会越来越困难。
▪ 为避免出现“样本爆炸”问题，采取了 所谓的“样本截断”法
（1） 单路口的神经网络自学习控制
▪ 在车流量大和车流复杂的情况下，传统信号控制方法 很难实施有效的控制，但一个经验丰富的交通警察却 能应付自如。
▪ 这说明可模拟交通警察思维的智能控制方法在复杂路 口的信号控制方面有着广泛的应用前景。
▪ 设所研究的平面交叉路口为一个十字形交叉路口。其 中，东西南北4个进口均具有左转、直行和右转条车道
现代道路交通管理理论及应用
交叉口智能信号控制
指导教师：徐良杰教授
小组成员：安树科、邹权、韩冬成
THE MAIN CONTENTS
交叉口智能信号控制
01
0 引言
03
基于智能体的信号交叉口 控制
02
单路口智能信号控制
04
总结与展望
0
引言
随着经济的快速发展， 人民生活水平的不 断提高， 社会对城市交通提出了更高的要求， 制 约城市道路通行能力的瓶颈———道路交叉口， 也 越来越受到人们的重视。 提高交叉口通行能力和降 低延误的最有效的方法之一就是交通信号控制。 信 号控制研究范围涉及相位分配的确定、 性能函数的 选取、 控制参数的确定和配时方案的生成及配套的 硬件设备选取等多个领域。
▪ 平均每辆车的延误模型为
1 单路口智能信号控制
（2） 模糊算法
▪ 该算法主要控制绿灯的延时时间，分别在绿灯的第7s、 17s、27s、37s和47s实施控制。在路口停车线前S(m) 处设置车辆检测器
1 单路口智能信号控制
▪ 若测得车辆 的速度为 ,则其从检测器到临界点所花费的 时间为
▪ 例如：南北方向绿灯持续到第17s准备实施控制时，设在下 一个10s 中，相继每一个时间单位1s横穿临界点（南北方 向）的车辆数 与等候的车辆数 （东西方向）已由检 测器得到，分别为
▪ pi 为第i个信号周期结束时的总排队长度；
▪
d
( i
j
)
为第i个信号周期内第j个相位所有方向达到的车辆总数；
▪
si(
j
)
为第i个信号周期内第j个相位中所有方向放行的车辆总数；
▪ pi( j)为第i个周期结束时第j个相位所有方向车流排队长度之和；
▪
_
p
为一个评价周期内，各信号周期结束时的总排队长度的平均值；
~
达到最大的 R1 中的元素，则 mt(A) 和 lt(A) 为定义在
U上的模糊集，且有
~
▪ 很明显 ▪ 模糊集“任意（any）”，在整个论域上都为1
1 单路口智能信号控制
（3） 模糊控制
▪ 下面根据一些具体数据说明如何进行模 糊控制。以第2次控制（即在绿灯第27s 时）为例，并设
▪
即考虑下一个10s的第8s；
1 单路口智能信号控制
▪ 然后计算
▪ 最后计算
▪
_ ( j)
P j _
P
j=1,2,3,4
▪ （14）单神路经口网智络 能信号控制
▪ 在该信号控制系统中，两个神经网络作为控制器处于系统的 底层。任何时刻只有一个在工作，而另一个则根据需要（由 评价准则确定）处于学习或空闲状态。
▪ 输入：P_ ( j) ▪ 输出：C和 j
0
引言
国内其他城市 交通控制系统
应用情况
1
单路口智能信号控制
1 单路口智能信号控制
▪ 定时控制：根据以往观测到的交通需求，按预先设定的配 时方案进行控制，因此它对交通需求的随机变化是无法响 应的。
▪ 感应控制方法缺陷：感应控制只能检测是否有车辆到达而 不关心有多少辆车到达，因此，它无法真正响应各相位的 交通需求，也就不能使车辆的总延误最小。
▪ 例如：设某相位最短绿时为10s，最大绿时为40s，单位绿 延时为5s，则在5s绿延时结束前，如果只有一辆车到达， 仍须给出5s的单位绿延时，极端情况下重复上述过程直到 最大绿时，共放行了11辆车，而在此期间，下一相位车道 却有15辆车等待绿灯，很显然总的车辆延误没有达到最小。
1 单路口智能信号控制
▪ 为一个评价周期内，各信号周期结束时第j个相位中所有方
_
p
(
j
)
向车流的排队长度的平均值；
1 单路口智能信号控制
▪ 则有
▪ 式中，当括号内的数小于0时，z=0，否则z=1, 且有
▪ 定义
▪ 将 分为大、较大、中、小和很小5档，对应的周期增 量 分别为10s、7s、5s、0s和-5s，则
▪ 为即为下一个评价周期内将要采用的新信号周期长 度
▪ 即事先规定训练样本的规模（如300个， 可根据需要任意设定），然后按照“顺 序移位”的方式用新样本逐个淘汰旧样 本。
1 单路口智能信号控制
▪ 神经网络自学习控制方法（简称方法1） ▪ 神经网络学习交警控制经验方法（简称方法2） ▪ 控制效果比较
2 基于智能体的信号交叉口控制
2 基于智能体的信号交叉口控制
0
引言
1）发展历程
• 最早只有红绿两色的交通信号灯，后来加入了黄色信号灯
早期
• 出现信号控制机和车辆检测器、电子控制器等，计算机的 计算机出现 应用受到重视
• 随着信息技术的发展，城市交通控制开始向信息化智能化 1980年代 方向发展
• 开始出现智能交通控制系统
1990年代
• 世界各大城市开始采用计算机联网控制，通过实时流量和 2000年后 交通模型实现整个交通路网的配时优化。
“很少”等。 ▪ E表示“延长时间”的模糊输入变量。
1 单路口智能信号控制
▪ 时间A和延长时间E的赋值表
1 单路口智能信号控制
▪ 到达数A的赋值表
1 单路口智能信号控制 ▪ 等候车辆数Q的赋值表
1 单路口智能信号控制
▪ 引入两种新的运算规则，设 A 为实轴 R1 {xi}上的 ~ 模糊子集，A (xi ) 是其隶属度函数且 x0是使 A(xi )
1） 单路口两相位的模糊控制
▪ 1977年，Pappis等人 设计了一种单路口两相位模糊逻辑控制器，计算机仿真结果 证实了该方法的有效性。
▪ 这是最早将模糊逻辑用于交通控制的例子。 ▪ 下面从延误模型、模糊算法和模糊控制几方面进行介绍。
1 单路口智能信号控制
（1） 延误模型
▪ 考虑两相位控制的十字路口，东西向为一个相位，南北向为 一个相位。
▪ 令s为饱和流量，则绿灯相位开始后第n(s)内，未清完 的车辆排队长度为
▪ 式中 为前一个红灯期间等候的车辆数。 ▪ 上式括号里的数为正时，z取1，否则z为0。 ▪ 则绿灯期间车辆总的等待时间为
▪ 因此，一个周期内，一个方向上的车辆总延误为
▪
－有效红灯时间R(s)内的延误
▪
－有效绿灯时间R(s)内的延误
1 单路口智能信号控制
• 学习样本和训练方式：神经网络的学习样本分两个阶段 获取。
• 第一，在网络运行前，先将交警的指挥经验用规则的形 式表示出来，然后用这些准则来训练两个神经网络，训 练好的神经网络即可作为信号控制器投入运行。
• 由于控制信号是4 相位的，信号控制规则的获取比较困 难，且控制规则也往往不具备遍历性，因而此时的神经 网络性能还不是最优的，还需要在运行过程中逐步进行 优化。
0
引言
2）交通信号控制系统的分类
点控方式
线控方式 面控方式
定时式脱机系统 自适应控制系统 智能控制系统
0
引言
3）信号控制方法应用现状
目前，在全球范围广泛采用的交通信号控制系统包括澳大利亚的SCATS系统和英国 的SCOOT系统。SCATS属于方案选择式控制系统， 每个交叉口配时方案根据子系统 的整体需要进行选择， 现在上海运行着该系统； SCOOT属于方案生成式实时自适 应控制系统， 采用小步长渐进寻优的方法， 连续实时地调整绿信比、 周期和时 差3个参数， 北京已引进该系统。
自Thorpe 于1997 年首次将强化学习（reinforcement learning， RL）方法应用于交通信号最优化控制以来 ，多智能体强化学习（multi-agent reinforcement learning，MARL）在区域交通自适应控制领域迅速发展 并已有实际应用。
2 基于智能体的信号交叉口控制
1 单路口智能信号控制
（2） 单路口的神经网络自学习控制
1 单路口智能信号控制
▪ 交通警察交通指挥的过程：
▪ 首先将通行权交给某一方向，在此期间他将不 断评价目前的交通状况
▪ 1）如果通行方向的大部分车辆已疏散，而另一 个方向车辆数增多，他会把通行权交给另一个 方向；
▪ 2）如果各方向的车辆数均比较多，则通行时间 较长；
▪ 按照上述方法，分别取 ei 1,,10 ，则可得 到控制决策表，如下表所示。由于“延长10s” 所对应的隶属度0.8为最大，故决定控制器应 保持当前状态10s不变。
▪ 每次控制均按上述过程进行。如果模糊决策后 要延长的时间小于10s，则系统将在延时结束 后进行状态转换，然后在下一个相位进行模糊 推理。
▪
即在以后的8s中，如现在的信号
灯不变，则有4辆车通过临界点；
▪
即在即在以后的8s中，如现在的信
号灯不变，则有5辆车等候；
