智能系统揭秘：类人足球机器人决策系统的独特设计

智能系统揭秘：类人足球机器人决策系统的独特设计

第3卷第3期 智能系统学报 Vol 3 Na 3 2008年6月 CAA I on Jun 2008 类人足球机器人决策系统的设计 陈永利，刘国栋 (江南大学通信与控制工程学院，江苏无锡) 摘要：类人机器人足球赛事是机器人足球赛事中的顶级赛事类别，属于多学科交叉的高科技竞技活动。类人足球机器人的自主决策系统，主要依靠自主视觉技术进行工作，对比赛结果具有显著影响。文章阐述了自主研发的类人足球机器人决策系统的整体框架和具体实现方式，并在此基础上运用有限状态机理论，对单个机器人的自主进攻策略进行了深入分析和探讨，通过实际环境中的实验及比赛验证了该系统的实用性和有效性。这项决策系统的设计思路和研究过程，对于基于自主决策的多智能体协同工作以及服务性机器人决策系统的研究都具有重要的参考价值。关键词：类人机器人；决策系统；有限状态机：进攻策略 中图分类号：文献标识码：A文章编号：1673-4785(2008)03-0239-06 ng a makng for CHEN Yong-li,L U Guo-dong of and , ,Wuxi ,China) : by is the level of robot The robot's deci- sion- is based on and detem ines,to a large ，比赛胜负的关键因素。本文 介绍 了一种 适用于 单人 类人足球机器人的 自主决策方法，并 以 有限状态机 (FSM) 为理论基础，对 单个机器人 的 进攻策略 进行了 详细研究，在 实验室环境和 实际比赛 中 验证了 该方法 的 可行性。该 决策系统 的 设计 与 研究 成果，对 基于自主决策的多智能体 协作 以及 服务性机器人 决策 系统的 发展 具有 重要 的 指导意义。类人机器人是多门基础学科、多项高技术的集能体协作的高级阶段561。以2007年的国 成，代表了机器人的尖端技术山。类人机器人足球国际机器人大赛为例，类人组开展的仍是2对2比赛，比赛是伴随着智能机器人技术和分布式人工智能的 及技术挑战赛。本文也主要是为单类人足球机器人 的自主决策提供一种较好的实现方法，目标是使机 和人工智能领域最具挑战性的研究课题之一2

机器人可以在变化莫测的环境中，依靠有限的感知数据，独立执行寻球、接近球、传球、射球、跌倒后重新站起等基本动作。类人机器人足球比赛与其他机器人足球比赛的主要区别，在于参赛的每台机器人都配备了独立的视觉设备和自主的判断系统。判断系统是每台类人足球机器人的核心部分，随着类人机器人硬件技术的快速进步，判断系统将决定比赛胜负。自主研制的类人足球机器人拥有20个活动能力，包括头部2个、每条胳膊3个、每条腿6个，所有活动能力都由航空模型舵机机构构成。控制系统由以处理器为主控板和以低功耗单片机为舵机控制板组成。主控板是进行判断过程的基础，舵机控制板负责执行判断指令。

类人机器人足球赛是机器人足球赛中的顶级赛事。类人足球机器人的决策系统是基于自主视觉的自主决策系统，很大程度上决定着比赛的胜负。本文介绍了自主研发的类人足球机器人决策系统的架构及实现方法，并在此基础上运用有限状态机理论，对单个机器人的自主进攻策略进行了详细分析和研究。真实环境中的实验及比赛结果证明了其有效性。该决策系统的设计及研究工作对基于自主决策的多智能体协作以及服务性机器人决策系统的研究都具有重要的价值。关键词：类人机器人；决策系统；有限状态机；进攻策略中图分类号：TP242.6 文献标识码：A 文章编号：(2008)ing a dec for CHEN LIU ( of and , , Wuxi, China): by is the level of robot. The robot’s deci2 is based on and ines, to a large, the of any tion. This paper a and imp for a for such. On this basis, the of a and in using state (FSM). in the lab and in the of the. The for both based on and the study of robot s. 收稿日期:.通讯作者：陈永利.：@.类人机器人是多门基础学科、多项高技术的集成，代表了机器人的尖端技术。类人机器人足球比赛是伴随着智能机器人技术和分布式人工智能的发展而迅速兴起的一种高科技对抗活动，是机器人和人工智能领域最具挑战性的研究课题之一。类人机器人足球比赛与其他机器人足球比赛的不同点之一在于参赛的每个机器人都具有自主的视觉系统和自主的决策系统。决策系统又是每个类人足球机器人的核心子系统，随着类人机器人硬件技术的飞速发展，决策系统将成为类人机器人比赛成败的关键。类人机器人足球比赛尚处起步阶段，目前比拼的主要是单机器人的自主决策，还没有上升到多智能体协作的高级阶段。以2007年的国际机器人大赛为例，类人组开展的仍是2对2比赛及技术挑战赛。本文也主要是为单类人足球机器人的自主决策提供一种较好的实现方法，目标是使机器人在动态不确定环境下通过有限的传感器信息，自主地完成找球、走近球、传球、射门、摔倒后重新站立等基本任务。1 实验平台自主开发的类人足球机器人具有20个自由度（头部2个、每条胳膊各3个、每条腿各6个），各个自由度均由航模舵机构成。控制系统由以 为处理器的主控制板和以低功耗单片机为处理器的舵机控制板组成。其中主控板是决策过程进行的基础，舵机控制板负责决策命令的具体执行。© 1994-2009 China House. All .

智能系统学报 第3卷 规则中清晰说明机器人仅能执行高层动作和低层动作,低层动作仅需一个动作文件即可完成,高层动作则需多个动作文件才能完成,并包含策略行为,机器人通过等效于人类某个感官的传感器感知环境,传感器位置应与人类相近,特别要求不能使用发射型传感器,发射型传感器指向环境发射光、声、电磁波以测量发射信号的传感器,因此比赛中的类人机器人仅使用视觉传感器和前后方向与左右方向2个倾角传感器,视觉传感器采用C©D摄像头,用于采集比赛场地的图像信息,倾角传感器主要用来实时监测机器人的姿态,决策系统描述 决策系统是整个类人机器人系统的关键部分,机器人决策系统的结构如图1所示,机器人通过视觉系统获取现场信息,决策系统基于经转换处理过的视觉信息以及倾角传感器信息,经分析计算后从策略库中调用相应的比赛策略,给机器人下发相应的动作,完成比赛任务,各个低层动作功能说明如下： (TumR ight):机器人身体向左（右）转45° ( ight):机器人身体向左（右）侧移一步 ( ight):左脚（右脚）踢球，调整力度参数可以调整踢球的强度， 视觉信号（、）:头部按照倾角传感器设定的角度向左（右、上、下）转动一次， 信号依据有限状态机信息处理 的策略库 实现头部复位，即头部两个自由度回到 无左右和上下偏转的起始状态， 各个高级动作功能介绍如下： 自主行为判断 :机器人跌倒后重新站立起来，通过倾角传感器数据了解机器人是向前跌倒还是向后跌倒，从而 决定机器人是向前重新站立还是向后重新站立 行走：机器人笔直向前行进，该高级动作 图1机器人决策系统构造 通过调用起步、中步、止步三个动作指令来实现， 整理速度参数可以调整机器人行走的快慢，选择中步 仿人足球机器人自主决策系统的输入是经过处理的 视觉信号与倾角传感器数据，输出的是机器人的 动作指令， 实际上整个决策系统就是从传感器空间 到动作空间的一种转换，定义为 D表示决策过程；A={R , 左（右）转，通过机器人身体的左右转动、左右横向移动以 及左右脚踢球把球向左（右）传到合适的位置 D：A→B (右):向右方传球， 该高级动作通过机器人身体的左右转动、左右横向移动实现，通常用于球在脚下时寻找对方球门， 22信息处理模块设计 输入是视觉信号，输出是密切关联机器人决策 的场地信息，包括双方机器人、球和双方球门的位置，信息处理模块首先要解决的是从输入到输出的信息转换， 在实际比赛过程中，由于场地的光线条件往往不太好，再加上场地外围观众的干扰， 视觉传感器采集的信息通常含有较大噪声， 在这种情况下，必须通过信息处理模块对视觉信号进行预处理，用软件手段过滤噪声和修正输入的视觉信号，所以，该模块的另一个重要作用就是确保从视觉系统传来的传感器信息的完整性和准确性， 1994-2009 China House.All .

比赛规则规定机器人只能用类似人类感官的传感器感知环境,传感器位置需与人类相近,特别禁止使用发射型传感器,因此比赛中的类人机器人只用了视觉传感器和两个倾角传感器。视觉传感器采用CCD摄像头,用于采集比赛场地图像信息,倾角传感器主要用来实时监测机器人姿态。决策系统是整个类人机器人系统的关键部分。机器人通过视觉系统获取现场信息,决策系统基于转换处理后的视觉信息以及倾角传感器信息,分析计算后从策略库中调用相应比赛策略,给机器人下发动作,完成比赛任务。机器人决策系统结构如图1所示。图1 机器人决策系统结构Fig.1 Robot类人足球机器人自主决策系统的输入是处理过的视觉信息与倾角传感器信息,输出是机器人动作信息。整个决策系统就是从传感器空间到动作空间的一个映射,定义为D:A→B。D表示决策过程,A={, , Ball,, }为含有我方机器人位姿、对方机器人位置、球位置和双方球门位置信息的传感器信息空间,B表示机器人动作空间,下文将给出详细定义。动作层设计属于机器人运动学和动力学范畴,该层抽象了足球机器人动作,封装了机器人的物理模型、运动学模型和动力学模型,完成了从机器人关节空间到动作空间的映射,从而从机器人关节空间的细节中解脱出来,更方便为决策系统服务。根据动作复杂程度,分为低层动作和高层动作。低层动作只需一个动作文件完成,高层动作需要多个动作文件完成。所有动作构成机器人可选动作集合即动作空间,定义如下:B={ b | b=, , , ght, , , , Head2 Up, , , , Ball2, , , Right, …}。低层动作功能说明如下:()：机器人身体向左(右)转动45°。()：机器人身体向左(右)侧移一步。()：左脚(右脚)踢球,调整力度参数可选择踢球力度。(、、)：头以指定角度向左(右、上、下)转动一次。：头部复位,即头部2个自由度转到无上下和左右偏转的初始态。高层动作功能说明如下：：机器人摔倒后重新站立。通过倾角传感器信息得知机器人是向前摔倒还是向后摔倒,从而决定机器人是前向还是后向重新站立。：机器人径直向前走,通过调用起步、中步、止步3个动作文件实现。调整速度参数可改变行走速度,选择中步循环次数可实现行走任意整步数。(())：向左(右)方传球。通过机器人身体左右转、左右侧移以及左右脚踢球把球向左(右)传到适当地方。(())：机器人绕球左(右)转,通过机器人身体左右转、左右侧移实现,一般用于球在脚下时找对方球门。信息预处理模块设计输入是视觉信息,输出是密切关系机器人决策的赛场信息,包括双方机器人、球和双方球门位置。该模块首先要解决输入到输出的信息转换。实际比赛过程中,场地光照条件往往不理想,加上外围观众干扰,视觉传感器采集信息常有噪声。必须通过该模块对视觉信息进行预处理,用软件方法过滤噪声和矫正输入视觉信息。因此,保证从视觉系统传来的传感器信息完整准确是该模块另一重要作用。

第3期 陈永利，等：类人足球机器人决策系统的构建 ·241 3依据F9M的进攻策略 态，%∈QF为M的最终状态集合，F被Q包含，任 给g∈Fg称为M的最终状态 针对类人机器人的决策，当前主要有反射式和 有限状态机工作原理可以解释为非空的有限状 规划式2种主要的方法.反射式决策方法环境适应 思维能力强，反应速度快，但完成复杂任务的能力较差 能力弱，反应速度快，但完成复杂任务的能力较差 在一定的映射规则下实现状态转移 规划式决策方法又可分为基于决策树的决策方式、 3.2进攻策略的具体构建 本模块的设计理念是，使用最少的状况数目，调 用最少的动作集合，以最高的可靠性完成比赛，基于 F9M的决策过程流程图如图2所示.该有限状态机 共设计了(找球)、(接近 低球)、(传球)、Shoot(射门)和 不稳定站立)5个基本状态，具体定义如下： 基于有限状态机(F9M)的决策方法是一个很好 采用有限状态机的智能方式来对环境做快速的策略 选择」该方法既能简化控制流程，又能兼顾系 评估，机器足球员可以依据所获得的环境信息自行 决策，并且能顺应不同的决策环境 采用有限状态机的智能方式来对环境做快速的策略 评估，机器足球员可以依据所获得的环境信息自行 决策，并且能顺应不同的决策环境 基于有限状态机(FSM)的工作原理是一个五元组，定义为 :有别的机器人阻挡； M=(但，∑，6,0，F W :机器人没有摔倒； 式中：Q为非空的有限状态集合，廿g∈Q,g称为M 的一个状态：∑为输入字母表：δ为状态转移函数， 有时又叫作状态转换函数或者移动函数，δ：Q×∑ 一Q:%为开始状态，也可叫作初始状态或启动状 有别的机器人阻挡； :机器人没有摔倒； 状态 找球状态是全部状态中最基础的状态，其他每 自由状态机的各个状态分别对应不同的策略过 个状态都与它有直接的转换关系.采用头部搜索加 身体右转的策略完成找球任务.头部完成一次找球 就构成了机器人进行自主进攻决策的策略库 任务的过程如图3所示，带箭头的虚线指明了搜索

基于状态机的进攻方案 针对仿人型机器人的抉择 目前主要有两大类办法，一类是即时响应式，一类是预先规划式。即时响应式办法适应环境表现良好，动作迅速，但处理复杂任务效果不佳。预先规划式办法又包含多种形式，比如依据决策树的方案、依靠遗传算法的方案、根据神经网络的方案、依照模糊逻辑的方案等等。这类方案要么需要完整的环境数据，难以适应快速变化的环境，要么依赖大量长期记忆，提升了对硬件配置的要求，减慢了反应速度。有时传感器收集信息的误差还可能导致机器人的错误判断。运用有限状态机（FSM）的决策方式是个不错的选项。这种办法既能简化控制步骤，又能平衡系统的规划性能和快速反应能力，具备较强的稳定性。运用有限状态机的智能手段来快速评估环境，机器足球员可以依据获取的环境信息自主选择适合当时比赛状况的决策，并且能配合不同决策执行相应动作。3.1 状态机运作机制 状态机（FSM）是一个五元组，表述为 M = (Q, ∑,δ, q0 , F)。其中：Q代表非空的有限状态集，任意 q ∈Q，q称为 M 的一个状态；∑是输入符号集；δ是状态转换函数，有时也叫状态变迁函数或移动函数，δ: Q ×∑ →Q；q0 是起始状态，也称作初始状态或启动状态，q0 ∈Q。F是 M 的终止状态集，F被 Q包含，任意 q ∈ F，q称为 M 的终止状态。状态机运作机制可以理解为非空的有限状态集中，当前活跃状态输入事件激发后，在特定映射准则下实现状态转换。3.2 进攻方案的具体规划 本模块的设计理念是，使用最少的状况数量，调用最少的动作组合，以最高的可靠性完成竞赛。基于状态机的决策过程流程图如图 2所示。该状态机总共设计了找球（）、接近球（）、传球（）、射门（Shoot）和重新站立（）五个基本状态，具体说明如下：State = {, App, Shoot, , }。依据各状态的不同情形，状态机的不同行为将被启动。其中五个状态对应的触发条件说明如下：：机器人与球距离较远；：机器人无法找到球；：机器人跌倒；Block：有其他机器人阻拦；W：机器人没有跌倒；and：球与机器人距离很近且没有其他机器人阻拦；but：球与机器人距离很近但有其他机器人阻拦；无条件转移。图 2 决策过程流程图 Fig. 2 The . 3.2.1 各状况下的策略 自由状态机的各个状态分别对应不同的策略流程，复杂程度及实现方式各不相同。这些策略的集合就形成了机器人进行自主进攻决策的策略库。找球状态是所有状态中最简单的状态，其他每个状态都与它存在直接转换关系。采用头部搜索加身体右转的方式完成找球任务。头部完成一次找球任务的过程如图 3所示，带箭头的虚线显示了搜索

按照第3卷智能系统学报的顺序，nit代表搜索起始点，End代表结束点。机器人以低头（3次）—左转（2次）—抬头（3次）—右转（4次）—低头（3次）—一左转（2次）的流程执行一次搜索。若未能发现球，则身体会自动调整，使对方球门位于机器人视野正中，随后低头确认球是否仍在脚底。如果球确实在脚底且无对方球员阻挡，则判断球在机器人视野中的位置，进而决定使用左脚还是右脚射门，最后执行射门动作。之所以采用先向下搜索的策略，是因为实际比赛中发现，机器人在正前方找到球的概率最大。通过视觉信息，机器人在确认头无左右偏转时正对球，再利用测距模块信息计算球与机器人的距离，从而得出机器人需行走的步数，最终快速抵达球的位置。射门状态较为复杂，为减少状态机数量，将球在机器人脚下且无对方球员阻碍后的所有策略集中在此状态。整个射门状态的决策过程如图4所示。首先，机器人抬头寻找球门。若头无左右转动且看到的是己方球门，则说明背对对方球门，可选择绕球右转或左转，直至看到对方球门，此处选择绕球右转。若双方球门都不可见，则头右转60°，此时若看到对方球门，说明绕球右转能更快看到对方球门；同理，右转60°后若看到的是己方球门，为尽快看到对方球门，应绕球左转；若右转60°仍看不到双方球门，则头复位，并左转60°，然后进行与头右转60°类似的决策。头左转60°后仍看不到门，则需借助角球柱信息判断机器人如何绕球转动以尽快找到对方球门。若头右转时看到对方角球柱，且左转时看到己方角球柱，则机器人应绕球右转，直至看到对方球门；反之亦然。传球状态是在对方球员阻碍我方球员进攻时，根据赛场情况将球传向我方机器人进攻有利的方向。重新站立状态是指我方机器人在摔倒后重新站立，随后无条件转移到找球状态。机器人进入比赛状态后首要任务是找球，因此设置找球状态为状态机的入口点。当机器人处于找球状态且无触发条件时，头部搜索加身体右转的行为被触发，机器人开始搜索球。一旦发现球，测距模块启动以确定机器人与球的位置信息。若Ball Near and条件成立，则执行相应动作。

Init和End分别代表单次搜索的起始位置和终止位置。机器人按照低头（执行三次）——左转（执行两次）——抬头（执行三次）——右转（执行四次）——低头（执行三次）——左转（执行两次）的顺序完成一次搜索，若未能发现球体，则同步执行头复位和身体右转两次的动作，并重复上述搜索流程，直至发现球体。在此过程中，根据实际场景设定Head2 Right的转动角度均为30度。之所以采用头部先向下搜索的策略，是因为实际比赛经验表明，机器人在正前方区域发现球体的概率最高。图3展示了头部找球策略。当机器人接近球体时，首先需通过视觉信息确保机器人在头部无左右偏转的情况下正对球体，接着利用测距模块获取的信息计算球体与机器人的距离，进而确定机器人需要行走的步数，最后迅速移动至球体附近。射门状态相对复杂，为尽可能减少状态机的数量，将球体位于机器人脚下且无对方球员阻碍后的所有策略归纳为此状态。整个射门状态的决策流程如图4所示。首先，机器人抬头寻找球门。若头部无左右转动且观察到的是己方球门，则说明当前背对对方球门，可选择绕球右转或左转，此处选择绕球右转；若双方球门均不可见，则头部右转60度，此时若观察到对方球门，表明绕球右转能更快发现对方球门；同理，右转60度后若看到的是己方球门，为尽快发现对方球门，应绕球左转；若右转60度后仍无法看到双方球门，则执行头复位并左转60度，随后进行与头右转60度类似的决策。头左转60度后仍未见门，则需借助角球柱信息进一步判断机器人应如何绕球转动以尽快找到对方球门。若头右转时看到对方角球柱，且左转时看到己方角球柱，则机器人应绕球右转，直至发现对方球门；反之，若头右转时看到己方角球柱，且左转时看到对方角球柱，则机器人应绕球左转，直至发现对方球门；若未看到或仅看到一方的角球柱，则让机器人右转一次后启动新一轮的判断。找到对方球门后，身体自动调整，使对方球门位于机器人视野的中心位置，随后低头确认球体仍在脚下。若球体仍在脚下且无对方球员阻碍，则判断球体在机器人视野中的位置，进而决定使用左脚或右脚射门，最终执行射门动作。传球状态是在对方球员阻碍己方球员进攻时，根据赛场情况将球传向有利于己方机器人进攻的方向，执行一个小范围传球动作。重新站立状态是指己方机器人在任何情况下摔倒后重新站起，并无条件转移到找球状态。3.2.2基于FSM的状态触发及转移机器人进入比赛状态后首要任务是找球，因此将找球状态设置为状态机的入口点。当机器人处于找球状态且无触发条件时，头部搜索与身体右转的行为被触发，机器人开始对球体进行搜索。一旦发现球体，测距模块被启动，以确定机器人与球体的位置信息。若条件A和条件B同时满足，则执行相应动作。

第3期 陈永利，等：类人足球机器人决策系统的构建 ·243· 则寻球动作马上停止，机器人转为射门动作；同 样，若球体邻近条件成立，则立刻转为传球动作；若 球体遥远条件成立，则立刻转为接球动作；若寻球过 程中任何时候，则立即切换至重新站立动作。其他状 态的启动及切换情形依次类推。 3.3 实验及效果评估 图5为实际场景中对所构建的基于F9M的进攻 策略的一次实验。首先，机器人处于任意位置时开 始寻球（如图5(a)，寻得球体后经测距模块获知 球体与机器人距离较远，因此机器人朝向球体后向 球体行进（如图5(b)，此时完成从寻球到接近球 的状态切换。当球体位于机器人脚下时，机器人判 断球门的位置以及前方是否有障碍物，当确认正前 方即为球门且无障碍物时，再次低头确认球体仍在 脚下（如图5(c)，随后，机器人判断球体位于自 己左脚前方，抬起左脚并射门（如图5(d))。此 时完成接近球到踢球的状态切换。整个过程中机器 人的状态转换平稳、迅速、精准，动作完成自然顺 畅。 5 结语 应用本文构建的类人足球机器人决策系统，曾 在2007年的全国机器人大赛中圆满完成了比赛任 务，并荣获三等奖。实验与比赛结果验证了该构建 方法是有效的。然而，在动态环境下，针对更复杂任 务的规划、多行为协同、多机器人智能体合作等问 题仍有待深入研究。随着硬件技术的进步，特别是多 智能体理论的完善，开发出适应复杂环境变化的高效、 稳定、抗干扰能力强的多机器人智能决策系统，将机 器人真正如同人类般踢足球作为追求目标，也是未 来足球机器人系统的发展方向。 参考文献： 图5 实际场景中的实验 ASADA M, H The . Fig 5 in true and s,1999,29:3-12 4进攻决策的C语言编码 FDR NI P,SH LLER Z in dynam ic envi- using 一旦进入比赛状态，等开球之后机器人就会不 停地执行寻球，接近球，射门的比赛任务。用C语言

钟碧良在广东工业大学完成了一项关于机器人足球系统的研究与开发工作，该系统具体实现的功能包括 Ball、Pass 以及其他几个操作，这些功能对应着五个不同的自由状态下的执行指令，具体代码如下，:while (1) y,2002

高大志, 张春晖, 徐心和, 机器人足球, 智能机器人, 开辟了崭新的研究方向

J1机器人，1998年，第20卷第4期：309至314页，由高达志、张和徐新合撰写，研究了一种新领域中的案例，即寻找球体，该案例标题为《寻找球》。