基于智能手机的家用机器人远程控制系统的设计与实现（可编辑）

基于智能手机的家用机器人远程控制系统的设计与实现（可编辑） 基于智能手机的家用机器人远程控制系统的设计与实 现 硕士学位 (工程硕士) 基于智能手机的家用机器人远程控制系统 的设计与实现 DESIGN AND IMPLEMENTATION OF HOUSEHOLD ROBOT REMOTE CONTROL SYSTEM BASED ON SMARTPHONE尹琳琳哈尔滨工业大学 2013 年 6 月国内图书分类号:TP311 学校代码:10213 国际图书分类号:621.3 密级:公开 工程硕士学位论文基于智能手机的家用机器人远程控制系统 的设计与实现 硕士研究生:尹琳琳 导 师:蔡则苏副教授 副导师:李瑞峰教授 申请学位:工程硕士 学科:软件工程 所 在 单 位:软件学院 答 辩 日 期:2013 年 6 月 授予学位单位:哈尔滨工业大学 Classified Index: TP311 U.D.C: 621.3 Dissertation for the Master Degree in Engineering DESIGN AND IMPLEMENTATION OF HOUSEHOLD ROBOT REMOTE CONTROL SYSTEM BASED ON SMARTPHONE Candidate: Yin Linlin Supervisor: Associate Prof.Cai Zesu Associate Supervisor: Prof.Li Ruifeng Academic Degree Applied for: Master of Engineering Software Engineering Speciality: School of Software Affiliation: June, 2013 Date of Defence: Degree-Conferring-Institution: Harbin Institute of Technology 哈 尔滨工业大学工程硕士学位论文 摘 要 随着人们生活水平的不断提高以及机器人领域技术的飞速发展,家用机器 人倍受亲睐。交互式控制软件系统是家用智能机器人的灵魂,通过交互式控制 软件系统对机器人各功能的控制和协调,家用机器人的智能性、实用性和交互 性得以体现。通过系统的设计及其与下位机的通讯,实现智能手机对机器人动 作控制以及对家用机器人所在环境进行实时网络监控,因此基于智能手机的家 用机器人远程控制系统的研究有重大意义。 本系统是基于 VC++ 6.0 中的 MFC 研发模块及 FMS(Flash Media Server) 平台开发研制出一款 Android 智能手机对家用伙伴机器人的远程控制软件系 统。系统分为机器人端服务器程序和 Android 智能手机客户端程序两部分。本 软件系统首先安装实现流媒体服务器 FMS,使家用机器人端与智能手机端建立 数据通道。通过应用 FMS 提供的多媒体技术,成功地将机器人端捕捉的的实时 视频以及实时环境温湿度数据通过 3G 网络分别传输到智能手机端的实时视频 模块和温湿度显示模块等。实现了手机用户对家用机器人的实时监控。 机器人端程序设计主要分为视频编码模块、网络发送模块和运动控制模块。 视频编码模块使用 FMS 实现视频的采集,然后进行基于 Android 智能手机标准 的 H.263格式的视频压缩。网络发送模块利用 Winsock实现编程,最后通过 FMS 将实时视频由机器人端发送到客户端。机器人端上位机通过串口与下位机 (ATmega128 单片机)通信,实现机器人的运动控制,运动控制模块通过在 MFC 模板中添加 MSComm 控件来实现串口通信的编程。 智能手机客户端程序在 Android 操作系统下完成,主要实现视频重建和运 动控制信息的发送。视频的重建就是 H.263 的解码过程,主要通过反量化和反 DCT 变换来实现帧数据的恢复,并显示出来。而手机端对机器人的运动控制信 息的发送则是当手机端触发特定的按钮时向机器人发送特定的指令,从而实现 机器人特定的运动功能。 关键词:Android 智能手机;家用机器人;H.263;运动控制 - I -哈尔滨工业大学工程硕士学位论文 Abstract With the rapid development of people's living standards and robotics technology, the household robots have been given increased attentions. The interactive control software system is the soul of household robots. And the intelligence, practicality and interactivity can be achieved through the interactive control software system for control and coordination of each function of robotsThe system design together with the next crew communications could lead to the control of robot motion and real-time network monitoring of household environment through smart phones. Therefore, study on the remote control system of household robot based on the smart phones has great significance. The remote control system is based on the MFC modules of VC++ 6.0 and FMS platform Flash Media Server. The system is divided into two parts, including the robot server program and the client program. First, the FMS was installed to establish the data channel between the robot and smart phone. Application of multimedia technology provided by FMS transmitted the real-time video and real-time temperature and humidity data, captured successfully by the robot, to the real-time video module and the temperature-humidity module on the smart phone over 3G networks. Thus, the real-time monitoring of domestic robots by mobile phone users has been achievedThe robot-side program is mainly divided into video encoder module, network transmission module and motion control module. The video encoder module used FMS for video capture, and then the video compression accomplished with H.263 format based on the standard of android smart phonesThe network transmission module used the Winsock to implement programming, and finally the live video was sent from the robot to the client through FMS. The communications between the above crew and the next crew ATmega128 MCU of Robot was fulfilled by the serial port, contributing to the motion control of robot. The motion control module realized the serial communication programming via the MFC MSComm. The smart phone client program was completed on the android operation system to reconstruction of the main video and sent of motion control information. The reconstruction process is decoding of- II -哈尔滨工业大学工程硕士学位论文 H.263 video, mainly through the inverse quantization and inverse DCT transformation to achieve the recovery and display of the video dataThe transmission of the robot motion control information was completed when the mobile particular button was triggered to send specific commands to the robotFinally, a specific motor function of the robot was achieved Keywords: Android smartphones; household robots; H.263; motion control- III -哈尔滨工业大学工程硕士学位论文 目 录 摘 要I? ABSTRACT. II? 第 1 章 绪 论 1? 1.1 课题来源及研究的目的和意义 1? 1.1.1 课题来源. 1? 1.1.2 课题研究的目的和意义1? 1.2国内外研究现状 1? 1.2.1 国外现状研究. 2? 1.2.2 国内研究现状. 4? 1.3本文的主要研究内容6? 1.4 本文的组织结构 7? 第 2 章 系统的需求分析和总体结构设计 8? 2.1 系统的业务需求 8? 2.1.1 用例分析. 8? 2.1.2 Android 智能手机客户端需求分析. 9? 2.1.3 家用机器人服务器端需求分析. 10? 2.2 系统的总体结构设计 12? 2.2.1 智能手机控制机器人系统总体结构设计. 12? 2.2.2 智能手机远程控制机器人系统软件逻辑架构13? 2.2.3 系统总体流程图 14? 2.3 系统开发运行平台 15? 2.3.1 智能手机端程序开发平台15? 2.3.2 机器人服务器端程序开发平台. 16? 2.4 系统功能模块划分 17? 2.5 本章小结19? 第 3 章 系统的详细设计与实现. 20? 3.1智能手机端实时视频显示模块详细设计 20? 3.1.1 流媒体服务器 FMS22? 3.1.2 机器人端摄像头视频采集22? 3.1.3 应用 FMS 服务器进行视频传输 23? 3.1.4 基于 Android 智能手机的 H.263 格式视频编码技术. 28? 3.1.5 基于 Android 智能手机的 H.263 格式视频编码实现. 30- IV -哈尔 滨工业大学工程硕士学位论文 3.2 智能手机控制机器人系统中数据的网络传输. 33? 3.2.1 智能手机端应用套接字(Socket)实现网络编程. 33? 3.2.2 Android 智能手机端的 Winsock 实现流程34? 3.2.3 机器人服务器端和智能手机客户端的工作模式35? 3.2.4 智能手机端网络接收系统实现36? 3.2.5 智能手机客户端网络接收模块的实现37? 3.3智能手机客户端实现 37? 3.3.1 智能手机客户端程序整体结构37? 3.3.2 基于 Android 智能手机的视频解码部分的实现38? 3.4机器人端实现42? 3.4.1 机器人端服务器界面程序设计42? 3.4.2 机器人端温湿度传输模块程序设计 43? 3.4.3 机器人服务器端行动模块的实现. 44? 3.4.4 机器人端串口通信的实现 45? 3.5本章小结 48? 第 4 章 系统测试 49? 4.1 系统测试方案. 49? 4.2 系统测试49? 4.2.1 系统测试用例50? 4.2.2 系统功能测试52? 4.2.3 智能手机远程控制机器人行动测试 54? 4.3 本章小结54? 结 论. 56? 参考文献. 57? 哈尔滨工业大学学位论文原创性声明及使用授权错误!未定义书签。? 致 谢. 62? 个人简历. 64- V -哈尔滨工业大学工程硕士学位论文 第 1 章 绪 论 1.1 课题来源及研究的目的和意义 1.1.1 课题来源 项目名称:“基于智能手机的家用机器人远程控制系统的设计与实现”。 基于智能手机的家用机器人远程控制系统来源于本人在哈尔滨展达机器人 自动化有限责任公司实习过程中参与的实际项目,本系统源自于展达公司自主 研发的“家用伙伴机器人开发”项目。在项目实施过程中,本人参与本系统的 需求分析、设计实现和测试验收等工作。 1.1.2 课题研究的目的和意义 家用机器人即家居服务型机器人主要应用于家庭环境中提供服务,主要由 机器人本体、单片机控制板和平板电脑组成。随着科技的飞速发展以及生活节 奏的不断加快,家用型智能机器人在市场欢迎度方面领先其它机型而得到用户 高度评价。机器人要想为人类服务首先必须能听懂人类语言,即人机交互式软 件系统是机器人的核心,决定了机器人性能的优劣,因此,本项目针对市场需 求研发了基于智能手机控制的人机交互控制系统,整个系统只需要一部智能手 机和 3G 网络,不需别的任何辅助条件,就可以做到对机器人的远程控制。本 系统设计了可视化和可操作化程度较高的操控界面,可以满足家用需求;同时 采用了网络交互方式,方便人们远程监控家居环境;将机器人实施的各项功能 进行模块化组合,在此主要使用了可视化编程模块设计。应用此系统利于外出 用户随时对家庭环境进行实时监控,另外也方便老人与儿童等特殊人群的使用。 本系统实现了机器人与智能手机用户间的交互,提高了交互水平,为未来 机器人应用软件设计时将不同功能单元模块集成化提供了一种。本系统可 完成用户对家居机器人的远程控制,一部智能手机即可完成对用户家居环境的 远程监控。因此课题的研究对于智能机器人在家庭中的应用提供了一种较为可 行的方法,具有重要意义。 1.2 国内外研究现状 目前,国内外针对机器人远程控制的相关研究,主要集中于以 PC 终端为 - 1 -哈尔滨工业大学工程硕士学位论文 [1-8] 控制终端进行对机器人的远程控制,相关应用软件也已推出市场 。另外,针 对 3G 网络和智能手机对机器人进行远程控制的研究,国内外研究人员也取得 了一些进展。 1.2.1 国外现状研究 目前,世界上已有部分国家开发出了一些智能机器人,并且已经投入市场, 各种类型的机器人已经走进家庭,在娱乐、看护、安保等方面发挥着作用。移 动设备如早先的无独立操作系统的手机或现在发展迅猛的智能手机,均可以通 [9] 过屏幕观看或者发布远程控制命令。德国 Daniel He? 等 试验了通过手机远端 控制机器人。德国人所用的机器人本体图和手机客户端的监控画面分别如图 1-1 和图 1-2 所示。 该机器人可以远程控制前进、后退、顺时针和逆时针转动,并携带一个 PTZ (云台全方位移动及镜头变倍、变焦控制)摄像头实时采集图像。系统服务器 运行在机器人机载计算机上,用 C++编写。客户端为运行 Windows Mobile 或 Symbian 操作系统的手机,使用 JavaME 平台开发客户端软件。 图 1-1 受控机器人实物图图 1-2 Java 客户端视频监控 [10] S. Garawi 和 R.S.H. Istepanian 等人 建立了基于 3G 网络的移动机器人超 声扫描系统(OTELO),为欧洲信息社会技术(IST)资助项目,旨在建立一套 完整的端对端移动超声扫描系统,方便超声医学专家开展远程医疗救助。它包 含一个便携式远程操作机器人,辅助医学专家为异地的病人执行实时机器人化 超声扫描。它有专家站、通信链和患者站组成,需要传输三类数据:机器人控 制数据、超声静态图像和医学超声流数据。整体的系统结构图如图 1-3 所示。- 2 -哈尔滨工业大学工程硕士学位论文 图 1-3 OTELO 基于 3G 网络的移动机器人系统结构图 该系统使用 RTP/UDP 传输数据,丢包率小于 0.5%,采用 H.263 视频 压缩算法。实验结果丢包率和时间延迟都较小,取得了不错的效果。 由于 3G 相对于以前的 GSM、GPRS、EDGE 和 CDMA1.x 等 1G 和 2G 网 络,传输速率更快,这使得视频图像的传输成为可能,当然前提是拥有 3G 手 [11] 机并且订购 3G 业务。马来西亚 Saliyah Kahar 等人 提出了利用 3G 网络建立 智能手机和移动机器人通信的模型,如图 1-4 和图 1-5 所示。 图 1-4 基 于 3G 网络的视频传输 图 1-5 移动机器人控制模型 受控机器人 WiRobot X80 配备了摄像头、话筒和移动轮,可以和周围环境 进行交互。该系统可以通过手机端的语音指令控制机器人的运动。编程语言选 择 C/C++、Visual Basic 和 JavaME,因为 Java 支持大多数移动设备。研究人员 提出了一套控制系统,该控制系统主要部件为配备网络摄像头的机器人,研究 者通过摄像头进行环境监测。移动手机利用无线二进制运行环境(Binary Runtime Environment for Wireless, BREW)编写联合应用程序。图 1-6 为 BREW 的界面。图 1-7 为机器人 WiRobot X80。- 3 -哈尔滨工业大学工程硕士学位论文 图 1-6 BREW 界面 图 1-7 WiRobot X80 机器人 在这套系统中,实时图像信息、机器人的运动功能被充分开发。BREW 允 [12] 许开发应用程序时使用 C/C++语言。在参考文献 中,Android 平台被应用到 嵌入式系统,例如机器人控制系统。开发者在编写应用程序时,使用 Androi SDK 软件开发包提供的 Java 和本地 C/C++语言。 1.2.2 国内研究现状 随着 3G 通讯技术、物联网技术、机电控制技术、多媒体技术的日趋成熟, [13-18] [19] 基于相关技术的产品也备受消费者的欢迎 。武汉理工大学张磊 综合了机 器人技术和嵌入式技术提出了一种基于 ARM9与 3G网络相结合的智能机器人。 受控端采用 ARM9 开发平台和嵌入式 Linux 操作系统,控制端为 Android 手机, 完成周围环境的图像、温度、声音等信息的采集,实现机器人和手机间视频、 [20] 语音等多媒体通讯。严武军 等人设计了基于 ARMS3C2440、3G 网络、Web 网页和 Android 手机的移动图像监控系统,该系统可以帮助用户随时查看和控 制家中家电设备的运行情况。用户可以用 Android 手机或网页形式登陆机器人 服务器实现对机器人工作的远程控制,了解家中设备的工作情况。本系统的拓 扑图如图 1-8 所示。 图 1-8 基于手机的实时视频监控系统拓扑图 [21] 艾斌 设计了油田现场无线视频监控系统,该系统的主体部分由控制端和 中心监控部分组成,两部分之间通过 3G 网络和 Internet 相连。监控终端采集的 - 4 -哈尔滨工业大学工程硕士学位论文 视频信号经数字化和压缩后,经由 3G 网络和 Internet 传送至设立在监控中心的 大屏幕上。监控终端硬件通过 SOC 芯片外加 DSP 芯片实现,软件包括嵌入式 操作系统和监控终端软件。监控中心硬件为 PC 机,软件采用 Windows 操作系 统和监控中心软件。 [22] 中山大学胡晓乐 设计并实现了基于 Android 平台的 MID 视频监控系统。 对 Android 开发平台、无线局域网协议、RTP 协议和 H.264 标准及其视频数据 的 RTP 封包算法进行了阐述与分析。。研究者分析客户端软件时将其分为图形 界面、控制、传输和解码四个部分并进行了详细说明。在该系统中,信息传送 石通过 UDP/IP 协议进行的。总体网络结构环境如图 1-9 所示。 图 1-9 视频监控总体网络环境图 [23] 北京邮电大学宁栗 在 Android 手机操作系统上设计并实现了符合用户实 际需求的视频监控系统,即基于传统网络的视频监控 Web 模式,Android 浏览 器引擎 Webkit 加载具有视频监控功能的插件,实现手机监控。图 1-10、图 1-11 为实际测试效果。图 1-10 PC 端视频图像图 1-11 手机浏览器视频图像 [24] 耿东久等人 提出了一个基于 Android 手机的远程访问和控制系统,该系 统基于开放服务网关规范(OSGI)的智能网关技术,系统运行流程图见图 1-12。 - 5 -哈尔滨工业大学工程硕士学位论文 总体设计思路是在智能空间部署一台 PC,负责提供服务并与用户的 Android 手 机通信。手机提供管理界面,该系统是一个 C/S 结构的系统,PC 作为服务器, Android 手机作为客户端。用户携带 Android 手机进入空间后,手机端连接网络, 搜索网络中可用设备服务,发现可用服务后与之进行交互。 图 1-12 系统运行流程图 1.3 本文的主要研究内容 随着现代 3G 移动网络的飞速发展,远程实时视频可以在智能手机上方便 播放。为了让更多的人们可以通过移动手机随时控制远在家中的机器人,实现 对家人及家居环境的监测,本文提出了一种基于 Android 智能手机的家用机器 人远程控制系统。本项目前期已成功设计的家用机器人本体如图 1-13 所示。图 1-13 家用机器人本体设计 本课题研究重点在于建立面向家用机器人应用的智能手机端控制系统及机 器人端受控系统。该系统采用 C/S 架构,客户端为基于 Android 平台的智能手 机,机器人服务器端配有网络摄像头和平板电脑。 (1) 基于 Android 操作系统的智能手机端软件设计- 6 -哈尔滨工业大学工程硕士学位论文 Android 手机端呈现的模块功能有:手机远程控制登陆、家居环境传感数 据显示、远程实时视频传输和机器人行动控制等。其中,在智能手机端建立四 个相应的应用程序,具体包括:手机远程控制登陆模块、环境传感数据显示模 块、远程实时视频模块和机器人行动控制模块。 (2) 基于 3G 网络条件下的智能手机与机器人端的网络通信及功能实现 机器人端和智能手机端通过 3G 网络建立数据通道,通道中传输的数据流 分为两种,一种是实时视频流,另一种是控制指令和传感信息。为了提高实时 视频流的网络传输效率,本系统应用 FMS(Flash Media Server)流媒体服务器 实现机器人与智能手机之间的视频和温湿度等数据的传输。FMS 流媒体服务器 是机器人服务器与 Android 智能手机之间实现实时通讯的新平台。此平台集成 了通讯及应用程序的功能。首先应用 FMS 进行机器人端的视频采集,然后进行 H.263 格式的视频压缩,最后经由 FMS 将实时视频流数据以及温湿度数据 发送 至机器人端的相应模块。智能手机端将接收到的实时视频进行 H.263 格式的解 码与重建。机器人端上位机通过串口与下位机进行通信,实现了智能手机远程 控制机器人行动的功能。 1.4 本文的组织结构 按照软件产品分析到实现的流程,本文共分为五章。 第 1 章 绪论:介绍了课题提出的来源、分析了研究目的和理论及现实应用 意义、讨论了涉及技术的国内外研究现状、从而明确了本文的主要研究内容, 构建出本文的组织结构。 第 2 章 系统的需求分析及总体设计:从客户的角度进行了系统业务需求分 析,并且分别对系统的总体结构设计以及智能手机端的控制软件的设计进行了 分析,同时对智能手机端各个控制功能模块进行了分析,采用 UML 模型对系 统的功能更进一步的进行了详细分析说明。最后对非功能性需求做了分析说明。 同时本章介绍了系统的总体设计。 第 3 章 系统的详细设计与实现:在以上分析和系统总体设计的基础上,详 细描述了智能手机端实时视频、温湿度显示、机器人行动控制等模块以及服务 器端的各模块的详细设计和实现。该章是本文所研究的核心部分。 第 4 章 系统的测试:对系统进行了功能和性能两方面的测试,以达到客户 的需求。 最后是论文的结论部分,总结了本文完成的主要工作和得到的具体结果, 并指出了系统存在的问题并对下一步工作提出展望。- 7 -哈尔滨工业大学工程硕士学位论文 第 2 章 系统的需求分析和总体结构设计 软件开发中的需求分析在整个开发过程中占有非常重要的地位。需求分析 对产品的开发起着决定性的作用。首先要充分地研究用户的需求,然后才能确 定整个系统中所要完成的功能,最终完成具体的需求规格说明,为下步的开发 打好坚实的基础。 本章首先对该系统分别从业务需求和用户群体进行了具体分析,并且运用 UML 建模语言的用例图等进一步对系统的功能做了详细的分析。最后再根据用 户的现实需求对整个系统的各项功能进行了综合性的详细分析。 2.1 系统的业务需求 最近几年来由于科学技术的不断进步,机器人以及人工智能行业的技术飞 速地发展,微小机器人和网络的普及使得智能机器人受到更多家庭的关注。伴 随着人们工作时间的的不断延长、单独在家的老人和儿童日渐增多,因此家庭 安防、家居环境温湿度及可燃性气体危害等家庭环境安全问题越来越受到人们 的重视。因此家用机器人更受到人们的亲睐并逐步进入日常生活。对于机器人 而言,良好的交互性是家用机器人智能化的重要体现,交互式、可视化的软件 系统的研制已经成家用智能机器人研究技术领域的关键,决定了机器人性能的 优劣,所以,更加易于操作、维护的交互式机器人控制系统的开发意义重大。2.1.1 用例分析 本章应用了用例图直观易懂地去对整个手机远程控制机器人系统的需求 完成了详细的深入的分析。同时对整个系统的各项功能进行了系统的分析,确 定了系统的参与者等几个不同的用例。 系统的整体用例如图 2-1 所示,并根据该图和需求分析,可识别出系统的 参与者如下: (1)家用机器人:它直接接收并执行 Android 智能手机端用户发来的各项 行动指令及其他控制指令。 (2)Android 智能手机使用者:拥有使用权限、通过使用智能手机实现对 家用机器人所在环境进行实时监测,具体表现为对机器人行动的控制和接收机 器人端传来的实时视频及温湿度数据。- 8 -哈尔滨工业大学工程硕士学位论文 图 2-1 系统整体用例图 通过本系统,智能手机终端可以方便的监控远端机器人所在的家居环境, 可以随时查看机器人端摄像头采集的家居环境中的视频信息以及温湿度等传感 数据。Android 智能手机端可与机器人端进行视频交互,并操控机器人基本行 动。因此,本系统实现了应用一部 Android 智能手机即可完成对远程家用机器 人的控制的目的。 2.1.2 Android 智能手机客户端需求分析 由于近年来人们生活水平的不断提高,生活节奏迅速提升,很多的老人、 幼者被搁置家中,没有人照顾;其次,用户对家居环境越来越重视,使得家用 机器人被更多的家庭认可。而好的机器人操作软件是机器人控制系统的核心。 具有 Android 操作系统的移动设备有很强的系统互动功能,另外其系统的较强 的与互联网的互动方式使得 Android 智能手机应用平台的竞争中占据了明显的 优势。伴随着科学技术的迅速发展和 3G 通信遍布范围曾广,使用一部智能手 机实现对家用机器人的远程控制,越来越符合忙碌的手机用户们的需要。基于 Android 系统的智能手机控制平台,是为了满足手机对远端机器人进 行远程实时操作而设计的。其主要的控制功能分为四个单元具体实现。其中 包 括智能手机端登录模块、机器人客户端实时视频显示模块、 环境温湿度数 据显 示模块和机器人行动控制模块。 Android 智能手机客户端用例子图如图 2-2 所示。- 9 -哈尔滨工业大学工 程硕士学位论文 输入个人IP 输入登录密码 手机控制界面 温度显示 家居环境传感器数据显 示 湿度显示 手机远程控制端软件 实时视频显示 实时视频播放 智能手机客户端 控制机器人常规运动 机器人行动控制图 2-2 Android 智能手机客户端用例子图 控制登陆:智能手机端客户通过此模块进入登陆系统。手机用户通过输入 登陆密码进入远程控制系统。 家居环境传感数据显示模块:显示机器人通过自身传感器收集的环境中的 实时温湿度。 实时视频模块:此界面可以让手机与远端机器人建立实时通讯的视频通道, 机器人端设置的高清摄像头采集的实时视频通过网络传输到手机端,手机端通 过此界面就可以显示远端视频信息,实现了手机对机器人的远程监控。 机器人行动控制模块:通过此模块实现智能手机对家用机器人的行动控制。 即通过手机向远端机器人发送预先设定的控制指令,即可实现控制机器人的常 规运动。 2.1.3 家用机器人服务器端需求分析 普通的机器人一般是面向工业设计的,单独应用在家庭中的机器人种类较 少,且操控不便。本课题涉及的家用机器人属于移动机器人范畴,具有自主移 动平台和一定的智能性。由于人们往往希望通过最简单、最直接的方式来完成 与机器人之间的互动,基于此,本文设计并开发了基于智能手机的家用机器人 - 10 -哈尔滨工业大学工程硕士学位论文 远程控制系统。本系统是一个双向通信系统,它将远方手机端交付给机器人端 的控制指令传输给家用机器人服务器端的通信控制单元。同时,家用机器人服 务器端通过调用摄像头和传感器将采集到的实时视频及环境监测数据等反馈信 息传送给智能手机端的用户。从整个控制系统来看,机器人端的通信控制单元 和视频采集传输单元为整个控制系统的信息传递提供了优良的数据传输的通 道,可以将信息传递到智能手机客户端和机器人服务器端的模块。 由于本系统的结构设计是 C/S,因此系统在机器人服务器端设计的软件包 括四部分:机器人运动控制单元、视频采集传输单元、环境数据采集单元、通 信控制单元。其中机器人行动控制单元:通过串口实现与下位机通讯,控制机 器人基本常规行动。家用机器人服务器端用例子图如图 2-3 所示。 图 2-3 家用机器人服务器端用例子图 环境数据采集单元:应用传感器监测机器人所在的环境中的温度、湿度。 视频采集传输单元:网络摄像头采集家用机器人端的视频并进行实时视频 的压缩,并将处理后的数据传送到网络上。 通信控制单元:接收手机端传来的操作指令,然后进行处理,明确机器人 要操作的对象并对其进行相关操作,其中包括运动指令和温湿度传感器控制指 令。运动指令用于控制机器人常规行动;传感器控制指令可以用于采集温湿度 等数据。以上就是该系统的需求分析,下面根据客户需要对系统进行详细的非功能 性需求分析。 系统的非功能性需求:系统能够完成上述需求分析中满足用户的基本功能 - 11 -哈尔滨工业大学工程硕士学位论文 外,从客户的实际应用角度以及整个系统的适用程度 和使用该系统的范围程度 出发来考虑,该系统应尽可能满足如下非功能性需求: (1) 提供完善的用户密码登陆功能,保障系统的安全使用。 (2) 系统使用方便简捷,能快速完成任务。 (3) 能够在有效的时间内实现实时视频的传输与播放。 2.2 系统的总体结构设计 系统的总体设计是一个系统实现的基础和系统的骨架,因此系统的总体构 的设计有着重要的作用,本节将对该系统的体系结构和开发平台进行描述。 2.2.1 智能手机控制机器人系统总体结构设计 本文的研究重点是在于建立面向家用机器人应用的智能手机端控制系统。 手机远程控制机器人系统中,基于行为的智能控制体系能够良好的解决实时性 问题。而如何协调智能手机端对机器人的实时控制是系统要考虑的最主要问题 [25-29] 。总体系统结构如图 2-4 所示。 图 2-4 Android 智能手机的远程控制机器人总体系统结构图 系统根据两个原则进行设计,首先,智能手机通过网络实时控制机器人, 令其尽可能地根据手机指令完成用户需求;其次,机器人在受控工作的过程中 要保证自身的安全。基于上述考虑本文提出了一种基于 Android 智能手机的远 - 12 -哈尔滨工业大学工程硕士学位论文 程控制机器人系统。 智能手机远程控制机器人系统从上至下共划分为远程人机交互层、行为序 列评估层、机器人规划层以及机器人行为层共四个层次。其中,规划层主要负 责机器人的全局策略并接收智能手机网络控制端的指令,同时,规划层也控制 机器人的方位和姿势并规划其后续动作。 机器人端行为层可根据规划层下发的指令执行相应的行为。行为层分为反 射层和反应层,前者对紧急事件做出行为反应,如火灾报警、紧急停止等。反 应层行为包括超声波避障、目标导向等。如由于行为层与外界环境相通,外界 环境的刺激同样触发机器人做出相应的行为。当远端智能手机对机器人发出控 制命令后,机器人即可根据接收到的指令做出相应反应。同时,机器人本体也 可以接收直接从规划层发来的控制信号而产生行为动作。 2.2.2 智能手机远程控制机器人系统软件逻辑架构 本课题设计了 Android智能手机在远程条件下对与家用机器人的控制系统 软件。系统通过在 3G 网络环境下建立智能手机与机器人之间的数据和视频通 道,最终实现手机远程控制机器人的目的。根据系统的不同特点,系统的体系 结构多样。本系统的结构设计中,使用了经典的三层架构模式,使得系统的数 据和逻辑分开,使系统使用更方便。 智能手机远程控制系统逻辑架构如图 2-5 所示。 1. 界面表示层 提供应用程序的用户界面。Android 智能手机端的操作界 面和机器人端的触屏操作界面即是表示层的体现。表示层是系统与用户沟通的 惟一渠道充分展现了系统的各项功能。 2. 业务逻辑层 整个系统的主要业务逻辑都在本层详细体现。本论文中 设计的主要业务主要体现在通过 Android 智能手机实现对机器人的远程控制。 Android 智能手机端封装了系统需要处理的业务逻辑,业务层的设计与开发是 控制系统的核心,主要将围绕系统需求分析制定的业务逻辑进行封装以供表示 层调用。智能手机终端系统可实现的控制功能有:手机远程控制登陆功能、家 居环境温湿度传感数据监测功能、家用机器人端远程实时视频显示功能和远 程 控制家用机器人基本行动的功能。 - 13 - 哈尔滨工业大学工程硕士学位论文? 界面表 业务逻辑层 数据信息层 示层 手 机 机 温度数据 器 系统配置 手机登陆 端 用 人 用 户 端 户 界 实 家居环境 家居环境 面 时 湿度数据 温度监测 湿度监测 交 视 频 互 机 接 显 器 智能手机控制机器人行动 口 示 实时视频 人 端 用 户 声音 家用机器人下位机图 2-5 智能手机远程控制系统逻辑架构图 3数据信息层提供对外部环境提供的数据进行访问。系统中的硬件设备 采集的环境数据信息主要包括:机器人端摄像头采集的实时视频数据以及传 感 器对温湿度进行监测并收集的数据信息等。? 2.2.3 系统总体流程图 智能手机端发送查看家居环境传感数据指令,机器人端进行指令解析并调 用相应的传感器进行数据采集,通过网络将数据发送至手机用户端。其中智 能 手机远程控制机器人系统的操作执行图如图 2-6 所示。 机器人端的视频采集与传输单元是整个系统的重要部分,当机器人获取实 时视频采集指令后,它将摄像头采集到的原始模拟信号转换为数字信号,并对 视频数据进行编码压缩,最后通过 Internet 将压缩后数据传送至智能手机客户 端。手机端经过基于智能手机的视频解码技术将压缩后的视频解压并显现。 机器人端解析智能手机端的行动控制请求,通过串口向行动部件发出运动 指令,用以控制机器人的“前”、“后”、“左”、“右”四个方向的运动。家用机 器人内置特定的传感器,执行手机端的运动控制指令。 - 14 -哈尔滨工业大学工程硕士学位论文图 2-6 智能手机远程控制机器人系统的操作执行图 2.3 系统开发运行平台 通过分析选择和开发该系统的使用语言要求,本系统采用的开发平台如下 所示。 2.3.1 智能手机端程序开发平台智能手机端应用 Android 操作系统进行开发。 Android 系统最初是由 Andy Rubin 开发研制。Android 的原意是指“机器人”。Google 在 2005 年收购 “Android.lnc”, 开始对 Android 系统进行开发。继而于 2007 年 Google 联合 开放手持设备联盟,正式对外宣布基于 Linux 开放性内核的开源手机操作系统 Android。Android 系统采用了软件叠层的架构,分为四个层。从高到低分别 是 应用程序层、应用程序框架层、系统运行库层和 Linux 核心层,其结构图如图 2-7 所示。- 15 -哈尔滨工业大学工程硕士学位论文图 2-7 Android 平台体系架构图 1)应用程序层本层是放置应用程序的层,由运行在Android Dalvik虚拟机上的应用程序构 成。Android平台发布时带有的必要核心应用程序如短信、地图、浏览器等以及 开发者想要实现的各种应用都在层此实现。用户可根据Android平台上提供的 2D、3D的图形支持、数据库支持,集成浏览器开发出各式各样的应用程序。在 本层上主要应用Java语言调用Android的API接口来实现应用程序的开发。 2)应用程序框架层该层主要由视图管理器、内容管理器、消息管理器、资源管理器和活动管 理器等开发人员可以直接调用的应用组件组成,这些组件是开发Android应用程 [30] 序的基础。应用程序框架层保证了应用程序平等和无界限等特性 。 3)系统运行库层 系统库为应用程序框架层提供应用库函数。主要包括系统库和 Android 运 行时。 4)Linux 内核层 Android平台中的操作系统采用了Linux2.6.36内核,包括键盘驱动、WiFi驱 动、Audio驱动等几部分驱动。 2.3.2 机器人服务器端程序开发平台 基于 Android 智能手机的家用机器人远程控制系统主要是完成机器人端的 视频传输和控制其的行动,通过机器人端程序和智能手机客户端程序两部分实 - 16 -哈尔滨工业大学工程硕士学位论文 现。本文在 VC++ 6.0 平台设计开发了基于智能手机的家用机器人远程控制系 统,机器人端程序采用 VC++ 6.0 中的 MFC 模板开发。MFC 是微软提供的 [31-36] C++ 编程环境,为开发人员提供各种应用程序库,本身也具有很强的界面 开发系统。界面的控制则采用 MFC 框架中与 Flash 8.0 进行通信的控件 Shockwave Flash 实现。 上位机通过串口与下位机(ATmega128 单片机)通信,实现机器人的运动 控制,运动控制模块通过在 MFC 模板中添加 MSComm 控件来实现串口通信的 编程。本系统智能手机客户端界面主要利用 Android 软件平台的功能模块进行 设计,在应用层利用 Android 提供的各种组件 API 接口进行设计实现。Android 的用户界面组件建立在 View 和 ViewGroup 基础之上。 FMS 流媒体,是较为强大的关于多媒体的编程环境,应用它可以实现多种形 式的多媒体应用程序。通常应用 FMS 流媒体服务器来完成传统的多媒体应用程 序的实现,具体表现为实时视频的点播以及 MP3 等内容的实现。 FMS 具备应 用和现场服务等解决方案,可以让音、视频等传输给 FlashPlayer 的服务器。以 下的软件和硬件是运行 Flash Media Server 的配置。流媒体服务器对于以下的操 作系统都具有支持作用,如 Windows XP 以及 Linux 等。具体的硬件基本包括: x86 兼容 CPU 以及 1G 电脑内存等。 2.4 系统功能模块划分 本课题研究重点在于建立面向家用机器人应用的智能手机端控制系统及机 器人端受控系统。该系统采用 C/S 架构,客户端为基于 Android 平台的智能手 机,家用机器人服务器端配有网络和平板电脑。 本课题分别设计了智能手机端控制软件以及家用机器人端受控软件,并在 3G 网络环境下建立了智能手机与机器人之间的数据和视频通道,实现了手 机远 程控制机器人的目的。智能手机终端系统可实现的控制功能有:手机远程控制 登陆功能、家居环境温湿度传感数据监测功能、远程实时视频传输功能和机器 人基本行动控制功能。 本系统功能模块如图 2-8 所示。 - 17 -哈尔滨工业大学工程硕士学位论文 图 2-8 手机远程控制机器人系统功能模块划分图 智能手机端建立四个相应的应用程序,具体包括:手机远程控制登陆模块、 环境传感数据显示模块、机器人端远程实时视频显示模块和家用机器人行动控 制模块。 控制登陆模块:智能手机端客户通过此模块进入登陆系统。用户通过输入 登陆密码进入手机控制系统,对远程机器人进行控制。 家居环境传感数据显示模块:显示机器人通过自身传感器采集的环境实时 数据,包括实时温度、湿度等数据信息。 实时视频模块:此界面可以让手机与远端机器人建立实时通讯的视频通道, 机器人端设置的高清摄像头采集的实时视频通过网络传输到手机端,手机端通 过此界面就可以显示远端视频信息,实现了手机对机器人的远程监控。 机器人行动控制模块:进入此界面后,通过控制按键可实现两种重要的远 程控机器人功能。首先通过手机向远端机器人发送预先设定的控制指令,即 可 实现控制机器人的常规运动。应用此部分软件,客户即可轻松地在智能手机端 对机器