实验室或功能区
低空经济应用创新中心 - 方案文档
低空经济应用创新中心
“人工智能+”（Artificial Intelligence Plus，AI+）是指将人工智能技术与各行各业深度融合，推动产业转型升级和创新发展的一种理念与实践。它不仅是将人工智能应用于某一特定领域，而是通过技术的集成与创新，实现对传统行业的全面赋能与重构。机器视觉是人工智能正在快速发展的一个分支，用机器代替人眼来做测量和判断，通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。
同时，随着自主协同技术的突破，无人机蜂群正从实验室概念演变为颠覆战争规则的“新锐力量”。它既是对未来“无人化、智能化”战争形态的预演，也是大国博弈中低成本战略威慑的具象化载体，通过数百架廉价无人机的高效协同，既能执行侦察、打击、电磁压制等复合任务，又可消耗敌方昂贵的防空资源。无人机蜂群作为一种新兴的集群智能系统，正逐渐改变着多个领域的运作模式。它由大量低成本、小型化的无人机组成，通过协同合作完成复杂任务，具有极高的灵活性和适应性，展现出巨大的发展潜力和应用价值。
主要功能
嵌入式系统与自动控制开发
通过嵌入式及无人机案例实验箱，可实现嵌入式系统课程、嵌入式传感器、自动控制、无人机飞控开发等方向的实验教学。
了解和掌握蜂群协同定位和协同控制
支持多无人机之间的协同定位，使蜂群在飞行过程中能够准确知晓彼此位置，为蜂群的协同飞行、编队等功能提供基础。可实现无人机之间的机间两两通信，任意一架无人机均可获取其他无人机的信息以及控制其他无人机飞行，从而实现蜂群的协同飞行、编队变换等复杂功能，以完成各种任务。
无人机算法仿真
在计算机上模拟无人机在实际场景中的行为和传感器反应，提供机上各种传感器（如深度相机）数据，包括位置坐标、点云、深度图等，可在计算机中模拟无人机与人工智能算法，避免因程序设计不当造成无人机损坏或造成人员受伤。
无人机传感器系统开发
无人机等任何智能设备都离不开传感器技术，学生需要了解各类传感器的工作原理和特征并结合理论知识完成传感器系统软硬件开发，并将相关传感器与无人机结合以实现更多功能，能够培养学生的综合开发能力。
惯性导航系统开发
惯性导航系统是一种不依赖于外部信息、也不向外部辐射能量的自主式导航系统，可用于无卫星定位时的持续导航定位。学生可以通过学习相关技术原理，并开发符合实际需求的软硬件系统并与无人机进行结合，培养学生的软硬件开发能力。
无人机植保技术
专注于无人机在农业植保中的应用，包括植保无人机的选型、农药喷洒技术、作业规划与实施等。学生将学习如何高效、安全地进行农业植保作业，提高农作物产量和质量。
无人机与机械爪
能够提供无人机和机械爪开发平台，可根据需求实现对应的功能，还可以满足一系列竞赛的要求。
无人机算法仿真
在计算机上模拟无人机在实际场景中的行为和传感器反应，提供机上各种传感器（如深度相机）数据，包括位置坐标、点云、深度图等，可在计算机中模拟无人机与人工智能算法，避免因程序设计不当造成无人机损坏或造成人员受伤。
嵌入式系统与自动控制开发
通过嵌入式及无人机案例实验箱，可实现嵌入式系统课程、嵌入式传感器、自动控制、无人机飞控开发等方向的实验教学。
主要实验装备
嵌入式及无人机案例实验箱
嵌入式及无人机案例实验箱不仅可以满足传统的嵌入式及STM32相关课程的教学实验需求，还为课程设计提供了丰富的无人机飞控工程案例化实验。
该实验箱由四大部分组成，分别为STM32嵌入式实验板卡、平面对轴平衡调试平台、遥控控制器及配件、四轴飞行器。
通过嵌入式及无人机案例实验箱，可实现嵌入式系统课程、嵌入式传感器、自动控制、无人机飞控开发等方向的实验教学。嵌入式实验板卡的处理器采用STM32F407，可以实现丰富的嵌入式硬件外设实验，还可与平面对轴平衡调试平台配合完成对轴控制实验，实现无人机的飞控开发入门学习。
AI视觉无人机开发平台
OWL Mini 3无人机体积小，重量轻，更加适合算法验证。
AI视觉无人机蜂群开发平台(激光雷达版)
蜂群控制系统主要模块包括飞控模块，定位模块，避障模块，captain，双目驱动，云台驱动，这些模块对内对外统一使用ROS1接口。其中，飞控模块运行基于PX4开源固件自主修改版本，其主要接口和框架兼容PX4规范。自主研发的双目驱动模块, 提供硬件时钟同步的双目数据及生成的深度图。无人机定位系统包括基于视觉的VIO，IMU等传感器数据融合，融合工作由飞控模块完成，定位模块在机载电脑上实现的视觉VIO。避障模块在避障功能打开的环境下，提供到单一或者连续目标点避障路径。为适应不同飞行任务需求，控制机载电脑上各个算法模块，Captain提供了一个统一控制点和任务管理器，方便实现不同的飞行任务。ROS1接口的云台驱动模块，提供云台姿态数据，提供云台控制接口，提供视频图像用于第三方软件实施跟踪。
蜂群软件架构包括单机系统和算法软件，多机协同软件，多机通讯机制。在多机协同环境，还需要协调多机轨迹、位置、同步完成多机目标飞行。适配了Ego-Planner-Swarm开源软件，作为多机协同下的避障导航软件。它结合了多机的位置，和各自目标下的轨迹，整体规划出防碰撞轨迹。再结合控制软件就可以同步控制集群进行目标飞行。在分布式多机协同系统中，需要互通网络环境和多机通讯机制。目前引用的Ego-Planner-Swarm软件是基于ROS系统的多机通讯机制，是Master/Slave架构的消息通讯机制。Visbot视觉模块提供了Wifi接口，可接入大功率Wi-Fi基站，优势是可以较长距离通讯；也可以配置成自组网模式, 省去Wi-Fi基站，可以满足小范围的机群需求。
在视觉版的基础上，激光雷达版搭载VisBot 3代视觉模块，双轴增稳云台以及4线LiDAR激光雷达，适用于无GPS环境下基于视觉/LiDAR的无人机定位/导航/避障算法的验证与开发，以及室内无人机组网编队的研究。激光定位基于LiDAR激光传感器获得的点云数据，并且融和惯性导航模块的6轴数据，实现的LIO算法。视觉定位是通过基于双目视觉传感器的双目图像，融和惯性导航模块数据，实现的VIO算法。可以基于动作捕捉系统定位，支持VRPN协议实时获得定位信息，提供真实飞行数据。避障功能是基于定位结果，基于LiDAR点云/iTof深度图/双目产生深度图，实时生成地图和路径规划的避障算法。
无人机算法模拟仿真器
无人机作为空中机器人，在各行各业发挥了重要的作用，无人机的AI赋能和蜂群协同是近年来的研究热点。
高校实验室与科研领域是无人机控制算法与AI赋能的主要研究阵地。面对未来AI时代，控制算法与AI赋能的教学和研发方式被重新定义，行业亟需一种更快速、高效的无人机控制算法研发模式。
无人机模拟仿真器VISIM可帮助教学及科研工作者在第一时间对算法进行实践验证，提高教学和科研效率，模拟验证后再用真机测试，减少风险和炸机发生概率。
基于PX4_SITL和Gazebo的环境，提供位置、速度、加速度等控制方式，用户可以验证自己的飞控算法和外围控制算法。
自主飞行和路径规划方面，模拟器适配了Ego-Planner开源算法和一些基本的路径生成算法，方便用户实现轨迹生成算法及轨迹控制验证；
提供Ego-Planner-Swarm开源蜂群算法，用户也可在模拟器中开发/验证自己的集群/蜂群算法；
VSIM模拟仿真器也提供AI目标识别、跟踪算法和框架，方便用户实现无人机对目标的追踪等实验；
无人机传感器技术开发实训平台
无人机通常采用多种传感器，通过数据融合技术将来自不同传感器的数据整合成更准确的信息。传感器之间的协同工作可以实现无人机的高度自主飞行和复杂任务执行。无人机传感器技术开发实训平台提供多种传感器模块，主要包括惯性导航传感器模块、红外传感器、温湿度传感器、火焰传感器等。传感器模块套件配合单板计算机，实现各种传感器原理、应用、上位机软件编写等实验。
无人机GNSS INS惯性组合导航开发模块可用于学习无人机惯性导航。惯导的基本工作原理是以牛顿力学定律为基础，通过测量载体在惯性参考系的加速度，将它对时间进行积分，且把它变换到导航坐标系中，就能够得到在导航坐标系中的速度、偏航角和位置等信息。
小型农业植保无人机竞赛实训平台
HT-Z2是一款专为教学而生的小型农业植保无人机竞赛实训平台，配备微型配套水箱、两个雾化喷头，与大型植保无人机功能和原理均相同，可满足植保教学、新手培训以原理展示和学习等用途，支持二次开发与改装，适用于各类学科竞赛和课程设计等需求，还可用于蔬菜大棚等小范围农业生产场景以及小面积场地消毒等用途。
教学无人机机械抓取平台
HT500Z是面向教学与竞赛的机械抓取无人机实训平台，配备可拆卸机械爪模块，支持物品抓取、运输及定点投放功能。
系统内置航线规划与基础避障能力，可满足物流运输课程实训需求，也可用于无人机相关竞赛。平台采用模块化设计，支持二次开发，便于与教学体系对接。
无人机安全飞行防护场地
无人机飞行安全防护场地全方位守护无人机飞行训练和科学研究，为无人机实训实验筑起安全屏障，可避免因操作失误导致的人员受伤。
场地标准尺寸为5.0 m × 5.0 m × 2.5 m，采用桁架骨架结构、5英寸尼龙防护网，配套海绵地垫，不仅可用于无人机日常和赛前训练，也可搭建任务场地用于课题研究实验和各类创新实践。
AI视觉无人机开发平台
OWL Mini 3无人机体积小，重量轻，更加适合算法验证。
无人机算法模拟仿真器
无人机作为空中机器人，在各行各业发挥了重要的作用，无人机的AI赋能和蜂群协同是近年来的研究热点。
高校实验室与科研领域是无人机控制算法与AI赋能的主要研究阵地。面对未来AI时代，控制算法与AI赋能的教学和研发方式被重新定义，行业亟需一种更快速、高效的无人机控制算法研发模式。
无人机模拟仿真器VISIM可帮助教学及科研工作者在第一时间对算法进行实践验证，提高教学和科研效率，模拟验证后再用真机测试，减少风险和炸机发生概率。
基于PX4_SITL和Gazebo的环境，提供位置、速度、加速度等控制方式，用户可以验证自己的飞控算法和外围控制算法。
自主飞行和路径规划方面，模拟器适配了Ego-Planner开源算法和一些基本的路径生成算法，方便用户实现轨迹生成算法及轨迹控制验证；
提供Ego-Planner-Swarm开源蜂群算法，用户也可在模拟器中开发/验证自己的集群/蜂群算法；
VSIM模拟仿真器也提供AI目标识别、跟踪算法和框架，方便用户实现无人机对目标的追踪等实验；
嵌入式及无人机案例实验箱
嵌入式及无人机案例实验箱不仅可以满足传统的嵌入式及STM32相关课程的教学实验需求，还为课程设计提供了丰富的无人机飞控工程案例化实验。
该实验箱由四大部分组成，分别为STM32嵌入式实验板卡、平面对轴平衡调试平台、遥控控制器及配件、四轴飞行器。
通过嵌入式及无人机案例实验箱，可实现嵌入式系统课程、嵌入式传感器、自动控制、无人机飞控开发等方向的实验教学。嵌入式实验板卡的处理器采用STM32F407，可以实现丰富的嵌入式硬件外设实验，还可与平面对轴平衡调试平台配合完成对轴控制实验，实现无人机的飞控开发入门学习。
实验室设备清单
| 序号 |
设备名称 |
单位 |
数量 |
设备品牌 |
设备型号 |
| 1 |
嵌入式及无人机案例实验箱 |
套 |
16 |
中航恒拓 |
STM32 Drone ARM |
| 2 |
AI视觉无人机开发平台 |
架 |
16 |
中航恒拓 |
OWL Mini 3 |
| 3 |
AI视觉无人机蜂群开发平台(激光雷达版) |
架 |
3 |
中航恒拓 |
OWL Mini 3LS |
| 4 |
无人机蜂群控制平台 |
套 |
1 |
中航恒拓 |
V-PC |
| 5 |
无人机耗材包 |
套 |
5 |
中航恒拓 |
中航恒拓/V-HT-Lib |
| 6 |
无人机算法模拟仿真器 |
台 |
5 |
中航恒拓 |
VISIM |
| 7 |
计算机 |
台 |
9 |
主流品牌 |
主流型号 |
| 8 |
桌椅 |
套 |
5 |
中航恒拓 |
主流型号 |
| 9 |
无人机传感器技术开发实训平台 |
套 |
25 |
中航恒拓 |
HT-Sensors-EDU |
| 10 |
小型农业植保无人机竞赛实训平台 |
架 |
2 |
中航恒拓 |
HT-Z2 |
| 11 |
教学无人机机械抓取平台 |
架 |
2 |
中航恒拓 |
HT500Z |
| 12 |
无人机安全飞行防护场地 |
套 |
1 |
中航恒拓 |
HT-Flight Zone |
| 13 |
AI视觉无人机开发平台 |
架 |
25 |
中航恒拓 |
OWL Mini 3 |
| 14 |
无人机算法模拟仿真器 |
台 |
2 |
中航恒拓 |
VISIM |
| 15 |
嵌入式及无人机案例实验箱 |
套 |
25 |
中航恒拓 |
STM32 Drone ARM |
| 16 |
高性能计算机 |
台 |
25 |
主流品牌 |
主流型号 |
| 17 |
GPU服务器 |
台 |
1 |
主流品牌 |
主流型号 |
| 18 |
实验室装修及综合布线 |
间 |
1 |
定制 |
---- |
主要课程与实验
本实验室主要为开放性实验，无固定的实验方法，旨在锻炼学生的学习能力和创造能力，部分实验可供学有余力的同学选择性完成。
嵌入式系统及飞行控制系统原理与开发
基于ARM Cortex嵌入式系统，开发多旋翼无人机飞控系统。综合应用控制和传感器相关知识，在课程组提供的嵌入式系统开发板上，开发传感器采集模块、传感器数据融合和滤波模块、内环控制模块、外环控制模块、通信模块等，并将诸模块进行整合，形成一套完整的多旋翼无人机飞行控制系统。能够满足从单片机入门至传感器数据采集再到PID等全套实验需求。
STM32相关基础实验
■ 实验1：GPIO实验，点亮流水灯
■ 实验2：按键操作实验
■ 实验3：定时器与外部中断实验，实现LED定时闪烁与呼吸灯
■ 实验4：串口收发实验
■ 实验5：呼吸灯实验
■ 实验6：蜂呜实验
■ 实验7：电机驱动及空心杯电机实验
■ 实验8：TFT LCD实验
■ 实验9：ADC采样实验，并获取电池电压
■ 实验10：DAC输出正弦波实验
■ 实验11：WIFI实验
■ 实验12：MS5611实验
■ 实验13：SD卡实验，将SD卡中图片显示在TFT LCD
■ 实验14：SPI读取IMU数据实验
■ 实验15：IIC读取气压计 MS5611 数据
■ 实验16：PPM实验，遥控器定时器输入捕获
■ 实验17：PWM实验，通过外设输出PWM波控制蜂鸣器的音调
■ 实验18：磁力计数据获取实验
■ 实验19：陀螺仪积分获取角度
■ 实验20：传感器低通滤波实验
■ 实验21：加速度计3轴分解实验
■ 实验22：音频输出播放实验
■ 实验23：麦克风音频输入及信号处理输出实验
■ 实验24：ucos Mahony滤波实验
■ 实验25：ucos led实验
飞行控制系统相关实验
■ 实验1：陀螺仪实验，掌握陀螺仪数据及原理，获取角速度数据并计算角度。
■ 实验2：加速度实验，掌握加速度计原理，获取加速度数据并计算角度。
■ 实验3：磁力计实验，掌握磁力计原理，获取磁力计数据并计算角度。
■ 实验4：传感器校准实验，了解传感器误差来源，掌握传感器校准方法和软件实现。
■ 实验5：传感器低通滤波实验，掌握巴特沃斯低通滤波器设计，实现滤波器调参。
■ 实验6：姿态解析实验，了解无人机姿态表示方法，掌握 Mahony 滤波算法。
■ 实验7 DCM 方向余弦矩阵实验，了解方向预选矩阵，对 DCM 进行应用，获取运动加速度数据。
■ 实验8：无人机控制系统建模及实现。
■ 实验9：无人机对轴平衡调试试验。
■ 实验10：无人机定高飞行实验。
■ 实验11：无人机遥控飞行实验。
ROS及相关技术
ROS系统而是一个运行在Linux等操作系统之上的次级操作系统。它通过提供硬件抽象、底层设备控制、进程间消息传递等功能，帮助开发者高效地创建和管理机器人应用软件，将机器人的软件功能模块化，形成一个个节点，这些节点可以通过发送消息进行通信，从而实现复杂的机器人行为。
■ 实验1：Ubuntu操作系统安装
■ 实验2：Ubuntu操作系统安装应用程序
■ 实验3：Ubuntu操作系统命令行操作
■ 实验4：ROS的安装
■ 实验5：ROS的运行（海龟移动）
■ 实验6：安装Visual Studio Code编辑器
■ 实验7：配置ROS环境并实现“Hello World”
无人机视觉
实验目的：了解和掌握无人机视觉跟踪技术的基本原理和实现方法
实验内容：由于无人机能搭载的传感器和处理器性能有限，因此与常规数字图像处理方法相比，要求所应用的方法同时具备实时性和可靠性。本实验需要综合应用SIFT、SURF、YOLO等视觉跟踪方法，利用学生自己的计算机，实现视觉跟踪，并要求在实验中开始学习使用ROS(机器人操作系统)、OpenCV等工具。
■ 实验1：K-MEANS网络搭建
■ 实验2：GAN网络搭建
■ 实验3：CGAN网络搭建
■ 实验4：YOLO网络搭建（V1-V8）
■ 实验5：基于YOLO实现目标识别
无人机滤波和传感技术
实验目的：了解和掌握无人机使用传感器和滤波器的基本原理
实验内容：本实验主要针对无人机控制系统中所使用的传感器和滤波器基本原理，包括IMU(惯性传感器)、GPS(全球定位系统)或北斗定位系统、Kalman滤波器或互补滤波器，通过实验，使用实际无人机上采集的传感器数据来融合出可靠的位姿数据，巩固所学知识。
■ 实验1：多传感器数据融合
■ 实验2：前端光流
■ 实验3：高效的去畸变方式
■ 实验4：误差卡尔曼滤波
■ 实验5：连续时间预积分误差传递
■ 实验6：离散时间预积分误差传递
同步定位与建图
实验目的：了解和掌握无人机同步定位建图基本原理和实现方法
实验内容：本实验主要探索无人机在不依靠外部定位手段，如GPS、无线基站和动作捕捉系统等的情况下，仅依靠自身携带的传感器进行导航、定位和地图建立的SLAM(同步定位建图)方法，合作完成一种或几种典型的SLAM方法原理调研、实际运行测试、评价等。
■ 实验1：VINS-Mono代码编译运行
■ 实验2：预积分零偏建模方式
■ 实验3：VIO初始化
■ 实验4：VIO数据预处理
■ 实验5：旋转外参初始化
■ 实验6：ceres解析求导以及核函数
■ 实验7：预积分残差计算
■ 实验8：预积分雅可比计算
■ 实验9：视觉重投影
■ 实验10：视觉雅可比
■ 实验11：滑动窗口边缘化
■ 实验12：VINS_Fusion介绍及运行
■ 实验13：VINS_Fusion光流优化
■ 实验14：VINS_Fusion初始化
■ 实验15：VINS_Fusion后端优化
■ 实验16：鲁棒的外点剔除策略
■ 实验17：VINS_Fusion的GPS融合
无人机位姿控制
实验目的：以多旋翼无人机为例，了解无人机位姿控制的基本原理和方法，并通过实验对无人机的闭环相应特性获得直观认识。
实验内容：本实验将基于室内无人机飞行实验，学习和体验无人机姿态位置和姿态控制的控制器设计和调节方法，包括姿态环(内环)参数调节、位置环(外环)参数调节、扰动抑制、轨迹跟踪等环节。通过实验，同学可以更深入了解无人机控制器的构成和不同控制器参数对于飞行品质的影响。
■ 实验1：无人机的数学模型
■ 实验2：无人机动力模型
■ 实验3：无人机姿态模型
■ 实验4：无人机位置模型
■ 实验5：无人机模型线性优化
■ 实验6：基于欧拉角的控制器
■ 实验7：PID控制
■ 实验8：基于四元数的控制器
■ 实验9：基于旋转矩阵的控制器
无人机视觉控制
实验目的：了解无人机视觉控制的基本原理，通过实验掌握无人机视觉的基本方法。
实验内容：本实验将基于机载立体摄像头的口袋式室内无人机实验平台，学习无人机视觉跟踪的基本原理，包括图像跟踪、解耦控制、轨迹平滑等环节。
■ 实验1：回环检测数据流
■ 实验2：基于dbow的回环检测
■ 实验3：回环校验
■ 实验4：通过后端滑窗优化回环帧位姿
■ 实验5：四自由度位姿图优化
■ 实验6：视觉地图的保存和加载
基于PX4的开源飞控系统
实验目的：基于PX4开源平台，研究并调试多旋翼无人机飞控系统。
实验内容：综合应用控制和传感器相关知识，在课程组提供的PX4系统上，学习传感器采集模块、传感器数据融合和滤波模块、内环控制模块、外环控制模块、通信模块等的开发方法，并利用Mavros（MAVLink + ROS）开发相应的机载计算机程序，实现上位机对无人机的实时操控。
■ 实验1：基于PX4的四旋翼建模与控制
■ 实验2：四旋翼模型与控制基础
■ 实验3：实际飞行测试
■ 实验4：日志分析
■ 实验5：传感器与遥控器校准原理
■ 实验6：PX4自定义任务并执行
■ 实验7：PX4自定义参数并使用QGC显示
■ 实验8：PX4自定义uORB消息并保存到日志
■ 实验9：PX4控制算法
■ 实验10：PX4中uORB概览
■ 实验11：PX4位置-姿态-角速度控制逻辑
■ 实验12：基于SO3的姿态控制
■ 实验13：TD微分跟踪器原理与仿真
■ 实验14：ADRC误差组合
■ 实验15：LESO原理与仿真
■ 实验16：LADRC角速度环Simulink仿真
■ 实验17：LADRC飞控C++代码编写
■ 实验18：LADRC仿真与实物测试分析
■ 实验19：非线性ADRC原理与仿真
■ 实验20：一键起飞
■ 实验21：自动降落
■ 实验22：速度平滑
单目视觉跟踪与识别系统
实验目的：研究和探索无人机单目视觉追踪和识别的方法。
实验内容：综合应用计算机视觉和深度学习等相关知识，学习和开发基于特征的无人机视觉识别与跟踪方法、基于深度学习的无人机视觉与跟踪方法，并在安装有Ubuntu和Ros的计算机上实现。
■ 实验1：单目视觉位姿估计
■ 实验2：基于ceres自动求导的单目视觉BA优化
■ 实验3：陀螺仪零偏初始化
■ 实验4：视觉惯性对齐求解
■ 实验5：基于已知重力的视觉惯性对齐调整
立体视觉导航与避障系统
实验目的：研究和探索无人机立体视觉导航和避障方法。
实验内容：应用深度相机、激光雷达等具备深度测量能力的传感器，学习和开发无人机立体视觉同步定位建图导航方法、基于特征或学习的避障方法，并在安装有Ubuntu和Ros的计算机上实现。
无人机虚实融合仿真系统
实验目的：研究和探索无人机虚实融合仿真方法。
实验内容：应用Ros提供的Gazebo等工具，通过无线或有线方式接入开源飞控Px4的数据，开发完整的无人机虚实融合仿真系统，在虚拟系统中为无人机安装单目摄像头、深度摄像头、激光雷达等视觉传感器，实现虚拟环境下的无人机自主任务规划与飞行测试。
无人机视觉导航与避障技术
实验目的：研究和探索无人机视觉导航和避障方法。
实验内容：基于搭载轻量化计算平台、双目摄像头和和PX4飞控系统的微型无人机，开发算力受限情况下的无人机自主双目点云生成算法、视觉导航算法和自主避障算法，在室内实现飞行验证。
无人机视觉编队与任务规划技术
实验目的：研究和探索无人机视觉编队与任务规划方法。
实验内容：基于搭载轻量化计算平台、双目摄像头和和PX4飞控系统的微型无人机，开发算力受限情况下的分布式无人机视觉编队方法、集中式/分布式/智能式任务规划方法，并在室内实现飞行验证。
无人机编队实验
实验目的：认识在不同的无人机编队协议下，无人机编队的性能。
实验内容：利用Matlab和QuarQ等工具进行编程，通过WiFi建立服务器和无人机集群之间的通信，实现无人机集群的集中式和分布式编队飞行，并通过航迹变换和施加外部干扰等，验证不同的编队协议的鲁棒性和快速性之间的差异。
无人机智能任务规划
实验目的：通过实验综合掌握无人机全自主飞行及智能任务规划相关的方法。
实验内容：在机载Ubuntu和Ros系统上进行编程，并通过Mavros等工具与机载PX4飞控系统通信，利用机载双目摄像头采集的视觉数据生成点云，实现无人机在无GPS等外部导航手段的引导下的自主定位、自主导航、避障、路径规划和目标匹配，最终完成在开阔实验室空间内的智能任务规划。
基于VISIM的飞行模拟
基于模拟器实现相关验证与开发。
■ 实验1 单台OWL无人机模拟
■ 实验2 多台OWL无人机模拟
■ 实验3 QGC控制单台OWL
■ 实验4 从命令行向单台OWL发送takeoff, landing, start, 和stoptask指令
■ 实验5 用rviz显示单台OWL传感器发出的数据
■ 实验6 OWL定点追踪移动物体
■ 实验7 路径规划：OWL简单路径规划，通过rviz设置目标位置
■ 实验8 路径规划：OWL使用ego_planner规划飞行路线，命令行与rviz结合控制
■ 实验9 用QGC和命令行控制多台OWL
■ 实验10 用rviz显示多台OWL传感器发出的数据
■ 实验11 通过rostopic向单台/多台OWL发布数据和命令
■ 实验12 OWL蜂群避障
无人机传感器原理相关开发
常用传感器数据读取和应用。
■ 实验1：红外避障碍传感器数据采集与展示
■ 实验2：霍尔传感器数据采集与展示
■ 实验3：温度湿度传感器数据采集与展示
■ 实验4：火焰传感器数据采集与展示
■ 实验5：上位机软件开发
惯性导航原理与相关开发
了解惯性导航相关原理并开发上位机软件。
■ 实验1：获取IMU数据
■ 实验2：获取卫星定位数据
■ 实验3：IMU与卫星定位数据融合
■ 实验4：在地图中记录轨迹
■ 实验5：GPS与Move_Base导航
■ 实验6：上位机软件开发
无人机与农业
掌握植保无人机、农业检测无人机构造与原理，掌握无人机操作与维护保养。
■ 实验1：植保无人机的认知
■ 实验2：植保无人机起飞前检查
■ 实验3：植保无人机飞行操控
■ 实验4：植保无人机撒播技术
■ 实验5：植保无人机辅助设备操作
■ 实验6：紧急情况下植保无人机的操控
■ 实验7：植保无人机维护保养与储存
■ 实验8：农药使用安全常识及病毒害
■ 实验9：植保无人机喷洒效果检验及飞防作业的实施
■ 实验10：植保无人机的拆装
■ 实验11：植保无人机故障分析及检修
■ 实验12：植保无人机硬件程序刻录刷写及固件升级
■ 实验13：植保无人机售后服务
■ 实验14：植保无人机作业规划
ROS及相关技术
ROS系统而是一个运行在Linux等操作系统之上的次级操作系统。它通过提供硬件抽象、底层设备控制、进程间消息传递等功能，帮助开发者高效地创建和管理机器人应用软件，将机器人的软件功能模块化，形成一个个节点，这些节点可以通过发送消息进行通信，从而实现复杂的机器人行为。
■ 实验1：Ubuntu操作系统安装
■ 实验2：Ubuntu操作系统安装应用程序
■ 实验3：Ubuntu操作系统命令行操作
■ 实验4：ROS的安装
■ 实验5：ROS的运行（海龟移动）
■ 实验6：安装Visual Studio Code编辑器
■ 实验7：配置ROS环境并实现“Hello World”
无人机视觉
实验目的：了解和掌握无人机视觉跟踪技术的基本原理和实现方法
实验内容：由于无人机能搭载的传感器和处理器性能有限，因此与常规数字图像处理方法相比，要求所应用的方法同时具备实时性和可靠性。本实验需要综合应用SIFT、SURF、YOLO等视觉跟踪方法，利用学生自己的计算机，实现视觉跟踪，并要求在实验中开始学习使用ROS(机器人操作系统)、OpenCV等工具。
■ 实验1：K-MEANS网络搭建
■ 实验2：GAN网络搭建
■ 实验3：CGAN网络搭建
■ 实验4：YOLO网络搭建（V1-V8）
■ 实验5：基于YOLO实现目标识别
无人机滤波和传感技术
实验目的：了解和掌握无人机使用传感器和滤波器的基本原理
实验内容：本实验主要针对无人机控制系统中所使用的传感器和滤波器基本原理，包括IMU(惯性传感器)、GPS(全球定位系统)或北斗定位系统、Kalman滤波器或互补滤波器，通过实验，使用实际无人机上采集的传感器数据来融合出可靠的位姿数据，巩固所学知识。
■ 实验1：多传感器数据融合
■ 实验2：前端光流
■ 实验3：高效的去畸变方式
■ 实验4：误差卡尔曼滤波
■ 实验5：连续时间预积分误差传递
■ 实验6：离散时间预积分误差传递
同步定位与建图
实验目的：了解和掌握无人机同步定位建图基本原理和实现方法
实验内容：本实验主要探索无人机在不依靠外部定位手段，如GPS、无线基站和动作捕捉系统等的情况下，仅依靠自身携带的传感器进行导航、定位和地图建立的SLAM(同步定位建图)方法，合作完成一种或几种典型的SLAM方法原理调研、实际运行测试、评价等。
■ 实验1：VINS-Mono代码编译运行
■ 实验2：预积分零偏建模方式
■ 实验3：VIO初始化
■ 实验4：VIO数据预处理
■ 实验5：旋转外参初始化
■ 实验6：ceres解析求导以及核函数
■ 实验7：预积分残差计算
■ 实验8：预积分雅可比计算
■ 实验9：视觉重投影
■ 实验10：视觉雅可比
■ 实验11：滑动窗口边缘化
■ 实验12：VINS_Fusion介绍及运行
■ 实验13：VINS_Fusion光流优化
■ 实验14：VINS_Fusion初始化
■ 实验15：VINS_Fusion后端优化
■ 实验16：鲁棒的外点剔除策略
■ 实验17：VINS_Fusion的GPS融合
无人机位姿控制
实验目的：以多旋翼无人机为例，了解无人机位姿控制的基本原理和方法，并通过实验对无人机的闭环相应特性获得直观认识。
实验内容：本实验将基于室内无人机飞行实验，学习和体验无人机姿态位置和姿态控制的控制器设计和调节方法，包括姿态环(内环)参数调节、位置环(外环)参数调节、扰动抑制、轨迹跟踪等环节。通过实验，同学可以更深入了解无人机控制器的构成和不同控制器参数对于飞行品质的影响。
■ 实验1：无人机的数学模型
■ 实验2：无人机动力模型
■ 实验3：无人机姿态模型
■ 实验4：无人机位置模型
■ 实验5：无人机模型线性优化
■ 实验6：基于欧拉角的控制器
■ 实验7：PID控制
■ 实验8：基于四元数的控制器
■ 实验9：基于旋转矩阵的控制器
无人机视觉控制
实验目的：了解无人机视觉控制的基本原理，通过实验掌握无人机视觉的基本方法。
实验内容：本实验将基于机载立体摄像头的口袋式室内无人机实验平台，学习无人机视觉跟踪的基本原理，包括图像跟踪、解耦控制、轨迹平滑等环节。
■ 实验1：回环检测数据流
■ 实验2：基于dbow的回环检测
■ 实验3：回环校验
■ 实验4：通过后端滑窗优化回环帧位姿
■ 实验5：四自由度位姿图优化
■ 实验6：视觉地图的保存和加载
基于PX4的开源飞控系统
实验目的：基于PX4开源平台，研究并调试多旋翼无人机飞控系统。
实验内容：综合应用控制和传感器相关知识，在课程组提供的PX4系统上，学习传感器采集模块、传感器数据融合和滤波模块、内环控制模块、外环控制模块、通信模块等的开发方法，并利用Mavros（MAVLink + ROS）开发相应的机载计算机程序，实现上位机对无人机的实时操控。
■ 实验1：基于PX4的四旋翼建模与控制
■ 实验2：四旋翼模型与控制基础
■ 实验3：实际飞行测试
■ 实验4：日志分析
■ 实验5：传感器与遥控器校准原理
■ 实验6：PX4自定义任务并执行
■ 实验7：PX4自定义参数并使用QGC显示
■ 实验8：PX4自定义uORB消息并保存到日志
■ 实验9：PX4控制算法
■ 实验10：PX4中uORB概览
■ 实验11：PX4位置-姿态-角速度控制逻辑
■ 实验12：基于SO3的姿态控制
■ 实验13：TD微分跟踪器原理与仿真
■ 实验14：ADRC误差组合
■ 实验15：LESO原理与仿真
■ 实验16：LADRC角速度环Simulink仿真
■ 实验17：LADRC飞控C++代码编写
■ 实验18：LADRC仿真与实物测试分析
■ 实验19：非线性ADRC原理与仿真
■ 实验20：一键起飞
■ 实验21：自动降落
■ 实验22：速度平滑
单目视觉跟踪与识别系统
实验目的：研究和探索无人机单目视觉追踪和识别的方法。
实验内容：综合应用计算机视觉和深度学习等相关知识，学习和开发基于特征的无人机视觉识别与跟踪方法、基于深度学习的无人机视觉与跟踪方法，并在安装有Ubuntu和Ros的计算机上实现。
■ 实验1：单目视觉位姿估计
■ 实验2：基于ceres自动求导的单目视觉BA优化
■ 实验3：陀螺仪零偏初始化
■ 实验4：视觉惯性对齐求解
■ 实验5：基于已知重力的视觉惯性对齐调整
立体视觉导航与避障系统
实验目的：研究和探索无人机立体视觉导航和避障方法。
实验内容：应用深度相机、激光雷达等具备深度测量能力的传感器，学习和开发无人机立体视觉同步定位建图导航方法、基于特征或学习的避障方法，并在安装有Ubuntu和Ros的计算机上实现。
无人机虚实融合仿真系统
实验目的：研究和探索无人机虚实融合仿真方法。
实验内容：应用Ros提供的Gazebo等工具，通过无线或有线方式接入开源飞控Px4的数据，开发完整的无人机虚实融合仿真系统，在虚拟系统中为无人机安装单目摄像头、深度摄像头、激光雷达等视觉传感器，实现虚拟环境下的无人机自主任务规划与飞行测试。
无人机视觉导航与避障技术
实验目的：研究和探索无人机视觉导航和避障方法。
实验内容：基于搭载轻量化计算平台、双目摄像头和和PX4飞控系统的微型无人机，开发算力受限情况下的无人机自主双目点云生成算法、视觉导航算法和自主避障算法，在室内实现飞行验证。
无人机视觉编队与任务规划技术
实验目的：研究和探索无人机视觉编队与任务规划方法。
实验内容：基于搭载轻量化计算平台、双目摄像头和和PX4飞控系统的微型无人机，开发算力受限情况下的分布式无人机视觉编队方法、集中式/分布式/智能式任务规划方法，并在室内实现飞行验证。
无人机编队实验
实验目的：认识在不同的无人机编队协议下，无人机编队的性能。
实验内容：利用Matlab和QuarQ等工具进行编程，通过WiFi建立服务器和无人机集群之间的通信，实现无人机集群的集中式和分布式编队飞行，并通过航迹变换和施加外部干扰等，验证不同的编队协议的鲁棒性和快速性之间的差异。
无人机智能任务规划
实验目的：通过实验综合掌握无人机全自主飞行及智能任务规划相关的方法。
实验内容：在机载Ubuntu和Ros系统上进行编程，并通过Mavros等工具与机载PX4飞控系统通信，利用机载双目摄像头采集的视觉数据生成点云，实现无人机在无GPS等外部导航手段的引导下的自主定位、自主导航、避障、路径规划和目标匹配，最终完成在开阔实验室空间内的智能任务规划。
基于VISIM的飞行模拟
基于模拟器实现相关验证与开发。
■ 实验1 单台OWL无人机模拟
■ 实验2 多台OWL无人机模拟
■ 实验3 QGC控制单台OWL
■ 实验4 从命令行向单台OWL发送takeoff, landing, start, 和stoptask指令
■ 实验5 用rviz显示单台OWL传感器发出的数据
■ 实验6 OWL定点追踪移动物体
■ 实验7 路径规划：OWL简单路径规划，通过rviz设置目标位置
■ 实验8 路径规划：OWL使用ego_planner规划飞行路线，命令行与rviz结合控制
■ 实验9 用QGC和命令行控制多台OWL
■ 实验10 用rviz显示多台OWL传感器发出的数据
■ 实验11 通过rostopic向单台/多台OWL发布数据和命令
■ 实验12 OWL蜂群避障
嵌入式系统及飞行控制系统原理与开发
基于ARM Cortex嵌入式系统，开发多旋翼无人机飞控系统。综合应用控制和传感器相关知识，在课程组提供的嵌入式系统开发板上，开发传感器采集模块、传感器数据融合和滤波模块、内环控制模块、外环控制模块、通信模块等，并将诸模块进行整合，形成一套完整的多旋翼无人机飞行控制系统。能够满足从单片机入门至传感器数据采集再到PID等全套实验需求。
STM32相关基础实验
■ 实验1：GPIO实验，点亮流水灯
■ 实验2：按键操作实验
■ 实验3：定时器与外部中断实验，实现LED定时闪烁与呼吸灯
■ 实验4：串口收发实验
■ 实验5：呼吸灯实验
■ 实验6：蜂呜实验
■ 实验7：电机驱动及空心杯电机实验
■ 实验8：TFT LCD实验
■ 实验9：ADC采样实验，并获取电池电压
■ 实验10：DAC输出正弦波实验
■ 实验11：WIFI实验
■ 实验12：MS5611实验
■ 实验13：SD卡实验，将SD卡中图片显示在TFT LCD
■ 实验14：SPI读取IMU数据实验
■ 实验15：IIC读取气压计 MS5611 数据
■ 实验16：PPM实验，遥控器定时器输入捕获
■ 实验17：PWM实验，通过外设输出PWM波控制蜂鸣器的音调
■ 实验18：磁力计数据获取实验
■ 实验19：陀螺仪积分获取角度
■ 实验20：传感器低通滤波实验
■ 实验21：加速度计3轴分解实验
■ 实验22：音频输出播放实验
■ 实验23：麦克风音频输入及信号处理输出实验
■ 实验24：ucos Mahony滤波实验
■ 实验25：ucos led实验
飞行控制系统相关实验
■ 实验1：陀螺仪实验，掌握陀螺仪数据及原理，获取角速度数据并计算角度。
■ 实验2：加速度实验，掌握加速度计原理，获取加速度数据并计算角度。
■ 实验3：磁力计实验，掌握磁力计原理，获取磁力计数据并计算角度。
■ 实验4：传感器校准实验，了解传感器误差来源，掌握传感器校准方法和软件实现。
■ 实验5：传感器低通滤波实验，掌握巴特沃斯低通滤波器设计，实现滤波器调参。
■ 实验6：姿态解析实验，了解无人机姿态表示方法，掌握 Mahony 滤波算法。
■ 实验7 DCM 方向余弦矩阵实验，了解方向预选矩阵，对 DCM 进行应用，获取运动加速度数据。
■ 实验8：无人机控制系统建模及实现。
■ 实验9：无人机对轴平衡调试试验。
■ 实验10：无人机定高飞行实验。
■ 实验11：无人机遥控飞行实验。
配套课程资源
拓展行业应用及开发
人工智能无人机应用行业非常广泛，可结合实际需求进行二次开发，以下是一些主要应用行业：
农业领域
作物监测：科研无人机可搭载多光谱、高光谱等传感器，对大面积农田进行快速扫描，获取作物的生长状态、植被指数、叶面积指数等信息，帮助科研人员研究作物的生长规律、评估作物的健康状况，为精准农业提供数据支持。例如，通过分析多光谱图像，判断作物是否存在病虫害、缺水、缺肥等问题，以便及时采取相应的管理措施。
土壤分析：无人机可以携带土壤传感器，在农田中飞行并采集土壤的温度、湿度、酸碱度、肥力等数据，帮助科研人员了解土壤的特性和变化，为土壤改良、施肥方案制定等提供依据。
农业气象研究：无人机可在不同高度和区域进行气象数据采集，如温度、湿度、气压、风速等，对于研究小范围的农田微气候以及气象条件对农业生产的影响具有重要意义。
环境监测领域
空气质量监测：搭载气体传感器的科研无人机能够在不同高度和区域对空气污染物的浓度进行监测，如二氧化硫、氮氧化物、颗粒物等，帮助科研人员了解空气污染的分布情况和变化趋势，为大气污染防治提供数据支持。
水质监测：无人机可以在河流、湖泊、海洋等水域上方飞行，通过搭载的水质传感器或采样装置，对水质参数进行检测，如水温、酸碱度、溶解氧、浊度等，或者采集水样带回实验室进行分析，用于研究水体的污染状况、生态环境变化等。
生态环境监测：用于监测森林、草原、湿地等生态系统的植被覆盖度、生物多样性、生态系统结构等。例如，通过无人机的航拍图像和数据分析，评估森林的砍伐情况、草原的退化程度、湿地的生态功能等。
测绘与地理信息领域
地形测绘：科研无人机可以携带高精度的测绘仪器，如激光雷达、摄影测量设备等，对地形进行快速测绘，生成高精度的三维模型和数字地形图。相比传统的测绘方法，无人机测绘具有效率高、成本低、灵活性强等优点，可应用于城市规划、土地管理、地质勘察等领域。
地质灾害监测：在山区、地质不稳定地区等，无人机可以定期对地质灾害隐患点进行监测，如滑坡、泥石流、崩塌等。通过获取地形变化、地表位移等数据，及时发现地质灾害的迹象，为灾害预警和防治提供依据。
考古研究：无人机可以对考古遗址进行航拍和三维建模，帮助考古人员了解遗址的全貌、地形地貌以及遗址内部的结构等信息，为考古发掘、研究和保护提供支持。
电力巡检领域
科研无人机可用于对高压输电线路、变电站等电力设施进行巡检。搭载高清摄像头、红外热成像仪等设备的无人机能够在安全距离外对电力设备进行近距离观察，检测线路的磨损、断裂、发热等故障隐患，以及检查变电站设备的运行状态。这不仅提高了巡检效率和安全性，还为电力设备的维护和管理提供了准确的数据。
应急救援领域
灾情评估：在地震、洪水、火灾等自然灾害发生后，科研无人机可以迅速进入灾区，对受灾区域进行航拍和数据采集，获取灾区的地形地貌、建筑物损坏情况、人员分布等信息，为灾情评估和救援决策提供支持。
救援物资投放：具备一定载重能力的无人机可以将紧急救援物资，如食品、药品、饮用水等，快速投放到交通受阻或难以到达的受灾区域，提高救援效率。
搜索与救援：利用无人机的高空视野和灵活机动性，在大面积的搜索区域内寻找失踪人员或被困者，为救援人员提供目标位置信息，缩短搜索时间。
交通领域
交通流量监测：无人机可以在城市道路、高速公路等上方飞行，通过航拍图像和数据分析，实时监测交通流量、车辆速度、道路拥堵情况等信息，为交通管理部门提供决策依据，优化交通信号控制和交通疏导方案。
交通设施巡检：对桥梁、隧道、道路等交通基础设施进行巡检，检测设施的结构完整性、表面缺陷、变形等问题，及时发现安全隐患，为交通设施的维护和管理提供支持。
嵌入式系统及无人机飞控开发
视频教程，主要包括BirdFlight软件系统初始化详解、四旋翼全模型控制原理详解、无人机位置控制、无人机视觉识别与位置控制教学、飞控工程之系统初始化流程、空心杯无人机安装开箱视频、空心杯无人机调试。
配套共包括28个实验教学实验指导书。
无人机与深度学习
主要包括无人机算法、无人机与深度学习视频教程，主要包括零基础入门四旋翼建模与控制等。
人工智能基础
主要包括深度学习经典检测方法概述、K-MEANS、生成对抗网络、条件生成对抗网络等视频课程。
机器视觉
主要包括AlexNet网络思想与网络架构、YOLO-V1整体思想与网络架构、YOLO-V2改进细节详解、YOLO-V3核心网络模型、基于V3版本进行源码解读、YOLO V4和V5、迁移学习与Resnet网络等相关视频课程。
ROS和SLAM
主要包括ROS基础、机器人环境感知、机器人SLAM与自主导航、多模态SLAM技术和算法框架、激光-惯性子系统（LIS）及代码精读、视觉-惯性子系统（VIS）及代码精读、激光-视觉-惯性数据融合与优化融合、ROS理论与实践Moveit、ROS机器人综合应用等相关PPT、教案和视频课程。
无人机传感器系统开发
各类传感器技术资料、开发指导以及例程。
无人机惯性导航开发
惯性导航系统开发手册、基本例程、相关资料文档、测试用上位机软件。
无人机与农业
植保无人机、农业检测无人机构造与原理，无人机操作与维护保养等课程。
无人机算法入门课程
包括无人机算法、无人机与深度学习视频教程，主要包括零基础入门四旋翼建模与控制等。
无人机与深度学习
主要包括无人机算法、无人机与深度学习视频教程，主要包括零基础入门四旋翼建模与控制等。
人工智能基础
主要包括深度学习经典检测方法概述、K-MEANS、生成对抗网络、条件生成对抗网络等视频课程。
机器视觉
主要包括AlexNet网络思想与网络架构、YOLO-V1整体思想与网络架构、YOLO-V2改进细节详解、YOLO-V3核心网络模型、基于V3版本进行源码解读、YOLO V4和V5、迁移学习与Resnet网络等相关视频课程。
ROS和SLAM
主要包括ROS基础、机器人环境感知、机器人SLAM与自主导航、多模态SLAM技术和算法框架、激光-惯性子系统（LIS）及代码精读、视觉-惯性子系统（VIS）及代码精读、激光-视觉-惯性数据融合与优化融合、ROS理论与实践Moveit、ROS机器人综合应用等相关PPT、教案和视频课程。
嵌入式系统及无人机飞控开发
视频教程，主要包括BirdFlight软件系统初始化详解、四旋翼全模型控制原理详解、无人机位置控制、无人机视觉识别与位置控制教学、飞控工程之系统初始化流程、空心杯无人机安装开箱视频、空心杯无人机调试。
配套共包括28个实验教学实验指导书。
