附件：大数据与人工智能实训套件和竞赛装备用户需求书.doc

大数据与人工智能实训套件和竞赛装备 采购项目用户需求书 一、采购范围 1、项目预算合计***元，明细如下表： 序号 主要设备 套数 1 视觉应用教学实验平台 2 2 工业产品缺陷检测项目实训 1 3 智能机器人系统开发平台 1 4 人工智能竞赛道具及配套装备 1 5 人工智能技术应用和竞赛培训 1 2、供应商报价需包括货物及相关附件的设计、采购、制造、检测、试验、包装、 送货、安装、验收、培训、税费、技术服务（包括技术资料、图纸的提供）、保 修期保障、其它费用等一切支出。 二、商务需求 1、对供应商的资格要求：国内注册（指按国家有关规定要求注册），具备 独立法人资格，注册生产或经营本次采购货物的合格供应商，同时需要提供近三 年业绩清单。 2、采购样板：投标方于投标同时，需根据“设备技术参数”的要求提供以下 样板运送到评标现场，作为评标评分依据。供应商提供样板、样材，根据甲方确 认的样板进行生产。 成品样板清单如下： 序号 设备名称 送样数量 1 智能机器人系统开发平台 1套 3、包装要求：内用防磨泡沫，外用硬纸，包装带捆绑，按类型堆放。 4、运输要求：采用全国性专业货运公司或铁路运输部门承运，能确保产品 安全，准时到达目的地。 5、安装要求：安装人员必须是经过专业培训的专业人员，安装过程将严格 按照规范的程序实施，确保安装货物和周边设施的安全。 6、合同签字生效后，以甲方发出书面通知之日起，30 个日历天内将货物运 达目的地并安装完毕。 7、付款方式： （1）系统安装完工后，甲乙双方办理正式系统验收及结算手续后，甲方于 10 个工作日内支付结算款的 95%。 1 （2）余款 5%作为质量保证金，甲方在 1 年产品质量保证期满后 10 个工作日 内无息向乙方结清余下货款。 三、技术需求 1、设备数量及技术参数需求： 序 号 1 2 名称 视觉应用教学 实验平台 工业产品缺陷 检测项目实训 参数要求 单 位 提供基于深度学习的全自动外观检测设备，通过实训课程+ 实体传送带、分拣、工业缺陷检测教学实训平台，融合多 学科技术，包含 PLC、视觉算法、分拣技术、机械技术等。 一、硬件配置 1）材质：铝型材，碳纤维，亚克力； ★2） 基于 Intel CPU 开放平台的智能边缘终端。 ≥11 代 i5 处理器，≥256G 固态硬盘，≥8G 内存 3） PLC 输入点/输出点满足 28，20。 传输方式需包括 RS232， RS485，USB。 ★4）工业摄像头分辨率≥1920 x 1080（300 万）焦距 2.8mm、传感器尺寸：1/2.7 CMOS、帧率≥30 帧 5）传送带电电机类型：采用 42 步进电机、电机电压：12v ~ 24v、细分精度：1 ~ 32。 6）分拣电机类型：采用三相直流无刷电机、输入电压 =12v、驱动方式：FOC 无刷电机驱动、编码器：AS5047 磁性编码器。 7）光电开关：输入电压=12v ~ 24v，投光角度=3 ~ 5 套 °，光源类型：红外发光（950），被检物体高度≥ 30mm， 反射类型：镜面反射 9）尺寸(mm)长 x 宽 x 高：不高于 700 x 480 x 490。 10）重量≤11kg 二、软件配置 1）操作系统 Ubuntu 18.14； 2）AI 软件组件 Anaconda、Python3.7.0、 tensorflow1.14.0、opencv-python、jupyterlab ★3）预装 OpenVINO 人工智能开发工具包； 4）工业检测算法：采用高精度目标检测算法分拣缺陷、高 精度神经网络分类模型。 ▲5）含国内出版社正式出版的专用“深度学习图像技术”教 材一本，提供不少于 4 个拥有完整授权的人工智能边缘计 算实训案例，含数据集、算法及完整的程序代码。 一、教学目标 ▲1）使学生深入了解机器视觉的应用场景以及重要意义， 掌握工业产品图像数据的采集、标注、预处理，以及训练 2 套 数 量 2 1 集、验证集、测试集的生成，并能够利用 Keras+Tensorflow 实现深度学习模型（基于 CNN 神经 网络算法和监督学习分类算法）训练、预训练模型的部署、 推理应用（产品外观缺陷检测）程序开发，进而掌握模型 的评估和测试方法，掌握工业产品外观缺陷智能检测方法， 最终能够举一反三，将缺陷检测技术融会贯通，实现不同 种类工业产品外观缺陷的批量检测和分拣。 ★2）通过使用 OpenVINO Toolkit 的 API 实现开发产品 缺陷检测应用程序，掌握利用训练好的模型开发 AI 应用 （产品外观缺陷检测）程序的方法；掌握可快速部署卷预 训练模型和 OpenVINO 工具包的使用方法，以提高深度学 习效率。 3）熟悉根据产品外观缺陷检测结果，控制工业产品分拣拨 盘的方法和相关技术。 4）了解通过 PLC 控制器控制传送带运转的方法和技术。 ★5）该实训项目是视觉应用教学实验平台配套项目实训和 课程。通过本实训项目的实战练习，使学生能够在实际智 能项目中更加高效运用深度学习完成工作，跟踪前沿的深 度学习算法，思想，应用等。 二、教学任务和内容 ★实训任务一：工业产品缺陷智能检测算法训练与调优（20 课时） 1、准备和预处理数据集（实践 5 课时） （1）理解训练集、验证集和测试集的概念 （2）掌握通过摄像头实时采集产品图片数据的方法 （3）掌握图片数据标注、预处理的方法 （4）掌握划分数据集和创建数据集生成器的方法 （5）掌握图像文件数据集的读取、查看和显示方法 2、算法模型训练与调优（实践 15 课时） （1）掌握深度学习的概念和工作原理 （2）掌握卷积神经网络的原理和对应 Python 函数的使用 方法 （3）掌握基于 CNN 神经网络算法和监督学习分类算法，进 行模型构建、参数选择、模型训练和评估的方法 ★实训任务二：工业产品外观缺陷检测应用程序开发（20 课时） 预训练模型的部署、推理应用（产品外观缺陷检测）程序 开发 1、预训练模型的部署（实践 2 课时） （1）熟悉基于 OpenVINO 推理引擎开发一个人工智能应用 程序的流程以及创建实例的方法 （2）在实验台主机上部署 OpenVINO 和预训练的算法模型 2、工业产品外观缺陷检测程序开发（实践 1 8 课时） 3 3 智能机器人系 统开发平台 （1）创建 OpenVINO 推理引擎核心对象（实践 2 课时） ① 熟悉基于OpenVINO推理引擎开发一个人工智能应用 程序的流程。 ② 掌握创建推理引擎实例的方法 （2）读取 OpenVINO IR(Intermediate Representation)格式的模型文件（实践 1 课时） ① 掌握加载深度神经网络 IR 文件并创建网络对象的方 法 ② 掌握加载模型和标签的方法 （3）准备输入和输出格式（实践 1 课时） ① 掌握图像数据输入、输出的方法 （4）推理预测程序开发，实现产品缺陷检测和分拣（实践 14 课时） ① 基于预训练模型，开发缺陷检测程序（实践 9 课时） ② 通过 PLC 控制传送带运转程序开发（实践 2 课时） ③ 通过 AINUC 检测程序控制分拣拨盘的应用程序开发 （实践 2 课时） ④ 基于实验台，实现批量工业产品缺陷检测程序测试与 运行（实践 1 课时） 一、整体规格 智能机器人系统开发平台基于 x86 开放架构迷你主机开发 而成，支持多种通用接口，可灵活接入各类人工智能主流 外设。 ▲智能机器人系统开发平台搭载了神经网络加速模块、深度 传感器摄像头、激光雷达等人工智能领域主流硬件。结合 自主研发的人工智能教学系统，让学生可以直接体验最前 沿的人工智能技术。 ▲具有高兼容度的开发接口，支持 python、c++、java 等 主流编程语言进行理论及实验教学。套装搭载虚拟仿真教 学环境，可在软件中模拟教学，丰富实验场景及实验机器 人。 套 二、教学内容 ★包含以下人工智能教学内容： 室内建图导航、定位追踪、自动驾驶、颜色识别与追踪、 人脸识别、物体识别、二维码识别、语音合成及识别、语 音互动、智能人机问答、模型训练和神经网络学习等众多 试验及展示项目。 三、硬件设备组成： ▲1）深度传感器摄像头：包含 1 红外激光发射器，2 红外 激光接收器及摄像头，可反馈 RGB 信息和深度点云信 息 ； 2）单线激光雷达：测距角度 360 度，范围 8m，测量频率 4 1 2000Hz 分辨率 1 度； ★3）基于 X86 开放架构的主机：≥i3 处理器，≥128G 固 态硬盘，≥8G 内存，有全功能 usb-typeC 接口； 4）7 寸液晶触摸屏：USB 供电，多点触控； ▲5）机载音箱及机载麦克风：实现语音合成与识别； ▲6）神经网络计算模块：提供人工智能、图像识别等方面 的加速计算功能； 7）12V 10000mAh 大容量锂电池+充电器 8）底盘控制板：arduino nano，电机驱动器，DC 升压 模块，DC 降压模块，USB 供电输出模块，开关急停模块， 电压显示屏； 9）2 主动轮，2 从动轮，2 电机，碳纤维结构件机身； 10）工具包，包含螺丝螺母工具及连接线 11）拉杆航空箱 四、性能指标 材质：采用碳纤维机身； 最高速度为 1m/s； 最大爬坡能力：不小于 15°； 最大载重：不小于 5kg； 转向方式：两轮差速转向； 电机：12V 不低于 110rpm； 轮胎：直径为 100mm，金属轮毂橡胶轮； ★机器人供电采用锂电池，电池容量不低于 12.6V，10000 mAh，续航时间大于 4 小时； 控制器：专为人工智能设计控制器；具备可扩展接口：4 个 USB 3.0 端口，一个雷电 3 接口，全尺寸 HDMI 接口， 一个全功能 M.3 接口，一个 SATA 接口，用来连接固态硬 盘，两个内存插槽 支持 DDR4 内存，和双通道，最大支持 64G 内存。 机载 120GB 固态硬盘，8G 高速内存，以及内 置神经网络计算模块； 内置主流的深度学习框架，包含 tensorflow， pytorch，mxnet，keras、内置模型优化和模型部署框 架，openvino tookit，包含大量深度学习模型可供使 用； ▲内置 vscode 和 jupyter 编程工具，jupyter 可实现 局域网远程登录控制编程； 五、实验案例 ★包含不少于以下 10 个实验案例： 基于激光雷达自主避障与跟踪； 基于激光雷达的环境感知地图构建； 基于激光雷达的自主导航，路径规划； 基于单目视觉的人脸识别； 5 基于单目视觉的目标跟踪； 基于单目视觉以及卷积神经网络的目标检测； 基于麦克风的语音识别； 基于深度信息的人体跟随； 基于视觉和 opencv 的二维码识别； 基于深度学习的人脸表情分析； 基于深度学习的关节检测； 4 5 人工智能竞赛 道具及配套装 备 人工智能技术 应用和竞赛培 训 六、竞赛支持 ★套件必须支持 2021 世界机器人大赛总决赛 AI 赛项要求， 无需任何改装和调整，携带该设备就可以参加世界机器人 大赛。 ★免费提供不少于 5 套智能机器人系统开发平台用于赛前 培训和竞赛，为期 45 天。 ★该竞赛道具及配套装备为世界机器人大赛 AI 赛项标准道 具及赛台，符合参赛要求。 包含：铝合金赛台边框、地垫、场地格挡（电视机架及电 视机不包含）。可组装为 44 片场地单元，可搭建多个铝合 金格挡以模拟室内环境，也可搭建为多种形状的实验场地 套 以满足多样化实验需求，结构件简单易搭建易拆卸。 实验场为 4.1 米*4.1 米。 边框为铝合金拼接件，地垫为无甲醛塑料泡沫垫。 边框包含铝合金立柱、铝合金横梁、连接件、格挡板等元 素。 水果食物道具模型*8，3 层拼装柜子*8，桌子道具*1。 ★提供不少于 7 天的人工智能技术应用及 AI 竞赛培训，为 学院组织团队参加 2021 世界机器人大赛总决赛打下坚实 的基础。培训内容如下： 第一天（线上）：了解赛事规则和使用机器人 1、比赛规则解析 1）AI 赛项 高级组 智能餐厅比赛 demo 视频讲解 2）比赛规则介绍，餐厅收纳任务，餐桌布置任务介绍 3）比赛得分点介绍，识别播报分，运输分，放置分； 交互分，播报分，抓取分，运输分，放置分 2、智能机器人功能演示 1）机器人的开机，关机，充电，硬件检查，底盘固件下载 2）机器人遥控控制，运动，建图，自主导航，跟随功能演 示 3）机器人语音交互介绍，语音合成，语音识别，语音对话， 控制 4）机器人视觉功能，二维码，颜色，眼球，人体姿态，物 品识别 6 套 1 1 3、比赛任务分析 1）餐厅收纳任务，物品识别，抓取，导航运输，精准放置 2）餐桌布置任务，定点导航，识别及精准抓取，导航运输， 放置 4、比赛涉及技术点讲解 1）机器人建图和自主导航，机器人自主定点导航编程 2）图像识别基础，目标检测技术简介及演示 3）比赛规则，技术点答疑交流 第二天（线上）：解密人工智能 1、人工智能基础 1）人工智能的应用领域，涉及的技术，人工智能的发展历 史 2）展示智能机器人的 AI 功能，动手操作机器人，体验 AI 技术 3）机器学习与人工智能，监督学习，无监督学习，强化学 习介绍 4）经典机器学习算法介绍，回归，分类，聚类等常用经典 算法 2、智能机器人介绍 1）人工智能的应用载体，智能机器人硬件组成介绍。 2）智能机器人软件框架介绍，通信介绍。 3）视觉，语音，导航，抓取执行模块介绍。 4）介绍 ROS 智能机器人操作系统，及其特点。 3、Linux 系统基础 1）Linux 系统的特点及其广泛应用，以及 Ubuntu 发行 版。 2）Ubuntu 系统的文件目录及终端介绍。 3）终端常用操作指令，完成增删查改，shell 脚本编写。 4）介绍常用文件的编译，打开，远程登陆访问及远程桌面。 4、Python 编程基础 1）python 的特点及应用，编程特点，vscode 编辑器介 绍。 2）学习 python 的变量，字符串，列表，元组，字典等数 据结构。 3）学习 python 的语法，常用函数，自定义函数，类。 4）python 库的安装和导入，库的使用，模块导入，实例 化，使用 7 第三天(线上)：ROS 机器人操作系统与机器人自主导航 1、ROS 机器人基础 1）ROS 机器人的特点，节点通信的核心思想 2）ROS 的节点和话题，消息传输及消息的数据格式 3）通过小乌龟虚拟机器人理解 ROS 节点之间话题通信 4）介绍终端调试指令，rqt 工具箱及 rviz 可视化工具 2、智能机器人运动编程 1）ROS 话题通信的发布者和订阅者。 2）机器人运动坐标系介绍，rospy 库介绍，Twist 消息 介绍。 3）编写一个发布者节点，控制虚拟机器人和实体机器人运 动。 4）介绍 ROS 的工作空间，功能包，节点，launch 启动文 件 3、智能机器人建立地图 1）自主导航机器人介绍，应用介绍 2）实现自主导航三要素，地图，定位，路径规划 3）激光雷达介绍，建图算法介绍，gmapping 算法介绍 4）建图实战，地图保存，导航测试 4、智能机器人自主导航 1）常用机器人定位方法介绍，amcl 蒙特卡洛定位算法介 绍 2）路径规划介绍，全局路径规划，局部路径规划算法介绍 3）自主导航实战，寻找环境，建立地图，实现自主导航。 4）导航参数介绍， 机器人多点导航编程实战 第四天（线下）：语音交互系统实战 1、自然语言处理技术 1）介绍自然语言以及自然语言处理 NLP 2）介绍自然语言处理的范畴，生活中实用的 NLP 技术 3）介绍文字识别技术及应用展示 4）介绍语音处理技术，语音合成，语音识别技术的原理 2、语音合成技术 1）介绍语音的本质，语音合成的本质 2）介绍语音合成的方法，语音模型，在线及离线合成方式 3）介绍基于 api 和语音合成及 python 编程完成语音合 成 4）编写 ros 中语音合成节点，导航和语音结合实现讲解机 器人 8 3、语音识别技术 1）介绍语音识别的本质，语音识别的流程 2）介绍语音识别的方法，语音识别模型，在线及离线合成 方式 3）语音识别编程实践，实现语音识别转文字 4）结合语音合成，完成简单的语音对话 demo 语义理解及问答 1.语义理解 NLU 介绍，语义理解的难点介绍 2.介绍 nltk 机器人和 chatterbot 机器人 3.介绍图灵机器人，对话机器人及其使用方式 4.编程完成问答机器人以及语音问答机器人 第五天（线下）：视觉识别技术实战 1、计算机视觉基础 1）计算机视觉硬件，相机，深度相机及其画面信息特点。 2）图像在计算机中的表示，图像的本质。像素，色阶，色 域。 3）智能机器人视觉功能体验，识别原理介绍。 4）opencv 视觉库介绍。 2、OpenCV 视觉库编程 1）opencv 编程，图片的打开，显示，保存。视频画面的 打开显示。 2）opencv 图像建立，绘图，写字。 3）opencv 图像操作处理，灰度，二值化，色域转换。 4）opencv 图像边缘检测，模板匹配。 3、视觉识别编程 1）opencv 颜色识别编程及应用。. 2）二维码识别编程及应用。 3）opencv 人脸检测编程及应用。 4）人脸身份识别编程及应用。 4、卷积神经网络初体验 1）介绍神经网络以及卷积神经网络。 2）采集交通标志数据，建立数据集。 3）使用 keras 搭建神经网络，训练图像分类模型并保存。 4）加载模型，测试图像分类效果并应用。 第六天（线下）：智能机器人综合应用及竞赛 1 1、比赛任务分解 1）餐厅收纳赛任务分解：二维码识别，图像识别，语音合 9 成播报，机械臂抓取，定点导航 2）餐桌布置任务分解：二维码识别，图像目标检测识别， 语音合成播报，机械臂抓取，定点导航。 2、二维码识别技术 1）使用 pyzbar 库进行二维码内容识别，位置识别 2）编写 ros 发布节点，订阅摄像头画面，并进行二维码识 别，发布二维码识别结果和二维码位置信息 3）编写订阅节点，从识别节点获取识别结果并解析 3、机械臂控制 1）编程建立识别结果与导航坐标点对应关系 2 根据识别结果，建立对应关系，手动把物体交给机器人进 行导航 3）根据识别结果，导航到其对应位置，并释放物体，完成 分类任务 4）实战：识别不同物体，完成精准的导航与运输 4、语音合成及播报 1）进行在线语音合成，准备比赛所需语料文件 2）编写函数，进行离线语音播放 3）注册申请在线语音合成 API 4）合成其他语种的语音 第七天（线下）：智能机器人综合应用及竞赛 2 1、定点导航 1）建立比赛场地的地图，并对地图进行图像编辑，获得标 准地图 2）确定导航任务所有的点的坐标点，并进行导航测试和优 化 3）编写 python 脚本，控制机器人进行定点导航，并优化 导航参数 2、图像识别与瞄准抓取 1）使用 keras 训练目标检测神经网络，并验证其准确率， 保存模型 2）加载应用模型，并通过 ros 消息进行传输，对结果进行 过滤解析 3）根据检测结果，获取检测目标的 ROI 位置信息，并应用 4）根据深度相机或者激光雷达判断距离信息，并获取数据 5）根据位置信息，和距离信息进行瞄准和靠近，并主动抓 取 3、竞赛程序编写及测试 10 1）餐厅收纳任务，比赛程序编写 2）餐桌布置任务，比赛程序编写 4、比赛模拟测试 1）测试比赛，调整程序，保证能够顺利的完成任务 2）优化每个任务的用时，在三分钟内争取完成更多任务 3）模拟比赛，进行打分，记录每一次的分数，进行优化 4）编写工程笔记，记录整个项目过程 四、服务需求 1、乙方交付的产品质量保证期为 1 年，自该产品经甲方验收合格签字之日起算。 2、自质量保证期到期之日起，由供应商提供不少于 3 年免费保修服务（保修服 务范围为系统软件部分，硬件部分在产品质量保证期内提供免费保修服务）。免 费保修期届满后，如甲方需要乙方继续提供维护服务，由甲乙双方另行协商。 2021 年 11 月 1 日 11