原创

【逸风课程质量检测系统】获得阿里云开发者挑战赛第四名

逸风技术团队于2020年3月以【逸风课程质量检测系统】参加了“阿里云开放平台AI挑战赛”,并获得了第四名的好成绩。
本博文将先对该系统的商务需求,竞赛过程做个描述,后续博文会对其中包含的机器学习和机器视觉技术(OpenPOSE,随机森林模型等)进行深入研究。
1. 【逸风课程质量检测系统】背景介绍
现代企业面临AI、认知技术和自动化技术的加速发展,其员工自身的知识储备和学习能力越来越成为核心竞争力,为在激烈竞争中立于不败之地,八成以上企业将会不断增大对员工培训的投资【图一】。另一方面,随着多媒体技术应用的普及,当前大多数企业培训场所都可提供视频采集,本Demo展示的“课程质量检测系统”便是服务于企业培训的一个AI视频处理系统。
图一:奖牌
file
图二
file

利用传统方式对企业培训课程的质量进行检查,需要人工查看或抽验培训录像内容,有时甚至需要人员亲自参与培训课程以便对其评估,费时费力,无法大规模复制,且评判带有随机性。经调研,我们未在现有云上解决方案中找到能直接应对以上痛点的成熟产品。
逸风的质检系统运用阿里视频API和机器学习模型对培训录像进行分析和标注,包括教师身份识别,学员人数统计、人体姿势识别,关键时间点等,然后依此出具课程预审核报告,涵盖了课程长度,学员出勤状况和提问热烈程度等维度,为后续人工质检带来了极大的便利,既提高了效率,也一定程度上避免了主观判断。

2. 整体技术架构
Web端实现
UI: Vue+elementui; Webapi: Java 1.8; DB: Sqllite
视频压缩
ffmpeg -i a.avi a.mp4 -y
视频处理模块

  1. OpenCV (视频流处理)
  2. Ali Oss API (图片上传和存储)
  3. Ali CompareFace API(讲师是否出现)
  4. Ali DetectPedestrian API (学员出勤人数)
  5. OpenPose (获得人体18个关键点、人手21个关键点)
  6. 人体姿势机器学习建模:
  7. 利用BodyPosture和HandPosture API,对500个人体数据标注,标注分类包括:是否举左手,是否举右手,是否站立
  8. 基于标注结果进行机器学习,建立分类模型
  9. 对比多种算法的准确率,选出最佳监督学习模型(随机森林,SVM,逻辑回归,高斯朴素贝叶斯等)
  10. 模型部署

3. 呈现效果
图三:课堂视频经过处理后的结果
file
4. 自娱自乐
图四:获奖排名
file
图四:红轴机械键盘
file

正文到此结束
本文目录