电话咨询
立即试用 咨询留言 平台合作 投诉建议

首页>数智教育

上海交通大学-教学视频智能增强服务平台

发布时间:2024-08-22 10:40:09

项目客户及案例简介


该项目服务于上海交通大学(下文简称“上海交大”),是我国历史最悠久、享誉海内外的高等学府之一,位列国家“双一流”“985工程”“211工程”重点建设高校。


此前,上海交大已建立校级云录播平台,但在课程观看、资源管理等方面缺少智能化应用。基于这一情况,华栖云为其打造了教学视频智能增强服务平台,对接原有云录播平台及视频资源共享应用平台,提供包含课件画面切片、PPT图片识别、视频语音识别、关键词提取、智能摘要等AI增强处理服务,赋能教学视频资源价值再造。



建设内容  


1. 课件画面智能切片

对输入的包含课件画面的教学视频流,通过检测画面像素变化,识别连续且重复的帧,去重后进行图片抽帧,最终将视频中的课件切片生成为一张张PPT图片。

同时,生成的PPT图片还可作为视频导航,点击PPT图片即自动跳转至视频对应时间进行播放。

 

2. 图片语音文字识别

平台提供OCR识别技术,可对教学视频中板书、PPT图片进行文字识别并形成文本;提供语音识别和机器翻译技术,可对教学视频的音频内容进行处理并形成文本。形成的文本与视频时间一一对应,点击文可跳转至对应的视频片段进行播放。用户也可在线编辑生成的文本,进行修改校正,保证生成准确性。

 

3. 关键词提取与检索

针对智能识别生成文本,平台提供进一步的分词处理功能。自动提取文本关键词,简洁、精准概括文段内容,并与视频时间对应,点击关键词自动跳转至视频对应时间进行播放。同时,支持用户对关键词进行自定义编辑,并可基于关键词进行教学视频检索,定位相应教学内容。

 

4. 视频内容智能摘要

基于语言大模型的处理能力,可对课程视频的音频内容、视频画面文字进行智能分析,并对结果进行自然语言理解,最终生成课程视频智能摘要。摘要内容包含内容概要、内容关键词、段落总结、重点回顾四个部分,点击摘要内容跳转至对应的视频片段进行播放。


项目成果与价值


1. 便利课程观看

依托平台的文字识别与智能摘要等功能,可自动整理课堂内容,归纳重点,改变原有课程学习费时费力记录笔记、归纳重点容易出错的情况,便于知识学习与掌握。同时,提供点选相应识别生成的文字、图片播放对应视频片段的功能,让用户能够迅速找到需要的片段,便利课程学习。

 

2. 高效资源管理

原有的视频资源平台汇集了众多教育资源,但缺乏智能的管理与分类方法,使得利用起来较为不便。平台提供关键词搜索功能,可将相关视频资源进行整合,使原本分散的视频资源被有效地盘活,形成了丰富多样、易于访问的教学资源库,效提升师生使用、管理的效率。


项目优势及亮点


1. 专业的多模态识别能力

平台基于华栖云自研专业大模型研发,该大模型侧重非结构化数据处理的业务场景,并通过海量教育行业相关的模型训练数据集进行训练,具有专业的媒体识别与理解能力。由此,平台可对教学视频中的语音、文字、PPT、黑板等对象进行更为准确的智能识别,保证专业度与可靠性。


2. 与三方平台的灵活对接

平台设计并实现了统一规范的服务接口规范和标准,并具备多节点服务接入调度能力。具有灵活性与可扩展性。可根据客户的具体业务需求,动态扩展服务节点数量,确保系统能够持续提供稳定、高性能的服务,做到支持高性能、高可用、高并发业务场景。