“沉浸式文旅体验技术集成与场景创新”项目

项目负责人

马思伟(教授)

北京大学

课题1:沉浸式内容智能构建与多模态融合技术研究

课题负责人

林卫国(教授)

中国传媒大学

研究内容

研究面向文化景区空地融合的大场景数字孪生方法与系统,包括基于自适应结构光的三维视觉感知、基于多分支金字塔深度网络的多模态融合、基于高阶统计信息的多目标检测,实现对景区区域、重要设备的高精度三维重建。研究基于图像的数字人重建技术和自动绑定算法,实现数字形象从二维到三维、由静态到动态的转换。基于主观感知机理,研究虚拟感官数据表示。构建沉浸式体验测试数据库,支持沉浸式视频质量评价。

研究基于数据驱动的多感官感知一致性协同机制,实现多感官模态自适应融合。为制作裸眼 3D、虚实结合的多元数字文化产品及高质量沉浸式数字内容提供重要工具与内容组成。

课题2:沉浸式多媒体多维互动与呈现技术研究

课题负责人

马展(教授)

南京大学

研究内容

围绕多感官虚实融合的目标,研究多维度全信息交互感知技术,实现融合体感、手柄、语音、眼动于一体的多模态交互感知系统。制作裸眼 3D、虚实结合的多元数字文化产品。围绕多维全要素互动的目标,研究复杂场景的光场、声场的隐式神经表示及虚拟 渲染技术,研究包含用户化身与动态光影元素的多元互动呈现技术。围绕沉浸式文旅内容时空转换的目标,研制支持自主行驶的低功耗计算、低时延传输的交互内容集成体验平台。

课题3:沉浸式内容转换与云边端协同计算技术研究

课题负责人

马思伟(教授)

北京大学

研究内容

研究面向沉浸式服务的“云边端”分布式协同服务技术,通过动态算力迁移手段提升服务的处理效率。研究面向原生沉浸式数字文化内容创作的沉浸式内容转换技术,通过融合全图着色网络和实例着色网络实现文旅数字内容高保真着色,利用预训练 StyleGAN 引入的先验实现文旅数字内容高质量增强,结合one-shot学习和对抗学习实现静态文旅数字内容动态展示。研究面向用户感知的沉浸式文旅视频质量评价模型,利用多维空间投影解决沉浸式视频内容和观看视角的耦合问题。基于人眼视觉的多尺度感知特性,构建面向沉浸式文旅视频的感知精度表示模型。基于Transformer的时空建模能力,构建用户视觉感知质量评价模型。

课题4:沉浸式产业技术集成服务平台与应用示范

课题负责人

穆凯辉(副总裁)

苏州创意云

研究内容

围绕沉浸式文旅内容一体化平台所需的云端数字内容进行有效保护,对数字内容进 行基于底层区块链技术的NFT确权。围绕基于沉浸式文旅内容一体化平台所需的多种沉浸式内容形式,实现本地和云端的实时交互传输,搭建具备低延迟、高画质、高色彩还原、超高分辨率、实时渲染、在线互动展示等特性的交互系统。围绕基于沉浸式文旅内容一体化平台所需的数字内容制作云服务,实现数字内容生产流程化制作和全流程管理,开发数字内容制作全生命周期系统。开展应用示范单位文物藏品数字化采集,建立文物藏品数字资源库,为沉浸式文旅应用提供基础资源。结合应用示范单位情况,开展场景、模式实际运营,建立应用反馈机制,为红色文化、传统文化教育创造新业态、新消费。

服务平台

数字孪生(DIB)

利用传感器和物联网将物理世界数据实时采集并上传到云端进行运算分析,将数据转换成可被机器识别和理解的虚拟世界模型,最后再通过3D建模、渲染等方式在虚拟世界中进行可视化呈现的技术。

智慧城市/数字孪生

通过信息技术和实景三维重建、实时渲染等创新解决方案,将城市的系统和服务打通、集成,以提升资源运用的效率,优化城市管理和服务,并改善市民生活质量。

虚拟偶像/数字人

信息技术、生命科学和社会科学的融合,通过对人体形态和功能的虚拟仿真,创造虚拟世界里富有个性的人类化身。

5G智慧展厅

运用视觉计算技术、5G技术、人机交互技术,并结合数字沙盘、环幕 弧幕 球幕影厅、迎宾地幕、互动吧台、互动镜面及触摸屏等多媒体展览展示系统的综合展示平台。

虚拟直播间

运用实时渲染技术创造高沉浸的感官体验,结合云计算、5G、AI等技术助力,引领在线直播进入新纪元。

网页链接:https://www.vsochina.com/