以科技创新推动产业创新专题 | 5倍提升!ShortDF突破多模态模型质、效困局
- 网络
- 2025-09-23 21:23
当前文生图、文生视频等生成式人工智能技术正得到越来越广泛的应用,但在一些严肃场景中,生成速度和生成质量难以兼顾的矛盾也尤为突出。例如:在服装设计领域,快速生成的服装图案经常出现细节模糊或逻辑错误,如拉链不对称、印花扭曲,无法满足专业设计的精准要求;在电商视频创作中,加速生成的商品展示视频容易出现画面闪烁、物体变形等问题,严重影响品牌形象和消费者观感。
针对这一痛点,中国联通数据科学与人工智能研究院聚力攻关并实现了突破:提出模型推理加速方案ShortDF,突破多模态模型生成效率与质量瓶颈,并赋能多场景应用。
“质”&“效”困局
当前主流的多模态生成模型(文生图/文生视频模型)大多以扩散模型为基础,通过在训练过程中给清晰的图像/视频添加随机噪声,再运用反向去噪规律,实现从指令文本到匹配图像/视频的生成。
通俗来讲就是:先教会模型“画面/视频怎么由正常变混乱”,学习并记住这个过程,然后模型便可照此规律按指令文本“把混乱画面/视频变正常”。其中的去噪过程作为关键核心,可以理解为:从全是噪音的起点出发,按照顺序经过1000个路口,每个路口都要执行相应的去噪指令才能实现整体的生成效果。在这个过程中,如何选择路径决定了生成效率和质量。
现有的路径选择方法主要分为两类:● 马尔科夫链式方法(如DDPM,Denoising Diffusion Models),即按照规定路线循规蹈矩走完所有路口(通常1000个左右),虽然稳妥但耗时长,生成效率较低。● 人工跳步式方法(如DDIM,Denoising Diffusion Implicit Models),凭借经验人为设定抄近道仅走少量路口(通常15个左右)从而实现效率提升,但因为路径缺乏自适应性,容易发生图像模糊或形变等问题。
(ShortDF与传统方案的对比)
ShortDF创出新解法
中国联通数据科学与人工智能研究院提出了一种创新方法——ShortDF(Shortest path optimizing in Denoising Diffusion model去噪扩散模型最短路径优化),可在路径图中找到合适路径,并做路径压缩。直观来说,就像具备会进化的“智能导航”,不再固定走完所有步骤,也不预设定走哪些步骤,而是动态选择最优路径并做路径压缩,让一步抵多步,从而实现效率和质量的权衡。
(ShortDF方法原理)
提升5倍!保质又提效
ShortDF在多个业界主流基准数据集上均取得了显著性能提升,其中在CIFAR-10数据集上的表现尤为突出:原本需要10步生成的DDIM图像,ShortDF仅用2步即可完成,实现了约5倍的速度提升,同时图像清晰度(FID指标)提升18.5%,对比如下所示:
(ShortDF与现有方法结果对比)
这些实验结果验证了ShortDF在多模态生成任务的高效推理能力,实现了在保证生成质量的前提下推理速度的大幅度提升。凭借这一突破性成果,ShortDF入选CVPR 2025的Highlight论文(全球超1万篇投稿中仅2.97%入选),获得国际人工智能学术界的高度认可,相关论文及代码已开源:[Github:UnicomAI/ShortDF](https://github.com/UnicomAI/ShortDF)。
以科技创新推动产业创新
目前,ShortDF技术已在多种内容生成场景中应用,包括“中华器灵”角色生成平台中的古代文物活化生成、“智衣衿”文创一体机中的汉服人物形象生成、“衣影”平台中的服装款式设计生成等,有效确保了生成质量的同时提升了生成效率,优化了用户体验。ShortDF针对扩散类模型具备通用性,应用空间广泛,适用于文生图、文生视频、图像及视频编辑等多种功能场景。
(汉服人物形象生成)
(服装款式设计生成)
(文物活化生成)
未来,中国联通数据科学与人工智能研究院将继续推动多模态生成技术的优化与创新,解决模型产业化落地的“最后一公里”问题,让高效高质的AI生成技术在文创、工业、教育、医疗等更多领域得到更广泛和深入的应用。让人工智能惠及更多个人及企业,推动人工智能+规模化发展。
- 创新
- 产业
相关文章
资讯
- 1周前
2025云栖大会|端点科技发布全新一代AI原生ERP
- 1周前
邦彦云PC亮相第三届快消品数字科技大会,助力快消企业加速数字化转型跃迁
- 1周前
2025 PT展|中国联通构建普惠人工智能体系,让人工智能更简单
- 1周前
以AI筑底座 以场景赋产业:北京联通AI硬核实力亮相北京互联网大会
- 3周前
中国联通全面承接国家人工智能应用中试基地(医疗领域)
- 4周前
第六届中国人工智能大赛正式启动
- 1个月前
“AI大咖”上岗培训:江西联通打造数字人教官 助力立讯智造培育竞争新优势
- 1个月前
超千家AI企业“智汇”鹏城 2025 AGIC深圳(国际)通用人工智能大会暨产业博览会启幕
- 1个月前
AI卷王武汉集结!三天“暴改”百度百科
- 1个月前
深化战略合作,优刻得接入智谱最强开源多模态GLM-4.5V
- 2个月前
"建筑机械人比赛暨展览”三天盛会隆重开幕 汇聚国际专家与顶尖机器人技术 众智汇聚 共创机遇
- 2个月前
联通数科“京西哨兵平台”精准监测、临灾预警,守护京西平稳度汛
- 2个月前
什么?这届大学生的全能AI伙伴来啦!讯飞星火X1全新升级!
- 2个月前
3000万台快反王2下线铸里程碑,全球科技大会擘画未来智造
- 2个月前
邦彦技术发布在即,Nuwaai智能体数字人平台即将亮相世界人工智能大会(WAIC)
原创
荐读
-
5G+AR加持 晨星机器人掀起“智能化+人机交互”制造新趋势
2021世界制造业大会于11月22日在合肥落下帷幕。为期四天的大会中,作为向世界展示智能制造全面能力的窗口,联想展示了一系列让人惊喜的创新产品。现场展示的ThinkPad X1 Fold整体重量仅有1公斤,折叠起来之后的厚度大约为24毫米。当保持半开状态时,可以像拿本书一样握住,并且能同时运行两个应用程序。使用固定在中间的键盘之后,瞬间变...
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...