阿里云AI新进展:只需图片和文字 就能生成数字人视频

liukang202415小时前吃瓜热门579

【亿邦原创】阿里云在生成式AI范畴又有新进展。

优雅的阿里云AI新进展:只需图片和文字 就能生成数字人视频的图片

8月16日,阿里云推出数字人视频生成东西Live Portait,上传一张相片和一段文本或语音即可生成一段开口说话的数字人视频,可使用于视频直播、谈天机器人、企业营销等场景。现在,该东西已在魔搭社区创空间敞开体会,在魔搭社区用手机注册账号,即可免费试用。

自对话大模型和AI绘画模型相继炽热后,业界对生成式AI的研讨逐渐朝更多模态的方向演进,AI视频生成就是抢手技能之一。

这项技能可将文本或音频等信息转换为面部运动信息,从而驱动生成相片人物形象的动画,能有用下降视频拍照和制造门槛。

震撼的阿里云AI新进展:只需图片和文字 就能生成数字人视频的照片

这次上线的Live Portait东西由运动模块和生成模块组成,选用阿里云自研的口型猜测算法,生成的口型准确度比较传统办法大幅进步。

在练习阶段,Live Portait添加了姿势的显式操控,不需要底板视频也能够生成恣意动作的视频,大幅提高数字人说话的真实感。

此外,经过目光自动操控技能,Live Portait能够为眼球添加一些天然运动,使得生成结果在观感上更挨近真人作用。据介绍,Live Portait相关技能已被CVPR、ICCV等世界AI顶会录入。

自然的阿里云AI新进展:只需图片和文字 就能生成数字人视频的视图

依据魔搭社区上的信息显现,在Live Portait上传相片后,用户可挑选文本驱动和音频驱动两种方法,文本驱动形式下,该东西供给了普通话、英语、粤语、童声等28种声响。

此外,Live Portait还供给了轻量模型挑选,协助用户更快速生成视频。

该东西算法负责人张邦表明:“Live Portait集成了团队多项自研立异技能,例如仅需单张图片就能生成传神的面部动画,突破了传统对立生成网络的限制。跟着技能的进一步迭代,图生视频有巨大的使用空间,有望成为企业降本增效的生产东西。”

据悉,该团队研讨方向包括数字人、3D模型AI生成、高真实感烘托、天然人机交互等范畴,现在已宣布50多篇世界顶会论文。

告发/反应

相关文章

足球传奇马拉多纳逝世案开庭 7名医师被控过失杀人

本文转自【央视新闻客户端】;00:21阿根廷一家法院3月11日开庭审理足球传奇巨星迭戈·马拉多纳的逝世案子,马拉多纳的私家医师卢克、科萨乔夫等7名医疗人员因在医治过程中的不妥行为被控过失杀人,或将被判...

莱山区政府携手烟台大学举行协作签约活动,推进“校地交融”新发展

巨细新闻客户端4月14日讯(YMG全媒体记者 徐睿 通讯员 宋丹丹 于丰源 拍摄报导)当高校的科研才智遇见城市的立异膏壤,会碰撞出怎样的火花?又能结出怎样的果实?4月14日上午,在烟台大学综合楼六楼中...

米体:马拉多纳的医师或许被控过错杀人罪

直播吧4月28日讯 据《米兰体育报》报导,马拉多纳的医师或许被控过错杀人罪,一份医疗陈述指出这位阿根廷传奇球星没有得到恰当的医治。马拉多纳在2020年11月25日因心脏病逝世,在离世的三周之前,他刚刚...

张狂的打工机器人

3月3日,北京石景山,一台作业日搞开发、周末打工的宇树G1。中青报·中青网记者 李强/摄Unitree G1机器人榜初次呈现在眼前时,35岁的雷勇林有些绝望。他花了31.9万元,等了两个月。2月22日...

我国反击美晋级科技镇压!商务部加强相关两用物项对美出口控制,业界呼吁慎选美芯片产品

【环球时报归纳报导】我国商务部3日发布“关于加强相关两用物项对美国出口操控的公告”:制止两用物项对美国军事用户或军事用处出口;原则上不予答应镓、锗、锑、超硬资料相关两用物项对美国出口;对石墨两用物项对...

最新民调:特朗普支持率保持稳定 首月体现优于拜登

财联社2月26日讯(修改 夏军雄)周二发布的一项民意查询显现,美国总统唐纳德·特朗普的支撑率在曩昔一周保持稳定, 44%的受访者认可他在就任首个月的体现。这项查询覆盖了1029名美国成年人,查询时刻为...

友情链接: