LivePortrait：一键制作动态肖像视频，趣味视频轻松

LivePortrait：一键制作动态肖像视频，趣味视频轻松搞定！|动画|liveportrait 同一个形象可出现在不同场景中！ 视频大模型Vidu迎重磅更新， 

LivePortrait：一键制作动态肖像视频，趣味视频轻松搞定！|动画|liveportrait

还在为制作趣味视频、口播讲解视频发愁吗？

今天带来的LivePortrait，可以轻松控制图像或视频中的人物，参照参考视频生成表情和动作动态视频，适合各种趣味视频和口播场景。

LivePortrait 框架简介

LivePortrait是一个肖像动画生成框架，主要用于将静态图像与输入参考视频结合，生成逼真的动态表情视频。该框架特别注重泛化能力、可控性和效率，在提升视频质量的同时，优化了框架的性能。

研发团队扩展了训练数据至约6900万高质量帧，并采用了混合图像-视频的训练策略，极大提高了合成效果。

此外，通过引入隐式关键点（implicit keypoints），结合缝合模块和重定向模块，实现了低计算开销下的高效动画生成。

系统要求与准备

显卡要求

电脑配置至少4GB显存的显卡，以确保最佳的性能和兼容性。

环境配置Conda

访问Conda官网下载合适的操作系统安装。

CUDA驱动（NVIDIA显卡用户）

访问英伟达官网下载安装CUDA 11.8。

安装步骤

在准备安装Live Portrait的目录下，地址栏输入'cmd'打开命令窗口。

输入以下指令克隆Live Portrait程序库

1

git clone

程序克隆完成后，进入克隆项目的文件目录内

1

cd LivePortrait

使用conda创建虚拟环境并激活

1

git clone

2

cd LivePortrait

conda create -n LivePortrait python=3.9

conda activate LivePortrait

进入克隆的Live Portrait目录，令安装所需的依赖包

1

pip install -r requirements.txt

2

pip install -r requirements_macOS.txt

下载权重

1

git lfs install

2

git clone https://huggingface.co/KwaiVGI/LivePortrait temp_pretrained_weights

mv temp_pretrained_weights/* pretrained_weights/

rm -rf temp_pretrained_weights

在Live Portrait目录下，新建一个文本，命名为''并打开

1

@echo off

2

CALL conda activate liveportrait

python app.py --server-name 127.0.0.1 --server-port 8890 --no-share

保存并关闭文件。

双击文件启动Live Portrait。

使用说明

上传照片与视频

在操作界面点击“Upload Photo”上传静态图片，点击“Upload Video”上传表情参考视频。

生成合成视频

点击“Animate”开始生成。生成完成后，可以查看原视频与合成视频的对比，或下载生成的视频。

调整表情参数

可通过滑块调整眼睛和嘴巴的动作幅度，生成表情包图片。

表情控制参数

rotate_pitch：抬头与低头

rotate_yaw：左右转头

rotate_roll：歪头

blink：闭眼与睁眼

eyebrow：皱眉与挑眉

wink：眨左眼

pupil_x：眼睛左右移动

pupil_y：眼睛上下移动

aaa：闭嘴与张嘴

woo：咧嘴与嘟嘴

smile：微笑

ComfyUI-AdvancedLivePortrait让人脸编辑变得简单高效，实现动态效果，提升创作效率。感兴趣的小伙伴们快去试试吧！


同一个形象可出现在不同场景中！ 视频大模型Vidu迎重磅更新

9月11日，由生数科技和清华大学联合研发的自研原创视频大模型Vidu迎来重大更新“主体参照”（Subject Consistency）功能，该功能能够实现对任意主体的一致性生成，让视频生成更加稳定、可控。目前该功能面向用户免费开放。

主体参照功能上线 解决角色一致性问题

目前，无论是文生图功能，还是文生视频功能，一个广受诟病的问题就是图片或视频中出现形象的主体一致性问题。同样的提示词，同样的大模型，生成两次，所生成的内容并不一样，在艺术作品中，这就会导致主角的形象不能保持一致，也成为了AI生成作品与人类最大的区别之一。

为了解决这一问题，业界曾尝试采用“先AI生图、再图生视频”的方法，通过AI绘图工具如 Midjourney 生成分镜头画面，先在图片层面保持主体一致，然后再将这些画面转化为视频片段并进行剪辑合成。

但问题在于，AI 绘图的一致性并不完美，往往需要通过反复修改和局部重绘来解决。更重要的是，实际的视频制作过程中涉及众多场景和镜头，这种方法在处理多组分镜头的场景时，生图的工作量巨大，能占到全流程的一半以上，且最终的视频内容也会因为过分依赖分镜头画面而缺乏创造性和灵活性。

而在9月11日生数科技举办的媒体开放日活动上，生数科技展示了“主体参照”功能，该功能允许用户上传任意主体的一张图片，Vidu 就能够锁定该主体的形象，通过描述词任意切换场景，输出主体一致的视频。

该功能不局限于单一对象，而是面向“任意主体”，无论是人物、动物、商品，还是动漫角色、虚构主体，都能确保其在视频生成中的一致性和可控性，这是视频生成领域的一大创新。Vidu 也是全球首个支持该能力的视频大模型。

比如进行人物角色的“主体参照”，无论是真实人物还是虚构角色，Vidu 都能保持其在不同环境中、不同镜头下的形象连贯一致。如生数科技董事长、CEO唐家渝在现场展示了通过提供陈晓旭扮演的林黛玉形象后，生成的不同场景、不同着装下，“林黛玉喝咖啡”镜头都能看出是“同一个林黛玉”。

生数科技董事长、CEO唐家渝在现场展示“主体参照”功能。新京报贝壳财经记者 罗亦丹 摄

AI视频创作连贯性将大大提升 AI完整叙事时代来临

依据该功能，中央广播电视总台导演、AIGC艺术家石宇翔（森海荧光）创作了一条动画短片《夏日的礼物》，在分享创作流程中他表示，与基础的图生视频功能相比，“主体参照”功能摆脱了静态图片的束缚，生成的画面更具感染力和自由度，让创作的连贯性大大提升。同时帮助他节约7成左右的生图工作量，显著提效，让他能够将更多精力放在故事内容的打磨上，而非生成图片素材上。同时，一致性让后期剪辑也更加方便。

中央广播电视总台导演、AIGC艺术家石宇翔现场展示通过“主体参照”功能创作的动画，可以看出在该动画中主角形象保持了稳定。新京报贝壳财经记者 罗亦丹 摄

唐家渝表示， "主体参照"这一全新功能的上线，代表着 AI 完整叙事的开端，AI 视频创作也将迈向更高效、更灵活的阶段。无论是制作短视频、动画作品还是广告片，在叙事的艺术中，一个完整的叙事体系是“主体一致、场景一致、风格一致”等要素的有机结合。

因此，视频模型要达到叙事的完整性，就必须在这些核心元素上实现全面可控。“主体参照”功能是 Vidu 在一致性方面迈出的重要一步，但这仅仅是开始。未来，Vidu 将继续探索如何精确控制多主体交互、风格统一、多变场景稳定切换等复杂元素，以满足更高层次的叙事需求。

他表示，从更长远的视角来看，一旦实现了全面的可控性，视频创作行业将经历一场颠覆性的变革。届时，角色、场景、风格，甚至镜头运用、光影效果等元素，都将转化为可灵活调整的参数。用户只需要动动手指、调调参数，就可以完成一部影像作品的创作，而每一部作品的背后，也将是用户基于AI构建出的独特世界观和自我表达。

新京报贝壳财经记者 罗亦丹 编辑 王进雨 校对 杨利