LivePortrait:如何在自己电脑上运行这个AI视频生成工具

2024-07-24 AI视频生成 本地部署 开源项目 教程
LivePortrait:如何在自己电脑上运行这个AI视频生成工具

最近,一个名为LivePortrait的开源项目吸引了不少关注。它能够根据一张人像照片和一段驱动视频,生成人物做出相应表情和动作的动画。我的理解是,这相当于让静态照片“活”了过来。如果你对此感兴趣,并想在自己的电脑上尝试部署,那么本文将基于官方指南,为你梳理出清晰的步骤和要点。

部署前的准备工作

要在本地运行LivePortrait,首先需要准备好基础的软件环境。核心步骤是从GitHub上获取项目代码,并创建一个独立的Python运行环境。

你需要先安装Git和Conda(或类似的Python环境管理工具)。之后,通过几条命令即可完成代码克隆和环境搭建。值得注意的是,系统还必须预先安装好FFmpeg多媒体处理框架,它包含了ffmpegffprobe两个必要组件,用于处理视频和音频文件。

获取核心模型文件

代码本身并不包含AI模型。你需要单独下载一组名为“预训练权重”的文件,这是项目能够运行的关键。官方推荐从HuggingFace平台下载,这需要使用git-lfs工具来获取大文件。

对于无法访问外网的用户,原文也提到了可以通过网盘获取这些文件。无论通过哪种方式,下载后都需要将这些模型文件按照特定的目录结构放置到项目的pretrained_weights文件夹下,确保后续步骤能正确找到它们。

运行与生成视频

环境与模型就绪后,就可以开始生成视频了。最基本的命令是运行python inference.py。成功执行后,你会在animations文件夹下得到一个输出视频。

这个工具非常灵活。你可以通过指定-s(源图像/视频)和-d(驱动视频)参数,使用自己的素材。例如,python inference.py -s my_photo.jpg -d my_drive_video.mp4。如果驱动视频不是理想的正方形,可以启用--flag_crop_driving_video参数让其自动裁剪。为了提升处理速度和保护隐私,你还可以先将驱动视频预处理成.pkl格式的动作模板文件再使用。

可视化界面与性能优化

对于不习惯命令行的用户,LivePortrait提供了一个基于Gradio的网页界面。运行python app.py后,在浏览器中打开相应地址,就能通过更直观的点击和上传方式操作了。

为了提高生成速度,项目提供了一个加速选项--flag_do_torch_compile。首次运行时会花约一分钟进行优化,之后的速度据说能提升20-30%。不过,这个功能目前不支持Windows和macOS系统。此外,官方还提供了一个脚本(python speed.py)来评估各个模块在你电脑上的推理速度,方便你了解性能表现。

写在最后

总的来说,LivePortrait的本地部署流程涵盖了环境配置、模型获取、基础使用和进阶优化几个环节。它虽然需要一定的技术准备,但步骤是清晰且开源的。如果你觉得本地部署门槛较高,也可以直接访问其HuggingFace上的在线演示空间进行体验,无需安装任何软件。无论选择哪种方式,这都为我们提供了一个直观了解可控人像视频生成技术的有趣窗口。