首页 > 财经要闻 > 正文

会议多到爆破AI克隆一个自己来Zoom开会

2020-04-13 18:14:36  阅读:8665 作者:责任编辑NO。卢泓钢0469

编者按:本文来自AI前哨,作者lisa,36氪经授权发布。

曩昔一段时间,由于全球大部分公司敞开长途工作,Zoom 这类东西的运用人数张狂上升,从视频会议到朋友集会都可以终究靠 Zoom 来完结,这也让一些人感到十分有压力。所以,国外的一些技能专家脑洞大开,经过 AI 技能想方设法的让自己从 Zoom 中逃离出来。

Zoombot:克隆一个自己去开会

近来,国外一位名叫 Matt Reed 的技能专家由于无法忍受开不完的 Zoom 会议,就树立了一个 AI 驱动的克隆项目 Zoombot,可以克隆一个自己去开会。Zoombot 运用 AI 语音辨认和文本转语音东西,可以在会议中对其他人的问题做出呼应。Reed 并没有事前奉告他的搭档,以下截图看起来作用还不错。

整个计划并不杂乱,据 Reed 介绍,他先截了一些自己经过 Zoom 开会的图片,然后根据 Artyom.js 开源库(进行侦听和呼应)构建了一个简略的 Web 运用程序,对其进行编程以便可以听懂一些简略的对话,比方“你好吗?”、“你理解了吗”、“再会”等。抱负状况下,Zoombot 可以处理从“Hello”到“Bye”的整个会议进程,而不会引起任何人留意,但现阶段的项目更多是出于爱好树立的,不是很完善,所以,Reed 也把项目放到 GitHub 上面了,供开发者测验。

GitHub 地址:https://github.com/mcreed/zoombot

Reed 认为比较好的部分是不用给它一个像“Hey,Siri”这样的唤醒词,就可以开始运用。只需外界有语音触发就可以呼应,合作脸部的运动给出答复。

Zoombot 项目总共花费了大约四个小时来构建,而 Reed 又花了大约四个小时来安排 Zoom 会议并记载搭档们的实在反响。Reed 戏弄道:“窍门是在聊完之前就脱离会议室,由于一旦进入“我听不到你的声响,可以重复一遍吗?”的死循环中就麻烦了。

Zoom 虚拟化身项目要害:一阶运动模型

假如说上面这个项目以风趣为主,接下来介绍的这个开源项目则愈加挨近有用,而且其所根据的理论早在一年前便有人提出。

avatarify 项目也是一位国外开发者发布在 GitHub 上的开源项目,可以为 Zoom、Skype 这类视频通话运用增加自己的替身,项目中运用的中心模型 first order model 来源于一篇 NIPS 论文《First Order Motion Model for Image Animation》。

一阶运动模型的优点是一旦经过一组描绘相同类别方针的视频练习(例如人脸、人体),这种办法就可以运用于此类的任何方针。模型选用自监督的办法将外观和运动信息别离,首要由两个首要模块组成:运动估量模块和图画生成模块。

模型动画示例

如上图所示,最左面的大图画是驱动视频,右侧第一排小图画是源视频,下面一排是驱动视频。

在装置和装备完结,假如想取得一些裁剪定见,可以正常的运用 python crop-video.py --inp some_youtube_video.mp4,它将运用 ffmpeg 生成一些指令,需求 face-alligment 库:

git clone https://github.com/1adrianb/face-alignmentcd face-alignmentpip install -r requirements.txtpython setup.py install

其他内容可拜访 GitHub 地址:

https://github.com/AliaksandrSiarohin/first-order-model

avatarify 项目地址:

https://github.com/alievk/avatarify

在 GitHub 上,作者给出了详细的装置办法,增加完结后在 Zoom 中挑选设置摄像头运用 avatarify,就可以将生成的图画经过 OpenCV 实时推送到视频流了。

必需要分外留意的当地是尽量运用头像缩放功能在预览窗口中将您的面部与方针化身的份额和方位尽可能地对齐。对齐后,单击“ X”以运用此帧作为参阅来驱动其他动画。

别的,也可以在软件上按“ F”以测验自己找到一个更好的参阅系。这会减慢帧速率,但是在发作以下状况时,可以持续移动头部:当预览窗口发现面部姿态与当时运用的头像更挨近时,它将闪耀绿色。您还将看到两个数字显现:第一个数字是您当时与化身对齐的严密程度,第二个数字是参阅系对齐的严密程度。您可以再一次进行挑选一个好的对齐方法。完结后,再次按“ F”退出参阅帧查找形式。整一个完好的进程不需求很严厉,其他一些装备依然可以发生很好的成果,但这是一个好的起点。

此外,开发者还演示了经过该项目让马斯克参加视频会议的作用,供我们参阅。

可以终究靠 Reddit 观看此视频:

https:///r/MediaSynthesis/comments/fxc34i/elon_musk_joined_our_zoom_call_avatarify/

参阅链接:

https://musebycl.io/index.php/makers/agency-guy-built-ai-clone-attend-zoom-meetings-him

https:///r/MediaSynthesis/comments/fxc34i/elon_musk_joined_our_zoom_call_avatarify/

https://aliaksandrsiarohin.github.io/first-order-model-website/

https://github.com/alievk/avatarify