游戏改编作品 算计机视觉界限再破损，腾讯 Turing Lab 研究后果入选CVPR 2022

近期，海外算计机视觉与形状识别会议CVPR 2022在好意思国新奥尔良举行，并同步进行线上会议。由王君乐博士辅导的腾讯Turing Lab履行室提交的论文《High-resolution Face Swapping via Latent Semantics Disentanglement》（基于隐语义解耦的高分辨率换脸）到手入选。

论文由腾讯Turing Lab与华南理工大学、卡迪夫大学及中国香港大学协作完成。接下来，咱们将为民众解读论文的中枢后果，全部来学习算计机视觉界限的最前沿研究吧！

基于隐语义解耦的高分辨率换脸

High-resolution Face Swapping via Latent Semantics Disentanglement

在换脸任务中，咱们需要针对给定的源脸和有谋略脸，将源脸的身份信息迁徙至有谋略脸上，并同期保合手有谋略脸的属性信息。该时间比年来取得无数热心的，并在互动文娱、广电、安全与秘密保护等界限均展现出较大的应用后劲。

这篇论文提议了一种新的、基于预历练GAN模子中内在先验学问的换脸措施，收场了高分辨率（1024X1024）换脸。该措施除了能保合手有谋略脸的常见属性信息，如神采、姿态、光照、布景等除外，还不错更好地保合手有谋略脸的妆容信息。

在这个责任中，咱们欺诈生成顽抗模子隐空间的解耦特点，将不同性质的属性辞别迁徙。具体来说，神采、姿态等是与结构关系的属性，而光照、立场等是与外不雅关系的属性。这两类属性由隐编码的不同层辞别适度：一张图片隐编码的前半部分适度结构信息，此后半部分适度外不雅信息。

咱们先辞别将源脸和有谋略脸回转到StyleGAN的隐空间内。同期将源脸和有谋略脸要津点的热图送入要津点编码器，得到一个结构属性转机向量，这个向量作用在源脸的隐编码上，即可收场结构属性的迁徙。

同期，咱们用有谋略脸隐编码的后半部分代替源脸隐编码的后半部分，这么即可收场外不雅属性的迁徙。将惩处之后的隐编码送入预历练好的StyleGAN中，即可得到初步的换脸终局。

365站群

此外，为了收场有谋略脸布景的迁徙，咱们将有谋略脸径直送入有谋略编码器，得到不同分辨率的特征，并和StyleGAN中间流程中产生的特征在解码器中进行交融。这么咱们就取得了最终的终局y。履行终局标明，咱们的措施在图片和视频换脸任务中，好多方面的效果均卓绝了多SOTA措施。

注：图片只用作学术研究，不必于生意用途。

对于CVPR

365建站客服QQ：800083652

CVPR 全称 IEEE 海外算计机视觉与形状识别会议（IEEE Conference on Computer Vision and Pattern Recognition），该会议始于 1983 年，是算计机视觉和形状识别界限的顶级会议。本年大会共收到来自全球各大高校、科研机构与科技公司共8186篇投稿，最终领受的论文险些齐代表了年度算计机视觉界限最新、最高科研水平以及异日发展趋势。

这次论文入选，亦然对腾讯Turing Lab履行室现阶段科研及立异本事的招供。异日，腾讯Turing Lab将陆续致力于，为民众在算计机视觉界限带来更多可能。

腾讯Turing Lab履行室细致东说念主

王君乐博士

腾讯众人研究员

领有十余年算计机视觉、多媒体、机器学习界限研究教会，在东说念主体姿态猜想与重建、图像质地评价、算计影相学、千里浸式多媒体等界限有较深的了解及实战教会，并在这些界限辅导团队进行探索与落地的责任。

曾主导腾讯CenseoQoE画质评价决策的建造与社区开源，主导腾讯时尚云游戏云表虚实互动时间的研发。此外，在包括CVPR、NeurIPS、TIP、TMM等顶级会议及期刊上发表多篇论文，并为多个会议及期刊担任审稿东说念主及组织者。