未来AR和VR视频的认识和愿景

未来，你带着一个VR眼镜，我们可以用5G的网络把你和一个智能的机器人连接起来，这时你看到的才是VR视频最流畅的
中国研究院也有非常多的智能机器人方面的研究，我们把网络和机器人连接起来，同时机器人能够把360度视频和声音实时的传输到客户端，你可以对机器人进行控制和真实的世界进行互动。这能达到什么效果呢？就好像在任何时间你都会瞬间的转移到世界上任何一个角落，和一个真实的环境进行互动，这是我们设想的一个超越目前AR和VR远程沉浸式互动的未来。

能支持什么样的应用呢？我们觉得非常多的应用，像远程购物，你现在是在北京，你可以一下子就跑到美国的超市里进行购物，从货架上亲自把你想要的东西选下来，你就再也不用担心假货。还有远程的旅游，比如说你在一个你喜欢的时间和地点，比如说慕田峪刚下过雪，或者夕阳西下的时候，一下子跑到那里，可以亲自体验一下那个美景。

还有社交的功能，大家回家都非常少，在外地工作的时候，有了我们这个系统可以瞬间转移到你的家里，和你的父母进行聊天，好像你真的回到家里身临其境一样，这是我们设想的远程沉浸式互动的未来。我们用什么样的技术实现呢？下面跟大家介绍一下。
VR最主要的肯定是要做内容，我们刚才也说目前的VR内容2K、4K，它的清晰度还差得很远，我们怎么样产生高质量VR的内容呢。如果你体验过VR的视频可能会有一些体验，目前的VR视频除了是好莱坞制作的大片，基本上VR视频内容都是2D的，因为3D VR视频生成是非常复杂的，制作难度也大。

所以，我们英特尔中国研究院研究的目标聚焦两点：

第一，3D VR视频能实时合成，能够产生高质量的内容。

第二，怎么实时产生内容满足我们对远程沉浸式未来的要求。

3D VR的合成算法非常复杂，特别是产生一个没有瑕疵的3D视频，你要消除它的鬼影效应，消除拼接的瑕疵，采用非常复杂的光流算法，即使是目前最强大的服务器和最强大的台式机也很难完成实时性的功能。

我们开发了分布式的处理平台，是非常高密度的分布式处理平台，是2.5U高的机箱，在这里可以插入12个至强CPU卡，同时插入12块FPGA卡，中间有600G左右的互联能力。对视频VR处理来说，对实时合成来说一个主要的功能就是怎么样实现精准的同步，从处理的角度实现精准的同步，这个平台也可以支持。通过我们算法的研究，通过实时处理的加强，希望我们能够真正的达到产生一个非常高质量的，比如说现在产生8K的高清的内容，满足将来的要求。我们有了内容之后，下一个面临的问题是怎么样把这些内容传输到客户端。刚才说了VR的传输要求是非常高，整个的带宽需要是100兆到1Gbps。同时，延迟需要非常低，只有十几毫秒到二十多毫秒。目前的网络基本上是没有办法满足这个要求，所有移动的网络是有接入网，有核心网，有骨干网，所以在任何的两个用户之间传输，即使你是在离得很近的两个用户传输，实际上要走一大圈，中间需要经过非常多的设备，即使优化得很好，最好的效果只能达到50毫秒到100毫秒。

在这种情况下怎么能够满足VR处理实时性的十几毫秒的要求，特别是移动的时候跟上你的显示速度，这只有十几毫秒。我们提出一种方法——边缘计算，通过通信和计算结合的方法，采用边缘计算的能力能够使VR达到实时传输的要求，解决从显示到头显的要求，解决从带宽到时延的要求。

首先，我们生成VR的视频内容之后，把360度的全景视频通过压缩传到边缘服务器，在边缘服务器端有整个全景的内容，可以同时服务多个用户。每个用户会把自己的视角信息，你在看哪个方向传给边缘服务器，边缘服务器把视角信息的内容发给用户。

比如我们要打造一个非常好的VR系统，现在的系统是达不到这个要求，你需要16K到24K超级高清的VR。不压缩的话，容量会达到500Gbps，每个月的容量是1Gbps，如果是500Gbps，可能是十几年的容量一秒钟就过去了，即使压缩之后也达到1Gbps，同时VR对显示的延迟非常敏感，对传输的容错性也是非常敏感。所以对5G来说，特别是高质量的虚拟现实和增强现实，对5G的通信系统和计算系统来说都要着力应对。