ZEGO Meetup 视频直播+的技术实践之道第二期在北京成功举办
奇居科技创始合伙人王国良
先牛 即格科技资深技术专家、架构师
秀色娱乐研发总监 周高新
舒美联合创始人兼CTO 梁坤
四位来自直播行业的技术专家将和大家一起探讨视频直播的技术和未来。
周高新老师结合秀色娱乐近几年的实践,跟我们分享了《秀色直播的技术实践路径》。
秀色直播的自我定位
秀色娱乐研发总监 周高新
首先,他分享了秀色娱乐对直播行业的理解和自我定位。秀色娱乐认为,直播行业具有典型的海洋生态特征:纬度越低,物种越多;纬度越高,生物种群越大。这里的“生物物种”类比直播的“内容种类和用户需求”,“生物种群”类比直播的“内容影响力和用户规模”。
我们先说一下这些中纬度直播平台的特点,第一,具备一定的规模;第二,做事方法比较成熟,无论是在产品研发、内容运营还是营销推广上,都有一套完整成熟的体系。
高维的直播平台必须有成熟的策略,此外体量较大,在社交影响力、资本巨头支持、流量入口等方面有着不可替代的优势。
低纬度平台更多的是在进行各种创新和尝试,尝试一些新的内容和模式,比如抓娃娃、狼人杀、政务直播等。大部分低纬度平台规模较小,但一旦模型验证成功,很快就会转向更高纬度。
秀色娱乐将自身定位在中纬度,基于对当前直播行业现状的理解以及自身的定位,秀色娱乐对未来的战略规划如下:
第一,把自己做大做强,尽量向更高维度靠拢,这是所有平台都想做的事情。
第二,在秀色擅长的中纬度地区进行横向发展,利用秀色在产品研发、内部运营、市场营销等方面的经验,运营多个平台。目前,秀色娱乐旗下除了秀色直播,还有乐海秀、嗨秀秀、红人直播、觅风直播等多个平台。
第三,关注低纬度领域,吸收好的创意和玩法,丰富现有平台的内容。
以上是公司层面的大战略,而整个研发体系内部开展的产品功能开发、技术选型、与第三方的技术合作等技术实践都是服务于公司战略的。
秀色技术实践回顾
秀色娱乐在 2013 年就进入了直播领域。当时因为大家都还在摸索,整个行业的技术开发水平比较低,可以利用的资源也不多;而秀色团队在视频领域也没有很深的积累,所以从 0 到 1 还是比较困难的。现在回想起来,最初的架构非常简单。如果今天基于一些成熟的开源框架或者第三方 SDK 搭建这样的系统,最快两三天就可以搞定,最慢也要一周。
秀色直播早期的技术架构
当时市面上还没有视频云厂商,CDN厂商有网宿、迪联、蓝汛等几家,CDN负责分发,秀色主要解决推流、拉流的问题。
推流是在PC端进行的,拉流则包括iOS、和Web端。PC推流基于开源框架;iOS和拉流基于移植的播放器编写;Web拉流相对简单,有现成的Flash可用。2013年,直播平台有限,无论是播还是看,都以PC端/Web端为主。当时智能手机正在快速普及,秀色娱乐也感受到了这一发展趋势,比较早地推出了移动直播产品。
当时还没有手机直播,因为手机性能、移动网络带宽等客观条件不满足,手机直播其实是在2015年才逐渐流行起来。
最初的方案只是解决了从0到1的问题,能播能看,但体验和主流平台还有差距,需要继续跟进、完善、前行。
秀色直播目前的技术架构
上图是秀色目前的技术架构,和之前的架构相比,发生了比较明显的变化,周高新选取了几个比较重要的点,给大家讲解了一下。
1. 防盗链
平台初期,大家没有防盗链的概念,但有一天,CDN 的流量突然变得很大,经过排查,发现有人盗链了一场足球比赛的直播,这就引出了防盗链的问题。
如果不开启防盗链,第三方可以获取推流和拉流的域名,按照规则随意拼出流名就可以使用,很容易被盗用。解决这个问题需要直播平台和CDN厂家配合,解决的方法有很多,比较常用的是基于token的方法。在流地址上添加token加密字符串,CDN在收到请求时会验证token加密字符串,判断流地址的合法性。另外,可以通过带加密时间戳的方式限制流地址的时效性(比如只有十分钟有效)。具体的token生成和验证规则,时间戳加解密规则双方可以约定,推流地址和拉流地址都可以这么做。
2. 视频在几秒内打开
早期大部分直播APP都没有秒开视频的功能,用户从进入直播间到观看视频通常需要等待很短的时间,体验较差。现在大部分直播APP都支持秒开视频的功能。
视频秒内开始播放,需要用户端播放器和CDN的配合。播放器播放视频的必要条件是获取关键帧,只有获取到关键帧,才能解码渲染视频帧数据。如果CDN没有缓存功能,视频肯定无法秒内开始播放。为什么呢?比如说播放器请求这个流,刚好请求到关键帧,那么就没有问题;如果请求这个流的时候,关键帧刚好过去,那么就得等到下一个关键帧来了,才可以播放。那要等多久呢?这个取决于GOP的设置,比如推流的GOP设置是三秒,那么获取下一个关键帧就要将近三秒的时间。
CDN具备缓存功能后,可以缓存从最近一个关键帧开始的所有帧,当播放器请求时,可以以最快的速度将从最近一个关键帧开始的所有缓存帧传输到客户端,由于获取的第一帧就是关键帧,播放器可以立即解码视频帧数据并进行渲染。
CDN缓存是视频秒开的必要条件,但不是充分条件,播放器本身的逻辑也会影响视频能否快速传输到用户端,有些播放器为了保持播放的流畅度,需要先缓存一段时间再开始播放,而要保证视频秒开,需要取消这个限制,所以视频秒开需要CDN和播放器的配合。
3.虚拟视频
虚拟现实视频功能很多,但其最重要的功能还是让人变美。最开始主播都是素颜直播,后来有些要求更高的主播会通过化妆、补充房间灯光等方式提升直播间效果。有了美颜相机,很多主播都愿意使用。美颜相机能起到一定的美肤美白效果,但清晰度相对较差,而且美肤美白的程度不能灵活调整。
虚拟视频软件逐渐解决了这些问题。起初,通过一些图像处理滤镜算法、亮度调节、缩放等,实现了磨皮、美白、减肥等一些基础的美颜功能。后来,主播的要求越来越高,想要眼睛大一点、下巴窄一点等等,都需要虚拟视频软件来解决。此外,还有各种萌脸效果,比如在头上加上鹿角、兔耳朵等等,看上去非常可爱。这里就介绍一下人脸识别技术和脸贴技术。
4. 手机直播
2015年手机直播开始流行,秀色娱乐也迅速跟进,在原有的PC直播、iOS、安卓直播的基础上,增加了手机直播。手机直播更依赖硬件剪辑,因为软件剪辑发热量大,耗电量大,这对主播来说是个问题。早期主播基本都用iOS,因为iOS 8.0版本对硬件剪辑的支持很好。但安卓手机太过碎片化,对硬件剪辑的支持很难保证,直到后来,主播才用一些中高端机型进行直播。
5. 其他
流程上有一些小的优化,比如推流端和播放器回传的必要数据,可以用来监控主播的直播和用户观看直播的情况,做必要的优化。另外还有播放器的硬解码等等。娃娃机和麦克风连接集成了第三方服务,后面会详细讲。
与第三方科技公司的合作
除了自研技术外,周高新还介绍了秀色与第三方技术服务公司合作的经验。
首先是CDN。目前大部分直播平台,即便是高纬度的直播平台,都还难以完全自建CDN,所以需要依赖CDN厂商。这里有个数字“99.9%”,是什么意思呢?从秀色近几年的实践来看,没有哪家CDN能够保证一年365天100%无问题。这跟CDN非常复杂的整体技术架构、节点部署、运营商网络状况等因素有关。在这方面,秀色的策略是多备份、监控、一键切换。此外,周高新还特别提到了智能色情识别服务。他指出,由于色情识别是直播的刚需,现在很多CDN厂商、视频云公司都提供了智能色情识别服务,以及基于智能色情识别的自动断流功能,但需要谨慎使用,注意稳定性。秀色也正在和国内几家提供智能色情识别服务的顶尖公司合作。 从实际效果来看,准确率确实很高,但即便准确率达到 99.9%,由于总量较大,误判量也不小。秀色目前的做法是先调用智能色情识别服务,在此基础上再进行人工确认,以保证主播的友好体验。
第二是连麦的直播技术。秀色采用了机构针对连麦直播技术的解决方案。周高新表示,秀色对连麦直播技术的接入完全是由实际需求驱动,而不是跟风。秀色采取了对现有业务影响不大的方式接入连麦,并尝试了多种功能形式。从秀色的实际数据来看,连麦在丰富内容、增加用户粘性方面确实发挥了明显作用。
最后就是娃娃机了。在租金相当昂贵的各大商场,娃娃机随处可见,说明娃娃机的需求是真实存在的。至于娃娃机从线下走向线上的举动能否得到市场和用户的认可,又或者什么样的线上形式能够得到用户的认可,这还是需要去尝试的。杰构科技的一站式服务解决了娃娃机的硬件、软件以及代运营服务,为秀色减少了试错成本。
周高新表示,采用第三方公司提供的专业技术服务非常有必要,这样有助于企业减少试错成本,快速跟进市场趋势。毕竟企业人力、时间有限,还有不少业务需求需要解决,开放合作是必须的。
未来展望
秀色娱乐持续关注行业最新热点话题,比如直播带货、相亲大会、狼人杀、1对1直播、娃娃机、竞猜等等,有些已经跟进,有些会持续关注。
此外,秀色还注重一些新技术与直播的结合,比如微信小程序、语音识别、H265、AR、VR、全景声等。
最后,关于直播行业的未来,周高新认为,直播行业生态非常好,很多行业最后都会剩下一两家占主导地位的公司。比如在熟人社交领域,除了微信和QQ之外,其他公司几乎都倒下了。团购经过百团大战,就只剩下美团了。出行公司目前基本就剩下滴滴,还有共享单车等等。直播行业从来都是百家争鸣、百花齐放的地方。这样的生态给了专业的技术服务商更多的机会,反过来专业的技术服务也会促进直播行业的发展。所以开放合作也是必然趋势。好的生态加上开放的合作,意味着直播行业会有更加美好的未来。
关于ZEGO
则果科技由原QQ总经理林有耀于2015年创立,A轮获IDG投资,核心团队来自腾讯QQ,汇聚YY、华为等厂商顶级语音视频人才。则果致力于提供全球最清晰、最稳定的实时语音视频云服务,助力企业业务创新,改变用户在线沟通方式。则果在视频直播、视频社交、游戏语音、在线娃娃机、在线教育等领域深耕细作,获得映客、花椒直播、一直播、喜马拉雅FM、陌陌游戏、自由搏击2、好未来等头部厂商的信赖与支持。