手机也能玩体感类游戏“跳舞机“了。
最近,抖音推出了一个全新功能“尬舞机”,用户只要打开抖音,就能随时随地体验线下跳舞机的玩法,无需借助特定硬件设备。
抖音尬舞机一推出就受到网友的追捧,上线的第二天,抖音就战胜微信、支付宝这样巨头登顶App Store。
“国民闺女”关晓彤也亲自上阵尬舞了一把,视频里看起来,她反应迅速,节奏把握也很好,彻底玩嗨了。
抖音尬舞机这项“黑科技“的背后,其实是人体关键点检测技术的应用,今日头条人工智能实验室(简称AI lab)的技术研发成果之一。
依托于这项技术,抖音能够检测到图像中所包含人体的各个关键点的位置,从而实现从用户姿态到目标姿态的准确匹配。简单来说是把就把跳舞机、kinect这样的体感游戏搬到了手机上。
要想做好这个功能,需要解决两个难题。第一,人体的形变范围比较大,受衣服变化、物体遮挡等影响严重,在日常场景下准确地检测人体关键点一直是计算机视觉领域中的一个热点问题。第二个难点是,要实现精准检测,需要耗费高昂的计算资源,无法在手机端实现日常场景应用。
由于这两个难点的存在,市面上很多产品的类似功能只能实现半身检测,甚至人脸检测,玩法上就有很多限制,功能的实现效果大打折扣。
而今日头条 AI lab创新了技术方案。相比于业界流行的自顶向下(Top-Down)的方案,他们采用的是自底向上(Bottom-Up)的方案,核心是针对移动端设备自研的网络结构,极大地减少计算量,同时让准确率大幅提升,实现了在移动端的实时无损运行。
目前来说,抖音的人体关键点模型是业界领先的水平。从实现效果来看,抖音在国内首次把检测范围扩大到了全身。相对于更简单,也更广泛实用化的人脸关键点检测技术,抖音可以对视频进行实时检测,也积累了很大的人脸库,可以很准确的识别人脸。
其实,像尬舞机这样玩起来更简单,效果更酷炫的功能抖音一直在做。在今日头条人工智能实验室的技术支持下,抖音已经上线了包括背景分割、音乐滤镜、AR贴纸等等一系列的特效功能。
这些在社交网络受到广泛喜爱的特效,也帮助抖音吸引来了不少的新用户,形成了很好的品牌效应。