首页 耳机可检测表情?华人科学家新发明让人脸变成“表情包”

耳机可检测表情?华人科学家新发明让人脸变成“表情包”

无需打字、无需查找表情,只需对着手机浅笑,就能宣布浅笑表情包。相同的,对着手机蹙眉,就能宣布蹙眉表情包。以上功用来自一款名为C-Face耳机的设备,它诞生于康奈尔大学华人科学家张铖的SciFi实验室。…

无需打字、无需查找表情,只需对着手机浅笑,就能宣布浅笑表情包。

相同的,对着手机蹙眉,就能宣布蹙眉表情包。

以上功用来自一款名为 C-Face 耳机的设备,它诞生于康奈尔大学华人科学家张铖的 SciFi 实验室。他近来以通讯作者身份在 UIST 2020会议上宣布了这项研讨,论文名为《即使戴着口罩耳机也能够盯梢面部表情》。

图 | 张铖

除张铖之外,论文榜首作者还有来自北京大学、现在在康奈尔大学拜访的本科生陈拓潮。

论文表明,该耳机可经过调查脸颊概括,来接连盯梢面部表情,并能把表情转换为表情符号、或无声语音指令。DeepTech 联络到张铖,并就该耳机和其进行了深化沟通。

他表明,C-Face 耳机是实验室系列研讨的其间一款设备。该系列研讨首要探究信息的得悉,咱们缺少信息,核算机就很难了解人类动机和行为。而 SciFi 实验室的长时间作业,是致力于提高人机沟通,可是榜首步,核算机需求获取到信息。

摄像头是获取信息的最常用手法之一,比方在室内外安置摄像头,而且摄像头有必要没有遮挡,这就导致传统的 “摄像头办法” 会在某些场景中失灵。比方,在获取脸部表情时,是用摄像头直接 “捕捉” 人脸,但用户在外面时,不或许时间脸部对着摄像头。

而本次的 C-Face 耳机,正是一款可用于实时获取脸部信息的耳机。其原理是,由于人脸有许多肌肉,肌肉之间相互连接,脸部在做不同表情时,其他肌肉也会被触动,嘴巴、眼睛和眉毛的方位与形状也会产生改动。基于此,经该实验室的规划后,耳机可经过比较简单捕捉到的肌肉改动来估测出面部表情。

由于新冠疫情的影响,研讨人员只能在 9 名参与者的情况下测验耳机。虽然如此,表情符号的辨认精确度仍然超越 88%,面部提示的精确度超越 85%。

图 | 戴口罩时戴着耳机做表情

具体来说,耳机内置两个迷你摄像头,它们能够捕捉到旁边面脸颊形状,并经过脸颊形状来判别你的脸部表情。由于人在履行面部特征时,面部肌肉组织就会拉伸和缩短,然后推进和拉动毛孔和皮肤,并对面部肌肉组织的紧绷产生影响,这种影响会导致脸颊概括产生改动。

图 | 黑色部分为摄像头

在耳机中,摄像头能够传输数据,数据会传输到微处理器,微处理器搜集数据,并把它发到核算机上,这时深度学习算法就能开端作业。

深度学习在耳机中的运用

许多情况下,深度学习在数据上的作用,比传统机器学习的作用更好。本次耳机之要想完成依据侧脸和脸颊形状来揣度整个面部表情,其实并不简单,由于每个人的侧脸都不相同。

因而,就得经过深度学习来收集练习数据,具体做法是先收集到用户脸颊改动情况,并结合前置摄像头来捕捉面部表情,以标记出相对应的脸部表情。

这相当于摄像头每一帧图片,都有一个对应的面部表情。收集到练习数据后,研讨人员就能发掘出不同脸颊形状与面部表情间的杂乱对应联络。

图 | 练习深度学习

张铖表明,深度学习的优点是能经过杂乱学习,来学习一些人类不拿手的技能。有的技能人类很拿手,比方一眼就能辨认某些物体。但有些技能人类并不拿手,比方只依据旁边面脸颊,咱们很难判别出脸部悉数形状。

深度学习的才能是,可经过算法找出事物间的杂乱联络,然后依据侧部脸颊,精确揣度出面部表情。

具体作业时,在摄像机捕获图画后,核算机视觉和深度学习模型会对其进行重建。由于原始数据是二维的,因而卷积神经网络有助于将概括重构为表达式。

此外,该模型可将脸颊图画转换为 42 个面部特征点,它们别离代表受表情改动影响最大的部位,如嘴巴、眼睛、眉毛等。

这 42 个特征点代表的面部表情,也可用于估测出 8 个表情符号,包含 “无表情”“气愤” 和 “ Kissy-face”,别的还有 8 个可用于操控音乐设备的静音语音指令,如 “播映” ,“下一首” 和 “音量增大” 等。

图 | 静音语音指令

比较传统办法用前置摄像头来辨认表情,C-Face 耳机的共同优势是戴着口罩也能被耳机捕捉到表情,即摄像机无需对着人脸,只需调查从耳朵到旁边面脸颊的形状就能辨认表情。

由于即使你戴着口罩,旁边面脸颊形状并不会产生巨大改动,这时深度学习仍然能够作业。

图 | 带上口罩时,深度学习仍然能够作业

做个嘴型就能宣布指令

本次研讨还展现了 C-Face 耳机的两大功用:无声语音辨认和前文的输入表情包。

无声语音辨认指的是,一般的语音辨认,都是经过声响来辨认。咱们不经过声响,是否也能辨认?由于,假设你在开会、看电影等场合,忽然说话就会很古怪。再便是,当周围有许多噪音,即使说话也无法辨认。

而 C-Face 耳机可经过剖析用户表情,来辨认缄默沉静的语音指令。这一功用的常见运用场景有,当你跑步时只需做个嘴形,相关智能设备就能以十分私密的方法,来得悉你的指令。

另一个能够幻想的运用场景是健康猜测,张铖表明,未来该耳机有望接连记载表情。取得很多表情数据后,就可得悉用户每天的心境情况。这样很多的心情信息,还可协助核算机了解用户的精力健康情况。

两款耳机:入耳式和头戴式

本次耳机分为两款:入耳式和头戴式,功用上它们十分相似。张铖表明,它们所属项目都叫 C-Face,该项目并不局限于某一种特定的设备,仅仅在本次论文中展现了入耳式耳机和头戴式耳机。

仅有的差异是,两种耳机的摄像头方位稍微不同。头戴耳机相对大一点,有较大空间放摄像头。

谈及耳机是否可用于 VR 游戏,张铖表明,常常有人问他这个问题,而他的答案一直是 Yes or NO。

即当然能够用在 VR 上面,但以他了解到的最新技能来说,VR 眼镜已有更好的处理方案。

VR 眼镜自身现已很大,经过在上面加设备来捕捉人的表情,此前现已有人做过。而 C-Face 耳机的优点是它十分小,日常能够进行穿戴。因而,他觉得 VR 眼镜纷歧定是 C-Face 耳机最中心的爆点。

他举例称,该实验室的耳机能够潜在地供给视频谈天功用。现在的视频谈天,都需求用户面前放置一个摄像头 。

但咱们用耳机来谈天,耳机自己就能捕捉你的面部表情,你也不需求把摄像头对着脸,你的朋友时时间刻都能看到你的脸,包含走路时、开车时、乃至煮饭时都能够跟人谈天。

处理功耗问题,就能加快落地

谈及商业落地,张铖表明本次论文宣布后,有厂商现已和他们联络评论一些开端的协作或许性。但想在短期内完成到现有设备,最需求处理的仍然是可穿戴设备上的功耗问题。而这一难题,超出了该实验室的才能,因而需求工业界投入资金去优化功耗问题。

现在的耳机,是研讨人员买来零件拼装的,摄像头能够选配,仅仅价钱和分辨率会有差异。在零件的挑选上,他们未做过高要求,意图是让设备更快速落地成产品。

他以为,该实验室做这款设备,更多是着眼于未来。他们做研讨的意图,更多是描绘研讨人员眼中的未来或许性。

张铖表明,未来的摄像头或许会变得十分小、功耗也十分低。虽然现在的耳机仅仅实验室设备,可是咱们能耗问题得以处理,它有或许在 5 到 10 年后完成运用。

咱们想把小型摄像头利用到现有设备上,能耗是个很大的问题。由于,摄像头会耗电,处理摄像头数据也会耗电,这是该设备的最大局限性。

就落地为产品来说,头戴式耳机短期内或许相对便利一点,由于它能够放置更大的电池。关于入耳式耳机,该实验室未来也会寻觅愈加低功耗的办法来处理问题。

由于咱们把摄像头装在耳机上,那么摄像头的耗电量必定比耳机多。这种情况下,不管产品有多么酷炫,咱们运用十分钟就没电了,也不会有人乐意购买。

咱们想快速推出该耳机,或许只能先完成一部分功用,由于工业界做产品都有一个提早周期,比方要想现在发布一款产品,或许两年前就得开端规划。

与此同时,该实验室并不局限于耳机,他们重视的是 “无处不在的核算和人机交互”,未来还有或许研宣布智能耳环、智能衣服,而他们的希望便是让好像无法智能的物体也变得智能起来。

本文来自网络,不代表本站立场。转载请注明出处: https://www.onlinemediabootcamp.com/html/20220702/9638.html
上一篇
下一篇

发表评论