信息无障碍通道 | 滚动新闻 | RSS订阅 | 网站地图 |
你好,游客 登录 注册 搜索

“人脸识别”耳机实现!靠追踪肌肉识别表情

发布时间:2020-10-14 09:24:35  来源:大数据文摘微信公众号 刘俊寰  采编:爱萌妮儿  背景: 无障碍通道

  用 AI 使蒙娜丽莎动起来,甚至是跟着你的表情一起运动,随着技术的发展,这些都已经不是什么新鲜事了。

  这些面部追踪系统,往往都需要一定精度的摄像头。

  但是,如果文摘菌告诉你,这些摄像头其实全都可以撤掉呢?

  别急着反驳,这已经被康奈尔大学的研究人员实现了,整个过程他们没有用到过一个面对用户正脸的摄像头,就成功地实现了面部追踪,至于效果,好像也没有差到哪儿去。

  按照惯例,我们还是先看看追踪效果如何:

  既然没有用到摄像头,那我们来试试戴上口罩的效果:

  这时候可能有人想问了,不用摄像头,怎么追踪到的面部表情?

  文摘菌给一个提示,看到他们戴在耳朵上的仪器了吗?是的,他们主要使用的,其实就是那副耳机,用户的表情就能被实时转换为表情。

  这种方法比用摄像头的 “传统方法”更好的一点在于,即使戴着口罩,系统也可以追踪用户的面部表情,这样的话人们就不用专门取下口罩了。

  这个系统被取名为 C-Face(Contour-Face)。

  康奈尔大学 SciFi 实验室主任、C-Face 论文的高级作者张铖在一份声明中说:“该设备比任何现有的耳挂式可穿戴技术都更简单、更引人注目,功能也会更强大。”

  “在以前的旨在识别面部表情的可穿戴技术中,大多数解决方案都需要在面部上安装传感器,但即使用了如此多的传感器,不少系统最终也只能识别有限的一组离散面部表情。”

  论文链接:https://www.scifilab.org/c-face

  抓取 42 个特征点,C-Face 还支持无声命令和聊天表情发送

  在这个项目中,研究人员也不是完全没有用到摄像头,只不过他们用得及其隐蔽。

  可能已经有 “陈独秀”想要抢答了,注意观察使用者的耳朵下方,左右分别配备了一个 RGB 摄像头,这些摄像头能够在使用者移动面部肌肉时,记录下脸颊轮廓的变化。

  除了入耳式耳机,头戴式耳机也同样可以安装摄像头,进行面部识别工作。

  在使用计算机视觉和深度学习模型重建图像后,卷积神经网络能够分析 2D 图像,将面部特征转换为 42 个面部特征点,这些特征点分别代表了使用者的嘴巴、眼睛和眉毛的位置和形状。

  有了详细的脸部追踪数据,C-Face 可以将这些数据转换成八种不同表情,包括中立或愤怒。

  不仅如此,C-Face 还支持使用面部表情控制音乐应用程序上的播放选项。

  手机在桌上充电,但是现在只想摊在沙发上不想动,你甚至不用说出声音,就能播放歌曲:

  或者,你在聊天的时候想要发送表情,但是死活找不到表情包了,怎么办?

  这个时候,你可以直接做出相关表情,系统就能识别并直接发送出去,简直不要太方便:

  不过,由于受到新冠疫情的影响,研究人员目前只在 9 名参与者的情况下测试了 C-Face。尽管数量不大,但表情识别的准确度超过了 88%,面部提示的准确度超过了 85%。

  同时,研究人员发现,耳机的电池容量限制了该系统的持续作用,他们正在计划开发功耗更低的传感技术。

  深耕于人机交互领域的华人教授张铖

  在这个项目的研发团队中,文摘菌发现了一位华人教授的身影——张铖,他也是这个研发团队的负责人。

  根据张铖个人网站介绍,他目前是康奈尔大学计算机和信息科学的助理教授,同时也是未来交互智能计算机接口(Smart Computer Interfaces for Future Interaction,SciFi)实验室主任。

  SciFi 实验室主页链接:https://www.scifilab.org/

  从南开大学的本科,到以中国科学院软件研究所的优秀毕业生身份毕业,再到前往美国佐治亚理工学院 Ubicomp 实验室继续深造,张铖始终对普适计算(ubiquitous computing)和人机交互(HCI)怀有浓厚的兴趣。

  在中国科学院期间,他就针对有形用户界面、儿童人机交互、音乐界面等进行了初步研究,获得了第一手的研究经验。

  在张铖的博士论文中,他介绍了 10 种用于可穿戴设备的新型输入技术,有些利用了商用设备,有些采用了新的硬件。与大多数人不同,张铖习惯于从头到尾建造传感系统,包括理解物理现象、构建硬件原型、设计形式因素、处理数据和设计算法 (机器学习或基于物理的建模)。

  截至目前,张铖在人机交互和普适计算领域的顶级会议和期刊上发表了十多篇论文,还获得了两项最佳论文奖,同时他还身怀超过 10 项美国和国际专利。 如果有同学对人机交互感兴趣,可以多逛逛 SciFi 实验室主页,他们还有好多有意思的项目~


本文来源:大数据文摘微信公众号

本文评论
399 元,苹果 Beats Flex 无线耳机发布:采用 W1 芯片,USB-C 充电,续航 12 小时
IT之家10月14日消息 苹果旗下 Beats by Dr. Dre(Beats)今天发布了 Beats Flex 无线耳机,售价399元。这款耳机巧妙沿用 BeatsX 灵活便捷的设计,同时做出...
日期:10-14
“人脸识别”耳机实现!靠追踪肌肉识别表情
用 AI 使蒙娜丽莎动起来,甚至是跟着你的表情一起运动,随着技术的发展,这些都已经不是什么新鲜事了。
日期:10-14
联想推出 ThinkPad C13 Yoga Chromebook 变形本:AMD R7 3700C 加持
IT之家10月13日消息 联想今日面向企业客户推出了 ThinkPad C13 Yoga Chromebook Enterprise,配备13.3英寸窄边框触摸屏,支持360°变形,搭载 AMD 的 ...
日期:10-13
华为头戴式耳机 FreeBuds Studio 官宣:将与 Mate40 系列一同发布
IT之家10月13日消息 今日中午,华为正式宣布进军头戴式耳机领域,将于北京时间 10 月 22 日 20 点发布新品 FreeBuds Studio。
日期:10-13
爆料:华为将推出 Watch GT 2 Pro ECG 心电图版本
今年,华为为其 Watch GT 系列采取了不同的策略,该公司没有发布华为 Watch GT 3,而是决定推出华为 Watch GT 2 Pro。现在,看来 Watch GT 2 的阵容将随...
日期:10-13
日本配件厂商推出磁吸式无线充电器,专为苹果 iPhone 12 设计
IT之家 10 月 13 日消息 据 Macotakara 报道,日本配件制造商 MPOW 今天发布了一款新产品,该产品是一款为 “新 iPhone”设计的磁力连接无线充...
日期:10-13
神舟推出新款优雅笔记本:赛扬 5205U,1999 元
IT之家 10 月 12 日消息 神舟现已上架优雅 X4D2 14 英寸轻薄办公笔记本,搭载了英特尔赛扬 5205U 处理器,8GB 内存 + 256GB SSD 首发价 1999 元。
日期:10-12
戴尔新版灵越 5000 上架:11 代酷睿,4699 元起
IT之家 10 月 12 日消息 戴尔灵越 5000 系列现已更新 11 代酷睿处理器,新款的灵越 14 搭载了 i5-1135G7,16GB 内存 + 512GB SSD 到手价 4699 元。
日期:10-12
OPPO 首款智能电视宣布:10 月 19 日发布
IT之家 10 月 12 日消息 OPPO 宣布将于 10 月 19 日在上海举行智美生活新品发布会,根据官方在评论区的说法,此次发布会不止有电视新品,还有其它神秘产...
日期:10-12
联想 YOGA 14s / 小新 Pro 14 阵容全曝光:锐龙 4000 系列标压,11 代酷睿 + MX450/iRIS Xe 集显
IT之家10月11日消息 今日上午,联想拯救者 ×YOGA× 小新产品总监 @林林 - 一枝小白兔 在社交媒体透露了联想 YOGA 14s / 小新 Pro 14 的阵容。...
日期:10-12
360 路由器新品明天发布:“种豆得豆”,支持 WiFi 6
10 月 11 日消息 今天 360 路由器发布预告,将于 10 月 12 日发布 360 路由器新品。
日期:10-11
消息称新款 iPad Air 已经到货苹果零售店:只待上市日期公布
彭博社的 Mark Gurman 表示,全球各地的苹果零售店正在接收新设备的货品,这些设备很可能是新款 iPad Air。
日期:10-10
富士新机 X-S10 外观曝光,深槽手柄设计
IT之家10月9日消息 外媒 Fujirumors 早些时候报道,富士将在 10 月 15 日发布一款全新系列的 X-S10 相机,定位中端,支持机身防抖,搭载侧翻屏,采用了深...
日期:10-10
三星下一款真无线耳机可能是 Galaxy Buds Sound
距离 Galaxy Buds Live 正式发布仅两个月,而且这款真无线耳机的表现要比预期的要好。但是最近的爆料表明,三星正在开发一款全新的真无线耳机 - Galaxy B...
日期:10-09
Ryzen 5000系列发布!起价299美元,AMD:最好的游戏CPU
0易信微信QQ空间微博更多
  当地时间周四芯片制造商AMD发布新款Zen 3 Ryzen 5000系列处理器,起售价299美元,将于今年11月5日开始发售。
 ...
日期:10-09
外星人 24.5 英寸 360Hz 显示器价格公布:900 美元,中国首发
IT之家 10 月 8 日消息 今年上半年,戴尔推出了 Alienware AW2521H 显示器,刷新率达到了 360Hz。现在,戴尔公布这款显示器售价 900 美元,将于本月在中...
日期:10-09
华硕灵耀 X 逍遥笔记本开卖:11 代酷睿 + 4K OLED 屏,8999 元起
IT之家10月9日消息 10月1日,华硕发布了灵耀 X 逍遥笔记本,搭载了 11 代酷睿处理器 + 4KOLED 翻转触控屏,i7-1165G7+16GB+512GB 配置首发 8999 元,今天...
日期:10-09
联想海外推出多款 ThinkBook 机型:11 代酷睿加持,含二合一翻转本
IT之家9月29日消息 据外媒 LaptopMag 今日报道,联想推出了新一代的 ThinkBook 产品。其中包括四款 ThinkBooks 机型,旨在吸引注重性价比的商务用户。新...
日期:09-30
苹果 iOS 14.2 Beta 代码暗示:iPhone 12/Pro 不附赠免费 EarPods 耳机
IT之家9月30日消息 外媒 MacRumors 报道,此前消息称,苹果 iPhone 12 机型将不会在包装盒中附赠电源适配器或 EarPods 耳机,而 iOS 14.2 Beta 中的一个...
日期:09-30
realme 新旗舰 125W 充电器谍照曝光
IT之家 9 月 29 日消息 今天数码博主 @数码闲聊站 曝光了号称是 realme 新旗舰的 125W 充电器照片,支持 20V 6.25A 最高 125W 超级闪充。
日期:09-30