Jeffrey Cross
Jeffrey Cross

通往灵魂的门户 - EyeWriter

2003年,我的朋友托尼,又名涂鸦艺术家Tempt1,被诊断患有肌萎缩侧索硬化症,这是一种进行性疾病,除了他的眼睛外几乎完全瘫痪。为了帮助他继续创作艺术,我与一群软件开发人员和硬件黑客合作,包括免费艺术与技术(FAT),OpenFrameworks和涂鸦研究实验室的成员,以制作EyeWriter(eyewriter.org) ),一种低成本,开源的眼动追踪系统,允许Tempt1和其他ALS患者仅用眼睛吸引和控制计算机。

我们的目标是一个超级便宜的系统,几乎任何人都可以制作,几乎在任何地方。有商业和研究眼动追踪系统,但它们复杂而昂贵,价格高达10,000美元。我们限制了EyeWriter的设计,以强调低成本和易于构建而不是性能的其他方面。

设计

EyeWriter通过以受控方式照亮用户的眼睛并分析他的眼睛运动的视频图像来工作。对于相机,我们选择了一款PlayStation Eye(又名PS3 Eye),一款价值25美元的小型网络摄像头作为游戏系统配件出售。

PS3 Eye可捕获640×480 NTSC视频,并可对高灵敏度的红外线进行修改,这使得该相机成为多点触控黑客社区的最爱。然后,PS3 Eye通过USB将其视频输入计算机,然后由使用openFrameworks(openframeworks.cc)的C ++内置的EyeWriter应用程序捕获。

对于我们在2009年完成的第一台EyeWriter,我们将PS3 Eye相机放在一只眼睛的前面,将它安装到一对眼镜架前面的延伸部分上。该软件裁剪了视频图像,增强了对比度,并对其进行了阈值处理,以显示白色背景上的黑色瞳孔点。为了增加这种暗瞳效果,我们用安装在相机附近的2个近红外LED照亮了眼球。

软件将瞳孔的坐标定位在网络摄像头图像中,并使用地图将该位置与绘图刷需要位于用户计算机屏幕上的位置相关联。为了构建地图,用户进行了校准程序,在那里他移动了眼睛,直观地跟随屏幕周围出现的一系列点。

这1.0版本很简单并且有效,但只要用户的眼睛相对于屏幕保持静止。移动头部,然后关闭校准。因此我们决定构建一个更复杂的2.0版本,但允许更正常的头部移动。

EyeWriter 2.0

在EyeWriter 2.0中,相机固定在屏幕下方,而不是戴在眼镜架上。有3个红外照明器:摄像机镜头周围有16个红外LED环,屏幕两侧有两个8-LED照明器。我们攻击PS3 Eye以点击其VSYNC信号并将电信号馈入Arduino,Arduino用它来照射每个视频帧的照明器,在中心和两侧之间交替。在中央照明器打开的情况下,红外线从眼睛后部反射并产生与闪光摄影中看到的相同的发光“红眼”效果,但是在侧面照明器打开时,瞳孔看起来很暗。这使软件可以将瞳孔位置定位为图像中明暗交替的部分。

每个侧面发光器都会产生“闪烁”,其光线从眼球直接反射到相机中。通过跟踪两侧的闪烁位置以及瞳孔的中心,无论头部位于何处或面部转向哪个方向,系统都可以计算眼睛方向。

我在帕森斯设计学院的学生修改了EyeWriter软件,以便它可以在操作系统级别控制光标,而不仅仅是在绘图应用程序中。与任何按钮或其他点击输入一起,这将EyeWriter变成通用鼠标/触控板替代品。 EyeWriter 2.0的制造成本不到150美元,系统对系统的价格超过其价格的50倍。

EyeWriter赢得了奖项,并且受到了好评,但它并没有达到它可能受益的人数。我听过许多人想要一个他们喜欢的人的EyeWriter,但对于他们而言,制造一个仍然是一个很大的障碍。因此,我们与MakerBot Industries合作开发了一个套件,其中包括3D打印件以及构建EyeWriter 2.0所需的一切。我们希望在2012年的某个时候提供这个套件。

该套件目前面临的最大挑战是采购相机。我们想要一个比PS3 Eye更高级别的产品,具有相同类型的VSYNC输出引脚,价格不贵,并且不需要打开塑料外壳并将其与4个未使用的麦克风一起扔掉。欢迎提出建议。

有关如何构建EyeWriter 2.0的信息,请参见blog.makezine.com/errata/make-volume-29-web-extras-and-downloads/。

分享

发表评论