eBay создала новую технологию под названием «HeadGaze», которая отслеживает движения головы пользователя с помощью камеры TrueDepth iPhone X и ARKit, позволяя ему перемещаться по eBay без прикосновения к экрану. Технология была создана Муратомчен Чичеком, стажером eBay с нарушениями моторики, который искал способ самостоятельно совершать покупки в Интернете.

Команда eBay разработала модель, которая отслеживает голову пользователя с помощью 3D-информации от ARKit, создавая виртуальный курсор, который следует за движением головы во всех направлениях. Затем определенные кнопки на экране могут активироваться в зависимости от того, как долго курсор находится в одной точке. Эти кнопки могут выполнять такие действия, как прокрутка вниз, переход на другую страницу, выбор товара для покупки и многое другое, и все это без прикосновения к экрану.

Чичек говорит, что модульная конструкция кода технологии позволит разработчикам «легко интегрировать» функции HeadGaze в существующие или будущие приложения:

В этом году в рамках моего проекта стажировки в eBay мы с моей командой разработали HeadGaze — многоразовую технологическую библиотеку, которая отслеживает движения головы на вашем iPhone X, и с сегодняшнего дня эта технология доступна в виде открытого исходного кода на GitHub.com. Первая в своем роде, эта технология использует Apple ARKit и камеру iPhone X для отслеживания движений вашей головы, так что вы можете легко перемещаться по телефону, не используя рук.

HeadGaze позволяет вам прокручивать и взаимодействовать с вашим телефоном с помощью лишь легких движений головы. Подумайте обо всех способах, которыми это может быть реализовано. Устали пытаться прокручивать рецепт на экране телефона с жирными пальцами во время готовки? Слишком грязно, чтобы следовать инструкциям в руководстве на вашем телефоне, пока вы возитесь с двигателем автомобиля под капотом? Слишком холодно, чтобы снять перчатки, чтобы воспользоваться телефоном?

eBay разработала приложение под названием «HeadSwipe» как способ тестирования технологии HeadGaze. HeadSwipe ориентирован на просмотр и покупку товаров в разделе скидок eBay и может управляться полностью с помощью движений головы на iPhone X. Как HeadGaze, так и HeadSwipe доступны в виде открытого исходного кода на GitHub.

Далее команда рассматривает технологию отслеживания движений глаз и потенциально объединение этих двух возможностей в будущих приложениях.