Принцип работы устройства Leap Motion. Краткий обзор.

Устройство Leap Motion появилось на рынке не так давно, но уже успело завоевать свою аудиторию пользователей, которая продолжает расширяться. Область применения данной технологии достаточно широкая и может ограничиваться лишь фантазией разработчика. Наиболее часто устройство применяют в игровой индустрии и сфере рекламы.

Устройство LeapMotion для управления рекламной голографической витриной

 

Минимальные системные требования:

Windows® 7 or Windows® 8

AMD Phenom™ II or Intel® Core™ i3

2 GB RAM

USB 2.0 Port

Internet Connection

Leap Motion работает исключительно на платформах Windows, MAC OS, Linux и судя по информации официального форума, разработчики данного устройства пока не планируют поддерживать мобильные платформы. Думаю это связано с тем, что мобильные устройства пока не достаточно мощные для работы с технологией Leap Motion. 

Область видимости устройства составляет 120 градусов в глубину (по оси Z) и  150 градусов в ширину (по оси X).

Высота видимости(по оси Y), максимально 25 см и ее можно изменять в настройках программного обеспечения, которое идет в комплекте.

 

Прежде чем начинать разработку под новое устройство, всегда необходимо иметь представление о том, как оно работает. Чем подробнее вы сможете разобраться в технических деталях, тем проще будет проектировать информационные системы с использованием этих устройств. Эти знания позволят Вам не только прогнозировать исключительные ситуации , при которых устройство физически невозможно использовать, но так же расширить область их применения путем аппаратной адаптации под конкретно поставленные задачи.

Рассматриваемое устройство Leap Motion технически не представляет из себя чего-то сверхсложного. Внутри находятся две инфракрасные камеры и три мощных инфракрасных светодиода.

Принцип работы устройства прост- инфракрасные(ИК) диоды подсвечивают руки, а инфракрасные камеры делают их захват передавая изображения программному обработчику Leap Motion.  На программном уровне в бой вступают математические алгоритмы, которые выделяют контуры рук, и отслеживают координаты пальцев. Начиная с версии SDK 2.0., Leap Motion научился выделять составные части руки, проще говоря алгоритм определяет кости рук и запястье, отслеживает их перемещение в пространстве. Таким образом открываются новые горизонты для расширения базы распознаваемых жестов.

Многие на форумах и при личной беседе задают вопрос, можно ли использовать Leap Motion или Kinect в качестве тепловизора? Большинство уверены, что ИК камера необходима для теплового выделения человека и это огромное заблуждение. Дело в том, что ИК камера и тепловизор-это абсолютно разные устройства. Оба этих устройства построены на принципе восприятия невидимого инфракрасного излучения, но вот спектр воспринимаемого излучения у них разный. Для производства матрицы тепловизоров используются другие материалы, которые более чувствительны и позволяют воспринимать ИК волны излучаемые даже при минимальных температурах. Именно по этой причине тепловизоры достаточно дорогие.

Если вы хотите использовать это устройство в качестве тепловизора, тогда справедливо задать вопрос, какой диапазон температур вы хотите отслеживать?
Опираясь на физический закон Вина, мы можем  рассчитать максимумы излучательной способности тел. Поскольку данная статья относится к другой теме, то расчеты приводить не буду, просто приведу несколько рассчитанных значений длин волн:

— Человеческое тело: 9300 нм 

— Огонь: 3000 нм

Температуру человеческого тела инфракрасная камера Leap Motion  и Microsoft Kinect не определит, однако пламя от зажигалки или нить лампы накаливания увидеть можно.

Проведем опыт. Возьмем сенсор Microsoft Kinect и плотно закроем инфракрасный излучатель металлической заглушкой. Далее запускаем программу, которая просто будет отображать на экран изображение с инфракрасной камеры. Экран черный, поскольку в комнате нет инфракрасного излучения. Однако стоит зажечь огонь зажигалки, как на экране появляется картинка инфракрасного излучения от огня.

 

Аналогично, если направить инфракрасную камеру на настольную лампу. Видно как светится лампа, однако свет от лампы не отражается на руке и предметах вокруг.

Матрица любой цифровой камеры чувствительна к ИК излучению. Для того чтобы сузить спектр ИК восприятия, применяют специальные ИК фильтры, которые есть в любой цифровой камере.
В доказательство моих слов, возьмите пульт от телевизора, направьте на него веб-камеру или камеру на своем мобильном телефоне, нажмите на кнопку пульта и в этот момент на экране своего устройства увидите свечение инфракрасного диода,  хотя на самом деле излучение диода находится за областью восприятия человеческим глазом. Поскольку в камере установлен фильтр ИК излучения- вы наблюдаете не такое яркое свечение диода. Но если удалить фильтр, то свет будет буквально ослеплять матрицу камеры.

Инфракрасные фильтры подразделяют на несколько типов:

cut-off filter — обрезает только инфракрасное излучение. Такие фильтры можно встретить в большинстве современной фототехники. Веб-камеры, фотоаппараты, камеры мобильных телефонов и прочее. Устанавливается фильтр между матрицей камеры и объективом. Визуально его можно отличить по цветному исполнению. Фильтр может быть голубого, розового и других цветов, а на свету может переливаться всеми цветами радуги. Эти характеристики зависят от того, какой спектр волн необходимо обрезать.

 

passing filter — пропускает только инфракрасное излучение, а остальные волны видимого спектра обрезает. Данный фильтр, обычно, черного цвета. Применяются такие фильтры при производстве тепловизоров, так же широко используют фотографы для техники съемки именуемой «инфракрасная фотография», а в быту данный тип фильтра известен нам, как солнцезащитные очки. Данный фильтр применяется в рассматриваемом нами устройстве Leap Motion. Черная, глянцевая поверхность данного устройства и есть IR passing filter. 

 

Таким образом, инфракрасная камера совместно с passing filter в LeapMotion необходима для того чтобы воспринимать только узкий инфракрасный спектр.

Но несмотря на то, что применение инфракрасной подсветки и физической фильтрации позволяют наиболее качественно подготовить изображения для дальнейшей программной обработки, данное устройство невозможно использовать при прямых солнечных лучах или при дополнительном инфракрасном освещении.  Если LeapMotion будет расположен возле окна, через которое прямые лучи солнца будут попадать на устройство, то устройство уведомит Вас о том, что не может распознать изображение. 

Распознавание рук происходит достаточно быстро, но скорость зависит от мощности компьютера на котором собственно и происходит обработка данных, полученных с двух камер.  

К недостаткам можно отнести невозможность распознавать жесты, которые требуют повернуть руку ребром к устройству.

В данном случае координаты руки будут сбиваться и дергаться на экране, что вызывает сложности при необходимости совершения каких-то точных действий. Уверен, использовать Leap Motion для управления роботом-сапером я бы не стал 😉 

Так же Leap Motion не распознает жесты в которых две руки соединяются вместе.

Приятно удивило обновление библиотек Leap Motion до второй версии. Заметно чувствуется, что алгоритмы распознавания стали более точными.

Если вы попали на эту статью в поисках ответа на вопрос: -«А стоит ли тратить время на технологию Leap Motion?», мой  вам ответ: — «определенно стоит!».
На сегодняшний день Leap Motion является отличным и доступным инструментом для бесконтактного управления программным обеспечением или устройствами, в которых управление основано на простейших жестах рук. Leap Motion открывает новые горизонты для разработчиков программного обеспечения. Нет сомнений, что в будущем это устройство будет развиваться и в новых версиях будут учтены и исправлены все текущие ошибки и недостатки.

 

Надеюсь информация оказалась для Вас полезной.