Steinman R. M. Role of eye movements in maintaining a phenomenally clear and stable world // Eye movements and psychological processes. N. J.:
Erlbaum. 1976. P. 73–83. Underwood G. (Ed.). Eye Guidance in Reading, Driving and Scene Perception.
N.Y.:Elsever, 1998. Walls G. L. The evolutionary history of eye movements //Vis. Res. 1962. V 2. P. 69–80. col1_0 Eye Movement Disorders. Oxford: Oxford University Press, 2008.
Технологии айтрекинга: от видеорегистрации до наложения треков на изображение
В. Н. Анисимов, А. В. Краснопёрое, Ф. Л. Серженко, Л. В. Терещенко
1
Введение
Нашим научным коллективом разработана установка для регистрации движений глаз на основе скоростной цифровой видеокамеры. Для обеспечения синхронизации компонентов системы, записи данных и их обработки создано оригинальное программное обеспечение. Преимуществом работы с нашей системой является доступ к полному циклу обработки регистрируемых данных, что позволяет быстро и эффективно решать задачи идентификации событий, а также визуально контролировать полученные результаты с помощью синхронного вывода видеозаписи изображения глаза. Также важной является возможность синхронизации регистрации треков движений глаз с внешними устройствами, например, с электроэнцефалографом или полиграфом. Известно, что подобная задача часто возникает при проведении научных или практических исследований и не всегда легко и корректно реализуется на основе решений, предлагаемых производителями айтрекеров.
2
Скоростная цифровая видеокамера Fastvideo
Движения глаз регистрируются монокулярно с использованием цифровой видеокамеры Fastvideo-ЗОО (Стандартная система скоростной видеозаписи, электронный ресурс) производства компании «Фаствидео», Россия. Камера позволяет вести видеосъемку с частотой до 300 кадров в секунду при разрешении 640x480 пикселей и разрядности аналого-цифрового преобразования 10 бит. В основе камеры используется монохромный сенсор «ШРА-300» (Скоростная матрица ШРА-300, электронный ресурс), максимум спектральной чувствительности которого лежит в области длин волн порядка 700 нм, поэтому при работе применяется инфракрасная (ИК) подсветка. ИК подсветка также позволяет добиться максимальной контрастности зрачка на регистрируемом изображении. Камера соединена специальным высокочастотным кабелем с установленной в персональном компьютере (ПК) платой ввода изображения PIXCI® EB1 (PIXCI® EB1 PCI Express xl Base Camera Link Frame Grabber, электронный ресурс). Плата обеспечивает передачу управляющих сигналов в камеру, прием в непрерывном режиме захваченных кадров от камеры и сохранение кадров в оперативной памяти ПК. Обмен данными между камерой и платой ввода осуществляется по протоколу Base Camera Link, поток данных достигает 960 Мегабит в секунду при настройках камеры по умолчанию (640x480,10 бит, 300 кадров в секунду).
3
Программное обеспечение
Для обеспечения синхронизации компонентов системы, записи данных и их обработки разработано оригинальное программное обеспечение. Оно включает в себя две программы: программное обеспечение Fastvideo Lab для скоростной видеосъемки (Программное обеспечение Fastvideo Lab для скоростной видеосъемки, электронный ресурс) и разработанная нами программа VisualStimulator.
3.1
Программное обеспечение Fastvideo Lab и параметры съемки
Программное обеспечение, поставляемое с камерой, дает пользователю широкий спектр возможностей для ведения высокоскоростной съемки. Доступны, в частности, настройка режимов работы камеры – изменение области сканирования сенсора, частоты захвата кадров, времени экспозиции, выделение фрагмента кадра и др., просмотр изображения на экране монитора, непрерывная запись видеопотока в память ПК или в файл на жесткий диск, чтение, просмотр и преобразование записанных данных.
Регистрация движений зрачка в ИК свете, направленном под углом к оптической оси камеры, основана на эффекте «темного зрачка», когда вторичное отражение от сетчатки глаза не поступает в камеру. Отображение зрачка на кадре является, как правило, самой затемненной областью, интенсивность пикселей в которой меньше, чем интенсивность пикселей в других частях кадра. Наиболее распространенное и простое определение центра положения зрачка сводится к усреднению х и у координат пикселей, интенсивность которых не превышает заранее выбранного порогового значения. Заметим, что точность этого метода ограничена наличием светодиодных бликов подсветки на роговице глаза, так как положение этих бликов может совпадать с положением зрачка. Кроме того, на точность могут влиять области с еще большим затемнением (ресницы, затемнения у краев кадра и др.). С другой стороны, результат зависит от выбора порога бинаризации изображения, а фиксированное значение порога делает этот метод практически неприменимым в режиме реального времени из-за изменений затемнения зрачка в процессе съемки.
Стандартное программное обеспечение камеры было дополнено автоматическим алгоритмом (фильтром) распознавания зрачка на изображении (Программное обеспечение для видео нистагмографии, электронный ресурс), изначально разработанным «Фаствидео» для медицинских систем видеонистагмографии на основе аналоговых ИК камер (Видео нистагмограф, электронный ресурс). Координаты зрачка на изображении определяются по его эллиптическому контуру, который является проекцией контура зрачка на плоскость сенсора камеры при любом направлении взора испытуемого. Заметим, что метод нечувствителен к бликам ИК подсветки и работает в случаях, когда зрачок частично прикрыт веками или ресницами (рисунок 1).
Рис. 4. Стимульное изображение с наложенными на него треками и выделенными фиксациями. Испытуемый сканирует взором детали интерьера и фигуру человека
У многих современных трекеров, предлагаемых на рынке, существует ряд ограничений, связанных с закрытыми алгоритмами анализа и удобством работы с конкретным программным обеспечением. Программа VisualStimulator дает исследователю максимально необходимый доступ к разным уровням обработки, начиная с потока исходных данных, на основе которых строятся треки, и заканчивая выделенными из них событиям (фиксации, саккады и моргания). В программе предусмотрены возможности изменения цветов накладываемых треков; существует возможность изменения цвета трека, саккад и фиксаций отдельно. Для большей наглядности линия, соответствующая саккаде, передается с разной толщиной: тонкая в том месте, где саккада начинается, и утолщающаяся в сторону конца саккады.
Возможность синхронного вывода видеозаписи и прорисовки треков взора, наложенных на изображение (рисунок 4) позволяет верифицировать моменты генерации событий (саккад и фиксаций) при проведении эксперимента. Этот метод дополняет преимущества использования открытых алгоритмов работы программно-аппаратного комплекса, которые, в свою очередь, также позволяют получать как массивы исходных координат центра зрачка в системе координат матрицы видеокамеры, так и в системе координат монитора, на котором предъявляются стимульные изображения. Большое внимание при разработке описанного программного обеспечения уделялось именно возможностям визуализации, что является очень важным аспектом при анализе полученных записей. Специальной опцией является то, что координаты треков или соответствующие им события могут «выгружаться» непосредственно за тот промежуток времени, который отражается на картинке в данный момент. Также возможно делать временные отступы от начала или конца записи, чтобы точно определить интересующий исследователя фрагмент записи.