АНАЛИЗ, ОБРАБОТКА И ПЕРЕДАЧА ДИНАМИЧЕСКИХ ИЗОБРАЖЕНИЙ В МОДЕЛЯХ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИА.В Тимофеев1, И.Е Гуленко2, М.В.Литвинов31 Санкт-Петербургский институт информатики и автоматизации РАН,199178, Санкт-Петербург, 14-я линия, д.39,E-mail:tav@iias.spb.su2 Санкт-Петербургский институт информатики и автоматизации РАН,199178, Санкт-Петербург, 14-я линия, д.39,E-mail: gig@yandex.ru3 Балтийский государственный технический университет “Военмех”,190005, Санкт-Петербург, 1-я Красноармейская, д.1,E-mail: sid-4d@inbox.ru Аннотация. Рассматриваются мульти-агентные модели виртуальной реальности и методы их построения на основе видеозахвата, анализа, обработки и передачи динамических изображений реальной сцены. Основные результаты связаны с разработкой моделей виртуальной реальности и человеко-машинного интерфейса для мульти-агентных робототехнических систем, ассистирующих нейрохирурга.Введение Многие системы виртуальной реальности ориентированы на органы чувств (сенсоры) человека. Однако в связи с быстрым развитием роботов и интеллектуализацией их систем управления возникает необходимость в разработке моделей виртуальной реальности (МВР) для робототехнических систем, основанных на их техническом зрении (телевизионные камеры, лазерные и ультразвуковые радары и т.п.) и других сенсорах [1]. Такие МВР позволяют повысить эффективность человеко-машинного интерфейса при совместном использовании роботов, компьютеров и телекоммуникационных систем для автоматизации различных областей деятельности человека (космическая и медицинская робототехника, телемедицина и т.п.).^ 1. Постановка задачиМногомерное пространство виртуальной реальности естественно разделить на ряд подпространств – геометрическое, физическое, сенсорное и т.п.[1]. Тогда общая задача построения МВР декомпозируется на более простые подзадачи построения МВР в каждом подпространстве. Например, задача построения геометрической МВР сводится к анализу и обработке 2D- или 3D-изображений, а динамика реальных видимых объектов описывается в физическом подпространстве (прямые и обратные модели кинематики и динамики, алгоритмы навигации и управления движением и т.п.) и визуализируется в виде динамических изображений. Проблемы и методы построения МВР и человеко-машинного интерфейса рассмотрим на примере медицинской мульти-агентной робототехнической системы (МАРС), предназначенной для ассистирования врачей в нейрохирургии [1,2]. Такие МАРС включают в себя медицинский и технический персонал, пациента и специальные средства автоматизации, называемые агентами. В роли внешних агентов выступают люди, а внутренними агентами МАРС являются интеллектуальные роботы и программные или программно-аппаратные комплексы, ассистирующие нейрохирурга. Агенты-роботы предназначены для манипулирования и точного наведения медицинского инструмента в оперируемую область мозга, а программные агенты служат для построения и обработки 3D-МВР виртуальным срезам мозга пациента по 2D-изображениям, получаемым с компьютерного томографа. Полная МВР включает в себя геометрическую модель операционной, томограммы мозга пациента и динамическую виртуальную модель нейрохирургического робота. Она необходима для разработки человеко-машинного интерфейса, обеспечивающего визуализацию рабочей зоны и взаимодействие нейрохирурга с ассистирующими агентами. Кроме того, МВР может передаваться по глобальной сети Internet в удалённые нейрохирургические центры для создания для врачей эффекта “присутствия и наблюдения” за ходом операции в реальном времени [6].^ 2. Динамическая виртуальная модель нейрохирургического робота3D-модель манипулятора нейрохирургического робота, связанного с пациентом, представлена на рис.1. При подготовке к хирургической операции врач указывает целевые точки или зоны на 2D-томограммах мозга. По этим точкам компьютерная программа, решая обратную задачу кинематики, определяет соответствующие целевые значения угловых и линейных координат для всех Рис.1звеньев манипулятора и передаёт их в систему управления и в виртуальную модель робота [1–4]. Это позволяет нейрохирургу провести виртуальную операцию с помощью динамической виртуальной модели робота.Параллельно с демонстрацией навигационных параметров-координат, направления и скорости движения медицинского инструмента осуществляется динамическая визуализация работы всех звеньев манипулятора. При этом оценивается время выполнения нейрохирургической операции в целом и каждого её этапа в отдельности.Во время визуальной демонстрации работы манипулятора хирург может наблюдать за траекторией медицинского инструмента в ходе операции. Эта траектория задаётся аналитически на основе анализа томограмм мозга. Благодаря этому в случае, когда инструмент перемещается в опасных для пациентах зонах, врач может запросить у программы другой вариант наведения инструмента в необходимую точку мозга по безопасной траектории. Разработка человеко-машинного интерфейса с использованием виртуальной модели робота и геометрической 3D-модели виртуальной реальности позволит хирургу контролировать ход операции и обеспечит его важной визуальной информацией [4,8]. ^ 3. Мульти-агентная модель виртуальной реальности Будем называть агентом- информатором программно-апппаратный комплекс, состоящий из цифровых телевизионных камер и программ формирования геометрической модели видимой части пациента, нейрохирургического робота и операционной в целом. Данные, собранные этим информационным агентом с помощью телевизионных камер, передаются агенту-визуализатору, который обрабатывает и визуализирует полученную информацию в форме 2D- и 3D-изображений геометрической МВР, отображаемой нейрохирургу чрез человеко-машинный интерфейс. Таким образом, информационный агент осуществляет видеозахват реальной сцены, а агент-визуализатор позволяет нейрохирургу и другим специалистам увидеть в любом ракурсе виртуальную модель всего, что происходит в операционной во время операции.Для сбора геометрических данных агент-информатор использует набор цифровых телекамер. При выборе количества камер и их установке необходимо учитывать следующее [7]:каждая информативная (ключевая) точка на сцене должна быть видна по меньшей мере на изображениях от двух камер (эффект стереопары);чем больше телекамер используется для сбора информации о реальной сцене, тем точнее могут быть получены пространственные координаты ключевых точек.^ 4. Видеозахват и отслеживание ключевых точекМетод видеозахвата сцены основан на выделении на объектах ключевых точек, которые помечаются световыми маркерами [7]. Светимость маркеров гарантирует, что даже на зашумленных 2D-изображениях, получаемых от некачественных цифровых телекамер либо при плохом освещении, ключевые точки будут выделяться на изображениях сцены областями соответствующего цвета. Использование маркеров различных цветов позволяет разбить всю совокупность объектов сцены на группы (цветовые кластеры). Так, например, для агента-робота можно использовать маркеры зеленого цвета, для пациента – синего и т.д. Благодаря этому значительно упрощается различение маркеров объектов различных типов в случае их близкого расположения на изображениях сцены, полученных от телевизионных камер. Для корректного и быстрого отслеживания всей совокупности ключевых точек на объектах виртуальной сцены необходимо задать класс требуемой точности. Это связано с тем, что многие объекты на сцене во время операции будут двигаться очень редко либо вообще не будут двигаться. Таким объектам можно задать низкий класс точности, в соответствии с которым подсистема отслеживания ключевых точек будет анализировать эти объекты реже и менее точно, чем другие. Для динамических объектов, таких как медицинский персонал и агент-робот, необходима большая точность и постоянное отслеживание изменений. Поэтому для подвижных объектов сцены задаётся наивысший класс точности.При идентификации объектов с низким классом точности используется небольшое количество маркеров. Поэтому их распознавание и сопоставление представляют собой довольно простые задачи. Однако при описании и анализе позы пациента или хирурга в динамике может потребоваться более 40 маркеров. В процессе операции нет необходимости анализировать все возможные позы пациента. Обычно достаточно знать только положение его торса и головы. Поэтому на практике достаточно использовать 16 маркеров.^ 5. Способы передачи моделей виртуальной реальностиСтруктура базы данных, по которой будет строиться МВР включает следующие данные:1)данные геометрии сцены: расположение всех ее объектов – операционного стола, пациента, робота, медицинского инструмента, обслуживающего персонала и т.п.;2)внутренние данные агента-робота: декартовые или обобщённые координаты манипулятора по различным степеням свободы и предполагаемая для операции целевая область мозга пациента;3)сопутствующие данные: результаты анализов, диагностики и наблюдений за пациентом;4)возможно использование речевого потока данных. Что касается второго и третьего наборов данных, они могут передаваться в том виде, в каком они реально получены. Проблема большого объема геометрического описания сцены решается введением ключевых точек. Сравнительные объемы данных при различных способах описания геометрии сцены представлены в следующей таблице:Таблица 1 Способописаниясцены Количествоточек Изображения с 4 камер (640х480) 1 228 800 Полигональная модель 10 000 – 50 000 Ключевые точки 50 – 200 Из этой таблицы следует, что при переходе к описанию геометрической модели ключевыми точками, можно с уверенностью говорить, что необходимую скорость передачи данных обеспечит сеть Интернет.ЗаключениеПредложенные методы сбора, обработки и передачи видеоинформации могут быть положены в основу разработки информативного и эффективного человеко-машинного интерфейса для МАРС различного назначения и, в частности, для нейрохирургических МАРС [2–9]. Важную роль при этом играют одно- и мульти-агентные МВР, позволяющие адекватно отобразить и визуализировать реальную динамическую сцену. Работа выполнена при частичной поддержке грантов РГНФ № 03-06-12019в, РФФИ № 03-01-00224 и госконтракта Минпромнауки РФ № 37.029.11.0027.Список литературы 1. Тимофеев А.В. Мульти-агентные робототехнические системы и модели виртуальной реальности. – Труды Первой Международной конференции по мехатронике и робототехнике МиР-2000 (Санкт-Петербург, 29 мая – 2 июня 2000 г.) 2. Тимофеев А.В., Мадани Ф., Широков Ф.С. Проектирование человеко-машинного интерфейса и мульти-агентных робототехнических систем для нейрохирургии. Сборник трудов Международной конференции “Региональная информатика – 2000” (декабрь 2000 г., Санкт-Петербург), с. 358–361.3. Гусева М.А., Тимофеев А.В. Задачи навигации и планирования движений нейрохирургических манипуляционных роботов. – Сб. трудов конференции “Клинический стереотаксис. Опыт и перспективы применения отечественного нейрохирургического манипулятора “Ореол” (5–6 декабря 2001 г., Санкт-Петербург) 4. Тимофеев А.В. Интеллектуальное и мульти-агентное управление робототехническими системами с использованием моделей виртуальной реальности. – Мехатроника, 2000, №3. С. 26–31.5. Timofeev A.V. Intelligent Control and Multi-Agent Navigation of Robots. - Proceeding of 16-th Annual Meeting IAR/ICD Workshop (Nov. 22–23, 2001, Strasbourg, France), pp. 123–128. 6. Тимофеев А.В., Остюченко И.В. Архитектура телемедицинской сети и задачи человеко-машинного взаимодействия в мульти-агентной нейрохирургической системе - Конференция “Клинический стереотаксис. Опыт и перспективы применения отечественного манипулятора ОРЕОЛ”. – Тезисы докладов конференции. (СПб, 5–6 декабря 2001 г.) ISBN 5-9000780-35-X. 7. Гуленко И.Е. Система видеозахвата и анализа движения – распознавание трансформаций и движения объекта. – Труды конференции “Новые информационные технологии” (Судак, Крым, 15–25 мая 2004 г.), с. 141-142. 8. C.Burghart, O.Schorr, S.Yigit, N.Hata, K.Chinzei, A.Timofeev, R.Kikinis, H.Wörn, U.Rembold. A Multi-Agent-System Architecture for Man-Machine-Interaction in Computer Aided Surgery. Proceedings of the 16th IAR Annual Meeting IAR/ICD Workshop (November 22-23,2001,Strasbourg, France), pp.117-122. 9. Тимофеев А.В., Литвинов М.В., Попов А.Б. Разработка человеко-машинного интерфейса на базе виртуальной модели нейрохирургического робота. – Труды международной конференции “Адаптивные роботы и общая теория систем”, (СПб, 8–11 июня 2004 г.), с. 16–19.