Исследователи из Токийского университета науки разработали новую систему компьютерного зрения, которая позволяет роботам точно захватывать прозрачные и отражающие объекты без использования датчиков глубины. Технология под названием HEAPGrasp решает давнюю проблему автоматизации работы со стеклом, блестящим металлом и прозрачным пластиком.
Обработка таких материалов традиционно оставалась серьезным вызовом для робототехники, поскольку они искажают или сбивают с толку обычные 3D-сенсорные системы. Это часто требовало человеческого вмешательства и замедляло операции на производстве и в логистике.
Фото: Interesting Engineering
«Традиционно прозрачные или зеркальные объекты было нестабильно обнаруживать с помощью датчиков глубины, что затрудняло автоматический захват роботами и в конечном итоге приводило к вмешательству человека», – объяснил Шого Араи, один из разработчиков системы.
Вместо специализированных датчиков система использует стандартную RGB-камеру для захвата изображений с нескольких углов. Она извлекает силуэты объектов и восстанавливает их 3D-форму с помощью техники Shape from Silhouette, которая остается стабильной даже при работе с прозрачными или отражающими поверхностями.
Система начинается с разделения объектов от фона с помощью семантической сегментации. Глубокое обучение классифицирует каждый пиксель изображения, изолируя объекты перед их реконструкцией в трех измерениях.
Для оптимизации процесса исследователи добавили систему планирования на основе глубокого обучения, которая определяет наиболее эффективный путь камеры, сокращая ненужное движение при сохранении точности.
Команда протестировала HEAPGrasp на реальной роботизированной установке в 20 сценариях с различными комбинациями прозрачных, непрозрачных и отражающих объектов. Система стабильно превосходила существующие методы захвата.
HEAPGrasp достигла 96% успеха при использовании одной камеры, одновременно сократив движение камеры на 52% и уменьшив время выполнения на 19% по сравнению с традиционными подходами.
«Наш подход обеспечивает точное 3D-измерение объектов при минимизации движения камеры и времени выполнения», – сказал Гинга Кеннис, соавтор исследования.
Способность работать со стандартными камерами и существующим оборудованием может упростить внедрение системы в различных отраслях, таких как логистика, обработка пищевых продуктов и производство, где часто встречаются смешанные материалы.
Исследование было опубликовано в журнале IEEE Robotics and Automation Letters. Разработка представляет собой значительный шаг вперед в автоматизации работы с материалами, которые ранее были недоступны для роботизированной обработки.
Источник: Interesting Engineering
Оцените новость 0 0 0 0 0 0 0
- Heapgrasp
- Роботозрение
- Компьютерноезрение
- Автоматизация
- Глубокоеобучение
- Rgbкамера