Implementing Advanced Object Interaction in Rescue Robotics Using an Autonomous Manipulator Arm

Abstract

Manipulator arms in rescue robots remain a challenge in both competitions and real-life situations. In this paper, we present an autonomous in-house manipulator system specifically engineered to enrich object interaction in rescue robotics for the RoboCup Rescue Robot Competition 2024 as a contestant under the iRAP Robot Team. The manipulator is equipped with an RGB-D camera, providing pose estimation of objects by leveraging 3D models generated through prior scanning. YOLOv8 2D object detection is employed to identify objects in the scene, and cropped depth images are used to subsequently generate object point clouds. Iterative Closest Point (ICP) techniques, including point-to-plane, point-to-point, and color registration, are utilized in conjunction to provide accurate alignment between the object's point cloud and the pre-scanned 3D models. These techniques work together to minimize Root Mean Square Error (RMSE) during the alignment process, ensuring reliability of pose estimation before executing robotic movement actions. The system also uses IMU data from the RGB-D camera for manipulator impact detection. The entire system is developed within the Robot Operating System (ROS) framework, utilizing MoveIt for motion planning and control. The methodologies and innovations introduced in this work are adapted for deployment in the challenging and unexpected environments of the RoboCup Rescue Robot Competition.

แขนกลในหุ่นยนต์กู้ภัยยังคงเป็นความท้าทายทั้งในเวทีการแข่งขันและการใช้งานในสถานการณ์จริง ในงานวิจัยนี้ ได้นำเสนอระบบแขนกลอัตโนมัติ ที่ถูกออกแบบเป็นพิเศษเพื่อเสริมความสามารถในการโต้ตอบกับวัตถุสำหรับงานกู้ภัย โดยตั้งเป้าเข้าร่วมแข่งขัน RoboCup Rescue Robot Competition 2024 ภายใต้ทีม iRAP Robot ระบบแขนกลดังกล่าวติดตั้งกล้อง RGB-D สำหรับประเมินท่าทางและตำแหน่งของวัตถุ โดยอาศัยแบบจำลอง 3 มิติที่ได้มีการเก็บข้อมูลไว้ล่วงหน้า และตรวจจับวัตถุในภาพ 2 มิติโดยใช้โมเดล YOLOv8 จากนั้นนำภาพความลึกที่ถูกตัดเฉพาะส่วนจาการตรวจจับ มาใช้สร้าง point cloud ของวัตถุ ในขั้นตอนการหาตำแหน่งและท่าทางข้อมูล 3 มิติ มีการนำเทคนิค Iterative Closest Point (ICP) ทั้ง point-to-plane, point-to-point และ color registration มาประยุกต์ร่วมกัน เพื่อลดค่า ค่ารากที่สองของความคลาดเคลื่อนเฉลี่ยRoot Mean Square Error (RMSE) ในระหว่างการปรับตำแหน่งของ point cloud ของวัตถุให้ตรงกับแบบจำลอง 3 มิติที่มีอยู่ ยิ่งไปกว่านั้นระบบยังใช้ข้อมูล IMU จากกล้อง RGB-D เพื่อช่วยตรวจจับแรงกระแทกที่เกิดขึ้นกับแขนกล ระบบทั้งหมดพัฒนาภายใต้โครงสร้าง Robot Operating System (ROS) และใช้ MoveIt ในการวางแผนและควบคุมการเคลื่อนที่ ทั้งแนวทางและนวัตกรรมที่นำเสนอได้รับการปรับใช้งานเพื่อให้เหมาะสมกับสภาพแวดล้อมที่ท้าทายและคาดเดาได้ยากในการแข่งขัน RoboCup Rescue Robot Competition