Diseño de un sistema de despaletización robótica guiada por visión 3D para materiales multicalibreRobot de extracción de material Brazo robótico Manipulador robóticoResumen: En la fabricación industrial y la logística, la despaletización de materiales mediante robots es una de las aplicaciones comunes. La despaletización de materiales es un escenario en el que mercancías de diferentes calibres (es decir, mercancías de diferentes tamaños, pesos o texturas) se cargan en palés para su entrega. Anteriormente, la despaletización por robot solo se aplicaba a la descarga de mercancías individuales y requería que las mercancías estuvieran dispuestas en un orden fijo, y el robot no tenía capacidad de percepción; El sistema de despaletización por robot guiado por visión descrito en este artículo está equipado con capacidad de percepción del entorno en tiempo real para guiar la acción de agarre, resolviendo así los problemas de tamaños variables de objetos a descargar y la colocación irregular de sistemas de despaletización de materiales de calibre múltiple. Palabras clave: reconocimiento de visión 3D, robot, paletizado híbrido, posicionamiento de objetos, algoritmo de despaletizado. En la fabricación industrial y la logística, se pueden utilizar varios robots industriales para optimizar el flujo de mercancías, y una de las aplicaciones comunes es la despaletización de materiales. La "despaletización robótica" generalmente se refiere al proceso de descarga secuencial de materiales de paletas utilizando brazos robóticos y puede usarse para reemplazar el trabajo manual simple pero pesado. En logística, existen escenarios en los que mercancías de diferentes calibres (es decir, diferentes tamaños, pesos o texturas) se entregan en cajas, como se muestra en la Figura 1.Sin embargo, los primeros sistemas robóticos de despaletización se controlaban principalmente manualmente para completar el agarre del robot, que solo era aplicable a la descarga de una única carga y requería que la carga estuviera dispuesta en un orden fijo, y el robot no tenía la capacidad de percepción para reaccionar ante cambios externos. Sin embargo, los sistemas de despaletización de materiales de calibre múltiple requieren que los robots tengan conciencia ambiental en tiempo real para guiar la acción de agarre porque los objetos a descargar son de tamaño variable y están colocados de manera irregular.Con el desarrollo de varios sensores ópticos, la tecnología de visión por computadora se ha introducido gradualmente en las tareas de agarre del robot para mejorar la capacidad del robot para adquirir información externa. Un sistema de despaletización de robot guiado por visión generalmente contiene cinco módulos, que son el módulo de adquisición de información de visión, el módulo de análisis y localización de objetos, el módulo de cálculo de la posición de agarre, el módulo de conversión de coordenadas ojo-mano y el módulo de planificación de movimiento, como se muestra en la Figura 2. Entre ellos , los primeros tres módulos son la parte principal del sistema de visión, responsable de adquirir y procesar información visual y proporcionar poses de objetos. Los dos últimos módulos se utilizan principalmente para proporcionar información de control al robot y completar la función de agarre. A continuación, presentaremos cada módulo, los métodos comunes y los casos de implementación.I. Módulo de adquisición de información visual.La función del módulo de adquisición de información visual es capturar información visual y proporcionar información para los pasos posteriores. En la actualidad, las entradas visuales comúnmente utilizadas incluyen imágenes RGB 2D, imágenes de nubes de puntos 3D e imágenes RGB-D 2D y 3D combinadas. Entre ellos, el agarre del brazo robótico asistido por visión basado en imágenes RGB 2D es actualmente una solución madura en la industria, que transforma el problema del agarre del robot en el problema de realizar la detección de objetivos de objetos o la segmentación de imágenes en imágenes RGB. Sin embargo, la visión 2D carece de información de escala absoluta de los objetos y sólo puede usarse en condiciones específicas, como escenarios con paletas fijas y tamaños de materiales conocidos. Para escenarios en los que se desconoce el calibre del material, se requiere que el módulo de visión proporcione al robot información precisa sobre el tamaño absoluto del objeto que se va a agarrar, de modo que solo se puedan visualizar imágenes de nubes de puntos 3D o imágenes RGB-D con una combinación de 2D y 3D. usado. En comparación con la información RGB, la información RGB-D contiene información de distancia espacial desde la cámara al objeto; En comparación con las imágenes de nubes de puntos 3D, la información RGB-D contiene información rica en texturas de colores. Por lo tanto, las imágenes RGB-D se pueden utilizar como entrada de información visual del sistema de despaletización de material de calibre múltiple.Módulo de posicionamiento y análisis de objetos.El módulo de análisis y posicionamiento de objetos recibe la entrada de datos del módulo de adquisición de información de visión, analiza los materiales presentes en la escena y obtiene información clave como su posición y pose, y luego ingresa esta información clave en el módulo de cálculo de postura de agarre. En términos generales, el problema de localización de materiales en un sistema de despaletización robótico se puede transformar en un problema de detección de objetivos o de segmentación de imágenes en el campo de visión. La solución de agarre del robot basada en visión RGB-D puede realizar primero la detección de objetivos 2D o la segmentación de imágenes 2D en la imagen RGB del material, y luego fusionar el mapa de profundidad para generar el tamaño absoluto del objeto y la postura de agarre; oRealice directamente la detección o segmentación de objetivos en el mapa de nube de puntos 3D. La siguiente será una breve introducción al trabajo relacionado.Detección de objetivos 1.2DLa entrada de la detección de objetivos 2D es la imagen RGB de la escena, y la salida es la clase y posición del objeto en la imagen, y la posición se da en forma de borde o centro. Los métodos para la detección de objetivos se pueden dividir en métodos tradicionales y métodos basados en aprendizaje profundo. Los métodos tradicionales de detección de objetivos generalmente utilizan una ventana deslizante para recorrer toda la imagen, y cada ventana se convierte en una región candidata. Para cada región candidata, primero se extraen características utilizando SIFT, HOG y otros métodos, y luego se entrena un clasificador para clasificar las características extraídas. Por ejemplo, el algoritmo DPM clásico utiliza SVM para clasificar las características HOG modificadas para lograr el efecto de detección de objetivos. El método tradicional tiene dos inconvenientes obvios: en primer lugar, recorrer toda la imagen con una ventana deslizante requiere mucho tiempo, lo que hace que la complejidad temporal del algoritmo sea alta y difícil de aplicar a escenarios a gran escala o en tiempo real; en segundo lugar, las funciones utilizadas a menudo deben diseñarse manualmente, lo que hace que dichos algoritmos dependan más de la experiencia y sean menos robustos.2. Segmentación de imágenes bidimensionalesLa segmentación de imágenes puede considerarse como una tarea de clasificación de imágenes a nivel de píxeles. Dependiendo del significado del resultado de la segmentación, la segmentación de imágenes se puede dividir en segmentación semántica y segmentación de instancias. La segmentación semántica clasifica cada píxel de una imagen en una categoría correspondiente, mientras que la segmentación de instancias no solo realiza una clasificación a nivel de píxel, sino que también diferencia diferentes instancias en función de categorías específicas. En relación con el cuadro delimitador de detección de objetivos, la segmentación de instancias puede ser precisa hasta los bordes de los objetos; En relación con la segmentación semántica, la segmentación de instancias necesita etiquetar diferentes individuos de objetos similares en el gráfico. En aplicaciones de despaletización, necesitamos extraer los bordes de los materiales con precisión para calcular la posición de agarre, por lo que debemos utilizar técnicas de segmentación de instancias. Las técnicas de segmentación de imágenes existentes se pueden dividir en métodos tradicionales y métodos basados en aprendizaje profundo. La mayoría de los métodos tradicionales de segmentación de imágenes se basan en la similitud o mutación de los valores de gris en una imagen para determinar si los píxeles pertenecen a la misma clase. Los métodos comúnmente utilizados incluyen métodos basados en la teoría de grafos, métodos basados en agrupaciones y métodos basados en detección de bordes. Los métodos basados en el aprendizaje profundo han mejorado sustancialmente la precisión de la segmentación de imágenes 2D en comparación con los métodos tradicionales. Los marcos típicos de redes neuronales profundas, como AlexNet, VGGNet, GoogleNet, etc., agregan una capa completamente conectada al final de la red para la integración de funciones, seguida de softmax para determinar la categoría de toda la imagen. Para resolver el problema de segmentación de imágenes, el marco FCN reemplaza estas capas completamente conectadas con capas deconvolucionales, haciendo que la salida de la red pase de una probabilidad unidimensional a una matriz con la misma resolución que la entrada, que es el trabajo pionero de aplicar aprendizaje profundo a la segmentación semántica.3. Detección de objetivos 3DLa detección de objetivos en 3D permite a los robots predecir y planificar con precisión su comportamiento y trayectorias calculando directamente la posición 3D de los objetos para evitar colisiones e infracciones. La detección de objetivos 3D se divide en cámara monocular, cámara binocular, cámara multiocular, escaneo LIDAR de superficie lineal, cámara de profundidad y detección de objetivos con cámara infrarroja según el tipo de sensor. En general, los sistemas estéreo/multivisión que consisten en cámaras multivisión o LiDAR permiten mediciones de nubes de puntos 3D más precisas, donde los métodos basados en múltiples vistas pueden utilizar el paralaje de imágenes de diferentes vistas para obtener mapas de profundidad; Los métodos basados en nubes de puntos obtienen información del objetivo a partir de nubes de puntos. En comparación, dado que los datos de profundidad de los puntos se pueden medir directamente, la detección de objetivos 3D basada en la nube de puntos es esencialmente un problema de delimitación de puntos 3D y, por lo tanto, es más intuitiva y precisa. En tercer lugar, el módulo de cálculo de la pose de captura.El módulo de cálculo de la postura de agarre utiliza la información de la postura de posición del objeto objetivo emitida desde el segundo módulo para calcular la postura de agarre del robot. Dado que a menudo hay múltiples objetivos agarrables en un sistema de despaletización de material de calibre múltiple, este módulo debería resolver los dos problemas de "cuál agarrar" y "cómo agarrar".El primer paso es resolver el problema "qué". El objetivo de este problema es seleccionar el mejor objetivo de rastreo entre muchos objetivos de rastreo, y el "mejor" aquí a menudo debe definirse según los requisitos reales. Específicamente, podemos cuantificar algunos indicadores que tienen un impacto en el juicio de rastreo de acuerdo con la situación real y luego priorizar estos indicadores.El segundo paso es resolver el problema de "cómoatrapar ". Podemos optar por analizar y calcular la postura de agarre mediante análisis mecánico, o podemos primero clasificar el objeto mediante el método de aprendizaje y luego seleccionar el punto de agarre de acuerdo con la clasificación, o hacer una regresión directa de la postura de agarre. Cuarto, el módulo de conversión de coordenadas mano-ojo.Con el tercer módulo hemos obtenido una postura de agarre factible. Sin embargo, la pose de agarre se basa en la pose en el sistema de coordenadas de la cámara, y la pose de agarre debe convertirse al sistema de coordenadas del robot antes de poder realizar la planificación del movimiento. En los sistemas de despaletización se suele utilizar la calibración ojo-mano para solucionar este problema. Dependiendo de la posición de fijación de la cámara, el método de calibración mano-ojo se puede dividir en dos casos. Una es que la cámara está fijada en el brazo del robot y la cámara se mueve junto con el brazo, llamado Ojo en mano, como se muestra en la Figura 3. En esta relación, la relación de posición entre la base del robot y la placa de calibración permanece constante. durante los dos movimientos del brazo del robot, y la cantidad resuelta es la relación de posición entre la cámara y el sistema de coordenadas del extremo del robot. El otro tipo de cámara está fijada en un soporte separado, llamado Eye-to-hand, como se muestra en la Figura 4. En este caso, la relación de actitud entre el extremo del robot y la placa de calibración sigue siendo la misma durante los dos movimientos de el brazo, y la solución es la relación de actitud entre la cámara y el sistema de coordenadas de la base del robot. Ambos casos eventualmente se transforman en un problema de solución con AX=XB, y la ecuación se puede transformar en una ecuación lineal usando el grupo de Lie y el álgebra de Lie para resolver las cantidades de rotación y traslación, respectivamente.Quinto. Módulo de planificación de movimientoEste módulo considera principalmente la cinemática, la dinámica, el análisis mecánico y la planificación del movimiento del robot para planificar una trayectoria de movimiento factible que no colisione con el entorno. Al multiplicar la postura de agarre en el sistema de coordenadas de la cámara obtenida por el módulo de cálculo de la postura de agarre con la matriz de conversión calibrada por el módulo de conversión de coordenadas ojo-mano, podemos obtener la postura de agarre en el sistema de coordenadas del brazo del robot. En base a esta postura, se puede realizar la planificación del movimiento y guiar el brazo robótico para completar la tarea de despaletización. Por lo tanto, la entrada del módulo de planificación de movimiento son las posiciones inicial y objetivo del brazo robótico, y la salida es la trayectoria de movimiento del brazo robótico. El algoritmo completo de planificación de movimiento se puede dividir en los siguientes tres pasos.Paso 1: resolución cinemática inversa. Para evitar problemas como las singularidades, la planificación del movimiento del brazo robótico generalmente se realiza en el espacio articular. Por lo tanto, primero debemos realizar la solución cinemática inversa basada en las poses de entrada para obtener los valores conjuntos correspondientes a las poses.Paso 2: Planificación del camino. Con el algoritmo de planificación de trayectoria, podemos obtener la trayectoria de movimiento del brazo robótico. El objetivo de este paso es doble: uno es evitar obstáculos, para garantizar que el brazo robótico no choque con otros objetos en la escena durante su movimiento; el segundo es mejorar la velocidad de operación para aumentar la eficiencia operativa del sistema. Al planificar una trayectoria de movimiento razonable, se puede acortar el tiempo de ejecución de un solo agarre del brazo robótico, mejorando así la eficiencia.Paso 3: interpolación de tiempo. Aunque ya podemos obtener una ruta de movimiento factible mediante la planificación de rutas, esta ruta se compone de un punto de ubicación tras otro. Cuando el brazo robótico corre por este camino, necesita mantener la aceleración y desaceleración, por lo que tendrá un impacto en la velocidad de carrera. Por esta razón, necesitamos realizar una interpolación temporal para obtener la información de velocidad, aceleración y tiempo para cada punto del camino a medida que el brazo robótico se mueve hacia ese punto. De esta forma, el brazo robótico puede funcionar de forma continua y suave, mejorando así la eficiencia. Sexto. Ejemplo de implementaciónCon base en la investigación anterior, en el escenario de identificación del material de la caja de piezas se puede utilizar un sistema de visión completo que consta de una cámara de profundidad 3D, un sistema de iluminación, una computadora y un software de procesamiento de visión para obtener información especial sobre objetos reales, y la información obtenida a través de esto. El sistema se puede utilizar para realizar algunas tareas especiales, como obtener la posición de la caja a través del sistema de visión, que puede guiar al robot para agarrar y obtener la información de la cantidad de la caja como calibración para la tarea. Los principales componentes de este sistema, como se muestra en la Figura 5.La cámara 3D y el sistema de iluminación se utilizan principalmente para imágenes fotográficas, donde la cámara 3D puede obtener datos de profundidad dentro de un rango determinado. Y la imagen digital está relacionada con el sistema de iluminación. La computadora, por otro lado, incluye dispositivos informáticos y de almacenamiento de uso general para guardar imágenes, procesar imágenes a través de software de visión especializado y también para redes.comunicación con otros sistemas. La visualización de imágenes facilita al operador operar el software de procesamiento de visión y monitorear el funcionamiento del sistema. El almacenamiento de gran capacidad se utiliza para el almacenamiento permanente o temporal de imágenes u otros datos. El software de visión especializado, por otro lado, incluye procesamiento de imágenes digitales, análisis de datos de imágenes y algunas funciones especiales. En términos generales, una cámara de profundidad 3D tiene una velocidad de cuadros de 1 a 30 fps, una resolución de imagen RGB de 640 × 480, 1280 × 960, especial 1920 × 1080, 2592 × 1944 y un rango de profundidad de aproximadamente 500 mm a aproximadamente 5000 mm. Y dependiendo del precio, hay diferente precisión y alcance. A continuación se muestra un ejemplo de una marca de cámara 3D con parámetros como se muestra en la Figura 6 y precisión como se muestra en la Figura 7.Con la cámara 3D, puede obtener imágenes RGB e imágenes de profundidad de escenas especiales y, de acuerdo con el procesamiento y análisis de estas imágenes (ver Figura 8), puede obtener información sobre la posición, el número y la información de los objetos en el escena.El cuadro rectangular en la Figura 9 es el mapa de posición de agarre del cuadro identificado después del procesamiento. El orden de arriba a la izquierda, abajo a la izquierda, arriba a la derecha y abajo a la derecha es "2, 3, 3, 2" respectivamente, es decir, la mano del robot agarrará dos cajas a la izquierda, tres cajas a la izquierda, tres cajas a la derecha y dos cuadros a la derecha según la información de posición proporcionada por el sistema de reconocimiento de imágenes.Séptimo. ResumenEn este artículo, presentamos el marco y los métodos comunes del sistema de despaletización de robots de material de calibre múltiple guiado por visión 3D y definimos varios módulos básicos que el marco debe tener, a saber, módulo de adquisición de información de visión, módulo de localización y análisis de objetos, módulo de cálculo de posición de agarre, módulo de conversión de coordenadas ojo-mano y módulo de planificación de movimiento, y explicó las tareas principales y los métodos comunes de cada módulo. En aplicaciones prácticas, se pueden utilizar diferentes métodos para implementar estos módulos según sea necesario sin afectar las funciones de otros módulos y del sistema en su conjunto.