Bienvenido: Ingresar

Por favor ingresa primero al sistema.

Quitar mensaje
location: Vision / MultiCameraCalibration

Calibración Multi-Cámara (How to)

/!\ Para descargar el proyecto : calibracion.tar.gz

/!\ Para más información sobre el proyecto: Calibración de múltiples cámaras.

Requisitos

Para realizar una Calibración de múltiples cámaras, se requiere: un Data Set (Set de imágenes), donde el Fiducial (Patrón), sea visto al menos por un par de cámaras, osea que el Fiducial a detectar esté en un área de visión solapada. También son necesarios la matriz de calbración de la cámara y los coeficientes de distorsión de la lente obtenidos mediante una calibración intrínseca.

Para realizar el Data Set se propone la utilización del script Captura_multiCamera.py incluído en el directorio CreacionDataSet del archivo adjunto calibracion.tar.gz. Captura_multiCamera.py crea en el directorio donde fue ejecutado, un directorio Capturas_[día]_[mes]_[año]-[índice](índice:por defecto comienza en 0, de encontrarse continúa la numeración), que contiene directorios cam[índice](ïndice: identifica la cámara a la que pertenece el directorio), estos últimos directorios contienen imágenes img[índiceImg]_[índiceCam] referente a las cámaras. El código del script posee un encabezado de comentario IP & INICIALIZACION, dentro de este una variable tipo lista IPoDISP contiene las direcciónes IP (Formato: http://...) o DISPOSITIVOS (/dev/video[índice]) a utilizar. El usuario debe editar e ingresar el/los IP o DISPOSITIVOS que posea.

Se considera una realización de 20 tomas mínimas. Utilización:

$ python Captura_multiCamera.py

Presionar ESC para la toma de cada imagen.

Modulos: CAM.py, incluído en CreacionDataSet.

Aclaración: La captura de imágenes para formar un data set puede realizarse con los medios que el usuario disponga, manteniendo como consideración los nombres de los directorios cam[índice] y archivos tipo imagen img[índiceImg]_[índiceCam], para el funcionamiento de el script de Calibración de múltiples cámaras.

Para la obtención de la matriz de calibración y los coeficientes de distorsión se implementó el script Calibración_Fid_Chessboard.py incluído en el directorio CreacionDataSet del archivo adjunto calibracion.tar.gz. El script utiliza un conjunto de imágenes donde en su composición se observe un Fiducial (Patron) del tipo Chessboard Chessboard.png, devolviendo al directorio de imágenes tres archivos con formato NumpyArray correspondientes a la matriz de calibración (mat_calib.npy), a los coeficientes de distorsión (coef_dist.npy) y como referencia al error total de la calibración (Error_total.npy)

Utilización:

$ python Calibracion_Fid_Chessboard.py -p <path> -a <a> -b <b> -c <c> -t <format>

Parámetros

Descripción

-p

Directorio donde se encuentran las ímagenes

-a

N° de esquinas interiores verticales

-b

N° de esquinas interiores horizontales

-c

Dimension del cuadrado (Lado)

-t

Formato de las imágenes sin considerar el punto(.) jpg,png,pnm

Aclaración: la obtención de imágenes puede realizarse con Captura_multiCamera.py, donde el Fiducial se observe en diferentes posiciones y distancias. Como referencia se consideran 20 tomas mínimas por cámara a calibrar.

Calibración Extrínseca

Una vez obtenido el data set de imágenes se puede realizar la calibración extrínseca del conjunto de cámaras. Para ello, se implementó el script calc_multi_ext.py también presente en calibracion.tar.gz en el directorio CalibraciónExtrínseca.

Para que el script calc_multi_ext.py funcione, se necesita un data set de imágenes generado por Captura_multiCamera.py ó al menos siguiendo el formato que se indicó anteriormente. Además, en los directorios cam[índice] debe incluirse las matrices de calibración intrínseca de cada cámara mediante los archivos mat_calib.npy y coef_dist.npy.

Módulos

Es necesario instalar los siguientes módulos:

Los demás módulos importados vienen con el proyecto en calibracion.tar.gz.

Utilización

Para calcular las matrices de calibración extrínseca debe ejecutarse la siguiente línea:

$ python calc_multi_ext.py -f [CHESS|CIRCLE|L1|L2] -W <w> -H <h> -S <s> -p <path> -v

Parámetros

Descripción

-f

Indica el tipo de fiducial presente en los data sets. Los valores permitidos son:

CHESS: en caso de utilizar un Chessboard.

CIRCLE: en caso de utilizar un patrón de círculos.

L1: en caso de usar un patrón L tamaño A3.

L2: en caso de usar un patrón L tamaño A2.

-W

N° de esquinas interiores horizontales en caso de usar un Chessboard ó la cantidad horizontal de círculos al usar patrón de círculos.

-H

N° de esquinas interiores verticales en caso de usar un Chessboard ó la cantidad vertical de círculos al usar patrón de círculos.

-S

Tamaño de los cuadrados del Chessboard ó la distancia vertical entre centros de círculo.

-p

Path al directorio del data set.

-v

Permite ver los resultados de la calibración extrínseca cámara-patrón.

Aclaraciones

Ejemplo

A continuación veremos un ejemplo de cómo utilizar el script de calibración extrínseca multicámara. Se usará el data set capturas_fid presente en el directorio Ejemplos. Este data set muestra un ejemplo de 3 cámaras dispuestas como se observa en la siguiente figura.

ej1_arreglo.jpg

Por cada cámara se tomaron 5 capturas de un fiducial del tipo L1 en diferentes posiciones y orientaciones.

Para verificar el funcionamiento del script ejecutamos la siguiente línea:

$ python calc_multi_ext.py -f L1 -p ../Ejemplos/capturas_fid -v

Al incluir el parámetro -v, el script nos mostrará el resultado de la calibración extrínseca cámara-patrón de cada imagen. Así por ejemplo en la imagen img1_2 el resultado es el siguiente:

img1_2.jpg

Imagen: img1_2
Detectado: SI
Traslacion: (-18.9981, -9.56605, -95.9049)
Rotacion: (3.3622478363, -26.0702682598, -0.73424646005)

Al reconocer el patrón el script nos entrega la traslación y la rotación del patrón respecto del sistema de coordenadas de la cámara. La traslación es expresada en la misma unidad con que se realizó la calibración intrínseca, en este caso en cm. En cuanto a la rotación, se expresa en grados respecto de cada uno de los ejes de coordenadas.

Al finalizar la ejecución del script, se mostrará una representación 3d de la posición y orientación relativa de las cámaras.

result1.png

A su vez, imprimirá los siguientes resultados:

==============================================================================================   
PARAMETROS EXTRINSECOS:

         Camara 0:
_Traslacion: T(0.0, 0.0, 0.0) --> error = [ 0.  0.  0.]
_Rotacion:   R(0.0, 0.0, 0.0) --> error = [ 0.  0.  0.]

_H: [[1.0, 0.0, 0.0, 0.0], 
     [0.0, 1.0, 0.0, 0.0], 
     [0.0, 0.0, 1.0, 0.0],
     [0.0, 0.0, 0.0, 1.0]]

----------------------------------------------------------------------------------------------
         Camara 1:
_Traslacion: T(-55.6037, 0.67739, 23.1036) --> error = [ 0.24797127  2.2620616   0.83135331]
_Rotacion:   R(-2.92169, -23.575, -5.2606) --> error = [ 1.01368535  0.09017722  0.08395476]

_H: [[0.9126772039092153,  -0.0712668311567275, 0.40241938829421997,   -55.6037025451660], 
     [0.08403358830513508, 0.9963626919122888,  -0.014134329778173749, 0.677389502525329],
     [-0.399948356050854,  0.04671682647271351, 0.9153462701557942,    23.10357093811035], 
     [0.0,                 0.0,                 0.0,                   1.0              ]]

----------------------------------------------------------------------------------------------
         Camara 2:
_Traslacion: T(57.8944, 1.87501, 22.0916) --> error = [ 0.43438557  0.92514062  0.32592562]
_Rotacion:   R(-3.55962, 20.5784, -1.75286) --> error = [ 0.62093771  0.07284754  0.34228492]

_H: [[0.9357538808759571,   -0.0523421659613863, -0.34874778985977173, 57.89437484741211],
     [0.028636666046206235, 0.9969361831958894,  -0.07278878475074979, 1.875006437301635],
     [0.35148921295408053,  0.05812540991997393, 0.9343858091111414,   22.09160041809082],
     [0.0,                  0.0,                 0.0,                  1.0              ]]

----------------------------------------------------------------------------------------------

Nos entrega la estimación de la traslación, la rotación y la matriz homográfica de cada cámara respecto del sistema de coordenadas global. La traslación se expresa en la misma unidad con que se realizó la calibración intrínseca, en este caso en cm. Por su parte, la rotación, representa los grados de giro respecto de cada eje de coordenadas.

Por último, los niveles de error son calculados en base a la varianza que tienen los parámetros extrínsecos, tomando los resultados de todas las capturas.