Calibración Multi-Cámara (How to)

Para descargar el proyecto : calibracion.tar.gz

Para más información sobre el proyecto: Calibración de múltiples cámaras.

Requisitos

Para realizar una Calibración de múltiples cámaras, se requiere: un Data Set (Set de imágenes), donde el Fiducial (Patrón), sea visto al menos por un par de cámaras, osea que el Fiducial a detectar esté en un área de visión solapada. También son necesarios la matriz de calbración de la cámara y los coeficientes de distorsión de la lente obtenidos mediante una calibración intrínseca.

Para realizar el Data Set se propone la utilización del script Captura_multiCamera.py incluído en el directorio CreacionDataSet del archivo adjunto calibracion.tar.gz. Captura_multiCamera.py crea en el directorio donde fue ejecutado, un directorio Capturas_[día]_[mes]_[año]-[índice](índice:por defecto comienza en 0, de encontrarse continúa la numeración), que contiene directorios cam[índice](ïndice: identifica la cámara a la que pertenece el directorio), estos últimos directorios contienen imágenes img[índiceImg]_[índiceCam] referente a las cámaras. El código del script posee un encabezado de comentario IP & INICIALIZACION, dentro de este una variable tipo lista IPoDISP contiene las direcciónes IP (Formato: http://...) o DISPOSITIVOS (/dev/video[índice]) a utilizar. El usuario debe editar e ingresar el/los IP o DISPOSITIVOS que posea.

Se considera una realización de 20 tomas mínimas. Utilización:

$ python Captura_multiCamera.py

Presionar ESC para la toma de cada imagen.

Modulos: CAM.py, incluído en CreacionDataSet.

Aclaración: La captura de imágenes para formar un data set puede realizarse con los medios que el usuario disponga, manteniendo como consideración los nombres de los directorios cam[índice] y archivos tipo imagen img[índiceImg]_[índiceCam], para el funcionamiento de el script de Calibración de múltiples cámaras.

Para la obtención de la matriz de calibración y los coeficientes de distorsión se implementó el script Calibración_Fid_Chessboard.py incluído en el directorio CreacionDataSet del archivo adjunto calibracion.tar.gz. El script utiliza un conjunto de imágenes donde en su composición se observe un Fiducial (Patron) del tipo Chessboard Chessboard.png, devolviendo al directorio de imágenes tres archivos con formato NumpyArray correspondientes a la matriz de calibración (mat_calib.npy), a los coeficientes de distorsión (coef_dist.npy) y como referencia al error total de la calibración (Error_total.npy)

Utilización:

$ python Calibracion_Fid_Chessboard.py -p <path> -a <a> -b <b> -c <c> -t <format>

Aclaración: la obtención de imágenes puede realizarse con Captura_multiCamera.py, donde el Fiducial se observe en diferentes posiciones y distancias. Como referencia se consideran 20 tomas mínimas por cámara a calibrar.

Calibración Extrínseca

Una vez obtenido el data set de imágenes se puede realizar la calibración extrínseca del conjunto de cámaras. Para ello, se implementó el script calc_multi_ext.py también presente en calibracion.tar.gz en el directorio CalibraciónExtrínseca.

Para que el script calc_multi_ext.py funcione, se necesita un data set de imágenes generado por Captura_multiCamera.py ó al menos siguiendo el formato que se indicó anteriormente. Además, en los directorios cam[índice] debe incluirse las matrices de calibración intrínseca de cada cámara mediante los archivos mat_calib.npy y coef_dist.npy.

Módulos

Es necesario instalar los siguientes módulos:

• Numpy
• OpenCV 2.4.3 o superior
• Matplotlib

Los demás módulos importados vienen con el proyecto en calibracion.tar.gz.

Utilización

Para calcular las matrices de calibración extrínseca debe ejecutarse la siguiente línea:

$ python calc_multi_ext.py -f [CHESS|CIRCLE|L1|L2] -W <w> -H <h> -S <s> -p <path> -v

Aclaraciones

• calc_multi_ext.py se adapta a data sets formados por cualquier cantidad de cámaras con cualquier cantidad de capturas. El requisito es que el fiducial pueda ser reconocido al menos en un par de imágenes.

• El script soporta los siguientes tipos de figucial:

  1. Chessboard [CHESS] Chessboard.png

  2. Patrón de círculos [CIRCLE] Circle.png

  3. Patrón L [L1|L2] Fid.png

• La cámara 0 es utilizada como sistema de coordenadas global, es decir que los parámetros de las demás cámaras están referidos a ésta por defecto. En caso de necesitar referir las cámaras a un punto en particular, se deben incluir las líneas comentadas en el script, que inicializan la matriz Ho. La matriz Ho debe contener los parámetros extrínsecos de la cámara 0 respecto del punto de referencia global.

• Las medidas de los cuadrados del chessboard o la distancia entre centro en el patrón de círculos, deben ingresarse mediante el parámetro -S en la misma unidad que se utilizó durante la calibración intrínseca de las cámaras.

Ejemplo

A continuación veremos un ejemplo de cómo utilizar el script de calibración extrínseca multicámara. Se usará el data set capturas_fid presente en el directorio Ejemplos. Este data set muestra un ejemplo de 3 cámaras dispuestas como se observa en la siguiente figura.

Por cada cámara se tomaron 5 capturas de un fiducial del tipo L1 en diferentes posiciones y orientaciones.

Para verificar el funcionamiento del script ejecutamos la siguiente línea:

$ python calc_multi_ext.py -f L1 -p ../Ejemplos/capturas_fid -v

Al incluir el parámetro -v, el script nos mostrará el resultado de la calibración extrínseca cámara-patrón de cada imagen. Así por ejemplo en la imagen img1_2 el resultado es el siguiente:

Imagen: img1_2
Detectado: SI
Traslacion: (-18.9981, -9.56605, -95.9049)
Rotacion: (3.3622478363, -26.0702682598, -0.73424646005)

Al reconocer el patrón el script nos entrega la traslación y la rotación del patrón respecto del sistema de coordenadas de la cámara. La traslación es expresada en la misma unidad con que se realizó la calibración intrínseca, en este caso en cm. En cuanto a la rotación, se expresa en grados respecto de cada uno de los ejes de coordenadas.

Al finalizar la ejecución del script, se mostrará una representación 3d de la posición y orientación relativa de las cámaras.

A su vez, imprimirá los siguientes resultados:

==============================================================================================   
PARAMETROS EXTRINSECOS:

         Camara 0:
_Traslacion: T(0.0, 0.0, 0.0) --> error = [ 0.  0.  0.]
_Rotacion:   R(0.0, 0.0, 0.0) --> error = [ 0.  0.  0.]

_H: [[1.0, 0.0, 0.0, 0.0], 
     [0.0, 1.0, 0.0, 0.0], 
     [0.0, 0.0, 1.0, 0.0],
     [0.0, 0.0, 0.0, 1.0]]

----------------------------------------------------------------------------------------------
         Camara 1:
_Traslacion: T(-55.6037, 0.67739, 23.1036) --> error = [ 0.24797127  2.2620616   0.83135331]
_Rotacion:   R(-2.92169, -23.575, -5.2606) --> error = [ 1.01368535  0.09017722  0.08395476]

_H: [[0.9126772039092153,  -0.0712668311567275, 0.40241938829421997,   -55.6037025451660], 
     [0.08403358830513508, 0.9963626919122888,  -0.014134329778173749, 0.677389502525329],
     [-0.399948356050854,  0.04671682647271351, 0.9153462701557942,    23.10357093811035], 
     [0.0,                 0.0,                 0.0,                   1.0              ]]

----------------------------------------------------------------------------------------------
         Camara 2:
_Traslacion: T(57.8944, 1.87501, 22.0916) --> error = [ 0.43438557  0.92514062  0.32592562]
_Rotacion:   R(-3.55962, 20.5784, -1.75286) --> error = [ 0.62093771  0.07284754  0.34228492]

_H: [[0.9357538808759571,   -0.0523421659613863, -0.34874778985977173, 57.89437484741211],
     [0.028636666046206235, 0.9969361831958894,  -0.07278878475074979, 1.875006437301635],
     [0.35148921295408053,  0.05812540991997393, 0.9343858091111414,   22.09160041809082],
     [0.0,                  0.0,                 0.0,                  1.0              ]]

----------------------------------------------------------------------------------------------

Nos entrega la estimación de la traslación, la rotación y la matriz homográfica de cada cámara respecto del sistema de coordenadas global. La traslación se expresa en la misma unidad con que se realizó la calibración intrínseca, en este caso en cm. Por su parte, la rotación, representa los grados de giro respecto de cada eje de coordenadas.

Por último, los niveles de error son calculados en base a la varianza que tienen los parámetros extrínsecos, tomando los resultados de todas las capturas.