##Borrar esta linea y dejar la siguiente que permite que ésta página sea pública #acl BecariosGrupo:delete,read,write,admin All:read #format inline_latex <> = Calibración Multi-Cámara (How to) = /!\ Para descargar el proyecto : [[attachment:calibracion.tar.gz]] /!\ Para más información sobre el proyecto: [[LabElectronica/MultiCameraCalibration|Calibración de múltiples cámaras]]. == Requisitos == Para realizar una Calibración de múltiples cámaras, se requiere: un Data Set (Set de imágenes), donde el Fiducial (Patrón), sea visto al menos por un par de cámaras, osea que el Fiducial a detectar esté en un área de visión solapada. También son necesarios la matriz de calbración de la cámara y los coeficientes de distorsión de la lente obtenidos mediante una calibración intrínseca. Para realizar el Data Set se propone la utilización del script {{{Captura_multiCamera.py}}} incluído en el directorio '''CreacionDataSet''' del archivo adjunto [[attachment:calibracion.tar.gz]]. {{{Captura_multiCamera.py}}} crea en el directorio donde fue ejecutado, un directorio '''Capturas_[día]_[mes]_[año]-[índice]'''(''índice:por defecto comienza en 0, de encontrarse continúa la numeración''), que contiene directorios '''cam[índice]'''(''ïndice: identifica la cámara a la que pertenece el directorio''), estos últimos directorios contienen imágenes '''''img[índiceImg]_[índiceCam]''''' referente a las cámaras. El código del script posee un encabezado de comentario ''IP & INICIALIZACION'', dentro de este una variable tipo lista '''IPoDISP''' contiene las direcciónes IP (''Formato: http://...'') o DISPOSITIVOS (''/dev/video[índice]'') a utilizar. El usuario debe editar e ingresar el/los IP o DISPOSITIVOS que posea. Se considera una realización de 20 tomas mínimas. '''Utilización:''' {{{ $ python Captura_multiCamera.py }}} Presionar ESC para la toma de cada imagen. '''Modulos:''' ''CAM.py'', incluído en '''CreacionDataSet'''. ''Aclaración: La captura de imágenes para formar un data set puede realizarse con los medios que el usuario disponga, manteniendo como consideración los nombres de los directorios '''cam[índice]''' y archivos tipo imagen '''''img[índiceImg]_[índiceCam]''''', para el funcionamiento de el script de Calibración de múltiples cámaras.'' Para la obtención de la matriz de calibración y los coeficientes de distorsión se implementó el script {{{Calibración_Fid_Chessboard.py}}} incluído en el directorio '''CreacionDataSet''' del archivo adjunto [[attachment:calibracion.tar.gz]]. El script utiliza un conjunto de imágenes donde en su composición se observe un Fiducial (Patron) del tipo Chessboard [[attachment:Chessboard.png]], devolviendo al directorio de imágenes tres archivos con formato ''NumpyArray'' correspondientes a la matriz de calibración ('''mat_calib.npy'''), a los coeficientes de distorsión ('''coef_dist.npy''') y como referencia al error total de la calibración ('''Error_total.npy''') '''Utilización:''' {{{ $ python Calibracion_Fid_Chessboard.py -p -a -b -c -t }}} ||<:>'''Parámetros'''||<:>'''Descripción'''|| ||<:>-p||<:>Directorio donde se encuentran las ímagenes|| ||<:>-a||<:>N° de esquinas interiores verticales|| ||<:>-b||<:>N° de esquinas interiores horizontales|| ||<:>-c||<:>Dimension del cuadrado (Lado)|| ||<:>-t||<:>Formato de las imágenes sin considerar el punto(.) jpg,png,pnm|| ''Aclaración: la obtención de imágenes puede realizarse con {{{Captura_multiCamera.py}}}, donde el Fiducial se observe en diferentes posiciones y distancias. Como referencia se consideran 20 tomas mínimas por cámara a calibrar.'' == Calibración Extrínseca == Una vez obtenido el data set de imágenes se puede realizar la calibración extrínseca del conjunto de cámaras. Para ello, se implementó el script {{{calc_multi_ext.py}}} también presente en [[attachment:calibracion.tar.gz]] en el directorio CalibraciónExtrínseca. Para que el script {{{calc_multi_ext.py}}} funcione, se necesita un data set de imágenes generado por {{{Captura_multiCamera.py}}} ó al menos siguiendo el formato que se indicó anteriormente. Además, en los directorios '''cam[índice]''' debe incluirse las matrices de calibración intrínseca de cada cámara mediante los archivos '''mat_calib.npy''' y '''coef_dist.npy'''. === Módulos === Es necesario instalar los siguientes módulos: * Numpy * OpenCV 2.4.3 o superior * Matplotlib Los demás módulos importados vienen con el proyecto en [[attachment:calibracion.tar.gz]]. === Utilización === Para calcular las matrices de calibración extrínseca debe ejecutarse la siguiente línea: {{{ $ python calc_multi_ext.py -f [CHESS|CIRCLE|L1|L2] -W -H -S -p -v }}} ||<:>'''Parámetros'''||<:>'''Descripción'''|| ||-f||<(> Indica el tipo de fiducial presente en los data sets. Los valores permitidos son:|| ||'''CHESS''': en caso de utilizar un Chessboard.|| ||'''CIRCLE''': en caso de utilizar un patrón de círculos.|| ||'''L1''': en caso de usar un patrón L tamaño A3. || ||'''L2''': en caso de usar un patrón L tamaño A2.|| ||<:>-W|| N° de esquinas interiores horizontales en caso de usar un Chessboard ó la cantidad horizontal de círculos al usar patrón de círculos.|| ||<:>-H|| N° de esquinas interiores verticales en caso de usar un Chessboard ó la cantidad vertical de círculos al usar patrón de círculos.|| ||<:>-S|| Tamaño de los cuadrados del Chessboard ó la distancia vertical entre centros de círculo.|| ||<:>-p|| Path al directorio del data set.|| ||<:>-v|| Permite ver los resultados de la calibración extrínseca cámara-patrón.|| === Aclaraciones === * {{{calc_multi_ext.py}}} se adapta a data sets formados por cualquier cantidad de cámaras con cualquier cantidad de capturas. El requisito es que el fiducial pueda ser reconocido al menos en un par de imágenes. * El script soporta los siguientes tipos de figucial: 1. '''Chessboard''' [CHESS] [[attachment:Chessboard.png]] 2. '''Patrón de círculos''' [CIRCLE] [[attachment:Circle.png]] 3. '''Patrón L''' [L1|L2] [[attachment:Fid.png]] * La cámara 0 es utilizada como sistema de coordenadas global, es decir que los parámetros de las demás cámaras están referidos a ésta por defecto. En caso de necesitar referir las cámaras a un punto en particular, se deben incluir las líneas comentadas en el script, que inicializan la matriz '''Ho'''. La matriz '''Ho''' debe contener los parámetros extrínsecos de la cámara 0 respecto del punto de referencia global. * Las medidas de los cuadrados del chessboard o la distancia entre centro en el patrón de círculos, deben ingresarse mediante el parámetro {{{-S}}} en la misma unidad que se utilizó durante la calibración intrínseca de las cámaras. == Ejemplo == A continuación veremos un ejemplo de cómo utilizar el script de calibración extrínseca multicámara. Se usará el data set '''capturas_fid''' presente en el directorio '''Ejemplos'''. Este data set muestra un ejemplo de 3 cámaras dispuestas como se observa en la siguiente figura. || {{attachment:ej1_arreglo.jpg||width="600"}} || Por cada cámara se tomaron 5 capturas de un fiducial del tipo L1 en diferentes posiciones y orientaciones. Para verificar el funcionamiento del script ejecutamos la siguiente línea: {{{ $ python calc_multi_ext.py -f L1 -p ../Ejemplos/capturas_fid -v }}} Al incluir el parámetro {{{-v}}}, el script nos mostrará el resultado de la calibración extrínseca cámara-patrón de cada imagen. Así por ejemplo en la imagen '''img1_2''' el resultado es el siguiente: || {{attachment:img1_2.jpg||width="300"}} || {{{ Imagen: img1_2 Detectado: SI Traslacion: (-18.9981, -9.56605, -95.9049) Rotacion: (3.3622478363, -26.0702682598, -0.73424646005) }}} Al reconocer el patrón el script nos entrega la traslación y la rotación del patrón respecto del sistema de coordenadas de la cámara. La traslación es expresada en la misma unidad con que se realizó la calibración intrínseca, en este caso en cm. En cuanto a la rotación, se expresa en grados respecto de cada uno de los ejes de coordenadas. Al finalizar la ejecución del script, se mostrará una representación 3d de la posición y orientación relativa de las cámaras. || {{attachment:result1.png||width="600"}} || A su vez, imprimirá los siguientes resultados: {{{ ============================================================================================== PARAMETROS EXTRINSECOS: Camara 0: _Traslacion: T(0.0, 0.0, 0.0) --> error = [ 0. 0. 0.] _Rotacion: R(0.0, 0.0, 0.0) --> error = [ 0. 0. 0.] _H: [[1.0, 0.0, 0.0, 0.0], [0.0, 1.0, 0.0, 0.0], [0.0, 0.0, 1.0, 0.0], [0.0, 0.0, 0.0, 1.0]] ---------------------------------------------------------------------------------------------- Camara 1: _Traslacion: T(-55.6037, 0.67739, 23.1036) --> error = [ 0.24797127 2.2620616 0.83135331] _Rotacion: R(-2.92169, -23.575, -5.2606) --> error = [ 1.01368535 0.09017722 0.08395476] _H: [[0.9126772039092153, -0.0712668311567275, 0.40241938829421997, -55.6037025451660], [0.08403358830513508, 0.9963626919122888, -0.014134329778173749, 0.677389502525329], [-0.399948356050854, 0.04671682647271351, 0.9153462701557942, 23.10357093811035], [0.0, 0.0, 0.0, 1.0 ]] ---------------------------------------------------------------------------------------------- Camara 2: _Traslacion: T(57.8944, 1.87501, 22.0916) --> error = [ 0.43438557 0.92514062 0.32592562] _Rotacion: R(-3.55962, 20.5784, -1.75286) --> error = [ 0.62093771 0.07284754 0.34228492] _H: [[0.9357538808759571, -0.0523421659613863, -0.34874778985977173, 57.89437484741211], [0.028636666046206235, 0.9969361831958894, -0.07278878475074979, 1.875006437301635], [0.35148921295408053, 0.05812540991997393, 0.9343858091111414, 22.09160041809082], [0.0, 0.0, 0.0, 1.0 ]] ---------------------------------------------------------------------------------------------- }}} Nos entrega la estimación de la traslación, la rotación y la matriz homográfica de cada cámara respecto del sistema de coordenadas global. La traslación se expresa en la misma unidad con que se realizó la calibración intrínseca, en este caso en cm. Por su parte, la rotación, representa los grados de giro respecto de cada eje de coordenadas. Por último, los niveles de error son calculados en base a la varianza que tienen los parámetros extrínsecos, tomando los resultados de todas las capturas.