Robot Vision 2012

Experimentos realizados para la 4º edición de la competencia 'Robot Vision Challenge - ImageCLEF'.

Robot Vision 2012 Web Site

Tareas

• experimentos con pirámides espaciales

• usar el detector de transiciones con NGAUSS=64, 128 y 256
• buscar implementaciones y evaluar descriptores RGBD
• ver algunos descriptores de colores

Cosas que vamos a tener que probar

• Aumentar los conjuntos de datos con la versión espejada de las imágenes

• Algún pre-procesamiento para estabilizar el "motion blur" y el "flickering"
  • Debluring:

    • http://www.di.ens.fr/willow/research/deblurring/ (código en matlab)

    • http://grail.cs.washington.edu/projects/mdf_deblurring/

  • Flickering: se puede probar trabajar en aglún espacio de color que sea robusto frente a cambios afines en la iluminación
• Descriptores de colores

  • J. van de Weijer, C. Schmid, J. Verbeek, D. Larlus, Learning Color Names for Real-World Applications, IEEE TIP, 2009.

    http://lear.inrialpes.fr/people/vandeweijer/color_names.html

  • K. van de Sande, T. Gevers and C. Snoek, Evaluating Color Descriptors for Object and Scene Recognition, IEEE TPAMI, 2010

    http://koen.me/research/colordescriptors

Datasets

Imágenes de ejemplo

• En training1 el recorrido del robot es contrario al caso de training[23].
• Las imágenes de training3 son tomadas de noche

Training1

Training2

Training3

Repositorio con los scripts para replicar los experimentos

hg clone https://proyectos.ciii.frc.utn.edu.ar/hg/robot_vision_2012

Estructura de directorios

• RobotVision2012/DS_..._DSIFT_.../

  • trainingX/
    

    trainingX.log
    

    trainingX_lr/
    

    trainingX_lr.log
    

    _PCA_/
    

    • subspace.dat
      

      subspace.log
      

      80D/
      

      • trainingX/
        

        trainingX.log
        

        trainingX_lr/
        

        trainingX_lr.log
        

        _GMM_/
        

        • u64.gmm
          

          u64/
          

          • IFV.../
            

            • trainingX/
              

              trainingX.log
              

              trainingX_lr/
              

              trainingX_lr.log
              

              _SGD_tr12_te3_/
              

              • hinge_20_1e-4/
                

                • Corridor.lin
                  

                hinge_20_1e-4.training3
                

                hinge_20_1e-4.log
                

25 abril 2012

Experimento 1

Configuración

• Descriptores: SIFT sobre grilla regular (DSIFT de vlfeat), patchs 32x32, paso=8, L2-norm., D=128, 5 escalas, factor=0.707
• PCA: subespacio aprendido sobre training1+training2+training3, D=80

• GMM: aprendido sobre training1+training2+training3, para N = 8, 16 y 32

• IFV: gradientes resp. medias y varianzas, alpha=0.5, pnorm=2.0

• SGD: hinge loss, 20, 50 y 100 iteraciones, lambda = 1e-2, 1e-3 y 1e-4, training sobre training1 y testeando sobre training2. La clasificación se realizo con argmax.

Resultados

||1e-2|| 872 || 984 || 928 |||| 886 || 990 || 930 |||| 890 || 992 || 940 ||

experimento_1_25_abril_2012.txt

26 abril 2012

Experimento 1

Configuración

• Igual que el experimento anterior, pero se agrego 64 gaussianas.

• SGD: hinge loss, 20 iteraciones, lambda = 1e-4, training sobre training1 o training2 y testeando siempre sobre training3. La clasificación se realizo con argmax y con thr=-0.1.

Resultados

experimento_1_train1_val3_argmax_26_abril_2012.txt experimento_1_train1_val3_-0.1_26_abril_2012.txt experimento_1_train2_val3_argmax_26_abril_2012.txt experimento_1_train2_val3_-0.1_26_abril_2012.txt

3 mayo 2012

Experimento 1

Se realiza una prueba con distintos valores de DSIFT_STEP (8 y 16) y aumento el conjunto de entrenamiento haciendo un flip left-right de las imágenes antes de calcular DSIFT. Flip=0, indica sin aumentar el conjunto; Flip=1 indica aumentando el conjunto de entrenamiento con las imágenes flipeadas. Al final de este experimento se muestra la configuración que resulta más apropiada.

Configuración

• SGD LBD=1e-4, 20 iteraciones

• Using argmax for classification

Resultados

Flip=0

• DSIFT step=8

• DSIFT step=16

Flip=1

• DSIFT step=8

• DSIFT step=16

results_3_de_mayo_2012.tar.gz

• Configuración: 256 Gaussianas, DSIFT step=8, flip=1

4 mayo 2012

Experimento 1

Se prueba oscureciendo las imágenes de entrenamiento del clasificador. El oscurecimiento se realiza multiplicando las intensidades de los pixeles de las imágenes por un factor menor a 1. Se probo con factores de 0.33 y 0.5. En este experimento no se actualizó el modelo .gmm con los nuevos descriptores con flip y oscurecidos.

Configuración

• SGD LBD=1e-4, 20 iteraciones, 256 Gaussianas, DSIFT step=8, flip=1

• Using argmax for classification

Resultados

5 mayo 2012

Experimento 1

Se prueba oscureciendo las imágenes de entrenamiento del clasificador. El oscurecimiento se realiza multiplicando las intensidades de los pixeles de las imágenes por un factor menor a 1. Se probo con factores de 0.33 y 0.5. En este experimento si se actualizó el modelo .gmm con los nuevos descriptores generados con flip y con oscurecimiento.

Configuración

• SGD LBD=1e-4, 20 iteraciones, 256 Gaussianas, DSIFT step=8, flip=1

• Using argmax for classification

Resultados

7 mayo 2012

Experimento 1

Se prueba utilizando feature augmentation. En este experimento si se actualizó el modelo .gmm con los descriptores generados con flip de las imágenes. Con aug=1 o aug=0 se indica el uso o no de feature augmentation respectivamente.

Configuración

• SGD LBD=1e-4, 20 iteraciones, 64 Gaussianas, DSIFT step=8, flip=[0,1]

• Using argmax for classification

Resultados

• Comparación usando en ambos casos imágenes de entrenamiento originales y flipeadas, pero en el primer caso entrenando el modelo .gmm solo en las imágenes originales (gmm_flip=0) y en el segundo caso utilizando las imágenes originales y las flipeadas (gmm_flip=1). No se usó feature augmentation.

8 mayo 2012

Experimento 1

Se prueba utilizando feature augmentation. En este experimento si se actualizó el modelo .gmm con los descriptores generados con flip de las imágenes. Con aug=1 o aug=0 se indica el uso o no de feature augmentation respectivamente.

Configuración

• SGD LBD=1e-4, 20 iteraciones, 128 Gaussianas, DSIFT step=8, flip=[0,1]

• Using argmax for classification

Resultados

9 mayo 2012

Experimento 1

Se prueba utilizando pirámides espaciales. Las configuraciones usadas son "sp1x1,lsf=0,gsf=0" (spyr=0), "sp1x1,sp1x3,lsf=0,gsf=0" (spyr=1) y "sp1x1,sp1x3,lsf=0.33,gsf=0.33" (spyr=2).

Configuración

• SGD LBD=1e-4, 20 iteraciones, 64 Gaussianas, DSIFT step=8, flip=[0,1]

• Using argmax for classification

Resultados

11 mayo 2012

Experimento 1

Se prueba utilizando opponent SIFT. El software utilizado para calcular los descriptores es colorDescriptor

Configuración

• Descriptor: OPP_SIFT, step=16, sampling_scale=1.6
• SGD LBD=1e-4; 20 iteraciones; 16, 32 y 64 Gaussianas; flip=0

• Using argmax for classification

Resultados