1322013-08-10 22:52:45Jaarac1312012-07-02 22:35:51Jaarac1302012-07-02 21:56:38Jaarac1292012-07-02 21:31:01Jaarac1282012-07-02 21:16:51Jaarac1272012-07-02 20:50:01Jaarac1262012-07-02 20:48:34Jaarac1252012-07-02 20:48:12Jaarac1242012-07-02 20:08:57Jaarac1232012-07-02 19:25:51Jaarac1222012-07-02 19:12:22Jaarac1212012-07-02 18:34:13Jaarac1202012-07-02 18:29:11Jaarac1192012-07-02 18:23:07Jaarac1182012-07-02 18:19:42Jaarac1172012-07-02 18:07:58Jaarac1162012-06-14 20:11:32JorgeSanchez1152012-06-14 20:11:05JorgeSanchez1142012-06-14 19:37:11Jaarac1132012-06-14 19:32:53Jaarac1122012-06-14 18:43:30Jaarac1112012-06-14 18:42:10Jaarac1102012-06-14 16:42:18Jaarac1092012-06-14 12:59:20Jaarac1082012-06-14 12:50:02Jaarac1072012-06-14 12:49:24Jaarac1062012-06-14 12:38:38Jaarac1052012-06-14 12:07:08Jaarac1042012-06-14 01:34:32Jaarac1032012-06-14 01:22:18Jaarac1022012-06-14 00:18:51Jaarac1012012-06-13 18:41:18Jaarac1002012-06-13 18:19:08Jaarac992012-06-13 17:49:14Jaarac982012-06-04 13:04:32Jaarac972012-06-04 12:26:02Jaarac962012-06-04 12:13:48Jaarac952012-06-04 11:37:06Jaarac942012-06-04 11:34:32Jaarac932012-06-04 11:05:43Jaarac922012-06-01 16:47:29Jaarac912012-06-01 16:46:54Jaarac902012-06-01 16:45:42Jaarac892012-06-01 14:37:18Jaarac882012-06-01 14:36:19Jaarac872012-05-31 16:29:10Jaarac862012-05-31 14:18:41Jaarac852012-05-31 14:16:27Jaarac842012-05-31 14:09:51Jaarac832012-05-31 11:06:24Jaarac822012-05-31 11:05:35Jaarac812012-05-30 18:57:00Jaarac802012-05-30 18:55:34Jaarac792012-05-30 18:52:01Jaarac782012-05-29 17:55:20Jaarac772012-05-29 16:38:24Jaarac762012-05-24 11:05:26Jaarac752012-05-18 18:26:31Jaarac742012-05-18 18:16:30Jaarac732012-05-18 15:39:44Jaarac722012-05-14 11:55:00Jaarac712012-05-11 20:36:26Jaarac702012-05-11 19:47:06Jaarac692012-05-11 19:44:58Jaarac682012-05-11 15:09:37Jaarac672012-05-11 12:28:14Jaarac662012-05-09 15:10:08Jaarac652012-05-09 12:48:52Jaarac642012-05-09 12:41:58Jaarac632012-05-08 18:01:27Jaarac622012-05-08 12:40:40Jaarac612012-05-07 21:08:16Jaarac602012-05-07 20:22:57Jaarac592012-05-07 20:11:03Jaarac582012-05-06 01:48:31Jaarac572012-05-05 21:28:40Jaarac562012-05-04 18:36:05Jaarac552012-05-04 17:46:22Jaarac542012-05-04 17:45:43Jaarac532012-05-04 17:05:25JorgeSanchez522012-05-04 17:03:08JorgeSanchez512012-05-03 18:22:36JorgeSanchez502012-05-03 18:17:01JorgeSanchez492012-05-03 14:21:33Jaarac482012-05-03 14:06:03Jaarac472012-05-03 13:56:05Jaarac462012-05-03 13:50:55Jaarac452012-05-03 13:41:53Jaarac442012-05-03 13:26:21Jaarac432012-05-03 13:17:23JorgeSanchez422012-05-03 13:15:57JorgeSanchez412012-05-03 12:51:11Jaarac402012-05-03 12:41:23Jaarac392012-05-03 11:49:35JorgeSanchez382012-05-03 11:46:29JorgeSanchez372012-04-27 13:53:50JorgeSanchez362012-04-26 19:16:43JorgeSanchez352012-04-26 18:47:56JorgeSanchez342012-04-26 13:25:01Jaarac332012-04-26 12:45:25Jaarac322012-04-25 20:24:45Jaarac312012-04-25 20:22:45Jaarac302012-04-25 20:22:07Jaarac292012-04-25 20:16:54Jaarac282012-04-25 20:16:03Jaarac272012-04-25 20:14:05Jaarac262012-04-25 20:01:06Jaarac252012-04-25 19:56:59JorgeSanchez242012-04-25 19:56:45JorgeSanchez232012-04-25 19:43:39Jaarac222012-04-25 19:40:33Jaarac212012-04-25 19:38:59Jaarac202012-04-25 19:36:57Jaarac192012-04-25 19:34:05Jaarac182012-04-25 19:30:27Jaarac172012-04-25 19:29:26Jaarac162012-04-25 19:27:48Jaarac152012-04-25 19:27:10Jaarac142012-04-25 19:19:58GuillermoSteiner132012-04-25 19:16:09Jaarac122012-04-25 19:14:51JorgeSanchez112012-04-25 19:10:51JorgeSanchez102012-04-25 14:27:46JorgeSanchez92012-04-25 14:26:26JorgeSanchez82012-04-25 13:30:24JorgeSanchez72012-04-25 13:29:16JorgeSanchez62012-04-25 13:28:56JorgeSanchez52012-04-25 13:27:31JorgeSanchez42012-04-25 13:27:08JorgeSanchez32012-04-25 12:16:38Jaarac22012-04-25 11:59:18Jaarac12012-04-25 11:56:28Jaarac

Experimentos realizados para la 4º edición de la competencia 'Robot Vision Challenge - ImageCLEF'. Robot Vision 2012 Web Site

Un equipo representante del Centro de Investigación en Informática para la Ingeniería de la UTN FRC ha resultado ganador de la cuarta edición del "Robot Vision Challenge", la cual se realizó entre marzo y junio del 2012. El "Robot Vision Challenge" es una Competencia Internacional de Visión Robótica, abierta al público en general, en la cual participan distintas Universidades y empresas del mundo dedicadas al desarrollo de algoritmos de Visión por Computadora. La edición 2012 fue organizada por el Instituto de Investigación IDIAP de Suiza y la Universidad de Castilla-La Mancha de España en el marco de la Conferencia CLEF 2012 a desarrollarse en Roma, Italia. La competencia consistió en la realización de un programa de computadora capaz de clasificar las habitaciones de un edificio de oficinas recorrido por un robot, basándose en las imágenes adquiridas con una cámara y un sensor de profundidad montados sobre el mismo. En esta edición de la competencia hubo 2 tareas, en las cuales se debía responder (basándose en imágenes) a la pregunta: ¿en que habitación se encuentra el robot?. En la primera tarea las imágenes a clasificar estaban desordenadas temporalmente, en cambio en la segunda estaban ordenadas, lo cual significa que si en la imagen actual el robot se encuentra en la habitación "oficina" es muy probable que en la siguiente imagen el robot se encuentra en la misma habitación ("oficina"). El equipo bautizado "CIII UTN FRC", integrado por el Doctor Jorge Sánchez y Ingeniero Javier Redolfi resultó ganador en ambas tareas, logrando una diferencia de 254 puntos en la tarea 1 y de 5 puntos en la tarea 2 con respecto al segundo equipo. Para más información, visitar la página en donde se puede encontrar una descripción detallada de la competencia y la tabla completa de resultados de la misma.

El dataset está compuesto por 3 conjuntos de entrenamiento, denominados training[1,2,3], los cuales cuentan con 2667, 2532 y 1913 imágenes rgb y de profundidad respectivamente. La media de estos 3 conjuntos es 2371, este sería el máximo score a lograr en promedio cuando testeamos sobre los 3 conjuntos. Las imágenes corresponden a las habitaciones Comparación de los set

En training1 el recorrido del robot es contrario al caso de training[23]. Las imágenes de training3 son tomadas de noche

rgb_69 rgb_71 rgb_73 rgb_75

rgb_93 rgb_95 rgb_97 rgb_99

rgb_60 rgb_62 rgb_64 rgb_66

hg clone

Descriptores: SIFT sobre grilla regular (DSIFT de vlfeat), patchs 32x32, paso=8, L2-norm., D=128, 5 escalas, factor=0.707 PCA: subespacio aprendido sobre training1+training2+training3, D=80 GMM: aprendido sobre training1+training2+training3, para N = 8, 16 y 32 IFV: gradientes resp. medias y varianzas, alpha=0.5, pnorm=2.0 SGD: hinge loss, 20, 50 y 100 iteraciones, lambda = 1e-2, 1e-3 y 1e-4, training sobre training1 y testeando sobre training2. La clasificación se realizo con argmax.

20 iteraciones50 iteraciones100 iteracioneslambda\ngauss8163281632816321e-3 1382 1334 1414 1376 1352 1426 1382 1356 1422 1e-4 1462 1422 1466 1462 1400 1478 1462 1396 1476 1e-5 1318 1402 1444 1358 1368 1394 1378 1384 1322 ||1e-2|| 872 || 984 || 928 |||| 886 || 990 || 930 |||| 890 || 992 || 940 || experimento_1_25_abril_2012.txt

Igual que el experimento anterior, pero se agrego 64 gaussianas. SGD: hinge loss, 20 iteraciones, lambda = 1e-4, training sobre training1 o training2 y testeando siempre sobre training3. La clasificación se realizo con argmax y con thr=-0.1.

20 iteraciones, argmax, train1 20 iteraciones, thr=-0.1, train120 iteraciones, argmax, train220 iteraciones, thr=-0.1, train2l\ng81632648163264816326481632641e-4 -405 -153 -127 -161 194 362 355 399 -361 -87 1 35 226 421 471 553 experimento_1_train1_val3_argmax_26_abril_2012.txt experimento_1_train1_val3_-0.1_26_abril_2012.txt experimento_1_train2_val3_argmax_26_abril_2012.txt experimento_1_train2_val3_-0.1_26_abril_2012.txt

Se realiza una prueba con distintos valores de DSIFT_STEP (8 y 16) y aumento el conjunto de entrenamiento haciendo un flip left-right de las imágenes antes de calcular DSIFT. Flip=0, indica sin aumentar el conjunto; Flip=1 indica aumentando el conjunto de entrenamiento con las imágenes flipeadas. Al final de este experimento se muestra la configuración que resulta más apropiada.

SGD LBD=1e-4, 20 iteraciones Using argmax for classification

DSIFT step=8 NGAUSS Tr. Te. 8 16 32 64 128 256 512 1024 1,2 3 -289 29 59 79 185 267 319 445 2,3 1 935 1195 1141 1173 1183 1251 1225 1293 3,1 2 1162 1374 1390 1456 1584 1658 1668 1632 Avg. 603 866 863 903 984 1059 1071 1123 DSIFT step=16 NGAUSS Tr. Te. 8 16 32 64 128 256 512 1024 1,2 3 -161 -9 19 25 225 191 299 371 2,3 1 897 1129 1221 1143 1101 1095 1175 1179 3,1 2 1160 1252 1392 1424 1412 1528 1552 1524 Avg. 632 791 877 864 913 938 1009 1025

DSIFT step=8 NGAUSS Tr. Te. 8 16 32 64 128 256 512 1024 1,2 3 -357 -105 45 59 185 199 233 411 2,3 1 1569 1703 1787 1795 1887 1949 1995 1999 3,1 2 1666 1880 2018 2076 2142 2182 2182 2190 Avg. 959 1159 1283 1310 1405 1443 1470 1533 DSIFT step=16 NGAUSS Tr. Te. 8 16 32 64 128 256 512 1024 1,2 3 -211 11 31 -15 233 149 263 373 2,3 1 1447 1651 1693 1791 1857 1901 1945 1909 3,1 2 1642 1744 1944 2032 2126 2128 2150 2140 Avg. 959 1135 1223 1269 1405 1393 1453 1474 results_3_de_mayo_2012.tar.gz Configuración: 256 Gaussianas, DSIFT step=8, flip=1

Se prueba oscureciendo las imágenes de entrenamiento del clasificador. El oscurecimiento se realiza multiplicando las intensidades de los pixeles de las imágenes por un factor menor a 1. Se probo con factores de 0.33 y 0.5. En este experimento no se actualizó el modelo .gmm con los nuevos descriptores con flip y oscurecidos.

SGD LBD=1e-4, 20 iteraciones, 256 Gaussianas, DSIFT step=8, flip=1 Using argmax for classification

NGAUSS=256 srange Tr. Te. 1.0 0.33 0.5 1,2 3 199 229 221 2,3 1 1949 1949 1945 3,1 2 2182 2180 2180 Avg. 1443 1452 1449

Se prueba oscureciendo las imágenes de entrenamiento del clasificador. El oscurecimiento se realiza multiplicando las intensidades de los pixeles de las imágenes por un factor menor a 1. Se probo con factores de 0.33 y 0.5. En este experimento si se actualizó el modelo .gmm con los nuevos descriptores generados con flip y con oscurecimiento.

SGD LBD=1e-4, 20 iteraciones, 256 Gaussianas, DSIFT step=8, flip=1 Using argmax for classification

NGAUSS=256 srange Tr. Te. 1.0 0.1 0.33 0.5 1,2 3 199 187 195 171 2,3 1 1949 1975 1945 1965 3,1 2 2182 2154 2166 2180 Avg. 1443 1439 1435 1439

Se prueba utilizando feature augmentation. En este experimento si se actualizó el modelo .gmm con los descriptores generados con flip de las imágenes. Con aug=1 o aug=0 se indica el uso o no de feature augmentation respectivamente.

SGD LBD=1e-4, 20 iteraciones, 64 Gaussianas, DSIFT step=8, flip=[0,1] Using argmax for classification

NGAUSS=64 flip=0 flip=1 Tr. Te. aug=0 aug=1 aug=0 aug=1 1,2 3 77 87 257 33 2,3 1 1173 1207 1801 1783 3,1 2 1440 1528 2080 2014 Avg. 897 941 1379 1277 Comparación usando en ambos casos imágenes de entrenamiento originales y flipeadas, pero en el primer caso entrenando el modelo .gmm solo en las imágenes originales (gmm_flip=0) y en el segundo caso utilizando las imágenes originales y las flipeadas (gmm_flip=1). No se usó feature augmentation. NGAUSS=64 flip=1 Tr. Te. gmm_flip=0 gmm_flip=1 1,2 3 59 257 2,3 1 1795 1801 3,1 2 2076 2080 Avg. 1310 1379

Se prueba utilizando feature augmentation. En este experimento si se actualizó el modelo .gmm con los descriptores generados con flip de las imágenes. Con aug=1 o aug=0 se indica el uso o no de feature augmentation respectivamente.

SGD LBD=1e-4, 20 iteraciones, 128 Gaussianas, DSIFT step=8, flip=[0,1] Using argmax for classification

NGAUSS=128 flip=0 flip=1 Tr. Te. aug=0 aug=1 aug=0 aug=1 1,2 3 191 115 195 39 2,3 1 1189 1255 1887 1905 3,1 2 1582 1618 2132 2098 Avg. 987 996 1405 1347

Se prueba utilizando pirámides espaciales. Las configuraciones usadas son "sp1x1,lsf=0,gsf=0" (spyr=0), "sp1x1,sp1x3,lsf=0,gsf=0" (spyr=1) y "sp1x1,sp1x3,lsf=0.33,gsf=0.33" (spyr=2).

SGD LBD=1e-4, 20 iteraciones, 64 Gaussianas, DSIFT step=8, flip=[0,1] Using argmax for classification

NGAUSS=64 flip=0 flip=1 Tr. Te. spyr=0 spyr=1 spyr=2 spyr=0 spyr=1 spyr=2 1,2 3 77 -413 -41 257 -458 201 2,3 1 1173 1123 1029 1801 1773 1791 3,1 2 1440 1412 1358 2080 2078 2084 Avg. 897 707 782 1379 1122 1359

Se prueba utilizando opponent SIFT. El software utilizado para calcular los descriptores es colorDescriptor. Estos cálculos se realizaron sobre la notebook de jaarac, por eso pueden variar con los que se calcularon antes.

Descriptor: OPP_SIFT, step=16, sampling_scale=1.6 SGD LBD=1e-4; 20 iteraciones; 16, 32 y 64 Gaussianas; flip=0 Using argmax for classification

OPPSIFT flip=0 Tr. Te. 16 32 64 1,2 3 -231 -173 -17 2,3 1 1161 1217 1221 3,1 2 1538 1598 1664 Avg. 823 881 956

Se evaluó el detector de transiciones y distintas formas de realizar la clasificación. Con el detector de transiciones no se obtuvieron mejoras, así que los datos no fueron subidos.

Los resultados mostrados son promedios sobre los scores obtenidos para las 3 configuraciones de conjuntos posibles para valores de 64, 128 y 256 gaussianas. Descriptor: DSIFT, step=8 SGD LBD=1e-4; 20 iteraciones; Gaussianas; flip=0

Aplicando un umbral a la diferencia entre el mayor y el segundo mayor score para decidir si clasificamos o no. La clasificación posterior se realizó con argmax. Solamente se muestran umbrales hasta 0.9, porque para umbrales menores los scores son muy bajos. El umbral 0.0 sería el baseline, o sea siempre clasificamos. umbral0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 avg 979.5561035.4410721095.781103.441102.671088.561058.561021.11972.111Utilizando un umbral sobre el mayor score de clasificación, para decidir cuando clasificar. Luego se elige la clase del mayor score. umbral-1.0 -0.9 -0.8 -0.7 -0.6 -0.5 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2 avg 980.444983.778996.6671019.561051.671095.891136.561172.4411851166.781120.441056.67979.444Utilizando un umbral sobre abs(max_score)/(max_score - secondmax_score) para decidir cuando clasificar. umbral0.6 0.7 0.8 0.9 1.0 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2.0avg 10501123113911391137113111281123112011181111.441107110311011099

Se prueba utilizando el detector de transiciones, pero se generan nuevos conjuntos de entrenamiento a partir de los originales (feature_packer, feature_sampler).

Descriptor: DSIFT, step=8, ;SGD LBD=1e-4, 20 iteraciones; 64, 128 y 256 Gaussianas; flip=0 Entrenando cls (lbd=1e-4) y td (lbd=1e-2,1e-3,1e-4) sobre training1 y training2. Entrenando cls+td (lbd=1e-2,1e-3,1e-4) sobre los nuevos conjuntos training1 y training2 generados con probabilidad P de sacar un descriptor de la imagen original. Se usaron probabilidades P = 0.3, 0.5, 0.66, 0.75 . El detector de transiciones se uso con thr = 0.7, 0.8, 0.9 . Using argmax for classification

Resultados para las condiciones que resultaron más favorables, esto es: cls_sgd_lbd = 1e-4 td_sgd_lbd = 1e-2 cls+td_sgd_lbd = 1e-2 P = 0.75 thr = 0.8 set conf BL with TD, P=0.75, thr=0.8 Tr. Te. 64 128 256 64 128 256 1,2 3 77 191 253 51 175 241 2,3 1 1173 1189 1267 1151 1181 1271 3,1 2 1440 1582 1644 1418 1554 1632 Avg. 897 987 1055 873 970 1048 Resultados para otras condiciones: cls_sgd_lbd = 1e-4 td_sgd_lbd = 1e-4 cls+td_sgd_lbd = 1e-4 P = 0.75 thr = 0.8 set conf BL with TD, P=0.75, thr=0.8 Tr. Te. 64 128 256 64 128 256 1,2 3 77 191 253 -43 79 165 2,3 1 1173 1189 1267 1187 1075 1121 3,1 2 1440 1582 1644 1266 1424 1540 Avg. 897 987 1055 803 859 942 En el siguiente archivo están todos los resultados. Los archivos *_with_td.txt contienen los resultados usando TD y los otros archivos el baseline. Hay un archivo para cada configuración de conjuntos de training y test. Las datos están organizados de la siguiente forma: Pngausscls_lbdtd_lbdtd_thrcls+td_lbdscoreresults_18_mayo_2012.tar.gz

Se realizan nuevamente los experimentos porque hubo errores con las etiquetas entregadas por los organizadores. También se muestran los resultados usando SIFT sobre las imágenes de profundidad.

Descriptor RGB: DSIFT, step=8, image_presc=1, dsift_fs=0.707, dsift_ns=5 Descriptor Depth: DSIFT, step=8, image_presc=0.5, dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 64, 128 y 256 Gaussianas; flip=0 Using argmax for classification

set conf RGB Depth Late fusion w=0.5 Tr. Te. 64 128 256 64 128 256 64 128 256 1,2 3 77 191 253 23 159 349 433 599 681 2,3 1 1189 1199 1285 431 465 541 1031 1089 1069 3,1 2 1462 1592 1648 1108 1206 1226 1772 1822 1862 Avg. 909 994 1062 521 610 705 1079 1170 1204

Resultados usando SIFT sobre las imágenes de profundidad usando image_presc=0.5 e image_presc=1.0.

Descriptor Depth: DSIFT, step=8, image_presc=[0.5, 1.0], dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 64, 128, 256 y 512 Gaussianas; flip=0 Using argmax for classification

set conf image_presc=0.5 image_presc=1.0 Tr. Te. 64 128 256 512 64 128 256 512 1,2 3 23 159 349 -335 7 203 309 2,3 1 431 465 541 465 571 609 617 3,1 2 1108 1206 1226 1116 1194 1226 1272 Avg. 521 610 705 415 591 679 733

Late fusion sobre RGB y Depth. Comparación usando image_presc=[0.5,1.0]

Descriptor RGB: DSIFT, step=8, image_presc=1, dsift_fs=0.707, dsift_ns=5 Descriptor Depth: DSIFT, step=8, image_presc=[0.5,1.0], dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 64, 128 y 256 Gaussianas; flip=0 Using argmax for classification Late fusion: w=0.5

set conf Late fusion image_presc=0.5 w=0.5 Late fusion image_presc=1.0 w=0.5 Tr. Te. 64 128 256 512 64 128 256 512 1,2 3 433 599 681 249 527 687 685 2,3 1 1031 1089 1069 1041 1083 1103 1091 3,1 2 1772 1822 1862 1766 1828 1890 1850 Avg. 1079 1170 1204 1018 1146 1227 1209

Resultados usando SIFT sobre las imágenes de profundidad usando step=4 y step=8.

Descriptor Depth: DSIFT, step=[4,8], image_presc=0.5, dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 256 Gaussianas; flip=0 Using argmax for classification

set conf step=8 step=4 Tr. Te. 256 256 1,2 3 349 357 2,3 1 541 573 3,1 2 1226 1266 Avg. 705 732

Late fusion sobre RGB y Depth. Comparación usando step=[4,8] para las imágenes de profundidad.

Descriptor RGB: DSIFT, step=8, image_presc=1, dsift_fs=0.707, dsift_ns=5 Descriptor Depth: DSIFT, step=[4,8], image_presc=0.5, dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 256 Gaussianas; flip=0 Using argmax for classification Late fusion: w=0.5

set conf Late fusion step=4Late fusion step=8 Tr. Te. 256 256 1,2 3 755 681 2,3 1 1113 1069 3,1 2 1878 1862 Avg. 1249 1204

Late fusion sobre RGB y Depth ambos con flip=1.

Descriptor RGB: DSIFT, step=8, image_presc=1, dsift_fs=0.707, dsift_ns=5 Descriptor Depth: DSIFT, step=4, image_presc=0.5, dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 256, 512 y 1024 Gaussianas; flip=1 Late fusion: w=0.5

set conf RGB Depth LF w=0.5 Tr. Te. 256 512 1024 256 512 1024 256 512 1024 1,2 3 239 269 339 511 489 609 757 815 921 2,3 1 2013 1991 2019 1403 1429 1461 1985 1981 1997 3,1 2 2174 2182 2186 1548 1564 1598 2096 2098 2116 Avg. 1475 1481 1515 1154 1161 1223 1613 1631 1678

Se utilizó un thresold para decidir si se clasifica o no. Se muestra con argmax para comparar. set conf argmax thr=-0.4 thr=-0.5 thr=-0.6 Tr. Te. 256 512 1024 256 512 1024 256 512 1024 256 512 1024 1,2 3 757 815 921 868 927 989 897 968 1054 896 947 1047 2,3 1 1985 1981 1997 1990 2002 1998 2014 2015 2001 2010 1997 2003 3,1 2 2096 2098 2116 2076 2084 2116 2096 2102 2115 2094 2096 2114 Avg. 1613 1631 1678 1645 1671 1701 1669 1695 1723 1667 1680 1721

Comparación DSIFT sobre imágenes RGB usando step=[4,8] y image_presc=[0.5,1.0] con flip=1.

Descriptor RGB: DSIFT, step=[4,8], image_presc=[0.5,1.0], dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 256, 512 y 1024 Gaussianas; flip=1 Using argmax for classification

set conf step=4, img_presc=0.5 step=8, img_presc=1.0 Tr. Te. 256 512 1024 256 512 1024 1,2 3 275 411 491 239 269 339 2,3 1 1941 1945 1969 2013 1991 2019 3,1 2 2150 2158 2154 2174 2182 2186 Avg. 1455 1505 1538 1475 1481 1515

Late fusion sobre RGB y Depth ambos con flip=1.

Descriptor RGB: DSIFT, step=4, image_presc=0.5, dsift_fs=0.707, dsift_ns=5 Descriptor Depth: DSIFT, step=4, image_presc=0.5, dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 256, 512 y 1024 Gaussianas; flip=1 Late fusion: w=0.5

set conf RGB Depth LF w=0.5 Tr. Te. 256 512 1024 256 512 1024 256 512 1024 1,2 3 275 411 491 511 489 609 835 897 965 2,3 1 1941 1945 1969 1403 1429 1461 1947 1961 1941 3,1 2 2150 2158 2154 1548 1564 1598 2050 2078 2094 Avg. 1455 1505 1538 1154 1161 1223 1611 1645 1667

Se utilizó un thresold para decidir si se clasifica o no. Se muestra con argmax para comparar. set conf argmax thr=-0.5 Tr. Te. 256 512 1024 256 512 1024 1,2 3 835 897 965 959 1084 1107 2,3 1 1947 1961 1941 1969 1997 1958 3,1 2 2050 2078 2094 2042 2074 2101 Avg. 1611 1645 1667 1657 1718 1722

Resultados para la tarea 2. Se proponen cuatro variantes todas ellas basadas en la segmentación temporal de las secuencias de imágenes utilizando el producto punto entre vectores de fisher. El producto punto entre vectores de fisher es una buena medida de similitud entre imágenes. El procedimiento para segmentar fue: se agarra el primer vector y se empieza a calcular el producto punto de este primer vector con los vectores siguientes en la secuencia temporal, cuando ese producto supera un threshold se obtiene un segmento. Luego se elige nuevamente como primer vector el siguiente de la secuencia y se realiza nuevamente el procedimiento descripto anteriormente. Para calcular los segmentos se utilizaron los vectores de fisher obtenidos de las imágenes de RGB debido a que con estas se obtenían en promedio segmentos más largos en comparación con los obtenidos usando los ifv de imágenes de profundidad.

Descriptor RGB: DSIFT, step=4, image_presc=0.5, dsift_fs=0.707, dsift_ns=5 Descriptor Depth: DSIFT, step=4, image_presc=0.5, dsift_fs=0.707, dsift_ns=5 SGD LBD=1e-4, 20 iteraciones; 1024 Gaussianas; flip=1 Late fusion: w=0.5 Se prueban 4 configuraciones, MV (mayor votación), MS (mayor score), MC (mayor confidencialidad) y MST (mayor score y threshold). MV: calculamos la moda del segmento, luego asignamos esa clase a todo el segmento MS: buscamos el score máximo de todo el segmento para cualquier clase y luego asignamos la clase de ese score a toda la secuencia MC: buscamos la clase con más confidencialidad en todo el segmento y luego asignamos esa clase a toda la secuencia MST: buscamos el score máximo de todo el segmento para cualquier clase y pero luego asignamos la clase de ese score a toda la secuencia solo en caso de que ese score esté por encima de un threshold La confidencialidad se calculo como la diferencia entre el score más grande y el segundo score más grande.

bl 0.0 0.050.0750.1 0.125 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 0.95 MV 1722162816881727 1790 181817781796 17751793179217761774 17721774 MS 1722133715781594 1627 1699 16711658 1681173717511773178317771774 MC 1722152117581763 18491825 18081812 17911771178117741782 17781775 MST -0.41722140116501641 1704 1708 16941677 16861706173817711798 17991800MST -0.51722139316831663 1715 1735 17251712 1755177817981811183318281825 MST -0.61722139516921683 1745 1767 17641739 1767179118111813182418191816 MST -0.71722137616701673 1714 1725 17291704 1740177217791790179917931790 MCT -0.41722152518231798 1885188518381871 18361827181718111809 18041801 MCT -0.51722152518061783 18671845 18331851 18271830182918321835 18291827 MCT -0.61722152117851761 18491823 18161827 18161802181418151824 18211818 MVT -0.41722175818001787 1842 190818751895 18711861184818251812 18041801 MVT -0.51722169017511758 1820 18771832187518341846184118341827 18231825 MVT -0.61722165417181758 1809 185318221842 18341833183218151817 18151816 mean_len1 31 11 8 5.4 4.0 2.9 2.1 1.6 1.2 1.021.01 n_seg 237077 213 315 440 590 804 111515052054 23172359

Igual que en experimento 1, pero usando los vectores de fisher calculados sobre las imágenes de depth para realizar la segmentación.

bl 0.0 0.050.075 0.1 0.1250.2 0.3 0.40.5 0.6 0.7 0.8 MV 1722147917731787 18201788 1792179517831773 177417741774 MS 1722119617621654 1670 1643 1701176317681778177517741774 MC 1722130318171875 18731801 1805178317701781 177417741774 MST -0.4 1722127816981714 1685 1659 1687174317811799 179718001801MST -0.5 1722127617201743 1733 1704 1755180218161829182518261826 MST -0.6 1722126917371775 1763 1734 1769181818121819181518171817 MST -0.7 1722124317161735 1733 1683 1749178617861794179017921792 MCT -0.4 1722131118431904 19191834 1842182218031805 180118011801 MCT -0.5 1722131118341892 19061837 1849184518241832 182618261826 MCT -0.6 1722130118191882 18881816 1832822 18121825 181818171817 MCT -0.7 17221303181618771875 1802 1813179517861798 179117901790 MVT -0.4 1722152918521846 18881849 1860184318151804 180318021801 MVT -0.5 1722149618091827 18581833 1851186318271822 182618261826 MVT -0.6 1722150517871800 18411807 1836183918191814 181818171817 MVT -0.7 1722148117951796 18161780 1793180917961787 179117901790 mean_len 1 36 10.4 8.20 6.86 5.903.882.171.391.12 1.041.011.00 n_seg 237066 227 289 345 402 611 109017032120 228223472364

Igual que en experimento 1 y 2, pero usando el promedio del producto punto de los vectores de fisher calculados sobre las imágenes de rgb y depth para realizar la segmentación.

bl 0.0 0.050.0750.1 0.1250.2 0.3 0.40.5 0.6 0.7 0.8 MV 1722154517191780 17751768 1825179017951789177517741774MS 1722130515521644 16551664 1691169317581766177817781774MC 1722139217901793 18391853 1821181317721790177317771774MST -0.4 1722137116381653 16891703 1684167517241766179218001801MST -0.5 1722137016551687 17351749 1724174117891809182318301826MST -0.6 1722MST -0.7 1722MCT -0.4 1722139518291832 188519021876184818281822 MCT -0.5 17221816 18581878 18601848MCT -0.6 17221794 18431856 18351834MCT -0.7 17221793 18391853 18241821MVT -0.4 17221830 19001856 18961866MVT -0.5 17221814 18581821 18771842MVT -0.6 1722MVT -0.7 1722mean_len 1 n_seg 2370

Task 2 #1: MCT, classification threshold=-0.4, segmentation (on DEPTH) threshold=0.1 Task 2 #2: MVT, classification threshold=-0.4, segmentation (on DEPTH) threshold=0.1

PCA GMM RGB NGAUSS = 1024 Num. muestras = 1000076 Tiempo total = 1 hora 9 min 41 seg Depth NGAUSS = 1024 Num. muestras = 1000076 Tiempo total = 1 hora 53 min 49 seg Entrenamiento del clasificador Realizado sobre los conjuntos training[123] Num. muestras = 14224 Tiempo total rgb = 39 min 11 seg Tiempo total depth = 48 min 47 seg

DSIFT + Proyección PCA Test 1 Num. muestras = 2445 Tiempo total rgb = 9 min 7 seg Tiempo promedio rgb = 224 mseg Tiempo total depth = 9 min 48 seg Tiempo promedio depth = 241 mseg Test 2 Num. muestras = 4023 Tiempo total rgb = 16 min 2 seg Tiempo promedio rgb = 239 mseg Tiempo total depth = 16 min 29 seg Tiempo promedio depth = 246 mseg Vectores de Fisher Test 1 Número de muestras = 2445 Tiempo total rgb = 22 min 48 seg Tiempo promedio rgb = 560 mseg Tiempo total depth = 23 min 21 seg Tiempo promedio depth = 573 mseg Test 2 Número de muestras = 4023 Tiempo total rgb = 37 min 20 seg Tiempo promedio rgb = 557 mseg Tiempo total depth = 39 min 38 seg Tiempo promedio depth = 591 mseg Clasificación Test 1 Número de muestras = 2445 Tiempo total rgb = 9 seg Tiempo promedio rgb = 3.68 mseg Tiempo total depth = 21 seg Tiempo promedio depth = 8.59 mseg Test 2 Número de muestras = 4023 Tiempo total rgb = 11 seg Tiempo promedio rgb = 2.73 mseg Tiempo total depth = 11 seg Tiempo promedio depth = 2.73 mseg