Bienvenido: Ingresar

Por favor indica el password de tu cuenta en el wiki remoto abajo.
/!\ Deberías confiar en ambos wikis porque los administradoresrespectivos podrían ver tu contraseña.

Quitar mensaje
location: Vision / ProyectosVision / RobotVision2012

Robot Vision 2012

Experimentos realizados para la 4º edición de la competencia 'Robot Vision Challenge - ImageCLEF'.

Robot Vision 2012 Web Site

Gacetilla de Prensa

Un equipo representante del Centro de Investigación en Informática para la Ingeniería de la UTN FRC ha resultado ganador de la cuarta edición del "Robot Vision Challenge", la cual se realizó entre marzo y junio del 2012.

El "Robot Vision Challenge" es una Competencia Internacional de Visión Robótica, abierta al público en general, en la cual participan distintas Universidades y empresas del mundo dedicadas al desarrollo de algoritmos de Visión por Computadora. La edición 2012 fue organizada por el Instituto de Investigación IDIAP de Suiza y la Universidad de Castilla-La Mancha de España en el marco de la Conferencia CLEF 2012 a desarrollarse en Roma, Italia.

La competencia consistió en la realización de un programa de computadora capaz de clasificar las habitaciones de un edificio de oficinas recorrido por un robot, basándose en las imágenes adquiridas con una cámara y un sensor de profundidad montados sobre el mismo.

En esta edición de la competencia hubo 2 tareas, en las cuales se debía responder (basándose en imágenes) a la pregunta: ¿en que habitación se encuentra el robot?. En la primera tarea las imágenes a clasificar estaban desordenadas temporalmente, en cambio en la segunda estaban ordenadas, lo cual significa que si en la imagen actual el robot se encuentra en la habitación "oficina" es muy probable que en la siguiente imagen el robot se encuentra en la misma habitación ("oficina").

El equipo bautizado "CIII UTN FRC", integrado por el Doctor Jorge Sánchez y Ingeniero Javier Redolfi resultó ganador en ambas tareas, logrando una diferencia de 254 puntos en la tarea 1 y de 5 puntos en la tarea 2 con respecto al segundo equipo.

Para más información, visitar la página http://www.imageclef.org/2012/robot en donde se puede encontrar una descripción detallada de la competencia y la tabla completa de resultados de la misma.

Datasets

El dataset está compuesto por 3 conjuntos de entrenamiento, denominados training[1,2,3], los cuales cuentan con 2667, 2532 y 1913 imágenes rgb y de profundidad respectivamente. La media de estos 3 conjuntos es 2371, este sería el máximo score a lograr en promedio cuando testeamos sobre los 3 conjuntos.

Las imágenes corresponden a las habitaciones

Comparación de los set

Imágenes de ejemplo

Training1

rgb_69 rgb_71 rgb_73 rgb_75

Training2

rgb_93 rgb_95 rgb_97 rgb_99

Training3

rgb_60 rgb_62 rgb_64 rgb_66

Repositorio con los scripts para replicar los experimentos

hg clone https://proyectos.ciii.frc.utn.edu.ar/hg/robot_vision_2012

25 abril 2012

Experimento 1

Configuración

Resultados

20 iteraciones

50 iteraciones

100 iteraciones

lambda\ngauss

8

16

32

8

16

32

8

16

32

1e-3

1382

1334

1414

1376

1352

1426

1382

1356

1422

1e-4

1462

1422

1466

1462

1400

1478

1462

1396

1476

1e-5

1318

1402

1444

1358

1368

1394

1378

1384

1322

experimento_1_25_abril_2012.txt

26 abril 2012

Experimento 1

Configuración

Resultados

20 iteraciones, argmax, train1

20 iteraciones, thr=-0.1, train1

20 iteraciones, argmax, train2

20 iteraciones, thr=-0.1, train2

l\ng

8

16

32

64

8

16

32

64

8

16

32

64

8

16

32

64

1e-4

-405

-153

-127

-161

194

362

355

399

-361

-87

1

35

226

421

471

553

experimento_1_train1_val3_argmax_26_abril_2012.txt experimento_1_train1_val3_-0.1_26_abril_2012.txt experimento_1_train2_val3_argmax_26_abril_2012.txt experimento_1_train2_val3_-0.1_26_abril_2012.txt

3 mayo 2012

Experimento 1

Se realiza una prueba con distintos valores de DSIFT_STEP (8 y 16) y aumento el conjunto de entrenamiento haciendo un flip left-right de las imágenes antes de calcular DSIFT. Flip=0, indica sin aumentar el conjunto; Flip=1 indica aumentando el conjunto de entrenamiento con las imágenes flipeadas. Al final de este experimento se muestra la configuración que resulta más apropiada.

Configuración

Resultados

Flip=0

NGAUSS

Tr.

Te.

8

16

32

64

128

256

512

1024

1,2

3

-289

29

59

79

185

267

319

445

2,3

1

935

1195

1141

1173

1183

1251

1225

1293

3,1

2

1162

1374

1390

1456

1584

1658

1668

1632

Avg.

603

866

863

903

984

1059

1071

1123

NGAUSS

Tr.

Te.

8

16

32

64

128

256

512

1024

1,2

3

-161

-9

19

25

225

191

299

371

2,3

1

897

1129

1221

1143

1101

1095

1175

1179

3,1

2

1160

1252

1392

1424

1412

1528

1552

1524

Avg.

632

791

877

864

913

938

1009

1025

Flip=1

NGAUSS

Tr.

Te.

8

16

32

64

128

256

512

1024

1,2

3

-357

-105

45

59

185

199

233

411

2,3

1

1569

1703

1787

1795

1887

1949

1995

1999

3,1

2

1666

1880

2018

2076

2142

2182

2182

2190

Avg.

959

1159

1283

1310

1405

1443

1470

1533

NGAUSS

Tr.

Te.

8

16

32

64

128

256

512

1024

1,2

3

-211

11

31

-15

233

149

263

373

2,3

1

1447

1651

1693

1791

1857

1901

1945

1909

3,1

2

1642

1744

1944

2032

2126

2128

2150

2140

Avg.

959

1135

1223

1269

1405

1393

1453

1474

results_3_de_mayo_2012.tar.gz

4 mayo 2012

Experimento 1

Se prueba oscureciendo las imágenes de entrenamiento del clasificador. El oscurecimiento se realiza multiplicando las intensidades de los pixeles de las imágenes por un factor menor a 1. Se probo con factores de 0.33 y 0.5. En este experimento no se actualizó el modelo .gmm con los nuevos descriptores con flip y oscurecidos.

Configuración

Resultados

NGAUSS=256

srange

Tr.

Te.

1.0

0.33

0.5

1,2

3

199

229

221

2,3

1

1949

1949

1945

3,1

2

2182

2180

2180

Avg.

1443

1452

1449

5 mayo 2012

Experimento 1

Se prueba oscureciendo las imágenes de entrenamiento del clasificador. El oscurecimiento se realiza multiplicando las intensidades de los pixeles de las imágenes por un factor menor a 1. Se probo con factores de 0.33 y 0.5. En este experimento si se actualizó el modelo .gmm con los nuevos descriptores generados con flip y con oscurecimiento.

Configuración

Resultados

NGAUSS=256

srange

Tr.

Te.

1.0

0.1

0.33

0.5

1,2

3

199

187

195

171

2,3

1

1949

1975

1945

1965

3,1

2

2182

2154

2166

2180

Avg.

1443

1439

1435

1439

7 mayo 2012

Experimento 1

Se prueba utilizando feature augmentation. En este experimento si se actualizó el modelo .gmm con los descriptores generados con flip de las imágenes. Con aug=1 o aug=0 se indica el uso o no de feature augmentation respectivamente.

Configuración

Resultados

NGAUSS=64

flip=0

flip=1

Tr.

Te.

aug=0

aug=1

aug=0

aug=1

1,2

3

77

87

257

33

2,3

1

1173

1207

1801

1783

3,1

2

1440

1528

2080

2014

Avg.

897

941

1379

1277

NGAUSS=64

flip=1

Tr.

Te.

gmm_flip=0

gmm_flip=1

1,2

3

59

257

2,3

1

1795

1801

3,1

2

2076

2080

Avg.

1310

1379

8 mayo 2012

Experimento 1

Se prueba utilizando feature augmentation. En este experimento si se actualizó el modelo .gmm con los descriptores generados con flip de las imágenes. Con aug=1 o aug=0 se indica el uso o no de feature augmentation respectivamente.

Configuración

Resultados

NGAUSS=128

flip=0

flip=1

Tr.

Te.

aug=0

aug=1

aug=0

aug=1

1,2

3

191

115

195

39

2,3

1

1189

1255

1887

1905

3,1

2

1582

1618

2132

2098

Avg.

987

996

1405

1347

9 mayo 2012

Experimento 1

Se prueba utilizando pirámides espaciales. Las configuraciones usadas son "sp1x1,lsf=0,gsf=0" (spyr=0), "sp1x1,sp1x3,lsf=0,gsf=0" (spyr=1) y "sp1x1,sp1x3,lsf=0.33,gsf=0.33" (spyr=2).

Configuración

Resultados

NGAUSS=64

flip=0

flip=1

Tr.

Te.

spyr=0

spyr=1

spyr=2

spyr=0

spyr=1

spyr=2

1,2

3

77

-413

-41

257

-458

201

2,3

1

1173

1123

1029

1801

1773

1791

3,1

2

1440

1412

1358

2080

2078

2084

Avg.

897

707

782

1379

1122

1359

11 mayo 2012

Experimento 1

Se prueba utilizando opponent SIFT. El software utilizado para calcular los descriptores es colorDescriptor. Estos cálculos se realizaron sobre la notebook de jaarac, por eso pueden variar con los que se calcularon antes.

Configuración

Resultados

OPPSIFT

flip=0

Tr.

Te.

16

32

64

1,2

3

-231

-173

-17

2,3

1

1161

1217

1221

3,1

2

1538

1598

1664

Avg.

823

881

956

Experimento 2

Se evaluó el detector de transiciones y distintas formas de realizar la clasificación. Con el detector de transiciones no se obtuvieron mejoras, así que los datos no fueron subidos.

Configuración

Resultados

umbral

0.0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

avg

979.556

1035.44

1072

1095.78

1103.44

1102.67

1088.56

1058.56

1021.11

972.111

umbral

-1.0

-0.9

-0.8

-0.7

-0.6

-0.5

-0.4

-0.3

-0.2

-0.1

0.0

0.1

0.2

avg

980.444

983.778

996.667

1019.56

1051.67

1095.89

1136.56

1172.44

1185

1166.78

1120.44

1056.67

979.444

umbral

0.6

0.7

0.8

0.9

1.0

1.1

1.2

1.3

1.4

1.5

1.6

1.7

1.8

1.9

2.0

avg

1050

1123

1139

1139

1137

1131

1128

1123

1120

1118

1111.44

1107

1103

1101

1099

18 mayo 2012

Experimento 1

Se prueba utilizando el detector de transiciones, pero se generan nuevos conjuntos de entrenamiento a partir de los originales (feature_packer, feature_sampler).

Configuración

Resultados

Resultados para las condiciones que resultaron más favorables, esto es:

set conf

BL

with TD, P=0.75, thr=0.8

Tr.

Te.

64

128

256

64

128

256

1,2

3

77

191

253

51

175

241

2,3

1

1173

1189

1267

1151

1181

1271

3,1

2

1440

1582

1644

1418

1554

1632

Avg.

897

987

1055

873

970

1048

Resultados para otras condiciones:

set conf

BL

with TD, P=0.75, thr=0.8

Tr.

Te.

64

128

256

64

128

256

1,2

3

77

191

253

-43

79

165

2,3

1

1173

1189

1267

1187

1075

1121

3,1

2

1440

1582

1644

1266

1424

1540

Avg.

897

987

1055

803

859

942

En el siguiente archivo están todos los resultados. Los archivos *_with_td.txt contienen los resultados usando TD y los otros archivos el baseline. Hay un archivo para cada configuración de conjuntos de training y test. Las datos están organizados de la siguiente forma:

P

ngauss

cls_lbd

td_lbd

td_thr

cls+td_lbd

score

results_18_mayo_2012.tar.gz

29 mayo 2012

Experimento 1

Se realizan nuevamente los experimentos porque hubo errores con las etiquetas entregadas por los organizadores. También se muestran los resultados usando SIFT sobre las imágenes de profundidad.

Configuración

Resultados

set conf

RGB

Depth

Late fusion w=0.5

Tr.

Te.

64

128

256

64

128

256

64

128

256

1,2

3

77

191

253

23

159

349

433

599

681

2,3

1

1189

1199

1285

431

465

541

1031

1089

1069

3,1

2

1462

1592

1648

1108

1206

1226

1772

1822

1862

Avg.

909

994

1062

521

610

705

1079

1170

1204

30 mayo 2012

Experimento 1

Resultados usando SIFT sobre las imágenes de profundidad usando image_presc=0.5 e image_presc=1.0.

Configuración

Resultados

set conf

image_presc=0.5

image_presc=1.0

Tr.

Te.

64

128

256

512

64

128

256

512

1,2

3

23

159

349

-335

7

203

309

2,3

1

431

465

541

465

571

609

617

3,1

2

1108

1206

1226

1116

1194

1226

1272

Avg.

521

610

705

415

591

679

733

Experimento 2

Late fusion sobre RGB y Depth. Comparación usando image_presc=[0.5,1.0]

Configuración

Resultados

set conf

Late fusion image_presc=0.5 w=0.5

Late fusion image_presc=1.0 w=0.5

Tr.

Te.

64

128

256

512

64

128

256

512

1,2

3

433

599

681

249

527

687

685

2,3

1

1031

1089

1069

1041

1083

1103

1091

3,1

2

1772

1822

1862

1766

1828

1890

1850

Avg.

1079

1170

1204

1018

1146

1227

1209

31 mayo 2012

Experimento 1

Resultados usando SIFT sobre las imágenes de profundidad usando step=4 y step=8.

Configuración

Resultados

set conf

step=8

step=4

Tr.

Te.

256

256

1,2

3

349

357

2,3

1

541

573

3,1

2

1226

1266

Avg.

705

732

Experimento 2

Late fusion sobre RGB y Depth. Comparación usando step=[4,8] para las imágenes de profundidad.

Configuración

Resultados

set conf

Late fusion step=4

Late fusion step=8

Tr.

Te.

256

256

1,2

3

755

681

2,3

1

1113

1069

3,1

2

1878

1862

Avg.

1249

1204

1 junio 2012

Experimento 1

Late fusion sobre RGB y Depth ambos con flip=1.

Configuración

Resultados usando argmax

set conf

RGB

Depth

LF w=0.5

Tr.

Te.

256

512

1024

256

512

1024

256

512

1024

1,2

3

239

269

339

511

489

609

757

815

921

2,3

1

2013

1991

2019

1403

1429

1461

1985

1981

1997

3,1

2

2174

2182

2186

1548

1564

1598

2096

2098

2116

Avg.

1475

1481

1515

1154

1161

1223

1613

1631

1678

Resultados usando un thr y no argmax

set conf

argmax

thr=-0.4

thr=-0.5

thr=-0.6

Tr.

Te.

256

512

1024

256

512

1024

256

512

1024

256

512

1024

1,2

3

757

815

921

868

927

989

897

968

1054

896

947

1047

2,3

1

1985

1981

1997

1990

2002

1998

2014

2015

2001

2010

1997

2003

3,1

2

2096

2098

2116

2076

2084

2116

2096

2102

2115

2094

2096

2114

Avg.

1613

1631

1678

1645

1671

1701

1669

1695

1723

1667

1680

1721

4 junio 2012

Experimento 1

Comparación DSIFT sobre imágenes RGB usando step=[4,8] y image_presc=[0.5,1.0] con flip=1.

Configuración

Resultados usando argmax

set conf

step=4, img_presc=0.5

step=8, img_presc=1.0

Tr.

Te.

256

512

1024

256

512

1024

1,2

3

275

411

491

239

269

339

2,3

1

1941

1945

1969

2013

1991

2019

3,1

2

2150

2158

2154

2174

2182

2186

Avg.

1455

1505

1538

1475

1481

1515

Experimento 2

Late fusion sobre RGB y Depth ambos con flip=1.

Configuración

Resultados usando argmax

set conf

RGB

Depth

LF w=0.5

Tr.

Te.

256

512

1024

256

512

1024

256

512

1024

1,2

3

275

411

491

511

489

609

835

897

965

2,3

1

1941

1945

1969

1403

1429

1461

1947

1961

1941

3,1

2

2150

2158

2154

1548

1564

1598

2050

2078

2094

Avg.

1455

1505

1538

1154

1161

1223

1611

1645

1667

Resultados usando un thr y no argmax

set conf

argmax

thr=-0.5

Tr.

Te.

256

512

1024

256

512

1024

1,2

3

835

897

965

959

1084

1107

2,3

1

1947

1961

1941

1969

1997

1958

3,1

2

2050

2078

2094

2042

2074

2101

Avg.

1611

1645

1667

1657

1718

1722

13 junio 2012

Experimento 1

Resultados para la tarea 2. Se proponen cuatro variantes todas ellas basadas en la segmentación temporal de las secuencias de imágenes utilizando el producto punto entre vectores de fisher. El producto punto entre vectores de fisher es una buena medida de similitud entre imágenes. El procedimiento para segmentar fue: se agarra el primer vector y se empieza a calcular el producto punto de este primer vector con los vectores siguientes en la secuencia temporal, cuando ese producto supera un threshold se obtiene un segmento. Luego se elige nuevamente como primer vector el siguiente de la secuencia y se realiza nuevamente el procedimiento descripto anteriormente.

Para calcular los segmentos se utilizaron los vectores de fisher obtenidos de las imágenes de RGB debido a que con estas se obtenían en promedio segmentos más largos en comparación con los obtenidos usando los ifv de imágenes de profundidad.

Configuración

Resultados

bl

0.0

0.05

0.075

0.1

0.125

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

0.95

MV

1722

1628

1688

1727

1790

1818

1778

1796

1775

1793

1792

1776

1774

1772

1774

MS

1722

1337

1578

1594

1627

1699

1671

1658

1681

1737

1751

1773

1783

1777

1774

MC

1722

1521

1758

1763

1849

1825

1808

1812

1791

1771

1781

1774

1782

1778

1775

MST -0.4

1722

1401

1650

1641

1704

1708

1694

1677

1686

1706

1738

1771

1798

1799

1800

MST -0.5

1722

1393

1683

1663

1715

1735

1725

1712

1755

1778

1798

1811

1833

1828

1825

MST -0.6

1722

1395

1692

1683

1745

1767

1764

1739

1767

1791

1811

1813

1824

1819

1816

MST -0.7

1722

1376

1670

1673

1714

1725

1729

1704

1740

1772

1779

1790

1799

1793

1790

MCT -0.4

1722

1525

1823

1798

1885

1885

1838

1871

1836

1827

1817

1811

1809

1804

1801

MCT -0.5

1722

1525

1806

1783

1867

1845

1833

1851

1827

1830

1829

1832

1835

1829

1827

MCT -0.6

1722

1521

1785

1761

1849

1823

1816

1827

1816

1802

1814

1815

1824

1821

1818

MVT -0.4

1722

1758

1800

1787

1842

1908

1875

1895

1871

1861

1848

1825

1812

1804

1801

MVT -0.5

1722

1690

1751

1758

1820

1877

1832

1875

1834

1846

1841

1834

1827

1823

1825

MVT -0.6

1722

1654

1718

1758

1809

1853

1822

1842

1834

1833

1832

1815

1817

1815

1816

mean_len

1

31

11

8

5.4

4.0

2.9

2.1

1.6

1.2

1.02

1.01

n_seg

2370

77

213

315

440

590

804

1115

1505

2054

2317

2359

Experimento 2

Igual que en experimento 1, pero usando los vectores de fisher calculados sobre las imágenes de depth para realizar la segmentación.

Resultados

bl

0.0

0.05

0.075

0.1

0.125

0.2

0.3

0.4

0.5

0.6

0.7

0.8

MV

1722

1479

1773

1787

1820

1788

1792

1795

1783

1773

1774

1774

1774

MS

1722

1196

1762

1654

1670

1643

1701

1763

1768

1778

1775

1774

1774

MC

1722

1303

1817

1875

1873

1801

1805

1783

1770

1781

1774

1774

1774

MST -0.4

1722

1278

1698

1714

1685

1659

1687

1743

1781

1799

1797

1800

1801

MST -0.5

1722

1276

1720

1743

1733

1704

1755

1802

1816

1829

1825

1826

1826

MST -0.6

1722

1269

1737

1775

1763

1734

1769

1818

1812

1819

1815

1817

1817

MST -0.7

1722

1243

1716

1735

1733

1683

1749

1786

1786

1794

1790

1792

1792

MCT -0.4

1722

1311

1843

1904

1919

1834

1842

1822

1803

1805

1801

1801

1801

MCT -0.5

1722

1311

1834

1892

1906

1837

1849

1845

1824

1832

1826

1826

1826

MCT -0.6

1722

1301

1819

1882

1888

1816

1832

822

1812

1825

1818

1817

1817

MCT -0.7

1722

1303

1816

1877

1875

1802

1813

1795

1786

1798

1791

1790

1790

MVT -0.4

1722

1529

1852

1846

1888

1849

1860

1843

1815

1804

1803

1802

1801

MVT -0.5

1722

1496

1809

1827

1858

1833

1851

1863

1827

1822

1826

1826

1826

MVT -0.6

1722

1505

1787

1800

1841

1807

1836

1839

1819

1814

1818

1817

1817

MVT -0.7

1722

1481

1795

1796

1816

1780

1793

1809

1796

1787

1791

1790

1790

mean_len

1

36

10.4

8.20

6.86

5.90

3.88

2.17

1.39

1.12

1.04

1.01

1.00

n_seg

2370

66

227

289

345

402

611

1090

1703

2120

2282

2347

2364

Experimento 3

Igual que en experimento 1 y 2, pero usando el promedio del producto punto de los vectores de fisher calculados sobre las imágenes de rgb y depth para realizar la segmentación.

Resultados

bl

0.0

0.05

0.075

0.1

0.125

0.2

0.3

0.4

0.5

0.6

0.7

0.8

MV

1722

1545

1719

1780

1775

1768

1825

1790

1795

1789

1775

1774

1774

MS

1722

1305

1552

1644

1655

1664

1691

1693

1758

1766

1778

1778

1774

MC

1722

1392

1790

1793

1839

1853

1821

1813

1772

1790

1773

1777

1774

MST -0.4

1722

1371

1638

1653

1689

1703

1684

1675

1724

1766

1792

1800

1801

MST -0.5

1722

1370

1655

1687

1735

1749

1724

1741

1789

1809

1823

1830

1826

MST -0.6

1722

MST -0.7

1722

MCT -0.4

1722

1395

1829

1832

1885

1902

1876

1848

1828

1822

MCT -0.5

1722

1816

1858

1878

1860

1848

MCT -0.6

1722

1794

1843

1856

1835

1834

MCT -0.7

1722

1793

1839

1853

1824

1821

MVT -0.4

1722

1830

1900

1856

1896

1866

MVT -0.5

1722

1814

1858

1821

1877

1842

MVT -0.6

1722

MVT -0.7

1722

mean_len

1

n_seg

2370

Versión final

Task 2 #1: MCT, classification threshold=-0.4, segmentation (on DEPTH) threshold=0.1
Task 2 #2: MVT, classification threshold=-0.4, segmentation (on DEPTH) threshold=0.1

2 julio 2012

Tiempos de Cálculo

Offline

Online