Людям довольно легко определить плотность и рельефность предмета, просто взглянув на него. С таким же успехом можно сказать, как выглядит объект, просто касаясь его с закрытыми глазами. Такие умения помогли бы роботам лучше взаимодействовать с предметами но, к сожалению, до сих пор они не были им доступны. Исследователи из Лаборатории искусственного интеллекта МТИ (CSAIL) решили эту проблему, оснастив роботизированную руку KUKA тактильным датчиком GelSight — таким образом, искусственный интеллект смог изучить связь между визуальной и тактильной информацией, и объединить их.
Использованный тактильный датчик GelSight был разработан группой инженеров под руководством Теда Адельсона в 2014 году. По своей сути он является электронной копией кончика человеческого пальца, в котором для создания трехмерной карты поверхности используется камера и чувствительная резиновая пленка. Устройство уже не раз было проверено в реальных условиях — например, однажды он помог роботу правильно подключить USB-кабель к порту.