El sistema es basa en la comunicació entre humans i màquines. InterAmi és un projecte que pretén moure la grua amb veu i gestos. Per a això, la grua compta amb dues càmeres infraroges que recullen la posició i els gestos dels operaris. Els operaris en general portaran quatre marcadors retroreflectantes en braços, cap i parts del cos. Un focus de llum infraroja il·luminarà aquests marcadors i les dues càmeres que identifiquen aquest tipus de llum rebran els moviments del cos, regulats internacionalment. Per exemple, en estirar el braç dret significa que la grua haurà de moure's en aquesta direcció.
En definitiva, les càmeres recolliran imatges de les quals extrauran la informació que oferiran els marcadors de llum infraroja. Els punts obtinguts en cada imatge serviran per a determinar la ubicació espacial de l'usuari. D'aquesta forma, l'aplicació pot detectar si l'usuari està fent algun gest o o no, i si s'identifica un gest, el procés seguiria endavant.
Al mateix temps, les instruccions dels operaris o comandos de veu seran recaptats per l'aplicació amb l'ajuda d'un micròfon de laringe, fins i tot en entorns sorollosos. Aquests micròfons presenten una major immunitat al soroll ambiental que els micròfons convencionals.
Tots dos senyals, veu i imatge, es complementen entre si, i el dispositiu no realitza cap acció si no rep la mateixa ordre a través de tots dos senyals. En definitiva, tots dos senyals estan sincronitzats en tot moment. Com a mesura de seguretat, el sistema compara els comandos de gest i veu: si s'observa que donen la mateixa ordre, aquest senyal serà enviat a la grua i complirà el moviment indicat per la grua.
El moviment dels braços i l'ordre verbal han de produir-se simultàniament i en un temps determinat. En cas contrari, la grua no reaccionarà. D'aquesta forma es pot dir que es redueixen els riscos laborals. De fet, el sistema no realitza cap moviment tret que l'usuari portador del marcador l'indiqui.
El sistema se centrarà en les instal·lacions industrials i recollirà la informació del personal que es trobi en més d'una de les zones d'aquestes instal·lacions. Per això, haurà de complir una sèrie de requisits: d'una banda, el sistema haurà de parar esment als comandos gestuals dels empleats, com ara la posició, el moviment de les mans i la veu; per un altre, el sistema haurà de ser capaç de treballar en múltiples condicions d'il·luminació; i finalment, s'evitaran els malentesos entre els comandos que l'usuari facilita i interpreta.
Fins al moment, els investigadors de Robotiker-Tecnalia han desenvolupat una instal·lació i una grua virtual en un port marítim de mercaderies. El sistema coneix totes les zones en les quals es mou la grua, la ubicació de tots els seus elements i els seus possibles moviments. Si es detecta que la grua ha de xocar contra un objecte, aquesta aplicació informa l'usuari i l'usuari cessa automàticament l'activitat.
Si bé de moment aquestes aplicacions han estat incorporades a una grua virtual --i només en un entorn informàtic-, esperen poder aplicar-les en futures grues reals.