Com prepares el cafè?

Azkune Galparsoro, Gorka

Ikertzailea eta irakaslea

Euskal Herriko Unibertsitateko Informatika Fakultatea

L'envelliment de la societat s'ha convertit en un dels majors problemes. Vivim cada vegada més temps, però lamentablement en els nostres últims anys sofrim moltes dificultats. Una via per a fer front a aquestes dificultats és la de les tecnologies intel·ligents, en concret la de les llars intel·ligents. Amb l'objectiu de promoure una vida independent, les llars intel·ligents proporcionaran a les persones que viuen en ell l'ajuda que necessiten per a realitzar les seves activitats diàries. Però el primer que cal fer és saber què estan fent aquestes persones i què volen fer. En la nostra tesi doctoral en la Universitat de Deusto hem fet nous passos en aquest camp.
nola-prestatzen-duzu-kafea
-

En el nostre dia a dia fem moltes coses: aixecar-nos del llit, desdejunar, veure la tele, etc. La capacitat de realització de cadascuna d'aquestes activitats és fonamental per a una bona qualitat de vida. I aquest és precisament l'objectiu de les llars intel·ligents: prestar el suport necessari a les persones que viuen en ells per a poder realitzar les seves activitats diàries.

Però, què són les cases intel·ligents? En la base són cases normals, on es col·loquen sensors i ordinadors. Els sensors proporcionen informació sobre les activitats que realitzen les persones i els ordinadors processen aquesta informació per a comprendre comportaments i prendre decisions. En aquest article analitzarem la primera part, recopilant la informació dels sensors i detectant les activitats humanes.

Per a començar necessitem sensors. Hi ha molts tipus de sensors en el mercat i no ens seria possible explicar-los un a un. Per a aquest treball, pensem que els sensors estan pegats en els nostres objectes i eines quotidianes. Així, per exemple, en agafar un got s'encendrà el sensor que hi ha en ell i registrarà aquesta acció. Recopilant informació d'aquest tipus en el temps, l'ordinador ha de conèixer les activitats. Per exemple, si una persona pren una tassa, posa en marxa la cafetera i després agafa la sucrera, l'ordinador hauria de saber que aquesta persona està preparant un cafè.

Com detectar les activitats humanes?

Si ens fixem en la recerca realitzada fins avui, es poden trobar dos corrents principals per a la detecció d'activitats humanes:

  1. Tècniques basades en dades: presa de dades sensorials recollits per una persona, aplicació d'aprenentatge automàtic i aprenentatge de les activitats humanes. L'ordinador aprèn de dades brutes. Aquestes tècniques tenen molts aspectes positius, com que són capaços d'aprendre pràctiques personalitzades, que aprenen de les dades de cada persona, i s'adapten als canvis de les persones. Però també hi ha contres: dificultats per a generalitzar l'après —no es pot utilitzar l'après d'una persona per a una altra— i que en la fase d'aprenentatge es necessiten moltes dades etiquetades, per exemple. Aquest últim és un problema important ja que és molt difícil obtenir dades etiquetades.
  2. Tècniques basades en el coneixement: el coneixement que tenim de cada activitat es codifica en uns models lògics i a continuació s'observa si la informació dels sensors és coherent amb aquests models per a trobar una activitat adequada. Avantatges: els models definits són aplicables a qualsevol persona, sense necessitat de dades per a la posada en marxa del sistema (no hi ha fase d'aprenentatge). Contres: aconseguir models personalitzats és molt difícil, ja que és difícil conèixer per endavant tots els detalls de cada persona. D'altra banda, els models d'actuació són rígids i no poden adaptar-se als canvis que experimenten les persones al llarg del temps.

Aprofundint en els pros i contres de tots dos corrents, s'aprecia bastant clarament que presenten característiques contraposades. El que fan bé les tècniques basades en dades, les tècniques basades en el coneixement no poden fer-lo bé, i viceversa. Es tracta de dos enfocaments diferents per a solucionar un mateix problema, que són contradictoris però són incompatibles?

Figura . Nou procés proposat en la tesi per a l'obtenció de models d'activitat humana. Imatge: Gorka Azkune.

A la recerca de tècniques híbrides

Seria bo que els dos corrents s'ajuntessin d'alguna manera i fusionessin el millor dels dos mons, no? Això és el que s'ha fet en aquesta tesi. S'ha proposat, desenvolupat i provat un nou procés de modelització de l'activitat humana. En la figura 2 es pot veure el diagrama d'aquest nou procés. La proposta combina tècniques basades en el coneixement i les dades, oferint una solució híbrida. En primer lloc, un expert defineix models generals d'actuació aplicables a qualsevol persona. A continuació es recull la informació sensorial generada per una persona que viu en una casa intel·ligent. Utilitzant models generals i un algorisme d'aprenentatge basat en dades, s'enriqueixen els models inicials aprenent els detalls d'aquesta persona concreta. Així s'aprenen models personalitzats. Aquests models es presenten a l'expert perquè els incorpori a la base de coneixement.

D'aquesta forma s'ha creat un sistema que uneix les millors característiques de tots dos corrents. D'una banda, s'aprofita el coneixement humà per a crear models generals. Aquests models generals recullen les característiques generals d'una activitat, per la qual cosa són aplicables a qualsevol persona. D'altra banda, és capaç d'aprendre models personalitzats, recopilant informació sensorial d'una persona i aplicant algorismes basats en dades. A més, la utilització de models generals en aquest aprenentatge evita la necessitat de dades etiquetades, superant així un aspecte negatiu de les tècniques basades en dades. Així, a mesura que el comportament d'una persona canvia, els models personalitzats que s'aprenen s'adapten.

Amb un exemple millor

Intentem comprendre millor la proposta presentada en la figura 2 amb un exemple senzill. Prenguem l'activitat de fer cafè. Com tots sabem, per a fer cafè és necessari prendre cafè i tenir una galleda per a beure. Per tant, l'activitat de cafè tindrà dues accions obligatòries: prendre cafè i prendre l'envàs. Com es veu, una activitat es divideix en accions. Acabem de definir un model general component dues accions. Aquest model és aplicable a qualsevol persona, ja que ningú en el món és capaç de fer un cafè sense cafè ni gots (figura 3).

Ara, suposem que la persona que viu a la casa intel·ligent sol cuinar el cafè de dues maneres: a vegades prepara cafè amb llet, cafè, llet, recipient i sucre; a vegades prepara cafè sol amb cafè, recipient i sucre. El procés proposat en la tesi estudia aquests models personalitzats a partir de models generals i dades de sensors. Cal insistir que aquestes dades de sensors no estan etiquetats, superant així la feblesa de les tècniques basades en les dades més utilitzades.

Algorisme d'aprenentatge de models personalitzats

No és objecte d'aquest article descriure amb precisió l'algorisme d'aprenentatge desenvolupat en la tesi, però intentem explicar les idees principals (figura 4). Les accions d'una persona poden enquadrar-se en tres eixos:

Figura . Un exemple per a aprendre models personalitzats amb un model general. Imatge: Gorka Azkune.
  1. Lloc on la persona ha realitzat l'acció: cuina, bany...
  2. Objecte de l'acció realitzada (tipus): neteja, cuina, oci...
  3. Moment (dia i hora) en què s'ha produït l'acció.

Aquestes accions es perceben mitjançant sensors. Per tant, si a mesura que una persona està realitzant les seves activitats quotidianes dibuixem en aquests tres eixos les accions detectades, ens adonem que les activitats es poden descriure recollint accions pròximes entre si.

Per tant, l'algorisme d'aprenentatge desenvolupat en la tesi:

Agrupa accions pròximes a l'espai d'activitats en diferents grups (a això se'l denomina clúster).

A partir de models generals, cadascun d'aquests grups inventa l'activitat a la qual pertany. Per a això s'observa si els models generals són coherents amb aquests grups d'acció.

Abasta tots els grups d'acció per a una activitat i troba evolucions comunes, aprenent models personalitzats.

Figura . Representació de l'espai de les activitats. En ella, els punts mostren les accions en tres eixos: local, (acció) tipus i temps. Les activitats (Iniciar, Netejar, etc.) es poden descriure recollint les accions pròximes. Imatge: Gorka Azkune.

D'aquesta forma s'aprenen models d'actuació específics per a cada persona, aprenent totes les accions realitzades per cada persona. A més, si aquest procés d'aprenentatge es repeteix al llarg del temps, a mesura que es van recopilant noves dades, es poden detectar les evolucions que una persona pot experimentar en aquest temps i aprendre adequadament l'evolució d'aquesta persona. És a dir, es poden aprendre els canvis que una persona pot tenir en la manera de realitzar les mateixes activitats, aprenent accions concretes.

Conclusions

Per què són tan importants els models personalitzats? D'una banda, perquè permeten prestar a cada persona l'ajuda que necessita. Per exemple, si una persona sempre afegeix sucre al cafè (model personal) i en algun moment es veu que no li ha tirat sucre, se li pot recordar. La llar intel·ligent s'adaptarà millor a les persones que viuen en ell.

D'altra banda, els models personalitzats són importants pel seu potencial ús en la salut. Geriatres i neuròlegs han demostrat que els canvis en les activitats diàries permeten prediagnosticar malalties mentals. Les tècniques desenvolupades en aquesta tesi poden ser una via per a analitzar amb precisió aquestes evolucions i canvis. Per tant, l'estudi d'activitats personalitzades al llarg del temps pot ajudar molt a combatre aquestes malalties, ja que abans de mostrar altres símptomes mèdics podem començar a tractar la malaltia.

En el futur haurem de continuar treballant per a solucionar els problemes que encara queden en l'aire. Com estendre aquest tipus de solucions a situacions més reals? És a dir, hi ha moltes persones que viuen en la mateixa casa i realitzen activitats conjuntes? Com podem evitar col·locar un sensor en cada racó i objecte de la casa sense renunciar als detalls de les activitats?

Encara queda molt per fer en els sistemes de detecció d'activitats humanes, però creiem que val la pena perquè els beneficis que poden reportar podrien ser importants. Podríem estar davant una via de millora substancial de la qualitat de vida de les persones i hem d'aprofitar-la.

Bibliografia

Philipose, M.; Fishkin, K.: “Inferring activities from interactions with objects”. Comput. Pervasive, vol. 3, no. 4 (2004), pàg. 50-57.
Fernandez-Caballero, A.: “Human activity monitoring by local and global finite state machines”. Symphony Syst. Appl, vol. 39, no. 8 (2012), pàg. 6982-6993.
Chen, L.; Hoey, J.; Nugent, C.; Cook, D.; Yu, Z.: “Sensor-based activity recognition”. IEEE Trans. Syst. Man, Cybern. C, vol. 42, no. 6 (2012), pàg. 790-808.
Bao, L.; Intille, S.: “Activity recognition from user-annotated acceleration data” en Pervasive Computing, (2004), pàg. 1-17.
Galata, A.; Johnson, N.; Hogg, D.: “Learning structured behaviour models using variable length Markov models” en IEEE International Workshop on Modelling People, (1999), pàg. 95-102.
Brand, M.; Oliver, N.; Pentland, A.: “Coupled hidden Markov models for complex action recognition” en Proceedings of Computer Vision and Pattern Recognition, (1997), pàg. 994-999.
Rashidi, P.; Cook, D.: “COM: A method for mining and monitoring human activity patterns in home-based health monitoring systems”. ACM Trans. Intell. Syst. Technol., vol. 4, no. 4 (2013), p. 64.
Bouchard, B.; Giroux, S.; Bouzouane, A.: “A Smart Home Agent for Pla Recognition of Cognitively-imaspered Patients”. J. Comput., vol. 1, no. 5 (2006), pàg. 53-62.
Chen, L. Nugent, C.: “A logical framework for behaviour reasoning and assistance in a smart home”. Int. J. Assist. Robot. Mechatronics, vol. 9, no. 4 (2008), pàg. 20-34.
Riboni, D.; Bettini, C.: “COSAR: hybrid reasoning for context-aware activity recognition”. Pers. Ubiquitous Comput., vol. 15, no. 3 (2011), pàg. 271-289.
Chen, L.; Nugent, C.; Wang, H.: “A knowledge-driven approach to activity recognition in smart homes”. Knowl. Data Eng. IEEE Trans, vol. 24, no. 6 (2012), pàg. 961-974.
Chen, L.; Nugent, C.; Okeyo, G.: “An Ontology-based Hybrid Approach to Activity Modeling for Smart Homes”. IEEE Trans. Human-Machine Syst., vol. 44, no. 1 (2014), pàg. 92-105.
Babesleak
Eusko Jaurlaritzako Industria, Merkataritza eta Turismo Saila