Como preparas o café?

Azkune Galparsoro, Gorka

Ikertzailea eta irakaslea

Euskal Herriko Unibertsitateko Informatika Fakultatea

O envellecemento da sociedade converteuse nun dos maiores problemas. Vivimos cada vez máis tempo, pero lamentablemente nos nosos últimos anos sufrimos moitas dificultades. Una vía paira facer fronte a estas dificultades é a das tecnoloxías intelixentes, en concreto a dos fogares intelixentes. Co obxectivo de promover una vida independente, os fogares intelixentes proporcionarán ás persoas que viven nel a axuda que necesitan paira realizar as súas actividades diarias. Pero o primeiro que hai que facer é saber que están a facer estas persoas e que queren facer. Na nosa tese doutoral na Universidade de Deusto demos novos pasos neste campo.
nola-prestatzen-duzu-kafea
-

No noso día a día facemos moitas cousas: levantarnos da cama, almorzar, ver a tele, etc. A capacidade de realización de cada una destas actividades é fundamental paira una boa calidade de vida. E ese é precisamente o obxectivo dos fogares intelixentes: prestar o apoio necesario ás persoas que viven neles paira poder realizar as súas actividades diarias.

Pero, que son as casas intelixentes? Na base son casas normais, onde se colocan sensores e computadores. Os sensores proporcionan información sobre as actividades que realizan as persoas e os computadores procesan esta información paira comprender comportamentos e tomar decisións. Neste artigo analizaremos a primeira parte, recompilando a información dos sensores e detectando as actividades humanas.

Paira empezar necesitamos sensores. Hai moitos tipos de sensores no mercado e non nos sería posible explicalos uno a un. Paira este traballo, pensemos que os sensores están pegados nos nosos obxectos e ferramentas cotiás. Así, por exemplo, ao coller un vaso acenderase o sensor que hai nel e rexistrará esta acción. Recompilando información deste tipo no tempo, o computador debe coñecer as actividades. Por exemplo, se una acode toma una cunca, pon en marcha a cafetera e despois colle o azucreiro, o computador debería saber que esa persoa está a preparar un café.

Como detectar as actividades humanas?

Se nos fixamos na investigación realizada até a data, pódense atopar dúas correntes principais paira a detección de actividades humanas:

  1. Técnicas baseadas en datos: toma de datos sensoriais recollidos por unha persoa, aplicación de aprendizaxe automática e aprendizaxe das actividades humanas. O computador aprende de datos brutos. Estas técnicas teñen moitos aspectos positivos, como que son capaces de aprender prácticas personalizadas, que aprenden dos datos de cada persoa, e adáptanse aos cambios das persoas. Pero tamén hai contras: dificultades paira xeneralizar o apreso —non se pode utilizar o apreso dunha persoa paira outra— e que na fase de aprendizaxe necesítanse moitos datos etiquetaxes, por exemplo. Este último é un problema importante xa que é moi difícil obter datos etiquetaxes.
  2. Técnicas baseadas no coñecemento: o coñecemento que temos de cada actividade se codifica nuns modelos lóxicos e a continuación obsérvase se a información dos sensores é coherente con eses modelos paira atopar una actividade adecuada. Vantaxes: os modelos definidos son aplicables a calquera persoa, sen necesidade de datos paira a posta en marcha do sistema (non hai fase de aprendizaxe). Contras: conseguir modelos personalizados é moi difícil, xa que é difícil coñecer de antemán todos os detalles de cada persoa. Doutra banda, os modelos de actuación son ríxidos e non poden adaptarse aos cambios que experimentan as persoas ao longo do tempo.

Profundando nos proles e contras de ambas as correntes, apréciase bastante claramente que presentan características contrapostas. O que fan ben as técnicas baseadas en datos, as técnicas baseadas no coñecemento non poden facelo ben, e viceversa. Trátase de dous enfoques diferentes paira solucionar un mesmo problema, que son contraditorios pero son incompatibles?

Figura . Novo proceso proposto na tese paira a obtención de modelos de actividade humana. Imaxe: Gorka Azkune.

En busca de técnicas híbridas

Sería bo que as dúas correntes xuntásense dalgunha maneira e fusionasen o mellor dos dous mundos, non? Iso é o que se fixo nesta tese. Propúxose, desenvolvido e probado un novo proceso de modelización da actividade humana. Na figura 2 pódese ver o diagrama deste novo proceso. A proposta combina técnicas baseadas no coñecemento e os datos, ofrecendo una solución híbrida. En primeiro lugar, un experto define modelos xerais de actuación aplicables a calquera persoa. A continuación recóllese a información sensorial xerada por unha persoa que vive nunha casa intelixente. Utilizando modelos xerais e un algoritmo de aprendizaxe baseada en datos, enriquécense os modelos iniciais aprendendo os detalles desa persoa concreta. Así se aprenden modelos personalizados. Estes modelos preséntanse ao experto para que os incorpore á base de coñecemento.

Desta forma creouse un sistema que une as mellores características de ambas as correntes. Por unha banda, aprovéitase o coñecemento humano paira crear modelos xerais. Estes modelos xerais recollen as características xerais dunha actividade, polo que son aplicables a calquera persoa. Doutra banda, é capaz de aprender modelos personalizados, recompilando información sensorial dunha persoa e aplicando algoritmos baseados en datos. Ademais, a utilización de modelos xerais nesta aprendizaxe evita a necesidade de datos etiquetaxes, superando así un aspecto negativo das técnicas baseadas en datos. Así, a medida que o comportamento dunha persoa cambia, os modelos personalizados que se aprenden adáptanse.

Cun exemplo mellor

Tentemos comprender mellor a proposta presentada na figura 2 cun exemplo sinxelo. Tomemos a actividade de facer café. Como todos sabemos, paira facer café é necesario tomar café e ter un cubo paira beber. Por tanto, a actividade de café terá dúas accións obrigatorias: tomar café e tomar o envase. Como se ve, una actividade divídese en accións. Acabamos de definir un modelo xeral compondo dúas accións. Este modelo é aplicable a calquera persoa, xa que ninguén no mundo é capaz de facer un café sen café nin vasos (figura 3).

Agora, supoñamos que a persoa que vive na casa intelixente adoita cociñar o café de dúas maneiras: ás veces prepara café con leite, café, leite, recipiente e azucre; ás veces prepara café só con café, recipiente e azucre. O proceso proposto na tese estuda estes modelos personalizados a partir de modelos xerais e datos de sensores. Hai que insistir en que estes datos de sensores non están etiquetaxes, superando así a debilidade das técnicas baseadas nos datos máis utilizados.

Algoritmo de aprendizaxe de modelos personalizados

Non é obxecto deste artigo describir con precisión o algoritmo de aprendizaxe desenvolvida na tese, pero tentemos explicar as ideas principais (figura 4). As accións dunha persoa poden encadrarse en tres eixos:

Figura . Un exemplo paira aprender modelos personalizados cun modelo xeral. Imaxe: Gorka Azkune.
  1. Lugar onde a persoa realizou a acción: cociña, baño...
  2. Obxecto da acción realizada (tipo): limpeza, cociña, lecer...
  3. Momento (día e hora) en que se produciu a acción.

Estas accións percíbense mediante sensores. Por tanto, si a medida que una persoa está a realizar as súas actividades cotiás debuxamos nestes tres eixos as accións detectadas, dámosnos/dámonos conta de que as actividades se poden describir recollendo accións próximas entre si.

Por tanto, o algoritmo de aprendizaxe desenvolvida na tese:

Agrupa accións próximas ao espazo de actividades en diferentes grupos (a isto denomínaselle cluster).

A partir de modelos xerais, cada un destes grupos inventa a actividade á que pertence. Paira iso obsérvase si os modelos xerais son coherentes con estes grupos de acción.

Abarca todos os grupos de acción paira una actividade e atopa evolucións comúns, aprendendo modelos personalizados.

Figura . Representación do espazo das actividades. Nela, os puntos mostran as accións en tres eixos: local, (acción) tipo e tempo. As actividades (Iniciar, Limpar, etc.) pódense describir recollendo as accións próximas. Imaxe: Gorka Azkune.

Desta forma apréndense modelos de actuación específicos paira cada persoa, aprendendo todas as accións realizadas por cada persoa. Ademais, se este proceso de aprendizaxe repítese ao longo do tempo, a medida que se van recompilando novos datos, pódense detectar as evolucións que una persoa pode experimentar nese tempo e aprender adecuadamente a evolución desa persoa. É dicir, pódense aprender os cambios que una persoa pode ter na forma de realizar as mesmas actividades, aprendendo accións concretas.

Conclusións

Por que son tan importantes os modelos personalizados? Por unha banda, porque permiten prestar a cada persoa a axuda que necesita. Por exemplo, se una persoa sempre engade azucre ao café (modelo persoal) e nalgún momento vese que non lle botou azucre, pódeselle lembrar. O fogar intelixente adaptarase mellor ás persoas que viven nel.

Doutra banda, os modelos personalizados son importantes polo seu potencial uso na saúde. Geriatras e neurólogos demostraron que os cambios nas actividades diarias permiten prediagnosticar enfermidades mentais. As técnicas desenvolvidas nesta tese poden ser una vía paira analizar con precisión ditas evolucións e cambios. Por tanto, o estudo de actividades personalizadas ao longo do tempo pode axudar moito a combater estas enfermidades, xa que antes de mostrar outros síntomas médicos podemos empezar a tratar a enfermidade.

No futuro teremos que seguir traballando paira solucionar os problemas que aínda quedan no aire. Como estender este tipo de solucións a situacións máis reais? É dicir, hai moitas persoas que viven na mesma casa e realizan actividades conxuntas? Como podemos evitar colocar un sensor en cada recuncho e obxecto da casa sen renunciar aos detalles das actividades?

Aínda queda moito por facer nos sistemas de detección de actividades humanas, pero creemos que merece a pena porque os beneficios que poden reportar poderían ser importantes. Poderiamos estar ante unha vía de mellora substancial da calidade de vida das persoas e debemos aproveitala.

Bibliografía

Philipose, M.; Fishkin, K.: “Inferring activities from interactions with objects”. Comput. Pervasive, vol. 3, non. 4 (2004), pp. 50-57.
Fernandez-Caballero, A.: “Human activity monitoring by local and global finite state machines”. Symphony Syst. Appl, vol. 39, non. 8 (2012), pp. 6982-6993.
Chen, L.; Hoey, J.; Nugent, C.; Cook, D.; Yu, Z.: “Sensor-based activity recognition”. IEEE Trans. Syst. Man, Cybern. C, vol. 42, non. 6 (2012), pp. 790-808.
Bao, L.; Intille, S.: “Activity recognition from user-annotated acceleration data” en Pervasive Computing, (2004), pp. 1-17.
Galata, A.; Johnson, N.; Hogg, D.: “Learning structured behaviour models using variable length Markov models” en IEEE International Workshop on Modelling People, (1999), pp. 95-102.
Brand, M.; Oliver, N.; Pentland, A.: “Coupled hidden Markov models for complex action recognition” en Proceedings of Computer Vision and Pattern Recognition, (1997), pp. 994-999.
Rashidi, P.; Cook, D.: “COM: A method for mining and monitoring human activity patterns in home-based health monitoring systems”. ACM Trans. Intell. Syst. Technol., vol. 4, non. 4 (2013), p. 64.
Bouchard, B.; Giroux, S.; Bouzouane, A.: “A Smart Home Agent for Plan Recognition of Cognitively-imaspered Patients”. J. Comput., vol. 1, non. 5 (2006), pp. 53-62.
Chen, L. Nugent, C.: “A logical framework for behaviour reasoning and assistance in a smart home”. Int. J. Assist. Robot. Mechatronics, vol. 9, non. 4 (2008), pp. 20-34.
Riboni, D.; Bettini, C.: “COSAR: hybrid reasoning for context-aware activity recognition”. Pers. Ubiquitous Comput., vol. 15, non. 3 (2011), pp. 271-289.
Chen, L.; Nugent, C.; Wang, H.: “A knowledge-driven approach to activity recognition in smart homes”. Knowl. Data Eng. IEEE Trans, vol. 24, non. 6 (2012), pp. 961-974.
Chen, L.; Nugent, C.; Okeyo, G.: “An Ontology-based Hybrid Approach to Activity Modeling for Smart Homes”. IEEE Trans. Human-Machine Syst., vol. 44, non. 1 (2014), pp. 92-105.
Babesleak
Eusko Jaurlaritzako Industria, Merkataritza eta Turismo Saila