'Cognitive Robots' From Affordance to Action & back

252 Pages·2008·10.41 MB·English

Italian Institute of Technology
University of Genoa

Doctoral School on Humanoid Technologies
XXI cycle

‘Cognitive Robots’
From Affordance to Action
& back

Thesis submitted for the degree of
“Doctor of Philosophy”
by

Vishwanathan Mohan

Supervisors: Prof. Pietro G. Morasso
Prof. Giorgio.Metta
Prof.Vittorio. Sanguineti

Genova, Italy
A.A 2005/2008
The research described in this book has been supported by the grants from the Italian Institute of 
Technology, a foundation established jointly by the Italian Ministry of Education, Universities and 
Research and the Ministry of Economy and Finance. The research  was also supported by the 
European Union through the FP6 project GNOSYS.  

2
Thirst drove me down to the water, where I drank the reflections of the moon.
Jalaladdin Muhammad ‘Rumi’
12th century Sufi Mystic, Poet

3
4
To 
 all the accidental forces (physical and psychological) 
agents (natural/artificial) 
that have shaped my ‘doing’ 
and hence shaped my ‘being’, 
and helped me grow 
‘from potential to actual’ 

5
6
Acknowledgements

   Passion for science is often infectious! and during this journey I have been extremely fortunate 
that my paths crossed several such people who have directly and indirectly contributed towards the 
development  of  the  work  presented  in  this  manuscript.  Particularly,  I  would  like  to  thank 
Prof.Pietro Morasso and Prof.Giorgio Metta for several things, most importantly, having the passion 
to play around with important problems in science, often with a smile that speaks much more than 
what few blobs of ink in this paper can ever express. I thank Prof.Giulio Sandini for providing me 
the  opportunity  to  play  with  expensive  toys  (robots)  and  also  for  all  the  freedom  and 
encouragement he gave me during the last three years. Thanks to Prof. David Vernon for that 
brilliant course on cognitive systems he conducted! Thanks to Ingrid and Anastasia for often going 
out of the way to help me with the beurocratic issues, an issue I am not very ‘Cognitive’ about! I 
also extend my gratitude to Prof.Vittorio Sanguineti and all the colleagues of the neurolab for 
creating a simulating environment to work in.  
     I am profoundly indebted to Stathis Kasderidis for all the ‘space, time, energy and tireless efforts’ 
he put to make GNOSYS functional. We have often seen failures together many times during the 
creation of GNOSYS. Our several discussions in ‘Heaven’ has greatly influenced the development of 
this work. (Heaven is an exotic cafeteria in the island of Crete). I also thank Ioanna for taking care of 
me whenever I was in Greece. This work is a result of past four years of collaborative research  
under  the  framework  of  the  EU  funded  project  GNOSYS.  I  thank  our  inspirational  leader 
Prof.John.G.Taylor  for  most  importantly  asking  the  right  and  often  difficult  questions,  and 
sometimes permitting me to bite much more than I could chew! I also take this opportunity to 
express  my  gratitude  to  the  other  collaborating  teams  of  GNOSYS,  Prof.Hans  Peter  Mallot, 
WolfGang, Christo for creating the visual perception system (the main inputs to my reasoning 
architecture), Vassilis Spais and Nikos Chatzinikoalu for assembling the robot and allowing us to 
create an additional playground for the robot at ZENON, Harris Baltzakis for creating the excellent 
ORCA simulator that I used for some of the simulations related to spatial navigation. I would like to 
thank Prof.V.Srinivas Chakravarthy of the Indian Institute of Technology Madras, for introducing me 
to neural networks, associative memories and thermodynamics of computation, a field that still 
deeply interests me, even though I could not find the much needed time to wonder about it in the 
past few years. I would to thank Luca, Boris and Mehmet for some really interesting discussions we 
have had on non linear dynamics and chaos. Thanks to my very old friends Indrajit, Ravi, Sushant, 
Rajesh, Krishnan, Rahul, Winnieza and Anisa for the support they extended all these years. 
   I would like to thank the several authors whose works have often inspired and influenced my 
thinking mainly, the Indian Mystic OSHO Rajneesh, Douglas Hofstadter, VS Ramachandran, Gerald 
Edelman, Peter Atkins, Richard Dawkins, Antonio Damasio, Richard Feynman, Murray Gell Mann, 
Walter Freeman, Helen Fisher, Ekhart Tolle and George Lakoff. 
    Finally, I express my deep gratitude towards the members of my family for the support and love 
they have given me all along these years.  

7
8
Abstract

 Affordances are the seeds of action. Being able to identify  and exploit them opportunistically in the 
‘context’ of an otherwise unrealizable goal is a sign of cognition. Being able to do this in the mind by 
performing virtual actions, further allows an agent to mentally evaluate ‘what additional affordances’ 
it can create in its world as a consequence of its real/simulated actions, hence most importantly 
enabling it to reason about how the world must ‘change’ such that it becomes a little bit more 
conducive towards realization of its internal goals. What is the nature of the computational substrate 
that could drive embodied robotic agents to exhibit such levels of cognitive control over their 
perceptions  actions  and  imaginations?  The  problem  is  difficult  and  the  solution  often  elusive. 
However, there are several pressures to provide an answer, both from the intrinsic viewpoint of 
better understanding ourselves, to creating robots that can flexibly deal with our needs and in the 
environments we inhabit. In this thesis, we propose an ‘internal models’ based computational 
architecture for reasoning and action generation with an aim to empower robotic embodiments with 
some preliminary ability to virtually manipulate neural activity in their mental space in order to 
exhibit flexible goal directed behavior in their physical space. Both the developmental process 
(learning) and the seamless flexibility of the proposed architecture is expressed through the life of a 
moderately complex robot ‘acting, learning and performing’ in a moderately complex playground, 
attempting to use its ‘perceptions actions and imaginations’ to intelligently and resourcefully cater 
‘rewarding’ user goals. A passive motion paradigm (Mussa Ivaldi et al, 1988) based forward inverse 
model for mental simulation / real execution of goal directed arm (and arm+tool) movements, a 
spatial mental map, an internal model for pushing objects and an abstract sensorimotor space 
(reasoning system) are progressively created in the behavioral repertoire of the robot. From a global 
view point, the complete computational architecture can be visualized as a loosely coupled network 
of dynamical systems, with the power of sensorimotor exploration, self organization, field computing 
and value dependent learning exploited at all levels of hierarchy (and in all the internal models). 
Additionally, a high level of abstraction (to manage/coordinate complexity emerging at different 
scales, dynamical systems, changing world),  approximate self similarity in structure, learning and 
dynamics of the different internal models acquired by the robot, heterogeneous optimality (learning 
when to optimize what), circularity (closure between perception and action at all scales, with 
inconsistencies at one level becoming an affordance to ‘act, reason or explore’ at some other level) 
and recursivity (self referential nature) form the cornerstones of the proposed architecture. A 
resulting side effect, as demonstrated by the results presented in this manuscript, is the scalability, 
portability, open‐endedness and effortless up gradation of the computational architecture while 
dealing  with more complex  ‘bodies, worlds and goals’. 

9
10