Le tactile avec tact

Les objets permettant une utilisation tactile sont de plus en plus présents. L'Apple Iphone est certainement le plus célèbre. Microsoft a fait sensation auprès de certains journalistes avec son Surface. Mais avant tout cela, il y a bien souvent le travail de chercheurs, publiés en OpenSource, et de nombreuses briques logicielles sous licence libre.

Commençons par un petit tour d'horizon des technologies matérielles permettant un interfaçage tactile aka TouchScreen.

Puis faisons un survol des technologies logicielles libres permettant d'un côté le contrôle du matériel et offrant d'un autre côté un environnement contrôlable "au doigt et l'œil", enfin surtout aux doigts ;).

NdM : Le journal à l'origine de la dépêche. Matériels

Résistif
Superposition de couches : une couche conductrice, une isolante puis une couche conductrice, (puis une autre isolante éventuellement : protection supplémentaire). Toucher la dalle : la pression exercée fait que les couches conductrices se touchent en 1 point : le courant circule et les tensions mesurées permettent de connaître les coordonnées de l'impact.

Capacitif
La dalle est électrifiée : la toucher enlève de la charge électrique à l'écran : ce transfert crée un manque, et les coordonnés de ce manque sont exploitées.

Capacitif projeté
Technologie identique à la capacitive classique, sauf qu'elle s'affranchit de devoir toucher la dalle elle même ; on place un verre renforcé devant, par exemple. La plupart des bornes de type distributeurs (banque, avions, trains) utilisent cela, mais également les téléphones de type iPhone ou Android.

Capacitif projeté +
Les écrans de ce type peuvent réagir à des pointeurs (doigts, mains, stylets...) distants de 10cm, jusqu' à 15-20cm selon les modèles.

Onde de surface
Fonctionnement similaire au "résistif", mais des vagues d'ultrasons traversent en permanence l'écran : le toucher déclenche une interruption et le contrôleur en déduit les coordonnées.

Reconnaissance Acoustique
Fonctionnement inversé des "ondes de surfaces" : il s'agit ici d'analyser l'onde se répandant sur la surface, créée par le toucher (et pas directement, de plus : l'analyse du signal reçu se fera par comparaison à des modèles enregistrés). Seule une plaque de verre et 4 transducteurs piézoélectriques sont ici nécessaires : toute la précision dépend uniquement du contrôleur, mais d'un autre côté elle est simple à mettre en oeuvre, et simple en maintenance.

Caméra seule
Ce n'est plus du tactile à proprement parler (encore moins que le "capacitif projeté +), mais l'incidence sur l'utilisation d'applications informatiques en est proche. C'est la technologie utilisée pour les ReactTable (table audionumérique) : une plaque de plexiglas, une source de lumière, le logiciel PureData, une webcam et feu... Ici, on n'est plus dans le toucher, mais dans la reconnaissance de formes. C'est aussi la technologie retenue pour la dernière xbox. C'est également la bonne vieille méthode du vieux projet (affilié à Sun) sur go-monkey.at (plus visible aujourd'hui).

Infrarouge
Ensemble d'émetteurs et récepteurs infrarouges placés dans le cadre, le matériau de contact peut être du tissu, du verre, certains plastiques. Le toucher crée une ombre, et on (le contrôleur) en déduit la position.

C'est cette dernière technologie qui est employée le plus souvent pour obtenir un ensemble "multitouch", en y ajoutant une caméra permettant de rendre le toucher créant des ombres. Et, en y ajoutant un rétroprojecteur, permettant de projeter le bureau informatique sur la même surface, on obtient alors un ensemble complet. Cette technologie est utilisée pour le "Surface" de Microsoft par exemple. C'est également elle qui est plébiscitée pour les montages par les amateurs : elle permet d'obtenir de grandes surfaces à moindre coût (comparé aux écrans LCD tactiles tout prêts, à tailles égales).

Quelques solutions prêtes à l'emploi :

NORT/D Labs propose le Cubit : coffre avec matériel intégré, où le rétroprojecteur ne frappe pas directement la surface, mais un miroir. Ceci a pour avantage de respecter la proportion entre distance de projection et résolution. Elle a pour inconvénient d'être plus difficile à monter d'une part. Et, le miroir se chargeant de l'agrandissement de l'image, risque fort de donner au résultat final une grande image, mais d'une petite résolution. (voir les caractéristiques du rétroprojecteur). Bien entendu le miroir sert également à replacer dans le bon sens l'image projetée, mais il vaut mieux le faire de manière logicielle pour éviter d'avoir une visualisation inversée de son bureau.
http://labs.nortd.com/cubit/

NORT/D Labs propose également le TouchKit : il s'agit de la surface, avec technologie infrarouge intégrée, accompagné d'une caméra infrarouge et des logiciels. Ceci afin de se monter soi-même son ensemble. http://labs.nortd.com/touchkit/

DemandEvolution propose un intégré complet, haut de gamme : le Gecko. Il comprend une surface et un écran LCD, sur 30 pouces de diagonale, le tout atteignant la résolution de 2560x1600... C'est un ensemble totalement finalisé dont le prix (2990$us) est raisonnable au vu de l'ensemble... http://www.demandevolution.com/gecko

DemandEvolution proposait le Kit (mis en vente à la fin du printemps, tout le stock est parti, plus un seul en vente). Tout comme le TouchKit de NORT/D, il s'agit de la seule surface, avec laquelle l'utilisateur choisira d'utiliser son propre rétroprojecteur et sa propre caméra. http://www.demandevolution.com/kit (à titre personnel c'est cette solution que j'aurai acheté, si j'avais pu, avant le "soldout")

D'autres sociétés proposent des "kits multitouch", comme la bordelaise Stantum, mais nous nous ne intéresserons pas à elles dans la mesure où leurs solutions sont pour des objets de petites tailles (smartphone, netbooks) et qu'elles ne semblent pas versées dans l'OpenSource côté logiciel...

Un exemple à citer, quand même, la table MT-50 de la société Ideum est l'exemple parfait de l'inutile.
A priori une superbe conception matérielle (aluminium "aircraft grade", très belle finition générale) mais... cela restera juste un gadget, car tout comme la "surface de Microsoft" impossible de s'en servir comme d'un bureau : c'est un bloc massif, pas de place pour les jambes. En prime une version propriétaire de TUI (tiens ?). Avec un prix frisant les 22 000 dollars us, il restera un gadget inutile, en décoration et pour amusement dans un hall d'accueil d'une quelconque richissime société faisant dans le tape à l'œil plutôt que dans le contrôle au doigt...

Reactable
Fonctionnement assez voisin pour un concept différent : les reactables, ou table audionumérique de contrôle de logiciels par interface de reconnaissance de formes et de mouvements. Particulièrement intéressantes car elles utilisent les mêmes briques logicielles sous-jacentes, et "poussent le bouchon" plus loin. Une reactable originelle n'a pas besoin de surface infrarouge tactile. Le principe de base étant de disposer d'une plaque de plexiglas translucide et sous elle, une lumière ainsi qu'une webcam. Elle se contente ici de voir et d'analyser les formes posées sur la plaque de plexiglas, et leurs mouvements. Le concept est assez similaire à une partie d'une table basée sur un ensemble de type surface infrarouge + caméra + vidéoprojecteur, donc. Certaines reactables vont plus loin et ajoutent un rétroprojecteur afin de relayer des informations sur la surface. Le tour est fait : l'utilisation n'est pas directement la même, mais les matériels sont identiques...
Voir http://mtg.upf.es/reactable et http://reactivision.sourceforge.net.

La croisée des chemins, les logiciels

Au milieu est le soleil

Toutes ces solutions ont en commun d'être massivement basées sur l'utilisation d'un protocole/système/concept particulier :

TUI pour Tangible User Interface qui dépasse le cadre de l'utilisation tactile (voir par exemple http://tangible.media.mit.edu/project.php?recid=132 qui en est à ses débuts semble-t-il).

TUIO est la référence :
Il semble que les différents acteurs de cette communauté veulent se rapprocher, que cela soit reactivision, tuio.org, community core vision, nui group... En tout cas une release vient tout juste de paraître, de cette brique essentielle à de nombreux projets : elle permet dorénavant de faire cohabiter plusieurs sources l'utilisant en tagguant leurs origines. Il devient ainsi aujourd'hui possible d'utiliser simultanément plusieurs clients tuio... Le document de référence a été publié lors du "International Workshop on Gesture in Human-Computer Interaction and Simulation" à Vannes, en France en 2005. L'évolution, le suivi et l'utilisation du projet en font un projet solide.
http://www.tuio.org

TUIO est basé initialement sur OpenSound Control. Ce protocole lui même a été écrit pour remplacer le MIDI, mais il n'en fut rien, et il eu/a sa propre vie... Voir http://opensoundcontrol.org TUIO utilise une (des) socket(s) UDP et est actuellement écrit en C++ (une implémentation client en Java, une en ActionScript et une C# sont disponibles, aussi une disponibilité en smaltalk et en python) et est disponible sous licence GPLv2. (on notera toutefois que le TUI originel est distribué sous licence MIT. Voir http://mtg.upf.edu/node/408).

L'avantage majeur est qu'il s'agit d'un standard pérenne. Mais, comme toujours, quelques trublions ont essayés de semer la pagaille en faisant leur propre implémentation ne respectant pas ce standard et devenant de fait fermé, non seulement au sens licence mais également au sens utilisation. On ne les citera même pas... À noter que Microsoft est attaché à ce standard, et c'est bien, semble-t-il, une version pure de ce standard qui est utilisée dans son "surface" (et dans Windows Seven).

Les groupes de travaux autour de TUIO sont trop nombreux pour être cités de manière exhaustive (et je ne possède qu'une vue très partielle, de toutes façons). La prochaine réunion mondiale se fera à Cambridge, USA (voir http://www.tei-conf.org/10/ ). On s'attachera donc à regarder de plus près un de ces groupes de travaux, le Community Core Vision :

Celui-ci publie ses travaux sous licence GPL (la version n'est pas précisée et les sources ne contiennent pas le fichier licence [un bug à ce sujet a été ouvert], mais le site le précise parfaitement). D'autre part, ses travaux sont multi-plateformes (Windows, Mac & Linux). Enfin il s'attache à réaliser des outils de configuration, de calibrage et de contrôle pour un montage de type reactable ou mieux... Voir sur http://ccv.nuigroup.com. Un binaire est disponible pour Debian et Ubuntu, le tarball embarque également un script pour Fedora, et l'ensemble est directement fonctionnel sur Mandriva Linux. Ceci manque clairement de packaging conventionnel, mais "ça roule"...

La TouchLib est aujourdhui capable d'envoyer des signaux TUIO. Voir http://whitenoiseaudio.com/touchlib et http://www.nuigroup.com/touchlib et est distribuée sous licence BSD.

Le device de type EV :
Le classique device EV de Xorg permet lui aussi des choses intéressantes nativement, par exemple les distributions spécialisées dans l'embarqué utilisent souvent le EVTOUCH et l'outil de découverte automatique du device d'entrée (qui n'est pas packagé pour les distributions classiques, il est disponible ici : http://beagleboard.googlecode.com/files/evtest.c) Exemple de configuration (quasiment obsolète dans la mesure où xorg.conf sera bientôt retiré) http://en.wikibooks.org/wiki/Multiseat_Configuration/evdev

le coeur est le noyau

Le noyau Linux s'est vu ré-haussé ces derniers temps du support natif du MultiTouch pour de nombreuses surfaces différentes : il s'agit là de modules spécifiques à certains écrans LCD tactiles multitouch : 3M, N-trig, Stantum et DiamondTouch. Comme parfois, les firmwares correspondant ne sont pas libres ou ont une licence floue... Il vous faudra donc les télécharger vous-mêmes ou attendre que votre distribution les mette à disposition sur un dépôt de type "non-free".

Ces nouveaux modules noyau sont issus des travaux de personnes de l'ENAC (Ecole Nationale d'Aviation Civile, à Toulouse). Voir http://www.lii-enac.fr/en/projects/shareit/linux.html et ils ont été intégrés au noyau vanilla, voir : http://git.kernel.org/linus/57fd637ad9ac6b13c1c47b9a0ced4ee9(...)

À noter que Toulibre organise une conférence à ce sujet, le 23 septembre, à Toulouse, en présence de Mr Chatty (http://www.intuilab.com/about/team/ & http://www.lii-enac.fr). Voir la dépêche à ce sujet : http://linuxfr.org/2009/09/18/25925.html.

Mpx et Xorg

Mpx a été initialement créé au "Wearable Computer Lab" de l'Université d'Australie du Sud, par Peter Hutterer. Il a été intégré dans la branche principale de Xorg, il y a un peu plus de un an maintenant. Il est désormais disponible par défaut avec toute distribution utilisant le dernier serveur Xorg (la dernière Ubuntu ne l'aura pas, par exemple, il faudra patienter encore un peu. Mandriva Linux l'aura, tout comme Fedora et ArchLinux, bien sûr.) Voir http://lists.freedesktop.org/archives/xorg/2008-May/035384.h(...) pour l'intégration initiale et http://wearables.unisa.edu.au/mpx/ ainsi que http://www.x.org/wiki/Development/Documentation/MPX

Un des avantages de Mpx peux être résumé dans l'adage "si X le peut, alors toutes les applications le peuvent".

Un Window Manager initial a été écrit : MPWM, prenant en charge nativement cela. Compiz a intégré également la gestion du multitouch. Néanmoins, force est de constater l'absence d'innovation ergonomique : on en reste à un gestionnaire de fenêtre encadrant visiblement les fenêtres, et seul ce cadre permet de manipuler la fenêtre.

Alors qu'il faudrait (peut-être, c'est une question) plutôt un gestionnaire de fenêtre de type invisible, sans cadre autour des applications, mais couvrant chaque applications dans leur partie centrale, et uniquement à la demande : lorsque deux pointeurs sont déclenchés. Ceci permettrait les opérations courantes sur les fenêtres : fermer, déplacer, et redimensionner. Mais sans entraver ni le fonctionnement des applications elles-mêmes (les boutons, les liens) lorsqu'elles sont statiquement utilisées, ni leur demander une quelconque adaptation (tags pour zone de boutons ou autre) ?

Pour le bureau tactile, KDE est le mieux armé : il est possible et aisé de le configurer pour obtenir un bureau agréable / ergonomique / utile : gestion de kwin, des boutons et de la taille de chaque élément à la liberté de l'utilisateur, plasmoïdes, etc. (ceci n'est pas du tout un troll, c'est un simple constat parfaitement objectif). Pas seulement le bureau KDE seul, mais l'ensemble de son écosystème logiciel... À noter que l'excellent dock Cairo-Dock devrait lui aussi être adapté à cet usage, et sur tous les bureaux de type Gtk.

En haut se trouve la jungle

Les logiciels de haut niveau proposant des interfaces dédiées à l'utilisation en mode tactile sont déjà nombreux, et peu sont libres.

Ils semblent majoritairement développés avec Adobe Air, ce qui a l'avantage de les rendre multi-plateformes. Sous Mandriva Linux et Fedora par exemple, deux clics sur un site en proposant et Adobe Air s'installe, puis lance l'installation du logiciel voulu. Peu sont libres, mais les utiliser sur Linux est un jeu d'enfants. (La prise en compte de Linux pour le téléchargement automatique de Adobe Air est d'ailleurs à 100 000 lieues de celui pour Flash : tu cliques, ça marche, point).

Un exemple de ce type de logiciel, chez nuigroup (hébergeant le CCV) : http://nuigroup.com/log/multitouch_media_application_pro_v3

La société Toulousaine Intuilab développe également des applications de ce type.

Les deux sociétés citées en début, sur le matériel, proposent leur développement logiciel entièrement en OpenSource. Pour DemandEvolution, voir : http://www.demandevolution.com/software
Et pour NORT/D Labs, voir : http://labs.nortd.com/touchkit/download.html

À noter qu'un Blender Game Engine pouvant utiliser TUIO est disponible. Développé au Laboratoire d'Informatique Fondamentale de Lille (voir ici : http://forge.lifl.fr/PIRVI/wiki/MTUtils/blenderTUIO ). Je ne sais pas si ces modifications ont été proposées au projet père, en tout cas, c'est disponible en GPL bien sûr et ajoute la possibilité tuio à Blender !

Bref, la jungle, pas toujours libre, mais très intéressante quant même, dans tout les cas.

Enfin, il ne serait pas juste de faire une dépêche sur le tactile sans citer le travail de Mr Jeff Han (voir http://cs.nyu.edu/~jhan/ ) à l'origine de http://www.perceptivepixel.com.
Ni juste de ne pas faire référence aux travaux de messieurs Chapuis et Roussel, et de recommander chaudement de passer du temps sur leur site, afin de débusquer les origines... http://insitu.lri.fr

Conclusion

Linux a de nombreux atouts, GNU massivement aussi, mais nos distributions sont-elles prêtes ? Dans tout les cas, si vous souhaitez vous-aussi vous lancer dans un "bricolage" de plus ou moins grande envergure, vous trouverez de nombreuses informations, et du support, auprès du CCV, sur leur forum. Le site de NORT/D est également une mine précieuse de renseignements pour bien démarrer. Et aller jeter un œil autour de cette merveille de PureData, ainsi que de la communauté Pixel ;) La difficulté est d'obtenir une haute précision. Pour la technologie "surface infrarouge" par exemple : du nombre de diodes infrarouges dépendra la précision, et de la précision du toucher dépendra la résolution possible... (on peut aussi, en plus d'augmenter le nombre de diodes infrarouge, augmenter le nombre de caméras : passer à 2 voire 3 caméras devrait largement aider). Un bricolage totalement manuel reviendra peu cher, certes, mais la précision, et donc la résolution, risque d'être faible (atteindre du 1024x768 me semble déjà très bien). C'est pourquoi il peut être préférable d'investir dans une surface "infrarouge" de grande taille et de qualité industrielle ; cela reviendra bien moins cher qu'un écran lcd tactile multitouch à taille identique. Néanmoins, certains arrivant sur le marché sont intéressants : du type de ceux qui vont apparaître bientôt sous la forme de Net-Top ; comme le Asus WindTop AE 2400, mais il faudra payer l'impôt illégal de Microsoft pour celui-ci. Les tailles commencent là à être correctes et les prix aussi, mais cela restera en deçà de ce que l'on peux obtenir avec un peu d'huile de coude et une "surface infrarouge".

http://nuigroup.com/forums/viewthread/1561/ http://labs.nortd.com/touchkit/setup.html http://labs.nortd.com/touchkit/setup-hardware-nice.html http://puredata.info

Quelques vidéos :

• Blender [9 Mo]
  
• Metisse et Façades [30 Mo]
  
• voir les commentaires du journal pour d'autres vidéos

Et pour finir, une touche d'humour en montrant un exemple de ce qu'il ne faut pas faire :
http://www.youtube.com/watch?v=Yx9FgLr9oTk&feature=related

Aller plus loin

• Blender TUIO (46 clics)
• Façades... à regarder en entier, et à regarder encore... (30 clics)
• ENAC & le noyau Linux (14 clics)
• Intuilab (20 clics)
• Tuio explication visuelle (15 clics)
• Linux, multitouch & Google Earth (13 clics)