eye tracking

[3dsman]

Et hop un nouveau projet:
L'idée c'est de tenter de faire une variante de ce projet la: https://hackaday.io/project/153293-low- ... e-tracking

Cet appareil permet de suivre le regard d'un utilisateur (identifier ou il regarde et pendant combien de temps). C'est pas mal utilisé pour des études dans la publicité notamment mais il y a plein d'autre usages envisageables.
quelques exemples:
https://www.worldviz.com/post/eye-track ... e-why-care
https://www.youtube.com/watch?v=WqD2pXqT0Z0
https://www.youtube.com/watch?v=lo_a2cfBUGc

Le principe c'est de filmer la pupille de l'utilisateur pour détecter la direction du regard.
En général on filme pour faire de la reconnaissance du cercle de la pupille, dans ce projet l'astuce a été de suivre plutôt le reflet d'une led IR sur la cornée

Il y a plusieurs trucs qui m’embêtent dans ce modèle:
- ils ont utilisé deux webcam une fixe sur la tête pointée vers l'avant et un autre pointée vers l’œil de l'utilisateur. Hors la deuxième caméra est forcement dans le champ de vision de l'utilisateur, elle doit se faire la plus discrète possible et dans ce projet elle est particulièrement fat.
- deux webcams en même temps c'est chiant a gérer et ca demande des ressources.
- la vitesse de rafraîchissement est limitée par le framerate de la cam (60fps ici) on est a la limite de l'acceptable pour ce genre d'application

Mon idée:
utiliser une camera ir de wiimote pour remplacer la deuxième cam.
Ce truc est un bijoux qui me fait de l’œil depuis des années, son hack est pas mal documenté et en plus ça à l'air très simple à utiliser.
imaginez une camera a 100fps qui tracke les 4 points infrarouge les plus lumineux de l'image et vous renvoie leurs coordonnées et leurs tailles sur un bus i2c
En l’occurrence ça colle pas mal au besoin du projet

https://www.robot-maker.com/forum/topic ... ii-remote/
https://www.robotshop.com/community/for ... nsor/12901
https://contractorwolf.com/headtracking ... adtracker/
https://www.instructables.com/id/Wii-Re ... mera-Hack/
https://www.youtube.com/watch?v=75KRipM2W5c
https://trandi.wordpress.com/2011/04/03 ... ez-domino/


quelques autres projets sur le meme sujet:
https://code.google.com/archive/p/pupil/
http://rmantiuk.strony.wi.ps.pl/project ... et_diy.pdf

des trucs du commerce:
https://www.ergoneers.com/en/hardware/dikablis-glasses/

et un peu de doc:
https://www.sr-research.com/about-eye-tracking/
http://people.ece.cornell.edu/land/cour ... racker.htm

[Philippe007]

Bonjour,

On peut faire quoi pour aider à ce projet ?

@+

[3dsman]

Pour le moment pas grand chose, j'ai commandé de quoi faire une carte proto a l'arrache et je vais faire quelques tests de chez moi avec une manette de Wii non modifiée pour le moment juste pour voir si les mouvements du reflet sont lisibles par la camera.
A plus long terme il y aura probablement un peu de soft a faire (calibration, visualisation des résultats...) Mais sans un poc qui crache des données (même sales) c'est compliqué a démarrer.
A la limite de la recherche documentaire sur la visualisation ça peut être intéressant, ça accélérerait cette phase de dev ultérieure: qu'elles représentations sont utiles (trajectoires, zone d'arrêt de l'œil, zones d'intérêt du champ de vision? Comment les visualiser de façon lisible?
Comment moyenner les données de plusieurs utilisateurs?
Il existe probablement des softs open qui font déjà ça, lesquels? qu'est ce qu'ils prennent comme données en entrée ?
Il y a aussi la fusion des deux trackings a faire (œil et caméra frontale) pour savoir où on regarde exactement notamment quand c'est une image ou une vidéo projeté sur un écran qu'on cherche a étudier.
Il y a probablement plein d'utilisations rigolotes a faire d'un truc comme ça, si vous avez des idées envoyez

Content que ce projet motivé des gens en. Tout cas :-)

[Philippe007]

Slt,

Tu as le Linux hors séries n°96 qui doit avoir de bonne infos :
https://photos.app.goo.gl/g1UpA43vnjP6MzVA7

Moi se qui m’intéresse et qui fait que je regarde ton projet est que je cherche des informations sur de la poursuite camera sur scène automatisé ? (Une motorisation telle, camera de vidéosurveillance, avec optique et capteur de qualité pour une exploitation audiovisuelle)

La lib qui tourne sur Linux est opencv, j’ai d’autre photos du magazine et il est empruntable à la biblio...

Après je sais pas ce qu’il en est, mais les télés Samsung dans le métro on une camera, et le soft devait détecter qui pour choisir la pub, et aussi la direction de l’œil pendant le visionnage de la pub, mais depuis y a eu la directive rgpd, et donc peut-être que c’est interdit et qu’ils vont donner le code ?

Philippe

[3dsman]

C'est un cas très différent, pour ton application on parle de reconnaissance de cible (faciale ou corps entier) et de tracking.
Avec opencv c'est assez trivial de faire du tracking facial, le plus compliqué c'est la partie mécanique propre.

Pour les TV pub aucune chance qu'ils donnent le code, pourquoi le ferait il? Et là pour le coup oui ils font sûrement du eye tracking a distance ne serait ce que pour savoir qui regarde l'écran parmi plusieurs visages détectés.

[Philippe007]

Bonsoir,

La partie mécanique n’est pas compliquée, il suffit de prendre les camera de sécurité en wifi, c’est tous fait .

Pour le logiciel, j’ai pas le temps de me poser la question, mais opencv, je l’ai lu parce que je me demande comment les calculateurs font pour choisir une rotation appropriée, au départ j’ai pensé à un giroscop, et bien non c’est’de l’IA, donc cela doit faire des multitude de choses dont ce que tu souhaite !

Je pense que en IA, suivre les pupilles, ou une forme ou tous autre chose, on est dans le même développement....

Sinon pour les yeux, y a un programme, il me semble par déduction que c’est une invention de l’AF de la photographie, cela mesure par un procédé informatique qui n’est pas de l’IA, la correction nécessaire, et ça marche genre 99,99% des cas ...

Niveau , électronique t’as vu le capteur csmos de rasbperry ?
Et donc dans mon proget le problème est d’avoir de bon capteur csmos ...

Sinon, j’ai fait maître d’hôtel à Roland garros, ça existe déjà et France télévision l’a !

@+

Philippe