Dans mon enfance, j’ai découvert un phénomène intéressant : si j’ai branché une source lumineuse à un récepteur de télévision suffisamment amplifié, et agita la lumière autour devant une caméra vidéo, j’ai pu obtenir de la lumière pour fonctionner comme un écran 3D de réalité augmentée qui se superposeront le sightfield de la caméra, comme de l’information virtuel sur le dessus de la réalité physique. J’ai grandi à une époque où la technologie était transparent et facile à comprendre. Radios et télévisions utilisés transparents lampes à ballast électronique appelés « vacuum tubes » où on pouvait voir l’intérieur d’eux et ils ont livré tous leurs secrets. J’ai alors assisté à une transition vers une ère de l’opacité dans laquelle des principes scientifiques ont été dissimulés à l’intérieur des circuits intégrés avec le firmware non libres. Et tandis que les appareils sont devenus plus « secrets », nous sommes entrés dans une ère nouvelle dans laquelle ils ont également commencé à nous regarder et sentir notre présence, encore révéler rien sur eux (voir un court essai que j’ai écrit sur ce metaphenomenon). Je voulais être en mesure de détecter des capteurs et voir ce qu’ils peuvent voir. Alors j’ai inventé quelque chose, j’ai appelé le PHENONAmplifier, un dispositif qui amplifie le phénomène physique dans une boucle de rétroaction de l’Apocalypse.
Cela a fonctionné par retour vidéo, et à cause de la boucle de rétroaction, il a résolu l’un des problèmes plus difficiles en réalité augmentée : l’alignement entre les mondes réels et virtuels. Ainsi j’ai pu faire artistique « lightpaintings » ou « légers dessins/graphings » comme les visualisations scientifiques où le degré de visibilité de chaque échantillonné point dans l’espace à une caméra de surveillance pourrait lui-même être rendue visible. J’ai appelé ce « Metasensing », c'est-à-dire voir ce qu’une caméra peut voir (capteurs de détection et leur capacité à sens de détection). En tant que professeur, j’ai cela enseigner aux élèves de ma classe Wearable Computing et réalité augmentée chaque année, mais un certain nombre de personnes ont tenté de reproduire ce résultat scientifique intéressant et ont eu du mal (c’est un peu difficile d’obtenir toutes les conditions pour le phénomène se produise). C’est pourquoi je suis venu avec un moyen très simple d’enseigner et d’expliquer ce phénomène. Chaque étudiant construit un très simple appareil de photo d’un pixel et un système de réalité augmentée en 3D très simple avec une ampoule ou LED pour en savoir plus sur cet effet intéressant. Une fois compris, cet effet a beaucoup d’utilisations tant artistique que scientifique. Voir par exemple IEEE Consumer Electronics, 4 4 Pages : 2015 92-97,.