Sonic Body

Sonic Body es un prototipo de investigación y proposición pedagógica desarrollado para una presentación de candidatura en la Hochschule für Musik und Tanz Köln (HfMT) en 2025, para un cargo de innovación digital en la docencia. El proyecto usa el tracking corporal y facial como interfaz de síntesis sonora en tiempo real, pero el argumento de fondo es conceptual: el tracking no es una tecnología neutra, es una forma de ver históricamente construida. La presentación — Wie Tracking unsere Wahrnehmung verändert — situó el prototipo dentro de una genealogía medioarqueológica que va de Marey y Muybridge a MediaPipe.

El argumento

Todo sistema técnico lleva incorporada una lógica de percepción. Una cámara no fotografía — mide luz. Un modelo de estimación de pose no ve un cuerpo — calcula probabilidades sobre un esqueleto de puntos. Los sistemas de tracking escriben cuerpos en datos, y al hacerlo configuran lo que un cuerpo puede ser y hacer dentro de un entorno técnico.

El encuadre medioarqueológico hace visible esa historia:

• Muybridge y Marey — la cronofotografía como primer intento de descomponer el movimiento en unidades medibles. El cuerpo se convierte en fuente de datos antes de que existiera el término.
• Notación Laban — el movimiento como lenguaje escrito: una partitura basada en el tiempo para el cuerpo, estructuralmente análoga a lo que el tracking produce de forma automática.
• Synchronous Objects de Forsythe — datos coreográficos representados como mapas de densidad y topografías de duración. El movimiento como masa, no como línea.
• Daphne Oram / Lichttonfilm — sistemas de sonido óptico que traducen trazos dibujados en audio. El bucle entre cuerpo, imagen y sonido que Sonic Body cierra en el navegador.
• Cibernética y feedback — el cuerpo no como fuente sino como nodo en un sistema de retroalimentación. Tracking, reconocimiento gestual, IA: todas son estructuras cibernéticas.
• Paul De Marinis, The Edison Effect — cilindros de cera leídos con láser, recuperando voces perdidas. Los datos de tracking como archivo sonoro: cada movimiento deja una huella, una suerte de huella digital sonora del cuerpo.

El prototipo

Sonic Body corre en el navegador. MediaPipe Pose y Face Mesh producen métricas en tiempo real — ángulos de articulaciones, ejes corporales, deltas de simetría, centro de masa, cinemática de manos, orientación de cabeza (yaw, pitch, roll), apertura de boca, parpadeo — que alimentan un pipeline de mapping declarativo. Cada mapping encadena operadores (normalizar, suavizar, escalar, cuantizar, limitar, exponencial, umbral) que transforman datos de tracking en parámetros de síntesis.

Siete motores Web Audio esperan en la salida: síntesis granular, FM con envolvente ADSR, oscilador de tabla de ondas, cuerda pulsada Karplus-Strong, reverb por convolución, delay, y un sampler con secuenciador de 16 pasos. Una capa de seguridad (limitador, compresor, auto-gain) corre aguas abajo.

La capa de mapping es el núcleo compositivo. El instrumento no es el motor de síntesis — es la relación entre métrica corporal y parámetro sonoro. FM Bite, por ejemplo, mapea la asimetría del movimiento de manos al índice de modulación FM: cuanto más asimétrico el gesto, más agresivo el timbre. El cuerpo no dispara sonidos — los modula de forma continua.

La Lehrprobe

La presentación comenzó con una demostración en vivo: un esqueleto de PoseNet apareciendo en pantalla, moviéndose con el presentador. "La máquina solo ve puntos, líneas, probabilidades. ¿Qué veis vosotros — un cuerpo o una estructura de datos?" La pregunta no era retórica. Enmarcó todo lo que siguió.

Los participantes fueron invitados a ponerse frente a la cámara y moverse libremente, escuchando cómo respondía el sonido. El preset FM Bite se demostró como caso de estudio: movimiento como modulación, no como comando.

La proposición final fue tan pedagógica como técnica: el código como práctica cultural. No es cuestión de quién sabe programar, sino de cómo los sistemas técnicos llevan historia dentro de sí — y cómo comprometerse con esa historia produce formas distintas de participación. Teilhabe statt Kontrolle. Participación en lugar de control.

Encuadre en el Lab

Sonic Body pertenece a la línea del Lab El cuerpo como instrumento — la interacción física como problema artístico y técnico, no como decisión de UX. Marca también un momento de encuentro institucional: los métodos de investigación del Lab puestos a prueba en un contexto docente, y sostenidos.