← Retour aux travaux— Systèmes d'IA — 2025 · 01

Audio / DSP — instruments et salles comme champs acoustiques continus

En développement· 2024–present

Chaque instrument virtuel sur le marché — du Fairlight CMI en 1979 au Kontakt 8 d'aujourd'hui — fonctionne sur le même axiome non examiné : enregistrer de l'audio, le stocker, le rejouer. Plus de couches, plus de gigaoctets, même paradigme depuis quarante-cinq ans. Je construis contre cet axiome. Les instruments et les salles ne sont pas des collections d'enregistrements. Ce sont des champs acoustiques continus — des systèmes vivants avec résonance de corps, mémoire de matériau, couplage sympathique et présence spatiale — et c'est cela que je modélise. Le travail se situe à l'intersection du DSP classique, du traitement de signal différentiable, des réseaux de neurones guidés par la physique et des contraintes temps réel strictes. Chaque plugiciel que je livre doit tourner à l'intérieur d'une station audionumérique sans décrochage, dans un tampon de 64 échantillons, sur un portable qui fait aussi tourner Reaper, Ableton et Logic en même temps. Il n'y a pas de marge pour du code bâclé : une instabilité numérique qui apparaît une fois sur dix mille notes finira par apparaître dans le matriçage de quelqu'un. Une dérive dans le budget d'énergie de rétroaction qui s'intègre silencieusement sur une longue traîne de figement finira par faire exploser une séance d'enregistrement. La culture d'ingénierie est plus proche des systèmes embarqués que du logiciel grand public typique. Sous tout cela se trouve une famille de moteurs de réverbération écrits à partir de zéro en C++20 : des réseaux de lignes à retard à rétroaction à seize lignes avec mélange de Hadamard pour le couplage sympathique, rotation de Givens pour l'évolution spatiale lente, saturation ADAA2 pour la non-linéarité analogique sans repliement, budgets d'énergie sommés par Kahan pour maintenir les états de figement numériquement stables sur des traînes arbitrairement longues. Cette famille de moteurs est publique sur GitHub comme implémentation de référence. De là, elle se ramifie dans les plugiciels que les gens utilisent vraiment. Sona — Moteur de synthèse omnidimensionnel. C++20, tout en en-têtes, zéro dépendance. Remplace complètement l'échantillonnage : chaque instrument est un hologénome de 128 octets qui se déploie en un champ polyphonique à 256 voix. Sept dimensions acoustiques (excitation, corps, couplage, vieillissement, salle, micro, mémoire). Un modèle d'espace d'état pour la résonance sympathique entre notes. Un champ acoustique neuronal qui remplace la réverbération statique par image-source par une spatialisation 3D continue. Un bouton de conscience qui met à l'échelle tout le modèle, de l'échantillonneur statique à l'instrument pleinement vivant. Livré comme plugiciel VST3/AU plus application WASM navigateur. Douze instruments intégrés. Inclut un pipeline de capture qui transforme n'importe quel enregistrement WAV en hologénome jouable. Arna — Plugiciel de réverbération intelligente pour macOS, VST3/AU, sous l'empreinte 1snob. Bâti sur un DiffGFDN (réseau de lignes à retard à rétroaction géométrique différentiable) enveloppant le noyau de réverbération Nautilus. Un moteur, trois modes de contrôle. Le mode 1snob gratuit donne un bouton, un atténuateur, un clic — taille, déclin, tonalité, diffusion bougent ensemble le long d'une courbe soigneusement calibrée, produisant des textures façon ruban quand on l'automatise. Le mode Full payant expose neuf boutons pour un contrôle complet des paramètres. Le mode Dev est le laboratoire de calibration interne avec soixante atténuateurs et plus. Chaque compilation passe la porte de vérification complète avant livraison : tests unitaires, ctest, pluginval niveau 10 strict, batterie de torture. Aucune compilation n'est approuvée tant que toutes les portes ne sont pas franchies. Analyzer — Plateforme d'analyse audio unifiée sous la marque 1snob, code fabricant RPTZ. Pas quatre produits vendus en lot. Un cerveau analytique, trente-cinq fenêtres, quatre modes : Diagnostique pour la santé du mixage, Technique pour FFT, sonie, corrélation stéréo/phase, Identité/Perceptuel pour la stabilité tonale et les signatures de timbre, Comportemental/Multicouche pour la chronologie et la corrélation inter-fenêtres. Les trente-cinq fenêtres câblées à de vrais analyseurs. Livré VST3/AU/Autonome. Porte de livraison : pluginval niveau 10 strict. Sailors (en conception) — Un concept qui avance vers un premier prototype. Un FDN à seize lignes accordé près du retour unité, alimenté par une brève rafale d'excitation, produit naturellement des textures riches en évolution façon cordes. Pas de tables d'ondes, pas d'échantillons, résonance pure. Son cible : nappes orchestrales luxuriantes, drones évolutifs, territoire Solina, territoire JP-8000 Supersaw — mais organique, parce que le son vient de la résonance physique, pas des oscillateurs. Une réverbération qui a appris à chanter. BOM — Pipeline de recherche en acoustique musicale computationnelle. Hypothèse centrale : les descripteurs dérivés de la réponse impulsionnelle du corps d'un instrument portent assez d'information pour prédire une structure stable dans les enregistrements du même instrument joué. Le corps est l'instrument, pas les cordes. Le pipeline extrait des caractéristiques des enregistrements d'IR et des performances WAV, fait de la réduction de dimension et du partitionnement, et journalise chaque calcul via un enregistreur d'audit pour que rien ne soit irreproductible. Les résultats rétroalimentent la façon dont Sona et Arna modélisent la résonance de corps.

C++20JUCEVST3AUDiffGFDNFDNDSPneural acoustic field
— Vous construisez quelque chose qui touche ce problème ?Entamer la conversation