{"id":744,"date":"2020-06-04T19:45:26","date_gmt":"2020-06-04T23:45:26","guid":{"rendered":"http:\/\/portfolio-pre.uqac.ca\/vincentarnaud\/?p=744"},"modified":"2025-09-11T11:05:03","modified_gmt":"2025-09-11T15:05:03","slug":"un-spectrogramme-en-3d-avec-r","status":"publish","type":"post","link":"https:\/\/portfolio.uqac.ca\/vincentarnaud\/un-spectrogramme-en-3d-avec-r\/","title":{"rendered":"Un spectrogramme en 3D avec R"},"content":{"rendered":"

1. D’une coupe spectrale\u00a0 \u00e0 un spectrogramme<\/h1>\n

1.1 Avec Praat<\/h2>\n

Dans le cadre de mon cours de phon\u00e9tique exp\u00e9rimentale, il m’a toujours sembl\u00e9 complexe, sans recourir \u00e0 une quelconque illustration, de faire comprendre aux \u00e9tudiants le passage d’une coupe spectrale statique \u00e0 un spectrogramme dynamique. Les deux illustrations suivantes produites avec le logiciel Praat <\/a>repr\u00e9sentent une occurrence de la voyelle fran\u00e7aise \/\u0254\/.<\/p>\n

\"\" \"\"<\/p>\n

 <\/p>\n

M\u00eame en utilisant des repr\u00e9sentations, saisir le passage de l’une \u00e0 l’autre de ces deux repr\u00e9sentations tout en saisissant la distinction entre harmoniques<\/em> et formants<\/em> me semble peu \u00e9vident pour des phon\u00e9ticiens d\u00e9butants. En 2016, mon ancien \u00e9tudiant de maitrise, Xavier Saint-Gelais<\/a> avait eu l\u2019excellente id\u00e9e, de concevoir une illustration faite maison<\/em> visant \u00e0 sch\u00e9matiser ce passage en simulant une repr\u00e9sentation 3D, je me permets de la reproduire.<\/p>\n

\"\"<\/p>\n

1.2 avec R<\/h2>\n

Les fonctionnalit\u00e9s r\u00e9centes de traitement du signal sonore et de repr\u00e9sentations 3D offertes par diff\u00e9rents packages<\/em> de l’\u00e9cosyst\u00e8me du R Project for Statistical Computing<\/a> permettent d\u00e9sormais d’aller plus loin.<\/p>\n

Dans les lignes qui suivent, outre le package<\/em> ggplot2<\/code><\/a>, seront plus sp\u00e9cifiquement utilis\u00e9s les packages<\/em> tuneR<\/code> et seewave<\/code> <\/a>qui comprennent un vaste ensemble de fonctions permettant de traiter, d’analyser et repr\u00e9senter les signaux sonores (Sueur, 2018). Concernant la 3D, le package<\/em> rayshader<\/code><\/a> publi\u00e9 par 2019 par Tyler Morgan-Wall<\/a> ouvre\u00a0 des perspectives in\u00e9dites tant en ce qui a trait \u00e0 la cartographie 3D (non trait\u00e9 ici) et \u00e0 l’adaptation 3D des graphiques produits par l’entremise de ggplot2<\/code>.<\/p>\n

En premier lieu, les packages<\/em> au sein desquels se trouvent les fonctions utilis\u00e9es sont d\u00e9clar\u00e9s.<\/p>\n

library(tuneR)\r\nlibrary(seewave)\r\nlibrary(ggplot2)\r\nlibrary(rayshader)\r\n<\/code><\/pre>\n
Le fichier sonore est ouvert par l’interm\u00e9diaire de la fonction readWave()<\/code> et imput\u00e9 \u00e0 un objet nomm\u00e9 son<\/code>.<\/p>\n
son <- readWave(\"o.wav\")\r\nson\r\n<\/code><\/pre>\n
## Wave Object\r\n##  Number of Samples:      21409\r\n##  Duration (seconds):     0.49\r\n##  Samplingrate (Hertz):   44100\r\n##  Channels (Mono\/Stereo): Mono\r\n##  PCM (integer format):   TRUE\r\n##  Bit (8\/16\/24\/32\/64):    16<\/code><\/pre>\n
La fonction spectro()<\/code> permet de calculer un spectrogramme pour ce fichier sonore. Le r\u00e9sultat de ce calcul est imput\u00e9 \u00e0 un objet nomm\u00e9 spectrogramme<\/code>. L’argument plot=FALSE<\/code> \u00e9vite que le spectrogramme soit affich\u00e9 \u00e0 l’aide des param\u00e8tres par d\u00e9faut. Seuls les r\u00e9sultats de ce traitement soit stock\u00e9 dans l’objet spectrogramme<\/code>. Concernant la configuration des arguments de cette fonction, le th\u00e9or\u00e8me d’incertitude d’Heisenberg et la question du compromis entre r\u00e9solution fr\u00e9quentielle et r\u00e9solution temporelle, je renvoie le lecteur au chapitre 11 de Sueur (2018, 309 et suivantes).<\/p>\n
spectrogramme <- spectro(son, f=son@samp.rate, plot = FALSE, ovlp=88, dBref=2*10e-5, wn=\"hanning\", wl=1024)<\/code><\/pre>\n
\u00c0 partir de cet objet, une base de donn\u00e9es au format data.frame<\/code> comprenant, pour chaque trame temporelle, la valeur d’amplitude (ici, en dB SPL) de chacune des fr\u00e9quences analys\u00e9es est cr\u00e9\u00e9e. Cette base de donn\u00e9es est ensuite sous-\u00e9chantillonn\u00e9e pour ne conserver que les fr\u00e9quences inf\u00e9rieures \u00e0 5000 Hz. En fonction de la dur\u00e9e du fichier sonore utilis\u00e9, la taille de cette base de donn\u00e9es, au format long, peut \u00eatre imposante (dans cet exemple, elle comprend d\u00e9j\u00e0 24300 lignes).<\/p>\n
frequence <- rep(spectrogramme$freq*1000, times=ncol(spectrogramme$amp))\r\ntemps <- rep(spectrogramme$time, each=nrow(spectrogramme$amp))\r\namplitude <- as.numeric(spectrogramme$amp)\r\n \r\ndf <- data.frame(temps=as.numeric(temps), frequence=as.numeric(frequence), amplitude=as.numeric(amplitude))\r\n \r\nfrequence.max <- 5000\r\ndf <- df[which(df$frequence < frequence.max),]<\/code><\/pre>\n
Joey Stanley<\/a> (Brigham Young University), dont je recommande le site<\/a>, propose, lui aussi, une m\u00e9thode de cr\u00e9ation de spectrogrammes en 3D en recourant au package rayshader<\/code>. Cependant, pour extraire les donn\u00e9es permettant de construire un spectrogramme en 2D, il utilise la fonction spectrogram()<\/code> du package PhonTools<\/code>, ce qui tend, de son propre aveu, \u00e0 complexifier l’extraction des donn\u00e9es de temps, de fr\u00e9quence et d’amplitude n\u00e9cessaires \u00e0 la construction de cette repr\u00e9sentation du signal.<\/p>\n
I did some digging and I just could not find a way to extract the data that gets eventually plotted in spectrogram<\/code>. I mean, it has to have gone through some Fourier analysis or something first to be able to extract frequencies. So, I figure if the spectrogram<\/code> function could do it, the key was in the function itself.<\/p><\/blockquote>\n
La cr\u00e9ation de cette base de donn\u00e9es permet d’afficher le spectrogramme en 2D\u00a0en utilisant le package<\/em> ggplot2<\/code>. Ce diagramme est stock\u00e9 dans l’objet spectrogramme.gg<\/code>. Notez que les donn\u00e9es pr\u00e9sentes dans la base de donn\u00e9es sont visuellement rendues sous la forme d’un raster<\/em> permettant d’afficher une surface et non plus d’un ensemble distinct de points de mesure.<\/p>\n
spectrogramme.gg <- ggplot(df)+\r\ngeom_raster(aes(temps, frequence, fill = amplitude), interpolate = TRUE)+\r\nscale_y_continuous(breaks = seq(from=0, to=frequence.max, by=500))+\r\nlabs(x=\"Temps (s)\", y=\"Fr\u00e9quence (Hz)\", title=\"\")+\r\ncoord_cartesian(expand=FALSE)\r\n \r\nspectrogramme.gg<\/code><\/pre>\n
\"\"<\/p>\n
 <\/p>\n
2. En 3D<\/h1>\n
Le spectrogramme en 2D peut alors \u00eatre adapt\u00e9 en 3D au moyen de la fonction plot_gg()<\/code>.<\/p>\n
plot_gg(spectrogramme.gg, \r\nwidth=6, height=4, scale=300, \r\nwindowsize=c(1000, 800),\r\nfov=70, zoom=0.5, \r\ntheta=330, phi=40,\r\nmulticore=TRUE)<\/code><\/pre>\n
Une fois le calcul termin\u00e9 (comptez ici de quelques secondes \u00e0 plusieurs minutes selon la taille du fichier sonore), une fen\u00eatre d’aper\u00e7u permet de choisir un angle et un degr\u00e9 de zoom appropri\u00e9s. Il est alors possible de sauvegarder un ou plusieurs instantan\u00e9s en utilisant la fonction render_snapshot()<\/code>. Les fichiers .png<\/code> g\u00e9n\u00e9r\u00e9s sont stock\u00e9s dans le r\u00e9pertoire de travail.<\/p>\n
2.1 En images<\/h2>\n
render_snapshot(\"image0x\")<\/code><\/pre>\n
  <\/p>\n
 <\/p>\n
 <\/p>\n
2.2 En mouvements<\/h2>\n
Il est \u00e9galement possible de sauvegarder une animation au format .mp4<\/code> en utilisant la commande render_movie()<\/code>. Concernant les mouvements de cam\u00e9ra utilis\u00e9s, j’ai choisi d’utiliser une des deux options propos\u00e9es par d\u00e9faut . Il y a cependant possibilit\u00e9 de g\u00e9n\u00e9rer des mouvements de cam\u00e9ra personnalis\u00e9s (voir par exemple Lego World Map – Rayshader Walkthrough<\/a>).<\/p>\n
render_movie(filename = \"spectrogramme.gg\", type=\"oscillate\", frames=390, phi=30, theta=-45)<\/code><\/pre>\n
\"\"<\/p>\n
Le site de l’UQAC n\u2019acceptant pas pas les vid\u00e9os, l’animation a \u00e9t\u00e9 convertie au format .gif<\/code> anim\u00e9.<\/p>\n
Pour allez plus loin<\/h1>\n