Pianon äänen analyysi, havaitseminen ja parametrinen synteesi
Heidi-Maria Lehtonen
heidi-maria.lehtonen@tkk.fi http://www.acoustics.hut.fi/~hml/
Pianosta on sen 300-vuotisen historian aikana kehittynyt yksi länsimaisen musiikin suosituimmista soittimista. Se on löytänyt tiensä myös tavallisen kansan koteihin. Tänä päivänä suosiota ovat keränneet digitaalipianot, jotka eivät aiheuta kerros- ja rivitaloissa asunnosta toiseen etenevää runkoääntä. Niiden eduksi voidaan laskea myös suhteellisen edullinen hinta. Digitaalipianojen äänentuottomekanismi perustuu äänitettyihin aidon pianon ääniin, joita soitetaan muistista kun koskettimia painetaan alas. Ääniä pitää olla tallennettu muistiin valtava määrä, koska jokainen ääni tulee pystyä soittamaan monella eri soittovoimakkuudella. Äänitteiden tulee lisäksi olla mahdollisimman pitkiä ääniä realistisen lopputuloksen aikaansaamiseksi. Niitä voidaan sitten tarvittaessa leikata ja vaimentaa sopivasti, sekä muutenkin prosessoida digitaalisen signaalinkäsittelyn keinoin.
Vaikka parhaimmat digitaalipianot ovat lähes verrattavissa aitoihin soittimiin niin äänenlaatunsa kuin tuntumansakin puolesta, ne eivät silti ole täydellisiä. Erityisesti kielten värähtelyjen kytkeytymisestä syntyvät sympateettiset resonanssit ovat hankalia toteuttaa pelkkien ääninäytteiden avulla. Myös kaikupedaalin käyttö tuo omat haasteensa digitaalipianoille. Äänitettyjen näytteiden suuresta määrästä johtuen muistia tarvitaan valtavasti. Nykypäivänä muisti on halpaa, eikä periaatteessa ole ongelma lisätä muistia digitaalipianoon. Tämä asettaa kuitenkin rajoituksensa muille sovelluksille ja alustoille, jossa synteettistä pianoa voitaisiin käyttää. Esimerkiksi mobiiliteknologiassa ja tietokonepeleissä muistia ei ole tarjolla rajattomasti, vaan tarvitaan muita ratkaisuja pianon äänen syntesoimiseksi. Samalla voidaan etsiä ratkaisuja sympateettisten resonanssien mallintamiseen sekä soittimen muokattavuuteen jopa reaaliajassa (eli muutokset voidaan tehdä samalla kun soitinta soitetaan).
Fysiikkapohjainen soitinmallinnus on ollut erittäin aktiivinen tutkimuskenttä viimeisen kahdenkymmenen vuoden aikana [1]. Tutkimuksen tarkoituksena on kehittää algoritmi, joka matkii soittimen äänentuottomekanismia, ei itse ääntä. Teknillisen korkeakoulun akustiikan ja äänenkäsittelytekniikan laboratoriossa on kehitetty fysiikkapohjainen malli mm. kitaralle [2], klavikordille [3] ja cembalolle [4]. Tällä hetkellä työn alla on mm. piano [5]. Tavoitteena on kehittää sellainen fysiikkapohjainen malli pianolle (ja flyygelille), joka on laskennallisesti mahdollisimman kevyt. Se ei saisi tarvita paljoa muistia ja sen pitäisi olla parametrien avulla muunneltava ja skaalattava (parametreja muuttamalla soitin voisi muuttua vaikkapa luodinreikäisestä kapakkapianosta hyvään pystypianoon tai konserttiflyygeliin), sekä sen pitäisi kuulostaa mahdollisimman aidolta.
Tehtävä on haastava, mutta ei mahdoton. Käytämme mallinnuksen perustana digitaalista aaltojohtotekniikkaa [6,7], jossa yksi aaltojohto mallintaa yhtä kieltä. Digitaalista signaalinkäsittelyä käyttäen voimme ottaa kaikki kielen värähtelyn ominaisuudet huomioon algoritmissa: perustaajuus, epäharmonisuus, kaksivaiheinen vaimeneminen, huojunta, kielen pitkittäiset värähtelyt, kytkentä kielisillan kautta muihin kieliryhmän ja kielikerran kieliin erityisesti kaikupedaalia käytettäessä, jne. Periaatteessa voimme siis ottaa lähes kaiken huomioon, mutta käytännössä tasapainoilemme mallin todenmukaisuuden ja laskentakuorman välillä. Mitä enemmän pianon äänen piirteitä haluamme mallintaa mahdollisimman tarkasti, sitä kauemmin laskenta kestää. Koska haluamme saada aikaan synteesimallin, joka toimii reaaliajassa, kompromisseja on tehtävä.
Paras tapa lähteä keventämään laskentataakkaa on tutkia ihmisen kuuloa, tai oikeastaan sitä mitä emme kuule. Pianon äänessä on nimittäin myös sellaisia piirteitä ja ilmiöitä, joita emme huomaa, tai joiden pientä muutosta emme havaitse. Jos esimerkiksi osaäänesten vaimenemisaikoja muutetaan hieman, tai jos epäharmonisuuden suuruutta muutetaan, emme välttämättä huomaa eroa. Kiinnostavia kysymyksiä ovatkin, kuinka tarkasti eri piirteet on mallinnettava, tai mitä voidaan jättää kokonaan mallintamatta ilman että äänenlaatu kärsii? Näihin kysymyksiin voidaan etsiä vastauksia suorittamalla kuuntelukokeita jollekin koehenkilöjoukolle, esimerkiksi pianisteille, aktiivisille pianomusiikin kuuntelijoille tai ihan tavallisille ihmisille, riippuen siitä kenelle lopputulos (tässä tapauksessa kehitettävä pianosyntetisaattori) on suunnattu.
Tarvittavat parametrit fysiikkapohjaista mallia varten voidaan estimoida äänitetyistä pianon äänistä. Olemme tehneet flyygelin äänityksiä mm. Espoon musiikkiopistossa ja Finnvox-studiolla. Näistä äänistä voimme mitata mm. perustaajuuden sekä epäharmonisuuskertoimen [8], osaäänesten vaimenemisajat [9], sekä tarvittavat parametrit huojunnan mallintamiseksi. Myös kaikupohjan vaste voidaan analysoida ja kehittää algoritmi sen mallintamiseksi; kuvassa äänitetään pystypianon kaikupohjan impulssivastetta lyömällä bassokielisiltaa impulssivasaralla. Hiljattain olemme tutkineet myös kaikupedaalia sekä kehittäneet menetelmän mallintaa sitä [10].
Pystypianon kaikupohjan impulssivasteen äänitys. Heidi-Maria Lehtonen lyö impulssivasaralla bassokielisillan reunaan ja syntynyt ääni nauhoitetaan. Käyttämällä digitaalisen signaalinkäsittelyn työkaluja äänitteestä voidaan saada tietoa kaikupohjan mallintamista varten.
Tulevaisuudessa on tarkoitus tutkia myös erilaisten pianojen (mm. pystypiano ja flyygeli) eroja. Vaihtamalla algoritmin parametreja voimme mahdollisesti muuttaa koko soittimen toiseksi, säätää viritystä tai muita soittimen ominaisuuksia. Realistisen mallin luomiseksi tarvitaan tietoa monista asioista. Signaalinkäsittelyn, tietotekniikan, fysiikan, matematiikan, psykoakustiikan ja musiikin ohella tarvitaan tietoa erityisesti pianon akustiikasta ja toiminnasta. Esimerkiksi vasaran ja muun koneiston toiminta sekä niiden mallintaminen on vielä tulevaisuuden haaste. Lisäksi osittain alaspainetun kaikupedaalin tutkiminen ja mallintaminen tarjoaa kokonaan uuden tutkimuskentän pianon äänen fysiikkapohjaisessa mallintamisessa.
Lisää tietoa tutkimuksestamme sekä ääninäytteitä on tarjolla Internetissä:
http://www.acoustics.hut.fi/research/asp/piano/
http://www.acoustics.hut.fi/publications/papers/jasa-piano-pedal/
http://www.acoustics.hut.fi/~bbank/demo.html
http://www.acoustics.hut.fi/demos/piano-beating/Viitteet
[1] Välimäki, V., Pakarinen, J., Erkut, C., and Karjalainen, M., ”Discrete-time Modelling of Musical Instruments,” Reports on Progress in Physics, vol. 69, no. 1, pp. 1-78, January 2006. Invited paper.
[2] Laurson, M., Erkut, C., Välimäki, V., and Kuuskankare, M., ”Methods for Modeling Realistic Playing in Acoustic Guitar Synthesis,” Computer Music Journal, vol. 25, no. 3, pp. 38-49, 2001.
[3] V. Välimäki, M. Laurson, and C. Erkut, ”Commuted waveguide synthesis of the clavichord,”Computer Music Journal, vol. 27, no. 1, pp. 71-82, Spring 2003.
[4] Välimäki, V., Penttinen, H., Knif, J., Laurson, M., and Erkut, C., ”Sound synthesis of the harpsichord using a computationally efficient physical model,” EURASIP Journal on Applied Signal Processing, no. 7, pp. 934-948, 15 June 2004. Special Issue on on Model-Based Sound Synthesis.
[5] Rauhala, J., Lehtonen, H.-M., and Välimäki, V., ”Toward Next-generation Digital Keyboard Instruments,” IEEE Signal Processing Magazine, vol. 24, no. 2, pp. 12-20, March 2007.
[6] Smith, J. O., ”Physical modeling using digital waveguides,” Computer Music Journal, vol. 16, no. 4, pp. 74-91, 1992.
[7] Karjalainen, M., Välimäki, V., and Tolonen, T., ”Plucked-String Models: from the Karplus-Strong Algorithm to Digital Waveguides and Beyond,” Computer Music Journal, vol. 22, no. 3, pp. 17-32, Fall 1998.
[8] Rauhala, J., Lehtonen, H.-M., and Välimäki, V., ”Fast automatic inharmonicity estimation algorithm,” Journal of the Acoustical Society of America Express Letters, vol. 121, no. 5, pp. EL184-EL189, May 2007.
[9] Välimäki, V., Huopaniemi, J., Karjalainen, M., and Jánosy, Z., ”Physical Modeling of Plucked String Instruments with Application to Real-Time Sound Synthesis,” Journal of the Audio Engineering Society, vol. 44, no. 5, pp. 331-353, May 1996.
[10] Lehtonen, H.-M., Penttinen, H., Rauhala, J., and Välimäki, V., ”Analysis and Modeling of Piano Sustain-Pedal Effects,” Journal of the Acoustical Society of America, vol. 122, no. 3, pp. 1787-1797, September 2007.
Kirjoittaja työskentelee tutkijana akustiikan ja äänenkäsittelytekniikan laboratoriossa Teknillisessä korkeakoulussa. Hän tekee väitöskirjaa aiheesta pianon äänen analyysi, havaitseminen ja parametrinen synteesi. Hän harrastaa pianonsoittoa sekä on aktiivinen musiikinkuluttaja