Kuva: Inna Getman
Yaroslav Getman kertoo meille tutkimuksestaan, joka liittyy itseohjautuvaan oppimiseen ja vähäresurssisten kielten puheteknologian kehittämiseen. LUMI- ja Roihu-supertietokoneiden avulla hän on ollut kehittämässä uusia puhemalleja suomelle ja pohjoissaamelle.
Olen väitöskirjatutkija Aalto-yliopiston automaattisen puheentunnistuksen tutkimusryhmässä. Ennen jatko-opintojani suoritin Aalto-yliopistossa sähkötekniikan kandidaatin tutkinnon sekä signaalinkäsittelyn, puheen ja kielen käsittelyn maisterin tutkinnon.
Tutkimukseni keskittyy aliedustettujen kielten itseohjautuvaan oppimiseen (self-supervised learning, SSL). Suurin osa alan tutkimuksesta käsittelee englantia ja muita runsasresurssisia kieliä, kun taas vähäresurssiset kielet ovat jääneet jälkeen puheteknologian kehityksessä. Väitöskirjatutkimukseni aikana olen työskennellyt sen eteen, että suomi ja pohjoissaame saisivat nykyistä parempaa tukea puheteknologioissa.
Yleisellä tasolla tutkimukseni on jakautunut kolmeen pääsuuntaan: SSL-mallien mukauttamiseen vähäresurssisiin sovellusalueisiin, kielikohtaisten perusmallien (foundation models) kehittämiseen aliedustetuille kielille sekä näiden mallien sisäisten oppimisprosessien tulkintaan.
Aloitin väitöskirjani DigiTala-hankkeessa, joka myöhemmin jatkui DTA-hankkeena sekä Teflon-hankkeessa. Työskentelin näissä hankkeissa puheentunnistuksen ja ääntämisen arvioinnin parissa. Tarkastelin puhujaryhmiä, joista ei ole saatavilla laajoja annotoituja aineistoja, kuten lapsipuhujia sekä toisen kielen oppijoita. Teflon-hankkeessa järjestimme myös IEEE MLSP 2025 -konferenssin yhteydessä Non-native Children’s Automatic Speech Assessment Challenge (NOCASA) -haastekilpailun, jossa vastasin kilpailun vertailujärjestelmien (baseline systems) toteuttamisesta.
Myöhemmin liityin LAREINA-hankkeeseen, jossa kehitin avoimen lähdekoodin kielikohtaisia puheen perusmalleja. Aliedustettujen kielten laajat puheaineistot ovat kuitenkin suhteellisen harvinaisia. Eräs ratkaisu on hyödyntää aineistoja, joita ei alun perin ole kerätty puhemallien kouluttamista varten, ja erottaa niistä käyttökelpoinen puheaineisto automaattisesti. Tätä varten olen työskennellyt KAVIn ylläpitämien radio- ja televisioarkistojen parissa. Näitä lähetyksiä on tallennettu ympärivuorokautisesti vuodesta 2009 lähtien, ja ne sisältävät nykyisin miljoonia tunteja ääniaineistoa. (KAVI on sittemmin yhdistynyt Taiteen edistämiskeskuksen kanssa uudeksi Kulttuuri- ja taidevirasto KUVIksi.)
Olen kehittänyt pohjoissaamelle ensimmäiset julkisesti saatavilla olevat, alusta alkaen koulutetut itseohjautuvat puheen perusmallit. Suomen kielen osalta uusimmat mallit on koulutettu lähes puolen miljoonan tunnin suodatetulla radio- ja televisiopuheaineistolla, mikä vastaa mittakaavaltaan pikemminkin englanninkielisten mallien ja kaupallisten toimijoiden käyttämää aineistomäärää.
Suurteholaskennalla on ollut keskeinen rooli väitöskirjatutkimuksessani. Olen saanut työskennellä kahdessa LUMI-supertietokoneella toteutetussa erittäin laajamittaisessa laskentahankkeessa, FinW2V2:ssa ja FinSAMissa, sekä uuden kansallisen Roihu-supertietokoneen pilottihankkeessa.
Tutkimuksessani olen myös tarkastellut, mitä nämä perusmallit oppivat sisäisesti. Olen tutkinut, miten erilaiset esikoulutusmenetelmät vaikuttavat mallien oppimiin puheen representaatioihin sekä kuinka suuri osa mallien kapasiteetista todellisuudessa hyödynnetään puheentunnistuksessa.
Itseohjautuvat puheen perusmallit koulutetaan suurilla määrillä annotoimatonta puhedataa, mutta puheentunnistuksen ja muiden puheteknologisten tehtävien suorittamiseen ne tarvitsevat edelleen annotoitua aineistoa. Tutkimuksessani olen hyödyntänyt laajasti Suomen eduskunnan puheaineistoa sekä Lahjoita puhetta -aineistoa.
Sen lisäksi, että olen käyttänyt Kielipankin tarjoamia aineistoja tutkimuksessani, olen myös osallistunut DigiTala-hankkeessa kerätyn toisen kielen oppijoiden puhekorpuksen valmisteluun, jotta se voitiin julkaista Kielipankissa.
Getman, Y., Grósz, T., Lehtonen, T., Kurimo, M. (2026) Data filtering trade-offs in self-supervised speech representation learning: a study on unconstrained broadcast audio. Proc. Interspeech 2026, 4427-4432, doi: 10.21437/Interspeech.2026-50
Getman, Y., Grósz, T., Kurimo, M. (2026) Do learned layer weights reflect pretrained information structure in self-supervised speech models?. Proc. Interspeech 2026, 6032-6036, doi: 10.21437/Interspeech.2026-566
Getman, Y., Grósz, T., Lehtonen, T., Kurimo, M. (2025) Is your model big enough? Training and interpreting large-scale monolingual speech foundation models. Proc. Interspeech 2025, 231-235, doi: 10.21437/Interspeech.2025-46
Getman, Y., Grósz, T., Hiovain-Asikainen, K., Lehtonen, T., Kurimo, M. (2025) Towards large-scale speech foundation models for a low-resource minority language. Proc. NoDaLiDa/Baltic-HLT 2025, 192-200
Getman, Y., Grósz, T., Kurimo, M., Salvi, G. (2025) Non-Native Children’s Automatic Speech Assessment Challenge (NOCASA). Proc. IEEE MLSP 2025, 1-6, doi: 10.1109/MLSP62443.2025.11204209
FIN-CLARIN eli suomalaisten yliopistojen, CSC – Tieteen tietotekniikan keskuksen ja Kotimaisten kielten keskuksen muodostama konsortio auttaa ihmistieteiden tutkijoita käyttämään, jalostamaan, säilyttämään ja jakamaan tutkimusaineistoja. Aineistoja ja työkaluja tarjoaa Kielipankki.
Kaikki tähän saakka esitellyt Kielipankin käyttäjät löytyvät Kuukauden tutkija -arkistosta. Tämä artikkeli julkaistaan myös Helsingin yliopiston humanistisen tiedekunnan verkkosivuilla.
