Suomen kielen näytteitä

Creative Commons -käyttölupa Suomen kielen näytteitä – Samples of Spoken Finnish, jonka tekijä on Kotimaisten kielten keskus, on lisensoitu Creative Commons Nimeä 4.0 Kansainvälinen -käyttöluvalla.

Perustiedot

Koostaja Kotimaisten kielten keskus
Kieli suomi
Tekstilaji pitäjänmurteet; äänitetty ja litteroitu puhe
Datan määrä noin 100 tuntia äänitteitä; vajaat 700 000 litteroitua sanetta
Muoto äänitiedostot WAV (16 bit 44 100 Hz mono), M4A; annotaatiot TextGrid/EAF (lisäksi alkuperäiset ja yleiskielistetyt saneet XML)
Käyttöoikeusluokka CLARIN PUB (CC BY 4.0 -lisenssi)
Saatavuus Korp, LAT (Huom. Suosittelemme LATin käyttöön Firefox-selainta. ks. LAT-ohjeet)
Korpuspalvelimen hakemisto ei toistaiseksi vielä ladattavissa kokonaan; yksittäisiä tiedostoja ja näytteitä voi ladata LATista
Metadata META-SHARE

Sisältö ja rakenne

Suomen kielen näytteitä -korpus eli SKN-korpus perustuu Kotimaisten kielten keskuksen vuosina 1978–2000 julkaisemaan samannimiseen murrekirjasarjaan (ks. Suomen kielen näytteitä). Yhteensä ilmestyi 50 kirjasta, joissa jokaisessa on litteroituna noin kaksi tuntia murretta. Sarjaan valitut pitäjät edustavat kattavasti eri murrealueita. Aineistona ovat olleet pääasiassa Suomen kielen nauhoitearkiston äänitteet. Alkuperäisestä SKN-sarjasta on luotu aineisto, joka sisältää sekä äänitteet että niihin kohdistetun litteroidun tekstin. Korpus on jaettu viiteenkymmeneen osaan paikkakunnan ja aiemmin julkaistujen murrekirjojen mukaan. Kustakin osasta on yleensä saatavilla kaksi murrenäytettä.

Aineisto on saatavilla ja käytettävissä Kielipankin LAT-palvelun kautta. Teksti ja ääni on kohdistettu karkeasti virkkeen tai toisinaan puheenvuoron mittaisina katkelmina. Tekstin perusteella korpuksesta voidaan tehdä hakuja, ja hakutuloksia vastaavia ääninäytteen kohtia pääsee suoraan kuuntelemaan.

SKN-korpuksessa on yhteensä 696 376 litteroitua sanaa, ja näistä 684 977 sanaan liittyy yleiskielistetty sananmuoto. Huomaa, että yleiskielistys ei välttämättä ole yksiselitteinen, vaikka sanan merkitys kontekstissa onkin pyritty huomioimaan. Yleiskielistämättömiä ovat kesken tai epäselviksi jääneet sanat. Yleiskielistyksen periaatteet on kuvattu korpuksen juuresta löytyvässä dokumentissa yleiskielistys_skn.pdf.

Ohjeet ja lisätiedot

Korpuksen annotaatiotiedostoja voi selailla ja ääninäytteitä kuunnella verkon kautta. Napsauta ensin vasemmanpuoleisessa ikkunassa haluamaasi tiedostoa, esim. SKN01_Suomussalmi.eaf, ja sitten joko ponnahdusvalikossa tai oikeanpuoleisen ikkunan yläreunassa näkyvää painiketta ”view node”.

Äänitiedostot (WAV ja M4A) ovat ”view node”-komennolla kuunneltavissa ja ”download”-komennolla ladattavissa myös sellaisinaan ilman annotaatiota.

Koska alkuperäiset haastattelut on nauhoitettu vaihtelevissa olosuhteissa ja nauhat on digitoitu vasta myöhemmin, monissa tallenteissa esiintyy taustakohinaa ja ajoittaista muutakin hälyä ja tallenteiden äänentaso saattaa vaihdella. WAV-muotoiset äänitiedostot ovat yksikanavaisia (mono) ja ne on näytteistetty 16-bittisinä ja 44100 Hz:n taajuudella. Näitä äänitteiden WAV-versioita kannattaa käyttää, mikäli haluaa selata ja muokata annotaatioita omalla koneellaan. M4A-muotoiset äänitiedostot ovat häviöllisesti pakattuja ja tiedostokooltaan pienempiä. Ne on tuotettu alkuperäisistä WAV-tiedostoista lähinnä Annex-työkalulla verkon yli tapahtuvaa kuuntelua ja käyttöä varten.

EAF-muotoisten annotaatiotiedostojen sisältö

Jokaista äänitallennetta vastaa kaksi EAF-muotoista annotaatiotiedostoa: verkkopohjaiseen selailuun tarkoitettu perusversio (esim. SKN01_Suomussalmi.eaf) sekä useampia annotaatiokerroksia sisältävä täysversio (esim. SKN01_Suomussalmi_full.eaf). EAF-tiedostoja voi käyttää verkkopohjaisesti LAT-alustalla tai ne voi ladata omalle koneelle ja avata muokattavaksi ELAN-ohjelmalla.

EAF-muotoisten annotaatioiden perusversio sisältää kaksi annotaatiokerrosta kutakin näytteessä esiintyvää puhujaa kohti: toisessa on kyseisen puhujan virkkeiden tms. jaksojen litteraatit ja toisessa litteroitujen jaksojen karkeasti yleiskielistetyt vastineet. Litteraatin ja äänen kohdistus on tarkoitettu hakujen, selailun ja kuuntelun helpottamiseksi. Se ei siis ole täysin tarkka, eikä kaikkia taukoja ole välttämättä merkitty. Kustakin EAF-tiedostosta on saatavilla myös ns. täysversio, jonka nimessä on merkintä ”_full”. Täysversiossa on mukana perusversion kerrosten lisäksi myös sanekohtaiset kerrokset, joihin on merkitty yksittäisten saneiden alkuperäiset ja karkeasti yleiskielistetyt muodot kohdakkain. Huomaa, että yksittäisiä saneita ei ole kohdistettu ääneen, vaan ne on tarkoitettu ainoastaan monimutkaisempien sisältöhakujen helpottamiseksi. Verkon kautta selailtavaksi kannattaa valita ensin mainittu perusversio, sillä täysversio ei välttämättä toimi verkon yli saumattomasti.

Saatavilla on lisäksi EAF-tiedostojen täysversioita vastaavat TextGrid-tiedostot, joita voi käyttää Praat-ohjelmalla. TextGrid-tiedoston pariksi on tällöin ladattava myös vastaava WAV-äänitiedosto LAT-alustalta.

Äänen ja tekstin kohdistus on alunperin tehty tuomalla XML-muotoiset yleiskielistysdokumentit Praat-skriptin avulla TextGrid-muotoisiin annotaatiotiedostoihin, jotka on puolestaan muunnettu toisella Praat-skriptillä ELAN-ohjelman käyttämään EAF-muotoon.

Tiedostojen lataaminen omalle koneelle

Tiedostoja voi ladata yksitellen omalle koneelleen komennolla ”download” (napsauta tiedostoa hiiren oikealla napilla tai valitse se klikkaamalla, jolloin painike tulee näkyviin sivun ylälaitaan). Vaihtoehtoisesti kaikki tiettyyn murrenäytteeseen liittyvät erilaiset tiedostot voi ladata yhtenä tiedostopakettina valitsemalla ensin kyseistä istuntoa vastaavan vihreän ”pussin” ja napsauttamalla sitten painiketta ”Download all resources”. Kannattaa ladata vähintään kyseisen EAF-tiedoston ”_full”-versio sekä sitä vastaava WAV-muotoinen äänitiedosto ja sijoittaa nämä omalla koneella samaan hakemistoon. M4A-tiedostoa ei välttämättä tarvitse ladata, koska se on tuotettu ainoastaan verkkoselaimella tapahtuvaa kuuntelua varten.

Huom: Jokaiselle EAF-tiedostojen sisältämälle annotaatiokerrokselle on ELANissa määritetty ns. lingvistinen tyyppi (Linguistic type), minkä ansiosta hakuja voidaan kohdistaa vaikkapa koko korpuksen kaikkiin yleiskielistettyjä sananmuotoja sisältäviin kerroksiin. Annotaatiokerrosten ja lingvististen tyyppien välisiä hierarkisia suhteita ei ole teknisistä syistä määritetty SKN-korpuksen tiedostoille. Mikäli haluat muokata annotaatioita ELAN-ohjelmalla, kannattaa muistaa, että annotaatiokerrokset ovat itsenäisiä, ts. mikäli siirrät esimerkiksi ”normalized word” -tyyppisiä annotaatioita tai niiden rajoja, muutokset eivät heijastu vastaaviin yksiköihin muissa kerroksissa. Omia muutoksia on helpompi tehdä TextGrid-muotoisiin annotaatiotiedostoihin Praat-ohjelmalla, jossa samalla kohdalla olevia annotaatioiden rajoja on mahdollista siirtää yhtä aikaa. Vaihtoehtoisesti voit ensin käsin luoda omaan ELAN-muotoiseen korpusversioosi annotaatiokerrosten välisen hierarkian luomalla lingvistisistä tyypeistä uudet versiot (Type: Add linguistic type…) ja käyttämällä sen jälkeen ELANin Tier: Change parent of tier… -komentoa.

Annotaatioihin pohjautuvien hakujen tekeminen

Korpuksen litteraattien sisältämän tekstin perusteella voi tehdä hakuja Korp-palvelussa.

Annotaatiokerrosten tyyppien avulla voidaan tehdä hakuja myös Trova-työkalulla (napsauta skn-solmua ja valitse ”annotation content search”). Alkuperäistä litteraatiota edustavat annotaatiokerrosten tyypit ”original sentence” ja ”original word”, ja näiden alustavia yleiskielistyksiä tyypit ”normalized sentence” ja ”normalized word”. Joidenkin saneiden yleiskielistettyyn muotoon liittyy myös lisähuomautuksia, jotka on kuvattu kerroksessa ”note for normalized word”.

Haastattelijoiden puheeseen liittyvien annotaatiokerrosten tyypin nimessä on maininta ”interviewer”. Kaikki muut kerrokset liittyvät joko haastateltavien tai muiden äänitystilanteessa paikalla olleiden henkilöiden puheeseen. Kun siis kohdistetaan Single Layer- tai Multiple Layer Search -haku tämäntyyppisiin kerroksiin, voidaan haku tehdä pelkästään varsinaisesta murrenäytteestä (tai pelkästään haastattelijan puheesta, kun valitaan ”interviewer”-tyyppiset kerrokset).

Korpuksen tuottajat

Alkuperäisen ääniaineiston on käsitellyt Sakari Pietarila. Alkuperäiset litteroinnit on julkaistu murrekirjoissa, joiden esittelyosat on liitetty korpuksen vastaaviin osiin pdf-muotoisina dokumentteina. Tekstin ja äänen ovat Kotuksessa alustavasti kohdistaneet My Sjöholm, Pauliina Liuska ja Olli Miettinen. Yleiskielistyksestä ovat vastanneet Kotuksessa Maria Vilkuna, Pauliina Liuska ja Pinja Ruponen. Äänitteet ja kohdistetut annotaatiotiedostot on muuntanut LAT-järjestelmää varten Mietta Lennes.

SKN-kohdistushankkeen työsivu (intranet)

Viittausohje

Korpukseen tai sen käyttöön pohjautuvissa julkaisuissa on mainittava aineiston tuottaja Kotimaisten kielten keskus (tai englanninkielisessä tekstissä The Institute for the Languages of Finland) sekä aineiston URN, http://urn.fi/urn:nbn:fi:lb-1001100134.

Korpukseen voi bibliografisesti viitata seuraavalla tavalla:

Suomen kielen näytteitä [online-puhekorpus], versio 1.0. – Helsinki : Kotimaisten kielten keskus, 2014. [viitattu pp.kk.vvvv]. Saatavilla: http://urn.fi/urn:nbn:fi:lb-201407141.

Hae Kielipankki-portaalista:
Kuukauden tutkija: Eliisa Uotila

 

Yhteystiedot

Kielipankin tekninen ylläpito:
kielipankki (ät) csc.fi
p. 09 4572001

Aineistoihin ja muuhun sisältöön liittyvät asiat:
fin-clarin (ät) helsinki.fi
p. 029 4140599 / 029 4129317