Suurkiitos kaikille lahjoittajille!
Yle, Helsingin yliopisto ja Valtion kehitysyhtiö Vake (sittemmin Ilmastorahasto Oy) toteuttivat yhdessä suomenkielisen puheen Lahjoita puhetta -keruukampanjan, joka on ollut käynnissä 16.6.2020 lähtien. Puhelahjoituksia kertyi ensimmäisen vuoden aikana menestyksekkäästi yli 3000 tuntia. Viime vuosina ja kuukausina lahjoituksia on kuitenkin tullut enää harvakseltaan. Pienemmällä Donera prat -kampanjalla kerättiin vuodesta 2021 alkaen myös suomenruotsia.
Molemmat keruukampanjat on nyt suljettu. Aineistot järjestellään ja tallennetaan Kielipankkiin, jonka kautta tutkijat ja yritykset voivat saada puhedataa käyttöönsä tietyillä ehdoilla. Toivomme, että aineistot auttavat tutkijoita ja yrityksiä luomaan parempia suomenkielisen puheen malleja sekä kehittämään tulevaisuuden palveluita, jotka toimivat sujuvasti suomen kielellä.
Mer information på de finska och finlandssvenska kampanjerna 2020-2024 (på engelska)
Mer information på de finska och finlandssvenska kampanjerna 2020-2024 (på engelska)
The Korp concordancing service in the Language Bank of Finland is moving to a new, faster server during 1-2 pm. on 7th February 2024. There will be a short service break.
After the change, Korp will be available via the new address https://www.kielipankki.fi/korp/. The old address https://korp.csc.fi will be automatically redirected to the new site.
The corpora offered via Korp will continue to be available via the new server. However, queries will be completed faster.
NB: At the moment, logging in to the new Korp (to access ACA or RES licensed corpora) may sometimes fail in case the complete address (www.kielipankki.fi/korp/) was not used for starting Korp. However, this issue will be fixed as soon as possible, and you should already be able to log in normally when using the link mentioned above.
Korp siirtyy 7.2.2024 klo 13-14 uudelle, nopeammalle palvelimelle. Siirron yhteydessä on lyhyt käyttökatko.
Samalla Kielipankin Korpin uudeksi osoitteeksi muuttuu https://www.kielipankki.fi/korp/. Vanha osoite https://korp.csc.fi ohjautuu automaattisesti uuteen paikkaan.
Korpin kautta käytössä olevat korpukset toimivat myös uudella palvelimella entiseen tapaan, mutta haut toimivat nopeammin.
Huom. Toistaiseksi kirjautuminen Korpiin (ACA- ja RES-lisensoidut korpukset) saattaa joskus epäonnistua, jos Korp-palveluun siirtyessä ei ole käytetty kokonaista www-alkuista osoitetta (www.kielipankki.fi/korp/). Tämä ongelma pyritään korjaamaan mahdollisimman pian. Kirjautumisen pitäisi kuitenkin toimia normaalisti jo nyt yllä mainitun linkin kautta.
Project: FIN-CLARIAH
Grant agreement: Academy of Finland no. 345610
Start date: 01-01-2022
Duration: 24 months
WP 1.1: Report on ingesting new unstructured resources
Date of reporting: 30-11-2023
Report authors: Mietta Lennes, Jussi Piitulainen (University of Helsinki)
Contributors: Ute Dieckmann, Erik Axelson, Jyrki Niemi, Jack Rueter, Tommi Jauhiainen, Krister Lindén (University of Helsinki)
Deliverable location: Corpora and tools available via the Language Bank of Finland
Keywords for the deliverable page: corpus, data set, automatic language identification
The Newspaper and Periodical Corpus of the National Library of Finland was extended with a significant amount of new material from the National Library. The new version was organized according to the automatically identified language of each sentence. The Finnish Sub-corpus of the Newspaper and Periodical Corpus of the National Library of Finland version 2 (klk-fi-v2), consisting of more than 22 billion word tokens, was published in Korp in summer 2023. It consists of the text elements that contain at least one ”fin” sentence (from the new material, from the previous version of klk-fi, and from the previous klk-sv). Moreover, the summary attributes indicate the frequency distribution of languages within each text and each paragraph. An extended version of the Swedish sub-corpus (klk-sv-v2) has been compiled in a similar way (any ”swe” in a text), but the Swedish data is currently still waiting for the rest of the annotations to be completed. For details of the reorganization process of the National Library data according to language, see Jauhiainen et al. 2022.
The HeLI-OTS language identification tool was adapted for the format used in the Language Bank of Finland, together with a post-processor written to correct the identification of each sentence within its context. Another new tool was written to partition the corpus, first by the main identified languages, then by the year of publication.
As a demonstration of ingesting resources including parallel spoken material in multiple languages, the corpus Christmas Gospel text-to-speech in four Uralic languages was prepared and made available for searching and playback via Korp (for details on this effort, see D2.3.2).
Other corpora published in Korp during the years 2022-23 include, e.g., the Finnish News Agency Archive 1992-2018, Kielipankki Korp Version; Corpus of Contemporary American English (COCA) – Kielipankki Korp version 2020 and Erzya and Moksha Extended Corpora (ERME) version 2, Korp.
In addition, various downloadable resources were published, e.g., Corpus of Contemporary American English – Kielipankki VRT version 2020; FinnTreeBank 1, 2 and 3; Word embeddings trained with word2vec from the Finnish Text Collection; The Coronavirus Corpus (Mark Davies, english-corpora.org) – Kielipankki version 2021-05; and The Finnish Dark Web Marketplace Corpus.
During the project, the resource publication pipeline of the Language Bank of Finland has been refined and documented. The structure of the pipeline was first presented at the CLARIN Annual Conference in 2022 and described in the conference proceedings (Dieckmann & al., 2023, see below).
Kansainvälinen INTERSPEECH 2023 -konferenssi järjestettiin 20.-24. elokuuta Dublinissa, Irlannissa. Mietta Lennes piti konferenssissa posteriesitelmän, joka perustui seuraavaan englanninkieliseen konferenssiartikkeliin:
Lennes, M., Toivola, M. (2023). Pitch distributions in a very large corpus of spontaneous Finnish speech. Proceedings of INTERSPEECH 2023, 4778-4782, doi: 10.21437/Interspeech.2023-1822.
Tutustu englanninkieliseen posteriin
The 24th INTERSPEECH Conference was held on 20-24 August 2023 in Dublin, Ireland. At the conference, Mietta Lennes from the Language Bank of Finland presented a poster, based on the following conference article:
Lennes, M., Toivola, M. (2023). Pitch distributions in a very large corpus of spontaneous Finnish speech. Proceedings of INTERSPEECH 2023, 4778-4782, doi: 10.21437/Interspeech.2023-1822.
When you obtain a resource containing personal data from the Language Bank of Finland (Kielipankki) and start processing it for a new purpose, you must prepare a privacy notice regarding the purpose of processing, publish the notice openly in electronic format, and provide a link to the notice to the Language Bank. The purpose of a privacy notice is to help data subjects understand the purposes for which their data is used.
The Language Bank now offers some guidelines to help you collect the pieces of information that are usually required for a privacy notice regarding research purposes. Please note, however, that you should always primarily follow the data protection guidelines of your own organisation.
Privacy notice – Instructions for researchers
Are you interested in using the computational environment at CSC for processing language resources? Do you want to know more about our resources and how to use them in your research?
CSC – IT Center for Science is organizing a remote course on 20.-21.6.2023 on these topics.
If you do research or teach in a Finnish institute of higher education or research institute, you may use CSC’s resources and take this course free of charge.
The two-day course includes:
Read more and register for the course on CSC’s course page: https://ssl.eventilla.com/kielipankki
Kiinnostaako sinua oppia käyttämään CSC:n laskennallista ympäristöä kielivarojen käsittelyyn? Haluatko tietää lisää kielivaroista ja mahdollisuuksista käyttää niitä tutkimuksessasi?
CSC – Tieteen tietotekniikan keskus järjestää 20.–21.6.2023 etäkurssin näistä aiheista.
Jos teet tutkimusta tai opetat suomalaisessa korkeakoulussa tai tutkimuslaitoksessa, saat käyttöoikeuden CSC:n resursseihin maksutta ja myös tämä kurssi on sinulle maksuton.
Kaksipäiväisen koulutuksen aikana opitaan
Lue lisää ja ilmoittaudu mukaan CSC:n kurssisivulla: https://ssl.eventilla.com/kielipankki
Uusi automaattinen puheentunnistuspalvelu Tekstiks on testikäytössä. Järjestelmä pystyy tunnistamaan puhuttua viroa ja suomea sekä tuottamaan äänitteestä tekstimuotoisen litteraatin. Palveluun kuuluu myös käyttöliittymä, jossa litteroitua tekstiä voi muokata ja kuunnella samalla äänitettä.
Tekstiks-palvelua voi jo alustavasti kokeilla yksittäisillä omilla puhenäytteillä. Huomaa kuitenkin, että palvelu on vielä kehitteillä. Tietosuojasyistä järjestelmä ei tässä vaiheessa vielä sovellu luottamuksellisen puheaineiston käsittelyyn.
Tekstiks-palvelu on syntynyt Tallinnan teknillisen korkeakoulun, Kielipankin ja Aalto-yliopiston välisenä yhteistyönä.
Tekstiks, a new automatic speech transription service, is now up and running for test users. The automated system can recognise spoken Estonian and Finnish and produce a transcript of the recording. The service also includes an interface for editing the transcribed text while listening to the recording.
The Tekstiks service may already be tested on individual speech samples. Please note, however, that the service is still under development and the level of security at this stage is not sufficient for processing confidential speech data.
The Tekstiks service is jointly offered by the Tallinn University of Technology, the Language Bank of Finland and Aalto University.
Read more about Tekstiks and try it out!
Welcome to follow us! @kielipankki@toot.community
Kielipankki on liittynyt Mastodoniin. Tervetuloa seuraamaan meitä! @kielipankki@toot.community
(Updated on 29.10.2022: Added information about the license for commercial use)
The Donate Speech Corpus (Puhelahjat) is a collection of speech recordings that accumulated during the Donate Speech campaign between 16.6.2020 and 14.9.2021. The resource is now available via the download service of the Language Bank of Finland under restricted terms and conditions.
The Donate Speech Corpus contains a total of about 3200 hours of speech recordings, out of which about 1600 hours have been transcribed. The resource also includes information about the elicitation tasks for which each of the speech samples was donated in the original campaign, and the background details that were voluntarily provided by speech donors.
Access to the Puhelahjat resource may be granted for purposes related to language research or to the research and development of AI (artificial intelligence). Academic researchers can now apply for access to the dataset. In parallel to the license for research use, a license agreement is offered for companies who wish to use the data. The details regarding commercial use will soon be available online. Interested companies may request further information at lahjoita-puhetta@helsinki.fi.
For academic research use, the license terms and conditions (including the data protection terms and conditions) can be found at http://urn.fi/urn:nbn:fi:lb-2022020223.
Researchers can now apply for access via the Language Bank Rights system. The researcher must present a research plan before the license can be granted. As the Puhelahjat resource contains personal data, the researcher must also submit to Kielipankki a notification that contains the public information about the processing of the personal data.
Donate Speech (Puhelahjat) datasets for research use (corresponding information for commercial use will soon be available)
Donate Speech (Puhelahjat) Corpus Metadata
Donate Speech (Lahjoita puhetta) campaign information in Kielipankki
(Uutiseen tehty päivitys 29.10.2022: Lisätty maininta myös yrityksille tarkoitetusta lisenssistä Lahjoita puhetta -aineistoon.)
Lahjoita puhetta -aineisto (Puhelahjat) versio 1.0 on kokoelma puhenäytteitä, jotka kertyivät Lahjoita puhetta -kampanjassa aikavälillä 16.6.2020-14.9.2021. Aineisto on nyt rajoitetusti saatavilla Kielipankin latauspalvelussa.
Lahjoita puhetta -aineisto sisältää noin 3200 tuntia puheäänitteitä, joista noin 1600 tuntia on litteroitu. Aineistossa on mukana myös tiedot kampanjasovelluksessa kuhunkin puhenäytteeseen liittyneistä tehtävistä sekä puhettaan lahjoittaneiden ihmisten vapaaehtoisesti ilmoittamat taustatiedot.
Puhelahjat-aineistoa voidaan luovuttaa Kielipankista tarkoituksiin, jotka liittyvät kielentutkimukseen tai tekoälyn tutkimukseen ja kehittämiseen. Tutkijat voivat nyt hakea pääsyä aineistoon. Tutkijalisenssin rinnalla yrityksille tarjotaan omaa lisenssisopimusta, josta tulee pian lisätietoa Kielipankin sivuille. Kiinnostuneet yritykset voivat ottaa yhteyttä osoitteeseen lahjoita-puhetta@helsinki.fi.
Akateemisen tutkimuskäytön osalta aineiston käyttöehdot ja tietosuojaehdot löytyvät osoitteesta http://urn.fi/urn:nbn:fi:lb-2022020221.
Tutkijat voivat hakea lisenssin mukaisilla ehdoilla pääsyä aineistoon Kielipankin oikeudet -palvelun kautta. Ennen lisenssin myöntämistä tutkijan on esitettävä tutkimussuunnitelma. Koska Puhelahjat-aineisto sisältää henkilötietoja, on tutkijan toimitettava Kielipankkiin julkinen ilmoitus henkilötietojen käsittelystä.
Lahjoita puhetta (Puhelahjat) -aineistot tutkimuskäyttöön (vastaava sivu yrityskäyttöä varten on tulossa)
Lahjoita puhetta (Puhelahjat) -aineiston kuvailutiedot
Lahjoita puhetta -hankkeen kuvaus Kielipankissa
This autumn, a campaign to collect Estonian speech has launched in Estonia. The goal of the ”Anneta kõnet” campaign is to develop language technologies and to help to preserve the Estonian language.
All adult Estonian speakers, including those who speak Estonian as a foreign language, are invited to participate in the project and donate their speech through the ”Anneta kõnet” campaign website. With the help of a large number of participants it would be possible to compile a corpus with contemporary and diverse speech, including examples from different Estonian dialects.
The ”Anneta kõnet” campaign was launched by Estonia’s Ministry of Economic Affairs and Communications (MKM) and the State Information System Authority (RIA). The project has received funding from the EU NextGenerationEU recovery plan.
”Anneta kõnet” campaign has similar goals as its predecessor ”Lahjoita puhetta” campaign, which was launched in 2020 to collect spoken Finnish. After it proved successful, a similar campaign for collecting Finland Swedish, ”Donera prat”, was launched in the end of 2021. All these ”Donate your speech” campaigns aim to compile language-specific and open speech corpora, which would in the near future benefit researchers as well as developers of speech technology, applications and language-centric Artificial Intelligence (AI).
Anneta kõnet – About the project
Virossa on tänä syksynä käynnistynyt puheenkeräyskampanja ”Anneta kõnet”, jonka päämääränä on kehittää kieliteknologisia ratkaisuja sekä edistää viron kielen säilymistä. Kaikkia täysi-ikäisiä viron puhujia, myös vieraana kielenä viroa puhuvia, kutsutaan osallistumaan hankkeeseen ja lahjoittamaan puhettaan Anneta kõnet -kampanjan verkkosivujen kautta. Laajan osallistujajoukon puhelahjoitusten avulla on mahdollista koota monipuolinen korpus, joka sisältäisi spontaanin vironkielisen puheen lisäksi myös tietoa eri murrealueiden ääntämyksestä.
Kampanjan on käynnistänyt Viron talous- ja viestintäministeriö (MKM) ja Viron kansallinen tietojärjestelmäviranomainen (RIA). Rahoitusta hanke on saanut EU:n NextGenerationEU-elpymisvaroista.
Anneta kõnet -kampanjalla on samankaltaisia tavoitteita kuin sen esikuvana toimineella suomen kieltä keränneellä Lahjoita puhetta -kampanjalla sekä siitä noin vuosi sitten versonneella suomenruotsin keruuseen keskittyvällä Donera prat -kampanjalla. Erilaisten puheenkeräyskampanjoiden yleisenä tavoitteena on koota kielikohtaisia avoimia puheaineistoja, joista on tulevaisuudessa hyötyä niin tutkijoille kuin puheteknologioiden, sovellusten ja kielikeskeisen tekoälyn kehittäjille.
Anneta kõnet -kampanjan projektikuvaus