Dockeroitujen työkalujen asennus ja käyttöönotto (finnish-postag, finnish-nertag, …)

Osa työkaluista on tarjolla Docker-paketteina. Näin niitä voi käyttää ilman tarvetta asentaa mitään muuta (paitsi Dockerin). Tällä hetkellä paketit ovat komentorivityökalujen korvikkeita, eli niitä käytetään stdin ja stdout -mekanismien kautta, mutta näitä työkaluja voi käyttää myös sovelluspalvelimen avulla verkkopalveluna.

Toistaiseksi tarjolla ovat finnish-nertag, finnish-postag ja finnish-tokenize.

Asennus

Työkalut löytyvät kielipankin Dockerhub-tililtä, joten ne voi asentaa seuraavasti:

sudo docker pull kielipankki/finnish-nertag:latest

(Tai finnish-postag, ja niin edelleen.)

Käyttäminen

Docker-paketit kommunikoivat stdinin ja stdoutin välityksellä, joten niitä voi testata esimerkiksi näin:

$ sudo docker run --rm -i kielipankki/finnish-nertag <<< 'Pekingin olympialaiset 2008'
Pekingin <EnamexEvtXxx>
olympialaiset
2008 </EnamexEvtXxx>

Niille voi antaa samoja komentoriviargumentteja kuin normaalistikin:

$ sudo docker run --rm -i kielipankki/finnish-nertag --bio <<< 'Pekingin olympialaiset 2008'
Pekingin B-MISC
olympialaiset I-MISC
2008 I-MISC

$ sudo docker run –rm -i kielipankki/finnish-nertag –show-analyses <<< ’Pekingin olympialaiset 2008’
Pekingin peking [POS=NOUN][PROPER=PROPER][NUM=SG][CASE=GEN] [PROP=GEO] <EnamexEvtXxx>
olympialaiset olympialaiset [POS=NOUN][NUM=PL][CASE=NOM] _
2008 2008 [POS=NUMERAL][SUBCAT=CARD] _ </EnamexEvtXxx>

ELG-yhteensopiva HeLI-OTS-kielentunnistin julkaistu hub.docker.com -palvelussa Lingsoftin ja Helsingin yliopiston yhteistyönä

HeLI-OTS on yleiskäyttöinen kielentunnistin, joka pystyy automaattisesti tunnistamaan tekstin kielen. HeLI-OTS valitsee sopivimman vaihtoehdon 200 kielen joukosta. Nyt julkaistu docker-versio perustuu aikaisemmin viime kuussa julkaistuun HeLI-OTS versioon 1.3, joka on saatavilla Zenodosta.

Uusina ominaisuuksina ensimmäiseen viime vuoden kesäkuussa julkaistuun 1.0 versioon verrattuna ovat uusimmassa versiossa:
– Kielen tunnistuksen luotettavuudelle voi tulostaa arvon.
– Mahdollisuus tulostaa lista todennäköisimmin tunnistetuista kielistä vain yhden todennäköisimmän sijaan.
– Mahdollisuus käyttää osana tekstinkäsittelyprosessia: tunnistettavaa tekstiä ei tarvitse aina lukea tiedostosta.
– Tunnistuksen kielivalikoimaa voi rajoittaa sekä tunnistinta käynnistettäessä että myöhemmin.
– Käytössä on useita kielimalleja murteelliselle suomelle.

Docker-julkaisu tapahtui Lingsoftin toimesta osana Microservices at your service -projektia.

Projekti järjestää kaksi NLP-työkalujen kehittäjille ja käyttäjille ELG:tä ja sen mahdollisuuksia esittelevää työpajaa 22.3. ja 25.3. otsikolla ”ELG, a bridge for NLP development”.

HeLI-OTS on kehitetty osana Vaikuttavuussäätiön rahoittamaa HY:n ja Lingsoftin tekstin ja puheen kielentunnistukseen keskittyvää yhteistyöprojektia.

Jutussa esiintyviä linkkejä kootusti:
HeLI-OTS-kielentunnistin hub.docker.com -palvelussa
HeLI-OTS versio 1.3
HeLI-OTS versio 1.0
Lingsoft
Microservices at your service -projekti
European Language Grid (ELG)
Vaikuttavuussäätiö

Aalto-ASR – Aalto University Automatic Speech Recognition System

Suomeksi

Aalto-ASR includes two main functionalities: automatic speech recognition and automatic forced alignment. The speech recognizer allows you to obtain a transcript of an audio file that contains Finnish speech. The result of the recognition process is returned either as an annotation file (such as Praat TextGrid) or as a plain text file. In case a transcript of the audio file already exists, the words included in the text can be automatically aligned with the corresponding parts of the audio signal. The automatic forced aligner also works in several other languages in addition to Finnish.

Aalto University Automatic Speech Recognition System, version 2.1
Metadata, license and citation instructions
Instructions (in Finnish only; English instructions forthcoming!)

Recent updates

The new, upgraded version 2.1 was installed in Kielipankki in September 2021. The tools can be used in the Puhti environment. If required, Aalto-ASR can now also be installed on other environments as a Docker container.

Some features of version 1 were previously available via the Mylly service as well. However, the old Aalto-ASR version was removed in 2020 and the new version has not yet been plugged in to Mylly, but this may happen at a later stage.

 

Persistent identifier of this resource group page: http://urn.fi/urn:nbn:fi:lb-2021082325

 

Aalto-ASR – Aalto University Automatic Speech Recognition System v2.1 is available

The upgraded version 2.1 of the Aalto University Automatic Speech Recognition System (Aalto-ASR) is now available for use on the CSC Puhti server. Instructions for using the toolkit are currently available in Finnish only (English translation forthcoming).

There are currently two main functionalities in Aalto-ASR:

  • Speech recognition (kaldi-rec): creating a preliminary transcript from Finnish speech recordings in WAV format to plaintext files and/or annotation files.
  • Forced alignment (kaldi-align): If you already have a plain-text transcript of the audio recording, it is possible to automatically align the text with the corresponding portions of the sound signal. The aligner tool currently works in Finnish, Swedish, Northern Sámi, Estonian, Komi and English.

The brand new version of Aalto-ASR is also available as a Docker container that can be installed on other systems if required.

Metadata and citation instructions for Aalto-ASR 2.1

Aalto-ASR-puheentunnistustyökalujen uusi versio 2.1 on käytettävissä

Aalto-yliopistossa kehitetyn Aalto-ASR -puheentunnistusjärjestelmän uudistettu versio on nyt käytettävissä CSC:n Puhti-palvelimella. Suomenkieliset käyttöohjeet löytyvät Kielipankin sivuilta (englanninkieliset ohjeet ovat vielä tulossa).

Aalto-ASR:ssä on tällä hetkellä kaksi perustoiminnallisuutta:

  • Suomenkielisen, wav-muotoisen puheäänitteen voi alustavasti litteroida tekstitiedostoon tai annotaatiotiedostoon kaldi-rec -työkalulla.
  • Mikäli ääninäytteestä on jo olemassa valmis tekstimuotoinen litteraatti, voit kohdistaa tekstin karkeasti äänen vastaaviin kohtiin kaldi-align-työkalulla. Kohdistaminen onnistuu tällä hetkellä suomen, ruotsin, pohjoissaamen, viron, komin ja englannin kielillä.

Uusi Aalto-ASR on saatavilla myös Docker-säiliönä, jonka voi tarvittaessa asentaa omaan laiteympäristöön.

Aalto-ASR 2.1 -järjestelmän kuvailutiedot ja viittausohjeet

 

The language identifier HeLI-OTS 1.0 is now downloadable from Zenodo

The general language identifier HeLI-OTS 1.0 is an automatic tool that is capable of identifying the language of each line of text in the input file. HeLI-OTS 1.0 selects the best match among 200 languages.

The publication of HeLI-OTS 1.0 is one of the results of the co-operation project Language Identification of Speech and Text by the University of Helsinki and Lingsoft Oy, supported by “Tandem Industry Academia 2020” funding from Finnish Research Impact Foundation. The tool is based on the HeLI method, developed by Tommi Jauhiainen and Heidi Jauhiainen in continuation to Tommi’s research for his Master and PhD projects at the Department of Digital Humanities at the University of Helsinki.

The language identifier is available under Apache 2 and CC-BY licenses. The tool is simple to use: it reads the text file specified as a parameter, identifies the language of each line in the input file, and writes the ISO 639-3 language codes in the corresponding lines of the output file. The source code for the entire language identifier can be downloaded from Zenodo, but if you just want to use the language identifier, you will only need the file HeLI.jar (42 MB). When in operation, the language identifier uses about 3 gigabytes of memory and a single computing core. It is capable of identifying the language of about 3,000 sentences per second on a modern laptop.

You can run the tool with the following type of command:

java -jar HeLI.jar <infile> <outfile>

Kielentunnistin HeLI-OTS 1.0 nyt ladattavissa Zenodosta

HeLI-OTS 1.0 on yleiskäyttöinen kielentunnistin, joka pystyy automaattisesti tunnistamaan jokaisen annetussa tekstitiedostossa olevan tekstirivin kielen. HeLI-OTS 1.0 valitsee sopivimman vaihtoehdon 200 kielen joukosta.

HeLI-OTS 1.0 on julkaistu Helsingin yliopiston ja Lingsoft Oy:n yhteistyöprojektissa Language Identification of Speech and Text, joka on saanut rahoitusta VaikuttavuussäätiönTandem Industry Academia 2020” -hausta. Kielentunnistin perustuu HeLI-menetelmään, jonka Tommi Jauhiainen ja Heidi Jauhiainen ovat kehittäneet Tommin pro gradu– ja väitöstutkimusten pohjalta Helsingin yliopiston digitaalisten ihmistieteiden osastolla.

Kielentunnistin on saatavilla avoimilla Apache 2- ja CC-BY-lisensseillä Zenodon kautta. Sitä on myös helppo käyttää: se lukee parametrinä annetun tekstitiedoston, tunnistaa tiedoston jokaisen rivin kielen ja kirjoittaa vastaavat ISO 639-3 järjestelmän mukaiset kielikoodit tulostiedoston riveille. Zenodosta voi ladata koko kielentunnistimen lähdekoodin, mutta mikäli haluaa vain käyttää kielentunnistinta, tarvitaan pelkästään HeLI.jar-niminen tiedosto, joka on kooltaan 42 megatavua. Toiminnassa ollessaan kielentunnistin käyttää noin 3 gigatavua keskusmuistia ja yhden laskentaytimen. Se kykenee nykyaikaisella kannettavalla tietokoneella tunnistamaan sekunnissa noin 3000 virkkeen kielen.

HeLI-OTS-työkalun voi käynnistää seuraavanlaisella komennolla:

java -jar HeLI.jar <infile> <outfile>

META-SHARE

META-SHARE is the Language Bank’s metadata repository. It contains information about each language resource’s type, content, extent, license etc. and offers search and filtering options.

This resource group page has a Persistent Identifier: http://urn.fi/urn:nbn:fi:lb-2021101104

LAT service to be discontinued in November 2020

Suomeksi

For technical reasons, the LAT service (lat.csc.fi) will be discontinued in the Language Bank of Finland as of November 30, 2020.

The LAT platform itself is no longer developed in its present form by MPI, and the media browser component Annex (part of LAT) is based on deprecated Adobe Flash technology that will stop working at the end of this year.

What will happen to the corpora that used to be available in LAT?

A replacement service for LAT has not yet been selected by the Language Bank of Finland. However, all the speech and sign language corpora that were previously available in LAT will be made available by alternative means.

All of the LAT corpora can be offered as downloadable packages that can be used and studied directly on the user’s local computer. In the download service, the corpora can be accessed under the same conditions as via LAT. For some corpora, more advanced solutions might already be available.

Which corpora are affected by LAT shutting down?

The LAT instances of the following corpora will be affected:

  • aku-egg: Speech and EGG (Electroglottography) Simultaneous Recordings
  • cfinsl-conv: Corpus of Finnish Sign Language: conversations
  • cfinsl-elicit: Corpus of Finnish Sign Language: elicited narratives
  • eduskunta-v1-lat: Plenary Sessions of the Parliament of Finland, Kielipankki LAT Version 1
  • elfa-lat: The Helsinki LAT Version of the ELFA Corpus
  • fbc-lat: The Helsinki LAT Version of the Finnish Broadcast Corpus
  • ffe: a single unpublished video file by an unknown creator, access restricted to the owner (this data will be archived temporarily but will be removed quite soon unless the owner turns up!)
  • finka: The Corpus of Border Karelia, Kielipankki LAT version
  • giellagas-north: Samples of Northern Saami
  • helpuhe1: The Longitudinal Corpus of Finnish Spoken in Helsinki (1970s, 1990s and 2010s)
  • kipo: The 2010 Language Policy Program of the Sign Languages of Finland Corpus (versions 1 and 2)
  • la-murre: The Finnish Dialect Corpus of the Syntax Archive, Helsinki LAT Version
  • PeWi-corpus (the original authoritative copy is offered by MPI; the identical version will be removed from the Language Bank of Finland)
  • puheen-analyysi: Learning material for speech analysis
  • reittidemo-lat: The Helsinki LAT Version of the Route to A wing Corpus
  • seuruu: Follow-up Study of Dialects of Finnish
  • skn-lat: The Helsinki LAT Version of Samples of Spoken Finnish
  • snowfrog: ProGram data. The stories Snowman and Frog, where are you?
  • ssdc-2016: Skolt Saami Documentation Corpus (2016)

In order to see where each corpus will be located in the future, please refer to the corresponding metadata page where this information will be updated. The relevant metadata links are provided on the list above.

I came to this page via a PID, how do I know where the file is?

LAT assigned 25000 PIDs to individual files. We have no automatic mapping of these PIDs but we can help you find the file if you need it. We aimed to structure downloadable packages similar to the dataset structure on LAT. To locate a file look into the URL field of this page where you find a ”?path=...” parameter. Example: ?path=demo/TRASH/2017-01/526/v7556__.C_4.4_Viittomakielisten_kielelliset_oikeudet.imdi

This should help you locate your file, please contact us if you have any questions.

Schedule

August-September 2020:

  • The (numerous) persistent identifiers assigned by LAT to individual files will be redirected to stopover/tombstone pages. There will be one tombstone page per dataset.
  • The LAT corpora that are not yet offered in Download will be moved there and their persistent identifiers will be updated to point to their new home.
  • Assuming that too many errors are not detected, this process should be complete by October.

September-October 2020:

  • Decisions are to be taken as to what kind of streaming services the Language Bank can implement for audio and video materials in the year 2021.

30th November 2020:

  • The support for the server where LAT is located will be discontinued and the service will be shut down.
  • All the corpora that were previously offered via LAT will continue to be offered at least for download.

Year 2021 (and later):

  • Given that there are sufficient resources, more functionalities for browsing, searching, and analyzing speech and sign language corpora can be added.

Further details on the schedule of the aforementioned process will be updated on this page. In case you need additional information at this point, please contact FIN-CLARIN directly.

LAT-alusta poistuu käytöstä

In English

Teknisistä syistä Kielipankin käytössä ollut LAT-palvelu (lat.csc.fi) joudutaan sulkemaan marraskuun lopussa 2020.

MPI ei enää kehitä LAT-alustaa nykyisessä muodossaan, ja LATiin kuuluva Annex-mediaselaintyökalu perustuu Adoben vanhentuneeseen Flash-teknologiaan, joka lakkaa toimimasta vuoden lopussa.

Mitä tapahtuu korpuksille, jotka ovat olleet LATin kautta saatavilla?

Kielipankin käyttämälle LAT-palvelulle ei vielä ole valittu täysin korvaavaa palvelua. Kaikki puheaineistot ja viittomakielten aineistot, jotka ovat aiemmin olleet käytettävissä LATin kautta, tuodaan saataville toisella tavalla.

Kaikki LATissa olleet aineistot voidaan tarjota ladattavina paketteina, joita voi käyttää suoraan omalla koneella. Latauspalvelun kautta korpuksiin pääsee samoilla ehdoilla kuin aiemmin LATin kautta. Joillekin aineistoille voidaan jo nyt tarjota edistyneempiäkin ratkaisuja tavanomaisen latauspalvelun lisäksi.

Mihin korpuksiin LAT-palvelun sulkeminen vaikuttaa?

Muutokset koskevat seuraavien korpusten LAT-versioita:

  • aku-egg: Puheen ja EGG:n samanaikaiset tallenteet
  • cfinsl-conv: Suomalaisen viittomakielen korpus: keskusteluaineisto
  • cfinsl-elicit: Suomalaisen viittomakielen korpus: kerronta-aineisto
  • eduskunta-v1-lat: Eduskunnan täysistunnot, Kielipankin LAT-versio 1
  • elfa-lat: ELFA-korpuksen Helsinki-LAT-versio
  • fbc-lat: Suomalaisen radio- ja tv-korpuksen Helsinki-LAT-versio
  • ffe: yksittäinen, virallisesti julkaisematon tiedosto, jonka omistaja ei ole tiedossa ja pääsy on rajoitettu vain omistajalle (sisältö tullaan säilyttämään tilapäisesti mutta poistetaan, ellei omistaja ilmoittaudu!)
  • finka: Raja-Karjalan korpus, Kielipankin LAT-versio
  • giellagas-north: Pohjoissaamen näytekorpus
  • helpuhe1: Helsingin puhekielen pitkittäiskorpus (1970, 1990, 2010)
  • kipo: Kipo-korpus (Suomen viittomakielten kielipoliittinen ohjelma 2010) (versiot 1 ja 2)
  • la-murre: Lauseopin arkiston murrekorpuksen Helsinki-LAT-versio
  • PeWi-corpus: Kyseisen näyteaineiston alkuperäisen virallisen kopion tarjoaa MPI, joten identtinen versio tullaan poistamaan Kielipankista
  • puheen-analyysi: Puheen analyysin oppimateriaali
  • reittidemo-lat: Reitti A-siipeen -korpuksen Helsinki-LAT-versio
  • seuruu: Murteenseuruukorpus
  • skn-lat: Suomen kielen näytteitä -korpuksen Helsinki-LAT-versio
  • snowfrog: ProGram-aineisto, lumiukko- ja sammakkotarinat
  • ssdc-2016: Koltansaamen dokumentaatiokorpus (2016)

Kunkin aineiston kuvailutietosivulta löydät päivitetyt tiedot kyseisen aineistoversion tulevasta sijainnista. Linkit kuvailutietueisiin näkyvät yllä olevasta listasta.

Aikataulu

Elo-syyskuu 2020:

  • LAT-alustan automaattisesti tuottamat (lukuisat) pysyvät tunnisteet, jotka osoittavat aineistojen sisällä oleviin yksittäisiin tiedostoihin, tullaan ohjaamaan uudelleen laskeutumis- tai ”hautakivisivuille”. Jokaiselle korpukselle tehdään yksi tällainen laskeutumissivu.
  • Ne LAT-aineistot, jotka eivät aikaisemmin ole olleet tarjolla ladattavina versioina, tullaan siirtämään latauspalveluun. LAT-versioiden pysyvät tunnisteet päivitetään osoittamaan ko. aineistojen uuteen kotiin.
  • Ellei em. prosesssin aikana ilmene odottamattomia virhetilanteita, kaikkien aineistojen pitäisi olla siirrettyinä ja tunnisteiden päivitettyinä lokakuun loppuun mennessä.

Syys-lokakuu 2020:

  • Kielipankki tekee tarvittavat selvitykset ja päätökset siitä, millaisia striimaus- ja muita lisäpalveluita Kielipankissa on mahdollista toteuttaa ääni- ja videoaineistoille vuoden 2021 aikana.

30. marraskuuta 2020:

  • LAT-palvelimen tuki päättyy ja palvelu ajetaan alas.
  • Kaikki LATissa aiemmin tarjolla olleet aineistot tullaan jatkossakin tarjoamaan vähintään ladattavina versioina.

Vuosi 2021 (ja myöhemmin):

  • Resurssien puitteissa Kielipankkiin voidaan lisätä uusia palveluita ja toiminnallisuuksia puheaineistojen ja viittomakielten aineistojen selailuun, hakujen tekemiseen ja analysointiin.

Edellä mainitun prosessin tarkemmat yksityiskohdat päivitetään tälle sivulle. Mikäli tarvitset tässä vaiheessa lisätietoja, ole hyvä ja ota suoraan yhteyttä FIN-CLARINiin.

Learn to process your own data in the Corpus Clinic

The registration deadline of the online course Corpus Clinic has been extended to 23rd November, until when it is possible to join the course area on Moodle. Students from the University of Helsinki as well as from other universities can enrol.  Please note, however, that a limited number of participants can be accepted. See further instructions on the course page.

In the Corpus Clinic, you will learn about the various methods and tools that are available for managing, processing and analyzing your data. You will also learn to write a data management plan. If required, it is possible to complete the course fully online.

This year, the course is jointly organized by FIN-CLARIN and HELDIG. During the spring term – after passing the initial stage of the course – each participant will have the opportunity to meet with a member of the supporting group of digital humanities experts who can help you with more specific questions about your data analysis. More information about this will be provided during the course.

 

Korp update

The Korp service at the Language Bank of Finland was updated to a newer version that is based on Språkbanken’s Korp version 5.0.10. New features, fixes and changes:

  • You can compile the statistics by more than one attribute.
  • You can choose the maximum number of rows in the word picture.
  • To download the KWIC result, choose the format from selection lists and then press the button Download KWIC. You can choose the logical and physical format separately where appropriate; for example, Annotations as Excel (XLS).
  • Such extended searches now work that combine repeating any word with a starts with, ends with or contains condition on another token.
  • Korp uses Kielipankki colours and font, and the Kielipankki symbol and logo are shown.

If a previously working feature no longer works or if you notice other bugs, please send a bug report via the Korp feedback form. The previous Korp version is still accessible at https://korp.csc.fi/old/.

Korp-palvelu on päivitetty

Kielipankin Korp on päivitetty uudempaan versioon, joka pohjautuu Språkbankenin Korp-versioon 5.0.10. Uusia ominaisuuksia, korjauksia ja muutoksia:

  • Tilastot voi laskea usean piirteen (attribuutin) perusteella.
  • Sanakuvassa voi valita rivien enimmäismäärän.
  • Konkordanssin latausmuoto valitaan konkordanssin alapuolella olevasta listasta, jonka jälkeen täytyy painaa painiketta Lataa konkordanssi. Monissa latausmuodoissa voi valita erikseen loogisen ja fyysisen muodon, esim. Annotaatiot, Excel (XLS) -muodossa.
  • Sellaiset laajennetut hakuehdot toimivat, jotka sisältävät minkä tahansa sanan toistamisen sekä alkaa-, loppuu– tai sisältää-ehdon jollekin toiselle saneelle.
  • Muutamia nimityksiä on muutettu; erityisesti EtsiHae ja attribuuttipiirre.
  • Ulkoasu käyttää Kielipankin tunnusvärejä ja kirjasintyyppiä, ja Kielipankin tunnus on esillä.

Jos jokin aiemmin toiminut ominaisuus ei toimi tai jos huomaat muita vikoja, ilmoita niistä Korp-palautelomakkeen kautta. Edellinen Korp-versio on toistaiseksi käytettävissä osoitteessa https://korp.csc.fi/old/.

Aalto-yliopiston automaattinen puheentunnistin (Aalto-ASR)

In English

Aalto-ASR eli Aalto-yliopiston automaattinen puheentunnistin on Aalto-yliopistossa kehitetty automaattinen puheentunnistusjärjestelmä, johon kuuluu kaksi toimintoa, puheentunnistin ja kohdistin. Tunnistimella voidaan tunnistaa suomenkielisestä puhetta annetusta äänitiedostosta. Tunnistuksen tulos tallentuu joko annotaatiotiedostona tai yksinkertaisena tekstitiedostona. Jos puhetta sisältävästä äänitiedostosta on jo tehtynä tekstimuotoinen litteraatti, siinä olevat sanat voidaan kohdistimen avulla automaattisesti kohdistaa vastaaviin äänitiedoston kohtiin. Kohdistin toimii suomen lisäksi useilla muillakin kielillä.

Aalto-yliopiston automaattinen puheentunnistin (Aalto-ASR), versio 2.1
Kuvailutiedot, lisenssi ja viittausohje
Tunnistimen käyttöohje
Lähdekoodi

Ajankohtaista

Kielipankkiin on syyskuussa 2021 asennettu Aalto-ASR:stä uusi versio 2.1, joka on käytettävissä CSC:n Puhti-laskentaympäristössä. Lisäksi Aalto-ASR on tarjolla myös Docker-säiliönä, jonka voi tarvittaessa asentaa omalle koneelle tai muuhun ympäristöön.

Aalto-ASR:n edellisen version 1 joitakin osia oli aikaisemmin mahdollista käyttää myös Kielipankin Mylly-palvelun kautta. Vanha Aalto-ASR 1.0 -versio on kuitenkin Taito-palvelimen mukana poistunut käytöstä vuonna 2020. Uutta versiota 2 ei toistaiseksi ole kytketty Myllyyn.

 

Tämän aineistoryhmäsivun PID: http://urn.fi/urn:nbn:fi:lb-2021101112

 

Video-opas Annotointi ELAN-ohjelmalla – nyt tekstitettynä!

ELAN-ohjelmalla voi monipuolisesti litteroida ja annotoida video- ja ääninäytteitä. Tämä vasta-alkajille suunnattu Kielipankin tuottama opasvideo on nyt tutkijoiden pyynnöstä tekstitetty suomeksi ja se on käytettävissä vapaasti Creative Commons Nimeä 4.0 -lisenssillä.

ELAN-ohjelmaa kehittää Max Planck Institute for Psycholinguistics Alankomaissa. Voit ladata ELANin osoitteesta https://tla.mpi.nl/tools/tla-tools/elan/. Kielipankin tukisivuilta löytyy lisää ELAN-ohjeita.

https://youtube.com/watch?v=_Ukb7Lfcvpw%26hl%3Den%26fs%3D1

Kerro foorumilla, mistä muusta aiheesta haluaisit nähdä video-oppaan! icon-comments-o

Lemmie ja vanha DMA poistuvat käytöstä

Tutkijan käyttöliittymän verkkolevypalvelimessa ilmenneiden teknisten ongelmien takia vanhat siellä sijainneet palvelut joudutaan sulkemaan huhtikuun 2016 loppuun mennessä. Kielipankin osalta tämä koskee Digitaalista muoto-opin arkistoa ja Lemmietä. DMA on jo aiemmin sijoitettu Korp-käyttöliittymään. Lemmien aineistot sijoitetaan niin ikään Korpiin Lemmien käytöstä poistumiseen mennessä. Siirto oli joka tapauksessa ohjelmassa vuoden 2016 aikana, mutta aikataulun oli tarkoitus olla väljempi. Kielipankin ylläpito pahoittelee lyhyttä varoitusaikaa.

DMA Korpissa

Digitaalinen muoto-opin arkisto, DMA on avattu Korpissa julkiseen käyttöön. Aineiston sanalippujen käytöstä kiinnostuneen täytyy kuitenkin hakea käyttölupa osoitteessa https://lbr.csc.fi

Tekstin automaattinen perusmuotoistaminen, jäsentäminen ja muut merkkaukset

Tekstin sisältöä voidaan automaattisesti esikäsitellä ja annotoida monin tavoin. Tässä on muutamia esimerkkejä saatavilla olevista työkaluista. Tutkimuskäytössä on toki hyvä muistaa, etteivät menetelmät ole virheettömiä.

Suomen kielen tilastollisen dependenssijäsentimen (finnish-parse) käyttö CSC:n laskentaympäristössä

CSC:n laskentaympäristöön asennetulla finnish-parse-työkalulla voi jäsentää haluamansa suomenkielisen tekstitiedoston. Kielipankin jäsentimiä voi käyttää myös Myllyn kautta.

CSC:n laskentaympäristössä jäsennys onnistuu seuraavasti:

  • Muunna analysoitava tiedosto tarvittaessa etukäteen raakatekstiksi (plain text) ja Unicode-muotoon (UTF-8). On myös turvallisinta, ettei tiedoston nimessä ole välilyöntejä tai ääkkösiä.
  • Siirrä käsiteltävä tiedosto omalta koneeltasi CSC:n laskentaympäristössä olevaan kotihakemistoosi (ohje tiedoston siirtämiseksi WinSCP-ohjelmalla.
  • Kirjaudu laskentaympäristöön.
  • Kirjoita (tai copy-pastea) komentoriville seuraava komentorimpsu. Vaihda teksti.txt:n tilalle oman tekstitiedostosi nimi ja tuloste.txt:n tilalle tarvittaessa jokin muu nimi.
cat teksti.txt | finnish-parse > tuloste.txt
  • Paina lopuksi enteriä, jolloin jäsennys alkaa. Odottele rauhassa. Huomaa, että jäsentimen käynnistyminen kestää hetken riippumatta siitä, kuinka pitkä teksti on kyseessä, mutta itse jäsennys tapahtuu suhteellisen nopeasti.
  • Kun näet komentorivillä taas normaalin kehotteen, pitäisi kotihakemistoosi olla ilmestynyt tiedosto tuloste.txt, jossa alkuperäinen teksti on jäsennettynä. Voit tarkistaa tiedoston sisällön komennolla
less tuloste.txt
  • Poistu less-selailutilasta Q-näppäintä painamalla.
    Huom. Jos less-työkalu näyttää ääkkösten paikalla monen merkin pituisia omituisia rimpsuja, less-ohjelman merkistöasetus on väärä. Jos mitään ääkkösiä sisältävää sanaa ei ole jäsennetty, komentotulkin merkistöasetus on väärä. Kummassakin tapauksessa kannattaa luultavasti määritellä vielä laskentaympäristön oletusmerkistöt ja kokeilla sitten ajaa jäsennys uudelleen.
  • Siirrä valmis tiedosto tarvittaessa laskentaympäristöstä takaisin omalle koneellesi.

Jäsentimen käyttämä annotaatiomuoto

finnish-parse -skripti tuottaa oletuksena Universal Dependencies -järjestelmän version 1 mukaista muotoa.

Esimerkki:

echo "Kielipankki on kieliaineistoja käyttävien tutkijoiden palvelukokonaisuus." | finnish-parse

1    Kielipankki    kieli#pankki    NOUN    _    Case=Nom|Number=Sing    nsubj:cop    _    _
2    on    olla    VERB    _    Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin|Voice=Act    6    cop    _    _
3    kieliaineistoja    kieli#aineisto    NOUN    _    Case=Par|Number=Plur    dobj    _    _
4    käyttävien    käyttää    VERB    _    Case=Gen|Degree=Pos|Number=Plur|PartForm=Pres|VerbForm=Part|Voice=Act    5    acl    _    _
5    tutkijoiden    tutkija    NOUN    _    Case=Gen|Number=Plur    6    nmod:poss    _    _
6    palvelukokonaisuus    palvelu#kokonaisuus    NOUN    _    Case=Nom|Number=Sing    0    root    _    _
7    .    .    PUNCT    _    _    6    punct    _    _

Universal Dependencies (UD) -järjestelmästä on olemassa myös päivitetty versio 2, mutta sen toteutus finnish-parse-jäsentimeen ei ole vielä täysin valmis. UD2-muoto tulee käyttöön lähitulevaisuudessa. Tarvittaessa jäsentimellä voi myös jatkossa tuottaa ykkösversion mukaista muotoa käyttämällä komennon perässä valitsinta –ud1.

Mikäli haluat saada jäsentimen tuottamaan Korp-palvelussa laajimmin käytettyä muotoa, voit käyttää komennon perässä valitsinta: finnish-parse –stanford. Kuvaukset –stanford -kytkimen tuottamista tageista löytyvät Korpin korpusannotaatiosivulta.

Esimerkki:

echo "Kielipankki on kieliaineistoja käyttävien tutkijoiden palvelukokonaisuus." | finnish-parse --stanford

1    Kielipankki    kieli|pankki    N    NUM_Sg|CASE_Nom|CASECHANGE_Up    6    nsubj-cop
2    on    olla    V    PRS_Sg3|VOICE_Act|TENSE_Prs|MOOD_Ind    6    cop
3    kieliaineistoja    kieli|aineisto    N    NUM_Pl|CASE_Par    4    dobj
4    käyttävien    käyttää    V    NUM_Pl|CASE_Gen|VOICE_Act|PCP_PrsPrc|CMP_Pos    5    partmod
5    tutkijoiden    tutkija    N    NUM_Pl|CASE_Gen    6    poss
6    palvelukokonaisuus    palvelu|kokonaisuus    N    NUM_Sg|CASE_Nom    0    ROOT
7    .    .    Punct    _    6    punct

Interaktiivinen käyttö

finnish-parse-työkalua voi käyttää myös interaktiivisesti jättämällä pois tiedoston nimen. Komento

finnish-parse

lukee käyttäjän kirjoittamaa syötettä rivi kerrallaan (jokaisen rivin jälkeen pitää painaa enteriä kaksi kertaa) ja tulostaa analyysin. Näppäinyhdistelmällä ctrl–D tai ctrl–C voi poistua ohjelmasta.

Laskentaympäristön käyttöohjeita

Korp päivitetty

Korp-tekstikorpushakupalvelu on päivitetty uuteen versioon 4.0. Lataa selaimessa Korp-sivu uudelleen saadaksesi päivitetyn version käyttöösi. (Tarvittaessa tyhjennä selaimen välimuisti ja käynnistä selain uudelleen.)

(lisää…)

NooJ-ohjelmaa käsittelevä kirja ilmestyi

NooJ on ohjelma, jolla voi rakentaa ja käyttää joko valmiita tai eriasteisia itse rakennettuja kielioppeja tekstiaineiston jäsentämiseen ja annotointiin sekä kieliopillisten rakenteiden etsimiseen tekstin joukosta.

Nyt on ilmestynyt NooJ-ohjelman käyttöä esittelevä ranskankielinen kirja La formalisation des langues – l’approche de NooJ , jonka on kirjoittanut ohjelman kehittäjä Max Silberztein. Kirjaa kannattaa kysellä oman korkeakoulun kirjastosta.

NooJ ei varsinaisesti kuulu Kielipankin tukemiin ohjelmiin, mutta sen omatoimista opettelua kannattaa harkita varsinkin, jos tutkit kieliopillisia rakenteita ja aiot käyttää laajoja tekstiaineistoja. NooJin avulla on myös mahdollista testata kieliopillisia hypoteeseja sellaisten kielten osalta, joihin ei ole olemassa valmiita kielioppeja.

NooJ-ohjelman käyttämistä harjoiteltiin syksyllä 2014 järjestetyllä Kieliaineiston käsittely -kurssilla. Vastaava kurssi on suunnitteilla myös syksylle 2015.

Hae Kielipankki-portaalista:
Sampo Pyysalo
Kuukauden tutkija: Sampo Pyysalo

 

Tulevat tapahtumat


Yhteystiedot

Kielipankin tekninen ylläpito:
kielipankki (ät) csc.fi
p. 09 4572001

Aineistoihin ja muuhun sisältöön liittyvät asiat:
fin-clarin (ät) helsinki.fi
p. 029 4129317

Tarkemmat yhteystiedot