Katselmointiprosessi

Muokattu viimeksi: 2020-10-01 15.31

Kielipankin vanhan käytännön mukaan Kielipankki voi tehdä myös katselmointia vaativaa hakemusta koskevan päätöksen varsinaisen hyväksyjän puolesta, mikäli tämä ei vastaa kolmen päivän sisällä hyväksymispyynnön vastaanottamisesta. Kyseinen käytäntö ei kuitenkaan päde kaikkiin aineistoihin. Kielipankin on joka tapauksessa aina odotettava esimerkiksi Ylioppilastutkintolautakunnan ratkaisua. (Muidenkin aineistojen osalta periaatteet olisi hyvä päivittää ja tarkentaa seuraavan kerran, kun hakemuksia tulee.)

>> Kielipankin oikeudet

Viestipohjat hakijoille

lyhenne	Aineiston nimi	URN	hyväksyjä(t)/ yhteyshenkilö(t)	sähköposti	Kielipankki hyväksyy	+PRIV	Muuta
AVOID	Muunnellun puheen korpus	http://urn.fi/urn:nbn:fi:lb-2018060621	Tomi Kinnunen, Rosa Gonzalez-Hautamäki	tkinnu@uef.fi, rosa.gonzalezhautamaki@uef.fi	ei	PRIV
cfinsl-conv	Suomalaisen viittomakielen korpus: keskusteluaineisto	http://urn.fi/urn:nbn:fi:lb-2019012323	Juhana Salonen (hyväksyjä), Tommi Jantunen (omistaja)	juhana.salonen@jyu.fi, tommi.j.jantunen@jyu.fi	ei	PRIV	Kielipankki hyväksyy yleensä, rajatapauksissa otetaan yhteyttä Juhanaan. LATissa loppupvm pitää merkata AMS:iin. https://rt.csc.fi/rt/Ticket/Display.html?id=361803
COCA	Corpus of Contemporary American English	http://urn.fi/urn:nbn:fi:lb-2017061921	?	?	kyllä
COHA	Corpus of Historical American English	http://urn.fi/urn:nbn:fi:lb-2017061924	?	?	kyllä
dma-wn	Digitaalisen muoto-opin arkiston sanaliput	http://urn.fi/urn:nbn:fi:lb-2016032101	Mari Siiroinen	mari.siiroinen@helsinki.fi	kyllä	PRIV
ELFA	ELFA Corpus	http://urn.fi/urn:nbn:fi:lb-201403262	Anna Mauranen	anna.mauranen@helsinki.fi	kyllä	PRIV	https://rt.csc.fi/rt/Ticket/Display.html?id=304347
english-uhlcs	Englannin korpus	http://urn.fi/urn:nbn:fi:lb-2014032610	Kristiina Jokinen	kristiina.jokinen@helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=142317
erzya-moksha-komi-uhlcs	Ersän ja mokšan kirjallisuutta ja julkaisuja ja komisyrjäänin kirjallisuutta	http://urn.fi/urn:nbn:fi:lb-2014032612	Jack Rueter	rueter.jack@gmail.com	ei
erzya-moksha-uhlcs	Ersän ja mokšan sanaluettelokorpus	http://urn.fi/urn:nbn:fi:lb-2014032611	Dennis Estill	dennis.estill@gmail.com	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=223087
estonian2-uhlcs	Viron korpus 2	http://urn.fi/urn:nbn:fi:lb-2014032629	Maria Vilkuna	maria.vilkuna@kotus.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=172787
finnish-bibles-uhlcs	Suomen korpus (raamatut)	http://urn.fi/urn:nbn:fi:lb-2014032623	Anssi Yli-Jyrä	aylijyra@ling.helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=142317#txn-2458798
finnish-literature-uhlcs	Suomen korpus (kirjallisuutta)	http://urn.fi/urn:nbn:fi:lb-2014032622	Kristiina Jokinen	kristiina.jokinen@helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=142317
FinSveStud 79–80	Studentsvenska 79–80	http://urn.fi/urn:nbn:fi:lb-20140730119	Ylioppilastutkintolautakunta	lautakunta@ylioppilastutkinto.fi	ei	PRIV?	https://www.ylioppilastutkinto.fi/tietopalvelut/tutkimusluvat
fisc-taito \| fstc-taito	Suomenruotsin tekstikokoelman (UHLCS) Taito-versio	http://urn.fi/urn:nbn:fi:lb-2014032621	Jan K. Lindström	jan.k.lindstrom@helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=172790
fstc-korp \| fisc-korp	Suomenruotsin tekstikokoelman (UHLCS) Korp-versio	http://urn.fi/urn:nbn:fi:lb-2016050213	Jan K. Lindström	jan.k.lindstrom@helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=172790
giellagas-north	Pohjoissaamen näytekorpus	http://urn.fi/urn:nbn:fi:lb-201407302	Marko Jouste	marko.jouste@oulu.fi	ei	PRIV
GloWbE	Corpus of Global Web-Based English	http://urn.fi/urn:nbn:fi:lb-2017061927	?	?	kyllä
HCS 2.0	Helsinki Corpus of Swahili 2.0	http://urn.fi/urn:nbn:fi:lb-2014032624	Arvi Hurskainen	arvi.hurskainen@helsinki.fi	kyllä		HCS2 on ACA.
helpuhe1	Helsingin puhekielen pitkittäiskorpus	http://urn.fi/urn:nbn:fi:lb-2014073041	Hanna Lappalainen	hanna.lappalainen@helsinki.fi	ei	PRIV
ICLFI	Kansainvälinen oppijansuomen korpus	http://urn.fi/urn:nbn:fi:lb-20140730163	Sisko Brunni	sisko.brunni@oulu.fi	kyllä	PRIV	https://rt.csc.fi/rt/Ticket/Display.html?id=146508
kaannossuomi-korp	Käännössuomen korpus, Korp	http://urn.fi/urn:nbn:fi:lb-2019100801	Jukka Mäkisalo	jukka.makisalo@uef.fi	kyllä		Kielipankki hyväksyy
khanty-uhlcs	Hantin korpus (pohjoishantin aineistot ja käännökset)	http://urn.fi/urn:nbn:fi:lb-2014032613	Merja Salo	mesalo@mappi.helsinki.fi	ei
komi-uhlcs	Komisyrjäänin korpus	http://urn.fi/urn:nbn:fi:lb-2014032615	Paula Kokkonen	paula.kokkonen99@gmail.com	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=223092
kra	Keskiranskan korpus	http://urn.fi/urn:nbn:fi:lb-201403264	Terho Joutsen	Terho.Joutsen@jyu.fi	kyllä
LAS2	Edistyneiden suomenoppijoiden korpus	http://urn.fi/urn:nbn:fi:lb-201407167	Nobufumi Inaba	nobufumi.inaba@utu.fi	ei	PRIV?	Kielipankki voi hyväksyä, mutta pdf:ään tulostettu kopio hyväksytystä LBR-hakemuksesta lähetetään oikeudenhaltijoille. https://rt.csc.fi/rt/Ticket/Display.html?id=155903
latin-uhlcs	Latinan korpus	http://urn.fi/urn:nbn:fi:lb-2014032616	Martti A. Nyman	martti.nyman@utu.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=191395
lude-uhlcs	Lyydin korpus	http://urn.fi/urn:nbn:fi:lb-2014032617	Miikul Pahomov	miikul.pahomov@helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=174098
north-saami-literature-uhlcs	Pohjoissaamen korpus (kirjallisuutta)	http://urn.fi/urn:nbn:fi:lb-2014032620	Kerttu Vuolab	kerttu.vuolab@pp.sonera.net	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=146518
north-saami-report-uhlcs	Pohjoissaame (Sámikultuvradoaibmagotti smiehttamush)	http://urn.fi/urn:nbn:fi:lb-2014032619	Irja Seurujärvi-Kari	irja.seurujarvi-kari@helsinki.fi	ei		Ei toimi.
ParFin2016	Suomi–venäjä kaunokirjallisten tekstien rinnakkaiskorpus	http://urn.fi/urn:nbn:fi:lb-2014052710	Mikhail Mikhailov	mikhail.mikhailov@uta.fi	ei
ParRus2016	Venäjä-suomi kaunokirjallisten tekstien rinnakkaiskorpus	http://urn.fi/urn:nbn:fi:lb-2014052710	Mikhail Mikhailov	mikhail.mikhailov@uta.fi	ei
seuruu	Murteenseuruukorpus	http://urn.fi/urn:nbn:fi:lb-2014073043	Ulriikka Puura	ulriikka.puura@kotus.fi	ei	PRIV	Puuran viesti 2.12. (fin-clarin/Kielipankin oikeudet - LBR ja REMS)
somali-uhlcs	Somali	?	Silja Huttunen	sihuttun@cs.helsinki.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=189612
ssdc-2016	Koltansaamen dokumentaatiokorpus	http://urn.fi/urn:nbn:fi:lb-2014073037	Matti Miestamo	matti.miestamo@helsinki.fi	ei	PRIV
stt-fi-1992-2018-src	STT:n uutisarkisto 1992-2018, lähdemateriaali	http://urn.fi/urn:nbn:fi:lb-2019041501	STT	mediapalvelut@stt.fi	ei
topling	Topling - Toisen kielen oppimisen polut	http://urn.fi/urn:nbn:fi:lb-20140730168	Ari Huhta	ari.huhta@jyu.fi	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=218396
uralic-uhlcs	Uralilaisia, turkkilaisia, indo-iranilaisia ja mongolikieliä sekä Siperian ja Kaukasian kieliä	http://urn.fi/urn:nbn:fi:lb-2014032626	Pirkko Suihkonen	suihkonen.pirkko@gmail.com	kyllä		https://rt.csc.fi/rt/Ticket/Display.html?id=142317#txn-2458798
ylioppilasaineet	1994, 1999 ja 2004 äidinkielen ylioppilaskokeiden esseitä sisältävä korpus	http://urn.fi/urn:nbn:fi:lb-2017030301	Ylioppilastutkintolautakunta	lautakunta@ylioppilastutkinto.fi	ei	PRIV	https://www.ylioppilastutkinto.fi/tietopalvelut/tutkimusluvat

Viestipohjia

Kaikki PRIV-aineistot

Siihen saakka, kun PRIV-aineistojen käsittelyä koskevat ohjeet eivät ole LBR:ssä oletuksena muiden lisenssien ohella, lähetetään hakemuksen hyväksymisen yhteydessä seuraava kommentti:

Huomaa, että tämä aineisto sisältää henkilötietoja, joiden käsittelyssä sinun on noudatettava Kielipankin ohjeita, ks. http://urn.fi/urn:nbn:fi:lb-2020081521.

Please note that this resource contains personal data. You are required to follow the guidelines for processing corpora containing personal data in the Language Bank of Finland, see http://urn.fi/urn:nbn:fi:lb-2020081522.

Kun aineistoa käytetään opiskelutarkoitukseen, tarvitaan hakemuksen tueksi opinnäytetyösi ohjaajan (tai hakemuksessa mainittua kurssisuoritustasi valvovan opettajan) puolto.

Varmista aluksi ohjaajaltasi, että hän hyväksyy esittämäsi suunnitelman. Jos ohjaajasi ei ole aikaisemmin käyttänyt Kielipankin oikeudet -palvelua, pyydä häntä kirjautumaan sinne kertaalleen (https://lbr.csc.fi), jolloin hänen tunnuksensa näkyy järjestelmässä. Täydennä sitten tarvittaessa tutkimussuunnitelmaasi ja ilmoita siinä myös ohjaajasi nimi.

Kielipankki välittää hakemuksen ohjaajasi katselmoitavaksi, minkä jälkeen se voidaan käsitellä loppuun.

Kiitos!

Jos hakijan status ei ole selvä (ts. onko opiskelija vai henkilökuntaa), ja hän hakee PRIV-aineiston käyttöoikeutta, palautetaan hakemus seuraavan tyylisellä saatteella:

Dear applicant,
since this resource contains personal data, we would first need to confirm your academic status, and we were not able to determine whether you are a student or part of the academic faculty at the University of XXX.
If you are a member of staff, please resubmit the application and include, e.g., a link to the university website that can confirm your role.
In case you are a student, we kindly ask you to resubmit the application and include the name of your teacher or supervisor. The supervisor will then be requested by the Language Bank to review your application. In order for the review process to be completed, the supervisor should have logged in to the Language Bank Rights system (https://lbr.csc.fi) at least once.
Some instructions can be found on the Language Bank website, https://www.kielipankki.fi/support/access/.

Thank you!

Katselmointipyyntö opiskelijan ohjaajalle

Hei, tarkistaisitko opiskelijasi N.N.:n hakemuksen, joka koskee Kielipankissa olevan XXX-aineiston opiskelukäyttöä? Kiitos!

When the material is used for study purposes, the support of the supervisor of your thesis (or the teacher supervising your course mentioned in the application) is required to support the application.

First, make sure your instructor approves the plan you present. If your instructor has not previously used the Language Bank Rights service, ask him or her to log in there once (https://lbr.csc.fi), in which case his / her ID will appear in the system. Then, if necessary, complete your research plan and include the name of your supervisor.

The language bank will forward the application to your supervisor for review, after which it can be processed.

Thank you!

Jos hakijan status ei ole selvä (ts. onko opiskelija vai henkilökuntaa), ja hän hakee PRIV-aineiston käyttöoikeutta, palautetaan hakemus seuraavan tyylisellä saatteella:

Katselmointipyyntö opiskelijan ohjaajalle

Hei, tarkistaisitko opiskelijasi N.N.:n hakemuksen, joka koskee Kielipankissa olevan XXX-aineiston opiskelukäyttöä? Kiitos!

Sivun yläreunaan

Opiskelijan lähettämän hakemuksen katselmointi (koskee pelkästään +PRIV-aineistoja, joissa henkilötietoja)

Jos hakija on opiskelija, joka tekee gradua tai sitä edeltävän vaiheen opintosuoritusta, lähetetään hakijalle seuraava viesti:

Administration tasks and responsibilities

Notes on what has been agreed concerning various tasks in the Language Bank.

What?	Who?	What else?
AAI	Martin
Agreements	U Hel	Hanna
CLARIN reference licenses	U Hel
Corpora	U Hel	Hanna
DevOps Pouta	Martin	portal-dev, mylly-tools-compilevm
DevOps Rahti	Martin	metahshare-rahti pilot
Download	Martin/Tero
Jira	Martin
Korp	U Hel	Application: Jyrki
LAT	Martin	together with Mietta
META-SHARE	Martin
Nimiarkisto	Kotus
PID	Tero
Portal	Tero
RT	Martin	Delegates as appropriate.
SAFMORIL	U Hel	Erik, CLARIN K Centre
Sanat
Signbank	U Jyväskylä
Software stack / HPC	Martin
Webanno	Martin	(Sam)

Corpus data publication for download at the Language Bank

Status 27.1.2020: DRAFT

Introduction

This guideline is intended as a short guide to define the minimal steps necessary to prepare a corpus data publication for download at the Language Bank of Finland.

Name, short name and version

The corpus needs

a name (e.g. ”The Longitudinal Corpus of Finnish Spoken in Helsinki (1970s, 1990s and 2010s) Downloadable Version”),
and a version (If applicable: Major.Minor.Patch, e.g. 1.1.2 or YEAR+Part of Year, eg 2017H2 for the second half of 2017).
a short name containing version information (e.g. ”helpuhe1-dl”)

If an older version of the same corpus exists, a decision needs to be made whether to update metadata in an existing description or to create new metadata. See our Lifecycle Model for details. The name of the corpus will be visible in the column ”Description” of page korp.csc.fi/download/ and the text should link to the metadata page at metashare.csc.fi. The name is essentially the same as the metadata long name of the corpus, possibly shortened a bit if the long name is too long. It the directory does not have a metadata page, just create a descriptive name for it (e.g. the semfinlex corpus has subcorpora that are grouped under a common directory).

The package

The package needs to contain only the relevant data, no .tmp directories, etc.
The format is zip.
Zip files start with the shortname, omitting the redundant ”-dl”: ”short name-specifier.zip” (e.g. ”helpuhe1-annotations.zip”).
Packages need to contain subdirectories to extract to, usually based on the shortname. There should only be directories in the zip’s root directory, no files.
There is a README.txt and optionally LICENSE.txt present in the subdirectory.
Upload the package to puhti.csc.fi:/proj/clarin/download/preview/ and inform kielipankki@csc.fi.

The license

The package has to have a license to inform the user what he or she can and cannot do with the software. Less restrictive licenses are preferred, the license should be stated in the README.txt or a LICENSE.txt file.

README.txt

The README.txt should at least contain the Name of the corpus and the META-SHARE decscription and a PID to the META-SHARE article describing this resource. Licence can be given in README.txt or in a separate LICENSE.txt. README.txt should also contain a short description of corpus, including directory and filename scheme if there are several of them.

Descriptive metadata

The descriptive metadata describes a specific instance of the corpus. It is not a manual, but helps a user searching for corpora to determine whether the corpora is worth downloading. The PID pointing to the metadata is the persistent identifier of the corpus version in question. The metadata in turn points to the download location of the corpus and explains where the manual can be found (e.g. inside the package or on a separate web page). Every update gets a new version number. The PID of the metadata needs to be mentioned in the README.txt of the downloadable packages.

Checklist

A quick reminder of the topics above.

Name
Version
License
clean package in zip format
- check with unzip -l after zipping.
Descriptive metadata (metashare.csc.fi)
PIDs (at least one to metadata)
README.txt contains
- License (alternative: separate LICENSE.txt)
- PID to metadata
- Short description of corpus
- Version number
Finalized packages to /proj/clarin/download/preview

Korp version vs. download package

A case example: The semfinlex corpus was first published in korp with beta status and it was advertised in korp. After it had been available for testing for two weeks, the beta status was removed and no backward incompatible changes to the corpus were allowed from that on. The download packages were created at this point. The corpus (including the freshly generated download packages) was then advertised to a wider audience in the portal.

Language

Most of the corpora have the name, README, metadata etc. in English but some are in Finnish.

						IDA			Tyyppi	IDA	Sijainti: Nimi	Dokumentaatio	Tekijä	Author	First publication date	Other / Links
acquis-ftb3-dl	JRC-Acquis-monikielisen rinnakkaiskorpuksen suomenkielinen osakorpus, ladattava versio	Finnish Sub-corpus of the JRC-Acquis Multilingual Parallel Corpus, Downloadable Version			VRT	a	a		T	No	a		{Euroopan komission yhteinen tutkimuskeskus (JRC)}	{European Commission - Joint Research Centre (JRC)}	2012
aikakauslehtikorpus	Kotuksen aikakauslehtikorpus	The Magazine Corpus of the Institute for the Languages of Finland	c	c	b VRT	b	a Korp		T	Almost	a Korp
Akkala	Puhutun ja kirjoitetun akkalansaamen korpus	The Corpus of Spoken and Written Akkala Saami	a	a	a VRT		a Korp		T		a Korp
amph-korp	Ajatella, miettiä, pohtia, harkita -korpuksen Helsinki-Korp-versio	amph-Corpus, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Antti Arppe	Antti Arppe	2008
DIALUKI	DIALUKI - toisen ja vieraan kielen lukemisen ja kirjoittamisen diagnosointi	DIALUKI - Diagnosing reading and writing in a second or foreign language	c	a TXT	a VRT		a Korp		T		a Korp
dma-v2			c		VRT	b	a Korp		T	Almost	a Korp		{Helsingin yliopisto, suomen kielen, suomalais-ugrilaisten ja pohjoismaisten kielten ja kirjallisuuksien laitos}	{University of Helsinki, The Department of Finnish, Finno-Ugrian and Scandinavian Studies}	2003
dma-wn-src	Digitaalisen muoto-opin arkiston sanaliput, lähdemateriaali	The Word Notes of the Digital Morphology Archives, source	c		a PDF		a Lataus		T		a Lataus	https://www.kielipankki.fi/aineistot/dma/	{Helsingin yliopisto, suomen kielen, suomalais-ugrilaisten ja pohjoismaisten kielten ja kirjallisuuksien laitos}	{University of Helsinki, The Department of Finnish, Finno-Ugrian and Scandinavian Studies}	2003
DSPCON2013-2015-korp	Aalto-yliopiston DSP-kurssin keskustelukorpus 2013-2015, Helsinki-Korp-version	Aalto University DSP Course Conversation Corpus 2013-2015, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		{Aalto-yliopisto, Signaalinkäsittelyn ja akustiikan laitos}	{Aalto University, Department of Signal Processing and Acoustics}	2016
DSPCON2013-2015-lat	Aalto-yliopiston DSP-kurssin keskustelukorpus 2013-, Helsinki LAT -versio	Aalto University DSP Course Conversation Corpus 2013-, Helsinki LAT Version	c	a TXT, WAV, TextGrid	a VRT		a Lat		P		a Lat
eduskunta-v2-dl			a	a MP4, WAV, TXT	a WAV, ELAN, VRT	a	a Lataus		P	No	a Lataus	https://www.kielipankki.fi/aineistot/eduskunta/	{Eduskunta}	{The Parliament of Finland}
eduskunta-v2-korp			a	c TXT	a WAV, ELAN, VRT	a	a Korp		T	No	a Korp	https://www.kielipankki.fi/aineistot/eduskunta/	{Eduskunta}	{The Parliament of Finland}
enets			a	a MP4, WAV, ELAN	a MP4, WAV, ELAN	a	a Lataus, LAT, Korp		P	No	a Lataus, LAT, Korp		Olesya Khanina	Olesya Khanina
english-uhlcs-korp	Englannin korpuksen (UHLCS) Helsinki-Korp-versio	English Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Kristiina Jokinen	Kristiina Jokinen	2007
ERME	ERME Ersän ja mokšan laajennettu korpus	ERME Erzya and Moksha Extended Corpora	c	b XML	b VRT		a Korp		T		a Korp					muuta
Ersä	Ersän puhekielen korpus	Corpus of Colloquial Erzya	c	c	a ELAN		a Lat		P		a Lat
erzya-moksha-komi-uhlcs-korp	Ersän ja mokšan kirjallisuutta ja julkaisuja ja komisyrjäänin kirjallisuutta (UHLCS), Helsinki-Korp-versio	Corpus of Erzya and Moksha Mordvin Literature and Journals and Komi Zyrian Literature (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Jack Rueter	Jack Rueter	2007
erzya-moksha-uhlcs-korp	Ersän ja mokšan sanaluettelokorpuksen (UHLCS) Helsinki-Korp-versio	Erzya and Moksha Mordvin Word List Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Dennis Estill	Dennis Estill	2007
estonian1-uhlcs-korp	Viron korpus 1:n (UHLCS) Helsinki-Korp-versio	Estonian Corpus 1 (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Kazuto Matsumura	Kazuto Matsumura	2007
estonian2-uhlcs-korp	Viron korpus 2:n (UHLCS) Helsinki-Korp-versio	Estonian Corpus 2 (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Maria Vilkuna	Maria Vilkuna	2007
fedidi	Murteita käsittelevien fennististen väitöskirjojen lähdetietokanta	Citation Database of Fennistic Dialect Dissertations	a	c TXT	c TXT	c	a Lataus		T	Yes	a Lataus		Lotta Aarikka	Lotta Aarikka
finears	Suomalaisen elektroakustisen musiikin haastatteluaineisto	Finnish electroacoustic music interviews	a	b WAV,DOCX	b WAV,TXT		a Lataus		P		a Lataus		Mikko Ojanen	Mikko Ojanen		https://blogs.helsinki.fi/finnish-electroacoustic-resources/
FinIntas	The FinINTAS Corpus of Spontaneous and Read-aloud Finnish Speech	The FinINTAS Corpus of Spontaneous and Read-aloud Finnish Speech	a	c wav + Praat	a ELAN		a Lat		P		a Lat
FINKA	Raja-Karjalan korpus	The Corpus of Border Karelia	c	a VRT	a VRT	c	a Korp		T	Yes	a Korp		{Kotimaisten kielten keskus}; Marjatta Palander; Vesa Koivisto; Helka Riionheimo	{Institute for the Languages of Finland}; Marjatta Palander; Vesa Koivisto; Helka Riionheimo
finlangus			a						P				Nana Lehtinen	Nana Lehtinen
finnish-bibles-uhlcs-korp	Suomen korpus (raamatut) (UHLCS), Helsinki-Korp-versio	Finnish Corpus (Bibles) (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Anssi Yli-Jyrä	Anssi Yli-Jyrä	2007
finnish-literature-uhlcs-korp	Suomen korpus (kirjallisuutta) (UHLCS), Helsinki-Korp-versio	Finnish Corpus (Literature) (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Helsingin yliopisto	University of Helsinki	2007
FinnTreeBank1-korp	Suomen kielen puupankki 1:n Helsinki-Korp-versio	Finnish TreeBank 1, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		{Helsingin yliopisto}	{University of Helsinki}	2010
ha-korp	Ha-kieliaineiston Helsinki-Korp-versio	Ha Language Corpus, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Lotta Aunio	Lotta Aunio
hanty-uhlcs-korp	Hantin korpus (pohjoishantin aineistot ja käännökset) (UHLCS), Helsinki-Korp-versio	Khanty Corpus (North Khanty, Corpora and Translations) (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Merja Salo	Merja Salo	2007
HC	Helsinki Corpus of English Texts (1991)	The Helsinki Corpus of English Texts (1991)	c	c XML	b VRT	b	a Korp		T	Almost	a Korp					CoRD,OTA, muuta
helpuhe-2010txt	Helsingin puhekielen pitkittäiskorpus (2010-luvun tekstimuotoinen aineisto)	The Longitudinal Corpus of Finnish Spoken in Helsinki (2010 in text form)	c	c TextGrid	a VRT	b	a Korp		T	Almost	a Korp	https://www.kielipankki.fi/aineistot/helpuhe/	Hanna Lappalainen	Hanna Lappalainen
helpuhe-v2-korp	Helsingin puhekielen pitkittäiskorpuksen (1970, 1990, 2010) Helsinki Korp versio 2	The Longitudinal Corpus of Finnish Spoken in Helsinki (1970s, 1990s and 2010s), Helsinki Korp Version 2	c	a	a		a Lat		T		a Lat	#BEZUG!
helpuhe-v2-lat	Helsingin puhekielen pitkittäiskorpuksen (1970, 1990, 2010) Helsinki LAT versio 2	The Longitudinal Corpus of Finnish Spoken in Helsinki (1970s, 1990s and 2010s), Helsinki LAT Version 2	c	c TextGrid	b ELAN	a	a Lat	B	T	No	a Lat	https://www.kielipankki.fi/aineistot/helpuhe/
HS	Helsingin Sanomien arkisto -korpus	The Helsingin Sanomat Archive Corpus	c	a	a VRT		a Korp		T		a Korp
ingrian-uhlcs-korp	Inkeroisen korpuksen (UHLCS) Helsinki-Korp-versio	Ingrian Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Manja Lehto	Manja Lehto	2007
Inkerin murteet	Inkerin murteiden korpus	The Corpus of Ingrian Finnish	a	a WORD-DOC, MP3, WAV	a VRT, ELAN		a Lat		P		a Lat					www, muuta
Kiltinänsaame	Kirjoitetun kiltinänsaamen korpus	The Corpus of Written Kildin Saami	a	a	a VRT		b Korp		T		b Korp
Kiltinänsaame (UHLCS)	Kiltinänsaamen korpus (UHLCS)	Kildin Saami Corpus (UHLCS)	c	c PDF	b PDF	a	a		T	No	a
komi-dl			a	b MP4, WAV, ELAN	a MP4, WAV, ELAN	a	a Lataus, LAT		P	No	a Lataus, LAT		Rogier Blokland; Michael Riessler; Niko Partanen	Rogier Blokland; Michael Riessler; Niko Partanen
komi-uhlcs-korp	Komisyrjäänin korpuksen (UHLCS) Helsinki-Korp-versio	Komi Zyrian Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Paula Kokkonen	Paula Kokkonen	2007
kra-korp	Keskiranskan korpuksen Helsinki-Korp-versio	Jyväskylä Corpus of Middle French, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		{Jyväskylän yliopisto, kielten laitos}	{University of Jyväskylä, Department of Languages}	1999
latin-uhlcs-korp	Latinan korpuksen (UHLCS) Helsinki-Korp-versio	Latin Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Martti Nyman	Martti Nyman	2007
long-second	Long Second -korpus: Suomen kielen kehittyminen alakoulun valmistavalla luokalla	The Long Second Corpus: LONGitudinal Classroom Data about Children’s Development in Finnish as a SECOND Language	b	c ELAN, MP4	a VRT, ELAN	a	a Lat, Korp		P	No	a Lat, Korp		Maria Ahlholm	Maria Ahlholm
Lönnrot	Elias Lönnrotin kirjeenvaihto	Elias Lönnrot Letters Online	c	a XML	a VRT		a Korp		T		a Korp					www
lude-uhlcs-korp	Lyydin korpuksen (UHLCS) Helsinki-Korp-versio	Lude (Ludian) Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Miikul Pahomov	Miikul Pahomov	2007
montint-src	Haastatteluaineisto Yves Montand Neuvostoliitossa, lähdemateriaali	Yves Montand in the USSR interviews, source	a	c PDF	c PDF	c	a Lataus		T	Yes	a Lataus		Mila Oiva; Ekaterina Lapina-Kratasyuk	Mila Oiva; Ekaterina Lapina-Kratasyuk	2021
nenets-uhlcs-korp	Nenetsin korpuksen (UHLCS) Helsinki-Korp-versio	Nenets Corpus (Tundra Nenets) (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Tapani Salminen	Tapani Salminen	2007
Nganasan	Nganasanin kielen puhekorpus	Nganasan Speech Corpus	c	a ELAN	a VRT, ELAN		a Lat		P		a Lat
nlfcl	Kansalliskirjaston klassikkokirjasto - Kielipankki-versio	Classics Library of the National Library of Finland - Kielipankki version	a		b VRT	c	a Korp		T	Yes	a Korp		{Kansalliskirjasto}	{Kansalliskirjasto}
nmk-korp	Nimimaiseman muutos -korpuksen Helsinki Korp -versio	Changes in Place Names Corpus, Helsinki Korp Version	c	a	a VRT		a Korp		T		a Korp
nmk-lat	Nimimaiseman muutos -korpuksen Helsinki LAT -versio	Changes in Place Names Corpus, Helsinki LAT Version	c	a	a ELAN		a LAT		P		a LAT
NorDiga	Nordican digitaalinen arkisto	The Nordica Digital Archive	a	a	a VRT	a	a Korp		T	No	a Korp					www
north-saami-literature-uhlcs-korp	Pohjoissaamen korpus (kirjallisuutta) (UHLCS), Helsinki-Korp-versio	North Saami Corpus (Literature) (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Kerttu Vuolab	Kerttu Vuolab	2007
north-saami-report-uhlcs-korp	Pohjoissaamen korpuksen (Sámikultuvradoaibmagotti smiehttamush) (UHLCS) Helsinki-Korp-versio	North Saami Corpus (Sámikultuvradoaibmagotti smiehttamush) (UHLCS), Helsinki Korp Version Corpus	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Irja Seurujärvi-Kari	Irja Seurujärvi-Kari	2007
nzadi			a	a WAV, PDF, TXT	a WAV, PDF, TXT	a	a Lataus, LAT, Korp		P	No	a Lataus, LAT, Korp		Thera Marie Crane; Larry Hyman; Simon Tukumu	Thera Marie Crane; Larry Hyman; Simon Tukumu
ona	Oulun nauhoitearkisto	The Audio Recordings Archive of Oulu (ONA)	c	b	a ELAN		a Lat		P		a Lat		{Oulun yliopisto, suomen kielen oppiaine}	{University of Oulu, Department of Finnish Language}
Opus ECB	Opus EKP -korpus	Opus ECB Corpus		a	a	c	a		T	Yes	a
Opus EU	Opus EU -korpus	Opus EU Corpus		a	a	c	a		T	Yes	a
Opus Localization	Opus lokalisointi -korpus	Opus Localization Corpus		a	a	c	a		T	Yes	a
Opus Subtitles	Opus tekstitys -korpus	Opus Subtitles Corpus		a	a	c	a		T	Yes	a
oracc-2019-05-vrt	Open Richly Annotated Cuneiform Corpus, ladattava versio, toukokuu 2019	Open Richly Annotated Cuneiform Corpus, Downloadable Version, May 2019	a	c VRT	a VRT		a Lataus		T		a Lataus	https://www.kielipankki.fi/corpora/oracc/	Heidi Jauhiainen; Aleksi Sahala; Tero Alstola	Heidi Jauhiainen; Aleksi Sahala; Tero Alstola
oulu-korp	Oulun korpuksen Helsinki-Korp-versio	Oulu Corpus, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		{Oulun yliopisto, suomen kielen oppiaine}	{University of Oulu, Department of Finnish Language}	2013
pabivus-s-korp	Raamatun jakeita uralilaisille kielille, rinnakkaiskorpus, sekoitettu, Korp	Parallel Bible Verses for Uralic Studies, scrambled, Korp	a	c TXT	a VRT	a	a Korp		T	No	a Korp		{Helsingin yliopisto, FIN-CLARIN}; Jack Rueter; Erik Axelson	{University of Helsinki, FIN-CLARIN}; Jack Rueter; Erik Axelson	2020
parole-fi-korp	Suomen kielen Parole-korpuksen Helsinki-Korp-versio	The Finnish Parole Corpus, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		{Helsingin yliopisto}	{University of Helsinki}	1998
PERSO	PERSO Databases for Finnish Speech Synthesis	PERSO Databases for Finnish Speech Synthesis	c	c TXT, WAV	a ELAN	b	a Lat		P	Almost	a Lat
ProoF	ProoF - Maahanmuuttajien suomen kielen ääntäminen	ProoF - Pronunciation of Finnish by Immigrants in Finland	a	a wav + Praat	a ELAN		a Lat		P		a Lat
Prosodiakorpus	Suomen kielen prosodian variaation korpus	Corpus of Prosodic Variation of Finnish	a	a	a ELAN		a Lat		P		a Lat
quantlang-uhlcs-korp	Kvantifiointi suomessa ja keskisen Volgan ja Kaman alueella puhuttavissa kielissä (UHLCS), Helsinki-Korp-versio	Quantifiers and Quantification in Finnish and Languages Spoken in the Central Volga–Kama Region (UHLCS), Helsinki Korp Version	c	c PDF	a VRT	a	a Korp		T	No	a Korp		Pirkko Suihkonen	Pirkko Suihkonen	2016
Saamen kielen korpus	Puhutun saamen kielen korpus (Giellagas)	Giellagas Corpus of Spoken Saami Languages	c	c	a ELAN		b Lat		P		b Lat
ScotsCorr-vrt	Helsinki Corpus of Scottish Correspondence (1540-1750), VRT	Helsinki Corpus of Scottish Correspondence (1540-1750), VRT	c	XML	VRT	c			T	Yes			Anneli Meurman-Solin; {Research Unit for the Study of Variation, Contacts and Change in English (VARIENG), Helsingin yliopisto}	Anneli Meurman-Solin; {Research Unit for the Study of Variation, Contacts and Change in English (VARIENG), University of Helsinki}
sfnet-korp	SFNET-keskusteluryhmäkorpuksen Helsinki-Korp-versio	SFNET Corpus, Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Tuuli Tuominen; Panu Kalliokoski; Antti Arppe; {CSC - Tieteen tietotekniikan keskus}	Tuuli Tuominen; Panu Kalliokoski; Antti Arppe; {CSC - IT Center for Science}	2003
SignWiki			a	a	a ELAN		a Lat		P		a Lat					www
stat-fi-en	Tilastokeskuksen suomi-englanti-käännösmuisti	Statistics Finland Translation Memory Finnish-English		c TMX	b TMX	c	a Lataus		T	Yes	a Lataus		{Tilastokeskus}	{Statistics Finland}
stat-fi-sv	Tilastokeskuksen suomi-ruotsi-käännösmuisti	Statistics Finland's Finnish to Swedish Translation Memory		c TMX	b TMX	c	a Lataus		T	Yes	a Lataus		{Tilastokeskus}	{Statistics Finland}
stt-fi-1992-2018-korp	STT:n uutisarkisto 1992-2018, Kielipankin Korp-versio	Finnish News Agency Archive 1992-2018, Kielipankki Korp Version	c		a VRT	c	a Korp		T	Yes	a Korp		{Oy Suomen Tietotoimisto Finska Notisbyrån Ab}	{Finnish News Agency STT}	2019
sus-fieldwork	Suomalais-Ugrilaisen Seuran kenttätyökorpus	The Finno-Ugrian Society Fieldwork Corpus	c	a	a VRT		a Korp		T		a Korp	https://www.kielipankki.fi/aineistot/helpuhe/
Suvi	Suvi-verkkosanakirja	Suvi Finnish Sign Language Online Dictionary	a	a	a ELAN		a Lat		P		a Lat					www
TAITO	TAITO-hankkeen kirjalliset ja suulliset aineistot	Written and Oral Data of the TAITO-project	a	a TXT	a ELAN		a Lat		P		a Lat					www
testipiste	Testipisteaineisto	Testipiste Corpus	c		a VRT		a Korp		T		a Korp		Janne Laitinen	Janne Laitinen
Turjansaame	Puhutun ja kirjoitetun turjansaamen korpus	The Corpus of Spoken and Written Ter Saami	a	a TXT	a VRT		a Korp		T		a Korp
ume-saami-uhlcs-korp	Uumajansaamen korpuksen (UHLCS) Helsinki-Korp-versio	Ume Saami Corpus (UHLCS), Helsinki Korp Version Corpus	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Olavi Korhonen	Olavi Korhonen	2007
uralic-uhlcs-korp	Uralilaisia, turkkilaisia, indo-iranilaisia ja mongolikieliä sekä Siperian ja Kaukasian kieliä (UHLCS), Helsinki-Korp-versio	Uralic, Turkic, Indo-Iranian and Mongol languages; languages of Siberia and Caucasia (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Pirkko Suihkonen	Pirkko Suihkonen	2007
uzbek-uhlcs-korp	Uzbekki-englanti sanakirjan (UHLCS) Helsinki-Korp-versio	Uzbek-English Dictionary (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Daniel Kimmage	Daniel Kimmage	2007
VVKS	Virtuaalinen vanha kirjasuomi (VVKS) -kokoelman Kielipankin Korp-versio	Virtual Old Literary Finnish (VVKS) - Kielipankki Korp version	c	a	a VRT	a	a Korp		T	No	a Korp		{Helsingin yliopisto, suomen kielen, suomalais-ugrilaisten ja pohjoismaisten kielten ja kirjallisuuksien laitos}	{University of Helsinki, The Department of Finnish, Finno-Ugrian and Scandinavian Studies}	2016
wikipedia-fi-2017-korp	Suomenkielinen Wikipedia 2017, Korp	Finnish Wikipedia 2017, Korp	c	c VRT	b VRT	c	a Korp		T	Yes	a Korp		Tatu Huovilainen	Tatu Huovilainen	2018
wordlists-uhlcs-korp	Sanaluettelokorpuksen (UHLCS) Helsinki-Korp-versio	Lists of Words Corpus (UHLCS), Helsinki Korp Version	c	c TXT	a VRT	a	a Korp		T	No	a Korp		Pirkko Suihkonen	Pirkko Suihkonen	2007
Yle-subtitle	Ylen ruututekstikorpus	The Finnish Broadcasting Company Corpus of Subtitles	a	a TXT	a VRT		a Korp		T		a Korp
ylenews-fi-2019-2020-selko-src	Ylen suomenkielisen uutisarkiston selkouutiset 2019-2020, lähdemateriaali	Yle News Archive Easy-to-read Finnish 2019-2020, source	c	TXT	JSON	c			T	Yes		http://urn.fi/urn:nbn:fi:lb-2021020901	{Yleisradio}	{Yleisradio}
ylenews-fi-2019-2020-src	Ylen suomenkielinen uutisarkisto 2019-2020, lähdeaineisto	Yle Finnish News Archive 2019-2020, source	c	TXT	JSON	c			T	Yes		http://urn.fi/urn:nbn:fi:lb-2021020901	{Yleisradio}	{Yleisradio}
ylenews-sv-2019-2020-src	Ylen ruotsinkielinen uutisarkisto 2019-2020, lähdeaineisto	Yle Swedish News Archive 2019-2020, source	c	TXT	JSON	c			T	Yes		http://urn.fi/urn:nbn:fi:lb-2021020901	{Yleisradio}	{Yleisradio}

Status 12.11.2018: DRAFT

Introduction

Publishing software is different from getting it to work on the programmer’s machine or on the machines of a small research group. This guideline is intended as a short guide to define the minimal steps necessary to prepare a software publication at the Language Bank of Finland.

Name, short name and version

The software needs

a name (e.g. ”Helsinki Finite State Technology”),
a short name (e.g. ”hfst”)
and a version (Major.Minor.Patch, e.g. 3.15.0).

If an older version of the same software exists, a decision needs to be made whether to update metadata in an existing description or to create new metadata. An update is recommended if the new version fixes bugs (a ”patch”), a separate metadata page is recommended if the new version offers new or concurrent functionality, i.e. if there is reason to keep the old version online.

The package

The package needs to contain only the relevant data, no .tmp directories, etc.
If it contains source code the code should cleanly compile with either no or as few warnings as possible.
The code also needs to be tested, the idea is not to publish a package only to immediately publish a patch.
The format is zip.
The zip name is usually ”short name-version.zip” (e.g. ”hfst-3.15.0.zip”).
The package must extract into a subdirectory named identical to the package name, without .zip (e.g. ”hfst-3.15.0/”).
Upload the ready package to puhti.csc.fi:/proj/clarin/download/preview/ and inform kielipankki@csc.fi.

The license

Manual

Software without a manual and a description cannot be published. Both can be short, but they have to be present. The manual describes how to install and use the software. The manual can be a set of files in the package, like README.txt, INSTALL.txt, MANUAL.txt depending on the complexity of the software.

It should contain:

The intended audience
- The operating systems the software runs on.
- The level of expertise needed to run the software (e.g. compile from source in Linux vs. install in Mac/Windows from a package).
Installation instructions
- Dependencies, if needed (e.g. compiler, other tools)
- An installation and de-installation script.
Instructions how to run the software
- All tools (if bundled)
- All options of the tools (for example a man page or equivalent)
- Examples of all tools
A reference to a tier 1 technical support address in case of problems.
- Usually kielipankki@csc.fi (Tier 2/3 technical support contacts need to be known the admins at CSC.)
A reference to the descriptive metadata in the form of a PID (URN and/or Handle).

Descriptive metadata

The descriptive metadata describes a specific instance of the software. It is not a manual, but helps a user searching for software to determine whether the software is worth downloading. The PID pointing to the metadata is the persistent identifiert of the software version in question. The metadata in turn points to the download location of the software and explains where the manual can be found (e.g. inside the package or on a separate web page). Every update gets a new version number. We follow ”Sematic Versioning”: Major.Minor.Patch. New patches can be updated without changing the PID of the metadata, Major and Minor update usually require a new metashare page and the retirement of the now obsolete version. The metadata should also contain the license information. The PID of the metadata needs to be mentioned in the README.txt of the downloadable file.

Significant updates

To update the major or minor version a new metashare page needs to be created describing the new version and a change log relative to the present version. 2 new PIDs need to be created, one pointing to the metadata and one to the new download location. The related versions need to be linked using Metashare’s relations feature, see the Language Bank’s Language Resource Life Cycle Model An example from our corpora: http://urn.fi/urn:nbn:fi:lb-2016050401. The older version should be kept for at 5 years, either online for download or offline in IDA. Software older than 10 years can be deleted, unless it has historical value.

Bug fixes

If the new version has no new functionality and is only a patch (eg. 1.1.1), no PIDs need to be updated, the publication of the new version needs to be marked in the Change Log of the metadata. The non-patched version should be kept in IDA for 5 years just in case.

Example

Consider finnish-tagtools version 1.1: http://urn.fi/urn:nbn:fi:lb-2018062101. The metadata describes the software, the license and where more information about using the software and technical support can be found. A rough update shedule is also given. The update to Version 1.2 should happen as described in ”Significant updates” above: A new metashare page needs to be written, with a Change Log section in the description descibing the main new features/bug fixes. If the old version should not be kept online, the access location PID needs to be changed to a tombstone page describing that the software can be obtained from IDA.

Checklist

A quick reminder of the topics above.

Name
Version
License
Intended audience
Manual
Installation instructions
clean package in zip format
Descriptive metadata (metashare.csc.fi)
PIDs (at least one to metadata)
README/LICENSE/INSTALL.txt, (can be only README.txt), contains
- License
- PID to metadata
- Manual or link to manual
- Installation instructions
Change Log
Ready packages to /proj/clarin/download/preview

Portaalin hakutoiminnon hallinnointiohjeet

Portaalin sisäistä sisältöhakua hoitaa lisäosa nimeltä Relevanssi, joka korvaa WordPressin oletushakutyökalun.

Miten haku käytännössä toimii?

Haku on oletusarvoisesti JA-tyyppinen, ts. se etsii kaikkien annettujen hakusanojen yhteisesiintymiä. Olen kuitenkin määritellyt lisäosan asetuksissa, että mikäli kaikkia hakusanoja ei löydy samasta dokumentista, seuraavaksi kokeillaan TAI-hakua. Lisäksi olen kytkenyt päälle asetuksen, jonka avulla haku osaa etsiä myös osittaisia sanoja silloin kun kokonaiset eivät tuota osumia.

Hakujen tilastointi

Relevanssi kertoo tallentavansa käyttäjien haut tietokantaan ja että niitä voisi tarkastella ylläpitoalueen Ohjausnäkymätse, mutta itse niitä en ole sieltä löytänyt. Voidaan harkita, onko hakujen tallentaminen ylipäänsä tarkoituksenmukaista.

Sivujen piilottaminen hakutuloksista

Vaikka yleisesti ottaen pyrimmekin dokumentaatiomme suurimpaan mahdolliseen (järkevään) avoimuuteen, osa Portaalin sisällöstä on loppukäyttäjille hyödytöntä ja mahdollisesti hämmentävää (esimerkiksi tämä ohje itse). Relevanssi tarjoaa mahdollisuuden sulkea kokonaisia kategorioita haun ulkopuolelle. Koska WordPressin kategoriat eivät oletusarvoisesti koske sivuja (vaan ainoastaan artikkeleita), olen asentanut myös lisäosan nimeltä Post Tags and Categories for Pages, joka lisää toivotun ominaisuuden. Olen säätänyt haun jättämään järjestelmällisesti huomiotta sivut, jotka ovat luokassa Sisäinen, eli valitsemalla sivulle tämän kategorian voi varmistua, ettei edes sen otsikko näy haussa.

Corpus pipeline description (content for the site Corpus Production Process)

luonnos 28.7.2018 (sivun https://www.kielipankki.fi/intra/corpus-production-process/ linkit osoittavat tähän tiedostoon)

Phase 0: Finding resources

[Project leader, Planning officer]

Are there ongoing projects collecting or creating resources
Incoming inquiries about IPR, GDPR, data archiving
Incoming questions about Korp, Mylly and other tools
Conferences, seminars, roadshows, other collaborative events
Open Data, or other similar projects
Updates, new versions of existing resources

Phase 1: Identifying corpora

[Project leader, Planning officer]

Contact the researcher or the IPR holder of the corpora. KP-1172 01.
Provide information about licensing and agreements.
Discuss the roles in the deposition process: IPR holder, Licensor, Distribution rights holder and restrictions Availability, Referencing etc. to determine the agreement and the license.
Collect the minimum set of data about the resource (name in English & Finnish, short description, info about languages, text/speech)
Help with IPR and GDPR issues if required.

Phase 2: Metadata

[Planning officer, CSC]

Create an initial META-SHARE file, KP-1171 02. See the Metadata checklist for some pointers.
Register an URN that points to the metadata of the corpus. KP-1246 02b; instructions: see the README.md of https://github.com/CSCfi/Kielipankki/tree/master/FIN-CLARIN-Administration NB: the URN will start working only the next day after you generate it. Note: final slash: for Korp no, for download yes.
Publish the metadata file in META-SHARE.
Add the metadata of the forthcoming resource to the FIN-CLARIN-Administration/KP_Aineistot.xlsx spreadsheet’s src_new worksheet (in Github: sync it in Github Desktop, commit your modification, sync it again)
Copy the content of the obj_new worksheet of the FIN-CLARIN-Administration/KP_Aineistot.xlsx to the Kielipankki portal. Instructions are in the defs (variables, quick help) worksheet of the same spreadsheet.
Consider the need for a roof page in META-SHARE or information page in the portal for the resource in case there are several versions available. The roof page is sufficient when the resources it points to share the same licenses whereas the information pages are better in describing different resources with There are several different kinds of info pages in the portal, depending on when the page has been created. The current info page format is in use for the resource Plenary Sessions of the Parliament of Finland https://www.kielipankki.fi/aineistot/eduskunta/
If you need to make changes in the metadata, document it by creating an unstructured document with the content CHANGE LOG + date + short description of the change. Previously the changes were documented in the metadata version descriptions or in the resource descriptions.
For numbers (size) do not include punctuation.
If the META-SHARE article is out of date, the links no longer point anywhere and if the contact persons either can no more be contacted or reply that the resource no longer exists, create a tombstone page in the portal under kielipankki.fi/corpora/archive or tools/archive as appropriate. Take a screenshot of the META-SHARE article and add it on the tombstone page. See the burial of WWW-Lemmie http://urn.fi/urn:nbn:fi:lb-20140730123 where the resource URN now points to the tombstone (the old META-SHARE article address http://metashare.csc.fi/repository/browse/www-lemmie/aff491b8fccc11e18b49005056be118e2f69c385f23b4ad0a8042a073d009f4d/ ) as an example.

Phase 3: Agreements

[Project leader, Planning officer]

3a. Define the license conditions

Are there personal data included? If yes and the material cannot be completely anonymized, ask/help the Data Controller prepare the required documentation, and be ready to take this into account in further processing of received data.
Check copyright restrictions. Remember the agreement with Kopiosto.
If the material cannot be publicly available, is it possible to publish several versions of the material with different licenses? (e.g., restricted context vs. full text; scrambled sentences or paragraphs; anonymized transcriptions vs. original audio with annotations)

3b. Prepare the deposition agreement

Get to an agreement with the IPR holder about the license of the resource. Also make sure that, in case there are third parties involved, the IPR holder has their agreements, which then should be attached to the deposition agreement. KP-1247 05a.
Edit and send a tentative deposition agreement to the IPR holder. KP-1248 05b.
Once the IPR holder has accepted the deposition agreement, ask him/her to print it in 2 copies, sign them & then send them to you by mail. KP-1249 05c.
Get the signature of the head of the Department of Digital Humanities (1.1.2018 onwards) to the deposition agreement. KP-1306 / KP-1304 05d.
Scan the deposition agreement & place it into IDA (FIN-CLARIN Administration/agreements).
Archive the deposition agreement paper version (the binder FIN-CLARIN Tallennussopimukset).
Send the other copy of the signed deposition agreement to the IPR holder by mail

Phase 4: Retrieving corpus data

[Planning officer]

Ask the IPR holder to send you the data. This may involve receiving the data as an email attachment or via Funet FileSender.
Upload the data to IDA (corpora). General guidelines (for browser): https://openscience.fi/ida-browser. The data should be packaged appropriately.
Define where the corpus will be available (Download/Korp/LAT/Taito).
Define the priority of the corpus. KP-1302 04a.
Define the preliminary workload on each step required for the publication of the corpus. KP-1239.
Define the initial publication schedule based on the priority and the workload. KP-1303 04b.
Inform the FIN-CLARIN team for speech / text corpora to start the conversion for Download/Korp/LAT/Taito.

IDA
ETSIN

Phase 5-1: Resource conversion for Download

KP-1307, [FIN-CLARIN speech/text corpora teams]

Martin’s instructions: https://www.kielipankki.fi/development/corpus-data-publication-for-download-at-the-language-bank/

Check the license. (Is download allowed, if so, PUB,ACA or RES?)
Define the format of the data to be published in Download. Typical options:
1. WAV,EAF (from LAT)
2. VRT (from Korp)
3. TXT,PDF (raw formats)
Define shortname, see naming conventions
Create the metadata in META-SHARE
Create README.txt (refer to license and include URN to META-SHARE)
Create zip file. Use shortname (without ”-dl”) as name and internal top-level directory. Structure:
1. short-name.zip:
  1. short-name/README.txt
  2. short-name/short-name/data… (including possible sub directories)
Prepare upload at Puhti
1. mkdir/scratch/clarin/download_preview/<short-name>
2. prepare directory as it should look in Download:
  1. zip file as created above
  2. README/license.txt as contained in zip file.
Upload the data.
1. This requires root rights on korp.csc.fi, a detailed technical description is so far only available in CSC’s intranet (”Download” service).
Check uploaded data
1. https://korp.csc.fi/download/
  1. ”name” is ”short-name” (or as agreed)
  2. Description has the correct name (possibly slightly shortened) and links via URN to META-SHARE.
  3. ”name” links to subdirectory:
    1. subdirectory contains zip files as agreed (for ACA often license acceptance pages that need to be approved before download)
    2. subdirectory has uncompressed README.txt and (sometimes) separate license.txt information from within zip file.

Phase 5-2: Resource conversion for Korp

KP-1309 12. [FIN-CLARIN text corpora team]

Decide if the corpus should be split into subcorpora.
Decide the identifier of the corpus and its possible subcorpora. See naming conventions.
Preprocess the data before converting to VRT. This may involve OCR’ing PDF files to text, converting the character encoding or fixing apparent errors.
Convert the data to the VRT format used as Korp corpus input format. If a script exists for the same or a similar format in the conversion script repository, preferably use it as such or modified, but writing custom scripts for the input format may also be required.
Validate the VRT data and otherwise verify its correctness with the tokenizer and the validator created by Jussi Piitulainen.
Pass the generated VRT to Jussi Piitulainen for parsing, which also adds morphosyntactic, part-of-speech and named entity annotations. This currently only applies to corpora in (standard) Finnish. Parse the VRT and recognize named entities. Run parser and named-entity recognizer on the VRT data (if the tools exist for language of the corpus).
Run korp-make on the (parsed and NER-tagged) VRT data to make a corpus package. For parallel corpora, run korp-make for each aligned language but do not package them; add alignment information; and package all the languages to a single package (korp-make-package.sh)
Encode VRT data into the CWB database format and create a Korp package for the corpus. This can often be done with a single command, which also generates certain data required for the Korp database.
Add corpus configuration to the Korp frontend. This consists of making changes to the Korp configuration and translation files on your own branch of the Korp frontend repository and committing the changes: Add corpus configuration to Korp’s configuration file (config.js, modes/modename_mode.js); Add translations of corpus attribute names and values to translation files (translations/corpora-{fi,en,sv}.js); Commit the changes to the configuration to the korp-frontend repository in GutHub
Install the corpus package and configuration. At this stage, the corpus configuration should be installed on a separate test instance of the Korp frontend. If you do not have access to the Korp server, you need to request someone having the rights to do that.
Test the corpus in Korp. Check that the corpus shows up and works as expected in the Korp test instance.
Inform others of the corpus and request feedback. You should inform at least fin-clarin (at) helsinki.fi and the original corpus owner or compiler if applicable. If you get feedback, you may need to redo some of the previous steps.
Install the corpus configuration to the production Korp, once the corpus works in Korp as desired. Install the corpus package (korp-install-corpora.sh). Install the changes to the Korp configuration from the GitHub repository (korp-install.sh). Again, you may need the help of someone with the appropriate rights.
Upload the corpus package to the IDA storage service.
Add a piece of news on the corpus to Korp’s newsdesk.
Organize a test group among the Language Bank project and have them test the data and the information about it in Korp. Include the data depositor in the test group.
A Beta-phase is recommended for all corpora, but especially for those where the data depositor is interested in testing the data. Typical beta period lasts for two weeks but the depositor can ask for a different length. During the beta period the access location is not available in META-SHARE and it is not published in the portal.

Ute’s description of preprosessing: https://www.kielipankki.fi/howto_pipeline_textcorpora/

Phase 5-3: Resource conversion for LAT

KP-1308, [FIN-CLARIN speech corpora team]

Receive and backup corpus files (original media!)
Check consistency of file names (media + annotations); for LAT, remove åäö
Check the audio/video files and convert to a more compatible, non-lossy format, if required
Remove unnecessary personal data and/or silent portions from beginning/end of files (update annotation files accordingly and make notes of the changes)
In the case of material containing video only, separate the audio tracks into WAV (for analysis purposes + to enable waveform view in Annex)
Create Lamus/Annex compatible versions of the audio/video files (M4A/MP4 streaming)
Check the annotation files (TextGrid -> UTF-8!) and make sure that the tier names are consistent (speakers referred to by codes)
Make sure there are no unnecessary personal details in the transcription files
From EAF, create TextGrid versions, if required
From TextGrid, create EAF versions, if required
Create IMDI metadata (make sure not to publish unnecessary personal details; use speaker codes, age spans etc.) and a README.txt for LAT+download
Create download packages (exclude the compressed Annex-compatible media files)
Create a node for the corpus in LAT, upload and link files to corpus tree
Update META-SHARE (add the location PID pointing to LAT, calculate and add the exact corpus size, e.g. hours)
For Korp, export the text in the annotation files into VRT format (including time information, overlap information, pause information and links to LAT/Annex; possibly also a ”normalized” version of the text for automatic parsing, if available)

Phase 5-4: Resource conversion for Taito

[FIN-CLARIN speech/text corpora teams]

Phase 5-5: Resource conversion for Sanat

[FIN-CLARIN speech/text corpora teams]

Phase 6: URN for Publication and internal records

[CSC, Planning officer]

Generate an URN for the location of the resource (same as in phase 2 step 2).
Add the URN to the Url field of the META-SHARE metadata file of the resource.
Update the resource’s META-SHARE metadata file accordingly. Make sure that also the link to the attribution details of the resource is added to the metadata file. IMPORTANT: if the resource has an ACA or a RES license, you have to
a) create license pages for it in the Kielipankki portal both in Finnish & in English & add the links to these pages in the Documentation section of the META-SHARE metadata file KP-1316 08.;
b) let Martin know about this, so that he can add the resource to LBR KP-1317 09.;
c) move on to the next step after the resource has been added to LBR.
Update the KP_Aineistot.xlsx accordingly (cut info from the src_new worksheet & paste it to src_prod, then update the relevant info). Make sure to delete the row of the resource from the obj_new worksheet. KP-1174 04c.
Copy the content of the obj_prod worksheet to to the Kielipankki portal. Select Tuo/Import: Syötä käsin/Import manually, CSV, Korvaa/Replace. Instructions are in the defs (variables, quick help) worksheet of the same spreadsheet. Sort the table in alphabetical order based on the ID of the corpus. (Preview does not give the right result, so for testing the best method is to re-create the Test table and publish it) KP-1174 04c.****
Consider a resources info page /tietosivu/ resource family page in the portal + link to metashare and KP_Aineistot.

Aineistokohtaiset tietosuojaselvitykset

Phase 7: Information dissemination on publication and use

[Planning officer, FIN- CLARIN speech/text corpora teams]

Publish the news in Kielipankki’s portal both in Finnish and in English.
Inform the IPR holder that the resource has been published.
Publish the news in the next Kielipankki newsletter.
Publish user profiles in the series Researcher of the Month.
User statistics for IPR holder.

Korp User Statistics

Phase 8: Updating resources

[Planning officer, FIN-CLARIN speech/text corpora teams, CSC]

Record the feedback from the users and identify needs for updating.
Comply with the version management guidelines
Create plans for updating resources: which resources will be updated in regular intervals?

Kielivarojen elinkaari- ja kuvailumalli

	Korp on selainpohjainen konkordanssityökalu, jolla voi tehdä hakuja tekstiaineistoista morfosyntaktisen jäsennyksen perusteella.
	LAT (Language Archive Tools) on annotoitujen ääni- ja videoaineistojen selailun, hakujen ja jakamisen työkalupakki.
	Mylly – aineistojen käsittelyalusta
	Latauspalvelusta voit ladata aineistoja omalle koneellesi.
	WebAnno-annotaatiotyökalu
	Signbank – suomalaisen viittomakielen leksikkotietokanta
	OPUS, avoin rinnakkaisaineisto
	Tieteen kansallinen termipankki (TTP) rakentaa kaikkien Suomessa harjoitettavien tieteenalojen yhteisen, avoimen ja jatkuvasti päivitettävän termitietokannan tiedeyhteisön ja kansalaisten käyttöön.
	Lääketutka
	Proto-Indo-European Lexicon
TDT	Turku Dependency Treebank
FiNER Demo	FiNER Demo (beta)
Aalto-ASR	Aalto University Automatic Speech Recognition System (lataus, taito-shell)
	Hae keskitetysti kaikkien CLARIN-keskusten aineistoista CLARIN Federated Content Searchin avulla.

finnish-parse	Yleiskäyttöinen suomen kielen jäsennin (taito-shell)
saxon	Saxon-XSLT-prosessori (taito-shell)
HFST	Helsinki Finite-State Transducer Technology (lataus, taito-shell)

Aineistokäyttöliittymät

	Korp on selainpohjainen konkordanssityökalu, jolla voi tehdä hakuja tekstiaineistoista morfosyntaktisen jäsennyksen perusteella.
	LAT (Language Archive Tools) on annotoitujen ääni- ja videoaineistojen selailun, hakujen ja jakamisen työkalupakki.
	Mylly – aineistojen käsittelyalusta
	Latauspalvelusta voit ladata aineistoja omalle koneellesi.
	Signbank – suomalaisen viittomakielen leksikkotietokanta
	OPUS, avoin rinnakkaisaineisto
	Tieteen kansallinen termipankki (TTP) rakentaa kaikkien Suomessa harjoitettavien tieteenalojen yhteisen, avoimen ja jatkuvasti päivitettävän termitietokannan tiedeyhteisön ja kansalaisten käyttöön.
	Lääketutka
	Proto-Indo-European Lexicon
TDT	Turku Dependency Treebank
	Hae keskitetysti kaikkien CLARIN-keskusten aineistoista CLARIN Federated Content Searchin avulla.

Aineistojen käsittely

	WebAnno-annotaatiotyökalu
FiNER Demo	FiNER Demo (beta)
Aalto-ASR	Aalto University Automatic Speech Recognition System (lataus, taito-shell)
finnish-parse	Yleiskäyttöinen suomen kielen jäsennin (taito-shell)
saxon	Saxon-XSLT-prosessori (taito-shell)
HFST	Helsinki Finite-State Transducer Technology (lataus, taito-shell)

Development

This page contains internal documentation that might be useful for collaborators and can be public.

Data management

Language resource naming conventions
Corpus Pipeline description (not yet public)
Metadata checklist
Archiving directory trees
Text corpus conversion instructions (not yet public, depends on KP-1987)
Importing corpus data to Korp: technical documentation
Preferred file types
Preparing packages for the Download service
- Software publication
- Corpus data
Encryption of data

Task management

Information on how we use tools to keep track of tasks and workflows.

Jira (issue tracker, Kanban board)

Cooperation

Sensitive data

Technical Documentation

Miscellaneous

A guide for writing tickets in JIRA

Jira can help you keep track of all your work in one place. With organized boards, lists and other views, it is easier to decide what you should be working on next. Jira is also helpful when you need to collaborate and share your workload efficiently.

As a rule of thumb, whenever you run into a task that you are not able to complete right away, you should probably create a Jira issue of it. This can prevent you from forgetting things, even though it may sometimes feel a bit silly.

You can create a new JIRA ticket or issue by clicking on the Create button on top of the window after logging in. (You may also create an issue from this link: https://jira.csc.fi/secure/CreateIssue!default.jspa, but this is generally not recommended).

Parts of a Jira issue

There are more fields than the ones shown below, but these are the ones that are recommended for our purposes. In case you don’t see all of the fields, you may select them by clicking on Configure Fields in the top right corner of the dialog box.

Project: Kielipankki (KP) is one of the ”Projects” in Jira (although, unlike normal projects, it does not have an end date).

Issue Type: In our Jira setup (our ”Kanban implementation”), several ticket types are included. The purpose of the types is to give an idea of the nature of the issue, e.g., whether it is

a Bug that needs fixing,
an Epic, a large chunk of work that will probably take months or even longer to complete and will contain a number of various kinds of tasks,
a Story that will probably take several days of work and may potentially include subtasks, or
a short and simple Task.
(See JIRA Practices for details.)

Summary: A concise gist of the work to be completed. The purpose of the summary is to make it possible for the reader to quickly see what the goal of the issue is, i.e., ”who needs what and why”.

If there are several stages in the work, you should create subtasks.
In case there are several goals that are related to one another, create several issues and add links between them (select More:Link in the Issue view).
In some Board views, only the initial portion of the Summary (or the Epic Name) will be displayed, which you should consider if you end up writing a lengthy Summary line. A further specification of the goal should be provided in the Description, see below.
Note that the summary is not ”a title of the subject area”. In case the goal is unclear, the issue may never get done, since you cannot easily tell whether it has been completed. (If you were assigned an unclear issue, you should assign it back to the Reporter and ask for a clear specification.)

Priority should be set if known. See JIRA Practices for details.

Reporter: usually you.

Labels are tags or keywords that you may use in order to be able to efficiently search and filter your issues. You might include the work package a task or story belongs to, e.g., ”UPGRADE-WP1”, the type of work, e.g., ”documentation”, or the type of corpus, e.g., ”text” or ”speech”. Please invent labels that you are likely to use again in other issues.

Assignee is the person responsible for completing the work. Can be assigned if known, otherwise the default person of the component will be assigned. In case different people will be completing parts of the work, you should additionally create subtasks or linked tasks for them, so as to keep the present issue visible to the current Assignee.

Attachments are files attached to the issue. Please note that depending on the security settings of the issue, the attachments may be publicly visible.

Security Level: Access permissions to see the issue and its content. None or All allows general access for logged in users, Administrators only to admins (CSC, National Co-ordinator). Devel allows access to the members of the Kielipankki project team (at University of Helsinki / CSC), and Suppl (Suppliers) gives additional access to affiliated developers, like the ones for Signbank or Sanat. The default is ”Devel”. Comments are only visible according to the Security Level of the issue, they can be further restricted.

Components: The main parts or sections of the project, i.e., in our case, Kielipankki. Components have owners, e.g., Krister owns Dissemination and Coordination, Tero owns Portal, Mietta owns Teaching. Ideally, you should have an idea about the category. But if you don’t, you can leave it blank. You may also include several Components when you see fit. Note that typically, the owner of the Component will get automatic emails about all or most changes in the issues within that Component.

Description: The free text field specifying the goals or requirements of the issue in more detail. The Description should be concise enough so as to know when the Assignee (or a person reviewing the issue) may consider the issue as Done. When writing the Description, you should consider situations where the original Reporter and/or Assignee are no longer available and someone else needs to take up the issue. Can the reader understand what needs to be done or where the necessary information is? Respect user’s privacy, do not unnecessarily disclose personal information in issues and never disclose it in issues open to all Jira users (Security Level: All or None).

Due date: You should set a due date whenever possible, since it helps the Assignee to keep track of issues. Combined with the Priority setting, the due date will make it easier for you and the rest of the team to determine what should be done next. In search filters, on Kanban boards and elsewhere in Jira, issues can be selected or sorted according to their due dates.

Tip: You can make JIRA send you reminders of issues, for instance of those with due dates that are closing up. First, select or find the desired search filter (Issues > Filters) or create and save your own filter (select Issues: Search…) and then subscribe to it (select Issues > Filters > more…). Further instructions on this:

Epic Link: In case you are creating a Task or a Story that is part of an Epic, for instance if the new issue is included in the publication process of a specific corpus, you can add a link to that Epic here. Just begin typing the name of the Epic and you will see a list of the existing options. An issue can have only one Epic Link at a time. (If the corresponding Epic does not yet exist, you may edit the issue and add the link later.)

(table id=22)


acquis-ftb3	JRC-Acquis-monikielisen rinnakkaiskorpuksen suomenkielinen osakorpus	P	Korp	B
agricola-v1-1-korp	Mikael Agricolan teosten morfosyntaktinen tietokanta versio 1.1, Korp	P	Korp	B
ai2d-rst-v1-1	AI2D-RST: multimodaalinen korpus peruskoulutason luonnontieteiden oppimateriaaleissa esiintyvistä diagrammeista versio 1.1	P	Lataus	B
aku-egg	Puheen ja EGG:n samanaikaiset tallenteet	A	LAT	B
amph	Ajatella, miettiä, pohtia, harkita -korpus	A		B
ArkiSyn-korp	Suomenkielisten arkikeskustelujen morfosyntaktinen tietokanta, Helsinki-Korp-versio	P	Korp	B
AVOID	Muunnellun puheen korpus	R		B
BeserCorp	Udmurtin besermanin murteen korpus	P	Korp	B
ccmh-src	Corpus Cyrillo-Methodianum Helsingiense: Muinaiskirkkoslaavin korpus, lähdemateriaali	P		B
ceal-dl	Englantilaisen ja amerikkalaisen kirjallisuuden klassikoita suomeksi, ladattava versio	R		A
ceal-o	Englantilaisen ja amerikkalaisen kirjallisuuden klassikoita suomeksi, alkuperäisessä järjestyksessä olevat virkkeet ja kappaleet	R	Korp	A
ceal-par-s-korp	Englantilaisen ja amerikkalaisen kirjallisuuden klassikoita Kersti Juvan suomentamina, englanti-suomi rinnakkaiskorpus, sekoitettu, Korp	A	Korp	A
ceal-s	Englantilaisen ja amerikkalaisen kirjallisuuden klassikoita suomeksi, sekoitetut kappaleet	A	Korp	A
cfinsl-conv	Suomalaisen viittomakielen korpus: keskusteluaineisto	R	LAT	B
cfinsl-conv-dl	Suomalaisen viittomakielen korpus: keskusteluaineisto, ladattava versio	R		B
cfinsl-elicit	Suomalaisen viittomakielen korpus: kerronta-aineisto	P	LAT	B
cfinsl-elicit-dl	Suomalaisen viittomakielen korpus: kerronta-aineisto, ladattava versio	P		B
chuvash-uhlcs	Tšuvassin korpus (UHLCS)	R	CSC	C
coca-dl-2017H1	Corpus of Contemporary American English - Kielipankin ladattava versio (2017H1)	R		B
coca-korp-2017H1	Corpus of Contemporary American English - Kielipankin Korp-versio 2017H1	A	Korp	B
coha-dl-2017H1	Corpus of Historical American English - Kielipankin ladattava versio (2017H1)	R		B
coha-korp-2017H1	Corpus of Historical American English -Kielipankin Korp-versio 2017H1	A	Korp	B
concetti-amorosi	Concetti amorosi, cioè lettere giovenili, et amorose	P		B
Digilib-1920-dl	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman OCR-korpus (1875-1920)	A		A
Digilib-Pub-1874-dl	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman OCR-korpus (1771-1874)	P		A
dma	Digitaalinen muoto-opin arkisto	P	Korp	B
dma-wn	Digitaalisen muoto-opin arkiston sanaliput	R	Korp	B
DSPCON2013-2015-dl	Aalto-yliopiston DSP-kurssin keskustelukorpus 2013-, ladattava versio	A		C
DSPCON2013-2016-dl	Aalto-yliopiston DSP-kurssin keskustelukorpus 2013-2016, ladattava versio	A		C
e-thesis-de	Helsingin yliopiston saksankielisen E-thesiksen Korp-versio	P	Korp	A
e-thesis-en	Helsingin yliopiston englanninkielisen E-thesiksen Korp-versio	P	Korp	A
e-thesis-en-korp-v1-1	Helsingin yliopiston englanninkielinen E-thesis 1999-2016, Korp versio 1.1	P	Korp
e-thesis-es	Helsingin yliopiston espanjankielisen E-thesiksen Korp-versio	P	Korp	A
e-thesis-fi	Helsingin yliopiston suomenkielisen E-thesiksen Korp-versio	P	Korp	A
e-thesis-fr	Helsingin yliopiston ranskankielisen E-thesiksen Korp-versio	P	Korp	A
e-thesis-ru	Helsingin yliopiston venäjänkielisen E-thesiksen Korp-versio	P	Korp	A
e-thesis-sv	Helsingin yliopiston ruotsinkielisen E-thesiksen Korp-versio	P	Korp	A
eduskunta-v1-lat	Eduskunnan täysistunnot, Kielipankin LAT-versio 1	P	LAT	A
eduskunta-v1.5-dl	Eduskunnan täysistunnot, ladattava versio 1.5	P		A
eduskunta-v1.5-korp	Eduskunnan täysistunnot, Kielipankin Korp-versio 1.5	P	Korp	A
ELFA-audio-dl	ELFA-korpuksen äänitiedostojen ladattava versio	R		B
ELFA-korp	ELFA-korpuksen Helsinki-Korp-versio	P	Korp	B
ELFA-lat	ELFA-korpuksen Helsinki-LAT-versio	R	LAT	C
ELFA-txt&xml-dl	ELFA-korpuksen litteraattien ladattava versio	P		B
english-uhlcs	Englannin korpus (UHLCS)	R	CSC	C
erzya-moksha-komi-uhlcs	Ersän ja mokšan kirjallisuutta ja julkaisuja ja komisyrjäänin kirjallisuutta (UHLCS)	R	CSC	C
erzya-moksha-uhlcs	Ersän ja mokšan sanaluettelokorpus (UHLCS)	R	CSC	C
estonian1-uhlcs	Viron korpus 1 (UHLCS)	R	CSC	C
estonian2-uhlcs	Viron korpus 2 (UHLCS)	R	CSC	C
fbc-dl	Suomalaisen radio- ja tv-korpuksen ladattava versio	R		B
fbc-lat	Suomalaisen radio- ja tv-korpuksen Helsinki-LAT-versio	R	LAT	B
Fenno-ugrica	Fenno-ugrica, Kielipankki-versio	P	Korp	B
finestbert	FinEst BERT	P		C
finka-dl	Raja-Karjalan korpuksen ladattava versio	P		B
finka-lat	Raja-Karjalan korpus, Kielipankin LAT-versio	P	LAT	B
FinnFrameNet-s	Suomalaisen FrameNetin Sanat-versio	P	Sanat	B
finnish-bibles-uhlcs	Suomen korpus (raamatut) (UHLCS)	A	CSC	C
finnish-literature-uhlcs	Suomen korpus (kirjallisuutta) (UHLCS)	R	CSC	C
FinnTransFrameNet-s	Suomalaisen TransFrameNetin Sanat-versio	P	Sanat	B
FinnTreeBank1	Suomen kielen puupankki 1	P		B
FinnTreeBank2-dl	Suomen puupankki FinnTreeBank 2:n ladattava versio	P		B
FinnTreeBank2-korp	Suomen puupankki FinnTreeBank 2:n Helsinki-Korp-versio	P	Korp	B
FinnTreeBank3-dl	Suomen puupankki FinnTreeBank 3:n ladattava versio	P		B
FinnTreeBank3-korp	Suomen puupankki FinnTreeBank 3:n Helsinki-Korp-versio	P	Korp	B
FinnWordNet-dl	Suomalaisen WordNetin ladattava versio	P		B
FinnWordNet-s	Suomalaisen WordNetin Sanat-versio	P	Sanat	B
finsen-src	FinnSentiment, lähdemateriaali	P		A
FinStud86	FinStud86-korpus	R	Korp	C
FinSveStud 79-80	Studentsvenska 79-80 -korpus	R	Korp	C
FiRuLex-fi	FiRuLex, venäjä-suomi lakitekstien vertailevan tekstikorpuksen suomenkielinen osakorpus	P	Korp	B
FiRuLex-ru	FiRuLex, venäjä-suomi lakitekstien vertailevan tekstikorpuksen venäjänkielinen osakorpus	P	Korp	B
FNC1	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman suomenkieliset n-grammit 1820-2000	P		A
fstc-korp	Suomenruotsin tekstikokoelman (UHLCS) Helsinki-Korp-versio	R	Korp	C
fstc-taito	Suomenruotsin tekstikokoelman (UHLCS) Taito-versio	R	CSC	C
ftc-b	Suomen kielen tekstikokoelman ladattava versio - kaupallinen käyttö	R		B
ftc-dl	Suomen kielen tekstikokoelman ladattava versio	R		B
ftc-korp	Suomen kielen tekstikokoelman Helsinki-Korp-versio	R	Korp	B
fvcc_v1	Suomen kielen verbaalisia koloratiivikonstruktioita	P		B
GeM-HTB	Multimodaalinen korpus Helsingin kaupungin matkailuesitteistä vuosilta 1967-2008	P		B
giellagas-north	Pohjoissaamen näytekorpus	R	LAT	B
glowbe-dl-2017H1	Corpus of Global Web-Based English - Kielipankin ladattava versio (2017H1)	R		B
glowbe-korp-2017H1	Corpus of Global Web-Based English - Kielipankin Korp-versio 2017H1	A	Korp	B
Gutenberg	Suomenkielinen Gutenberg-korpus	P	Korp	B
hallituskausi-2007–2011	Hallituskausi 2007–2011 -käännösmuisti	P		C
hallituskausi-2011–2015	Hallituskausi 2011–2015 -käännösmuisti	P		C
HC-TEI-XML	Helsinki Corpus TEI-XML edition (2011)	A	Korp	B
hcs-a-v2	Helsinki Swahili -korpus 2.0, annotoitu versio	A	Korp	B
hcs-na-v2	Helsinki Swahili -korpus 2.0, ei annotoitu versio	P		B
HeKo-Europarl	Helsinki Korp Europarl aineistokokoelma	P	Korp	B
HeKo-JRC-Acquis	Helsinki Korp JRC-Acquis aineistokokoelma	P	Korp	B
helpuhe1	Helsingin puhekielen pitkittäiskorpus (1970, 1990, 2010)	R	LAT	B
helpuhe1-dl	Helsingin puhekielen pitkittäiskorpuksen (1970, 1990, 2010) ladattava versio	R		B
HS.fi	HS.fi-uutiskommenttiaineisto	A	Korp	B
ICLFI	Kansainvälinen oppijansuomen korpus	R	Korp	B
iijoki-korp	Iijoki, Oulun yliopiston Päätalo-kokoelma, Kielipankki Korp -versio	A	Korp	B
iijoki-src	Iijoki, Oulun yliopiston Päätalo-kokoelma, lähdeaineisto	A		B
iijoki-vrt	Iijoki, Oulun yliopiston Päätalo-kokoelma, Kielipankin latausversio	A		B
ingrian-uhlcs	Inkeroisen korpus (UHLCS)	R	CSC	C
kaannossuomi-korp	Käännössuomen korpus, Korp	R	Korp
Karjalansuomi	Karjalan suomen sanomalehtikorpus	A	Korp	B
kfspc-korp	Kotuksen suomi-ruotsi rinnakkaiskorpuksen Helsinki-Korp-versio	P	Korp	B
kfspc-korp-fi	Kotuksen suomi-ruotsi rinnakkaiskorpuksen Helsinki-Korp-version suomenkielinen osakorpus	P	Korp	B
kfspc-korp-sv	Kotuksen suomi-ruotsi rinnakkaiskorpuksen Helsinki-Korp-version ruotsinkielinen osakorpus	P	Korp	B
khanty-uhlcs	Hantin korpus (pohjoishantin aineistot ja käännökset) (UHLCS)	R	CSC	C
Kipo	Suomen viittomakielten kielipoliittinen ohjelma 2010 -korpus, annotoitu versio	P	LAT	B
Kivi	Aleksis Kivi -korpus (SKS)	P	Korp	B
kks	Karjalan kielen sanakirja	P		B
KLK-fi	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman suomenkielinen osakorpus, Kielipankki-versio	P	Korp	A
KLK-sv	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman ruotsinkielinen osakorpus, Kielipankki-versio	P	Korp	A
klk-sv-1771-1879-vrt	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman ruotsinkielinen osakorpus, 1771–1879, VRT	P		B
klk-sv-1880-1948-s-vrt	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman ruotsinkielinen osakorpus, 1880–1948, sekoitettu, VRT	P		B
komi-uhlcs	Komisyrjäänin korpus (UHLCS)	R	CSC	C
kotus-al-rev-korp	Kotimaisten kielten keskuksen aikakauslehtikorpus, tarkistettu	A	Korp
kotus-al-unrev-korp	Kotimaisten kielten keskuksen aikakauslehtikorpus, tarkistamaton	A	Korp
kra	Keskiranskan korpus	R	CSC	B
LA-murre-korp	Lauseopin arkiston murrekorpuksen Helsinki-Korp-versio	P	Korp	B
LA-murre-lat	Lauseopin arkiston murrekorpuksen LAT-versio	P	LAT	B
LA-murre-vrt	Lauseopin arkiston murrekorpuksen ladattava versio	P		B
Lakeja&direktiiveja	Lakeja ja direktiivejä, Kielipankki-versio	P	Korp	B
LAS2	Edistyneiden suomenoppijoiden korpus	R	Korp	B
LAS2-dl	Edistyneiden suomenoppijoiden korpuksen ladattava versio	R		B
latin-uhlcs	Latinan korpus (UHLCS)	A	CSC	C
lehdet90ff	1990- ja 2000-luvun suomalaisia aikakaus- ja sanomalehtiä -korpus, versio 1	P	Korp	B
lehdet90ff-dl	1990- ja 2000-luvun suomalaisia aikakaus- ja sanomalehtiä -korpuksen ladattava versio	A		B
lehdet90ff-dl-v2	1990- ja 2000-luvun suomalaisia aikakaus- ja sanomalehtiä -korpuksen ladattava versio 2	A		B
lehdet90ff-v2	1990- ja 2000-luvun suomalaisia aikakaus- ja sanomalehtiä -korpus, versio 2	P	Korp	B
lehdet90ff-vrt-v2	1990- ja 2000-luvun suomalaisia aikakaus- ja sanomalehtiä -korpus (VRT), versio 2	A		B
lettere-amorose	Lettere amorose	P		B
lettere-varie	Lettere varie di complimenti amorose, e giocose	P		B
lude-uhlcs	Lyydin korpus (UHLCS)	R	CSC	C
MULCOLD	MULCOLD, monikielinen lakitekstien rinnakkaiskorpus	P	Korp	B
MULCOLD-de	MULCOLD, monikielisen lakitekstien rinnakkaiskorpuksen saksankielinen osakorpus	P	Korp	B
MULCOLD-en	MULCOLD, monikielisen lakitekstien rinnakkaiskorpuksen englanninkielinen osakorpus	P	Korp	B
MULCOLD-ru	MULCOLD, monikielisen lakitekstien rinnakkaiskorpuksen venäjänkielinen osakorpus	P	Korp	B
nenets-uhlcs	Nenetsin korpus (UHLCS)	R	CSC	C
north-saami-literature-uhlcs	Pohjoissaamen korpus (kirjallisuutta) (UHLCS)	R	CSC	C
north-saami-report-uhlcs	Pohjoissaamen korpus (Sámikultuvradoaibmagotti smiehttamush) (UHLCS)	R	CSC	C
opensub-fi-2017-korp	Suomenkielinen OpenSubtitles 2017, Kielipankki Korp-versio (beta)	P	Korp	B
opensub-fi-2017-src	Suomenkielinen OpenSubtitles 2017, lähdemateriaali	P		B
Opus-Korp	Opus, Helsinki-Korp-versio	P	Korp	A
opusparcus-v1	Opusparcus: Open Subtitles Paraphrase Corpus for Six Languages (version 1.0)	P		A
oracc-2017-09-vrt	Open Richly Annotated Cuneiform Corpus, ladattava versio, syyskuu 2017	P		A
oracc-korp-2017-09	Open Richly Annotated Cuneiform Corpus, Korp-versio, syyskuu 2017	P	Korp	A
oracc-korp-2019-05	Open Richly Annotated Cuneiform Corpus, Korp-versio, toukokuu 2019	P	Korp	A
ota	Kokoelma Oxford Text Archiven julkistekstejä	P	CSC	C
oulu	Oulun korpus	R	CSC	B
ParFin2016	ParFin 2016 - suomi-venäjä kaunokirjallisten tekstien rinnakkaiskorpus	R	Korp	B
parole-fi	Suomen kielen Parole-korpus	R	CSC	C
parole-sv	Ruotsin kielen Parole-korpuksen Helsinki-Korp-versio	R	Korp	C
ParRus2016	ParRus 2016, venäjä-suomi kaunokirjallisten tekstien rinnakkaiskorpus	R	Korp	B
psychlingdesc	Psykolingvistiset tunnusluvut	P		B
quantlang-uhlcs	Kvantifiointi suomessa ja keskisen Volgan ja Kaman alueella puhuttavissa kielissä (UHLCS)	R	CSC	C
Reittidemo-korp	Reitti A-siipeen -korpuksen Helsinki-Korp-versio	P	Korp	A
Reittidemo-lat	Reitti A-siipeen -korpuksen Helsinki-LAT-versio	P	LAT	A
rel-freq-fi-lit	Relative frequencies of part-of-speech n-grams in native and translated Finnish literary prose	P		C
Sananparsikokoelma	Sananparsikokoelma, Kielipankki-versio	P	Korp	B
ScotsCorr	Helsinki Corpus of Scottish Correspondence (1540-1750)	A	Korp	A
semfinlex-asd-2018-vrt	Eduskunnan alkuperäissäädöksiä vuosilta 1734-2018, latausversio	P		A
semfinlex-asd-fi-2018-korp	Eduskunnan alkuperäissäädöksiä suomeksi vuosilta 1734-2018, korp-versio	P	Korp	A
semfinlex-asd-sv-2018-korp	Eduskunnan alkuperäissäädöksiä ruotsiksi vuosilta 1920-2018, korp-versio; Ursprungliga författningar av Riksdagen på svenska från 1920-2018, korp-versionen	P	Korp	A
semfinlex-kko-kho-2018-vrt	Korkeimman oikeuden ja Korkeimman hallinto-oikeuden päätöksiä vuosilta 1980-2018, latausversio	P		A
semfinlex-kko-kho-fi-2018-korp	Korkeimman oikeuden ja Korkeimman hallinto-oikeuden päätöksiä suomeksi vuosilta 1980-2018, korp-versio	P	Korp	A
semfinlex-kko-kho-sv-2018-korp	Korkeimman oikeuden ja Korkeimman hallinto-oikeuden päätöksiä ruotsiksi vuosilta 1980-2018, korp-versio; Avgöranden av Högsta domstolen och Högsta förvaltningsdomstolen på svenska 1980-2018, korp-versionen	P	Korp	A
semfinlex-kko-kho-sv-2018-vrt	Korkeimman oikeuden ja Korkeimman hallinto-oikeuden päätöksiä vuosilta 1980-2018 ruotsiksi, latausversio	P		A
semfinlex-par-2018-korp	Eduskunnan alkuperäissäädöksiä vuosilta 1920-2018, korp-versio (rinnakkaiskorpus)	P	Korp	A
seuruu	Murteenseuruukorpus	R	LAT	B
sfnet	SFNET-keskusteluryhmäkorpus	A		C
sinebrychoff-fi	Paul Sinebrychoffin kirjekorpuksen Kielipankki-version suomenkielinen osakorpus	P	Korp	B
sinebrychoff-sv	Paul Sinebrychoffin kirjekorpuksen Kielipankki-version ruotsinkielinen osakorpus	P	Korp	B
SKK	Suomalaisen kirjallisuuden klassikoita, Kielipankki-versio	P	Korp	B
SKN-korp	Suomen kielen näytteitä -korpuksen Helsinki-Korp-versio	P	Korp	B
SKN-lat	Suomen kielen näytteitä -korpuksen Helsinki-LAT-versio	P	LAT	B
SKVR	Suomen kansan vanhat runot	P	Korp	B
SNC1	Kansalliskirjaston sanoma- ja aikakauslehtikokoelman ruotsinkieliset n-grammit 1770-1940	P		A
snowfrog-dl	ProGram-aineisto, lumiukko- ja sammakkotarinat, ladattava versio	P		B
SSDC-2016	Koltansaamen dokumentaatiokorpus (2016)	R	LAT	B
stt-fi-1992-2018-conllu-src	STT:n uutisarkisto 1992-2018, CoNLL-U, lähdemateriaali	R		A
stt-fi-1992-2018-src	STT:n uutisarkisto 1992-2018, lähdemateriaali	R		A
Suomi24-2001-2014-dl	Suomi 24 2001-2014 (näyte) -korpuksen ladattava versio	A		A
Suomi24-2001-2014-korp	Suomi 24 2001-2014 (näyte) -korpuksen Helsinki-Korp-versio	P	Korp	A
Suomi24-2001-2015	Suomi 24 2001-2015 (näyte) -korpus	A		A
suomi24-2001-2017-korp-v1-1	Suomi24 virkkeet -korpus 2001-2017, Korp-versio 1.1	P	Korp	A
suomi24-2001-2017-vrt-v1-1	Suomi24 -korpus 2001-2017, VRT-versio 1.1	A		A
Suomi24-2015H1	Suomi 24 -korpus (2015H1)	A		A
Suomi24-2016H2	Suomi 24 -korpus (2016H2)	A		A
Suomi24-korp-2016H2	Suomi 24 virkkeet -korpus (2016H2)	P	Korp	A
Suomi24-virkkeet-2015H2	Suomi 24 virkkeet -korpus (2015H2)	A	Korp	A
susanne-uhlcs	Englannin kielen SUSANNE-korpus (UHLCS)	R	CSC	C
taaf	Triangle of Aspects Analysis of Frozen	A		C
taajuussanasto9996	Suomen sanomalehtikielen taajuussanasto	P		C
topling-en	TOPLING - toisen kielen oppimisen polut, englanninkielinen osakorpus	R	Korp	B
topling-fi	TOPLING - toisen kielen oppimisen polut, suomenkielinen osakorpus	R	Korp	B
topling-sv	TOPLING - toisen kielen oppimisen polut, ruotsinkielinen osakorpus	R	Korp	B
TSK-35	Työsuojelusanasto (TSK 35)	P		C
TSK-49	Kelan terminologinen sanasto - Etuuksiin liittyvät käsitteet, 4. laitos (TSK 49)	P		C
ume-saami-uhlcs	Uumajansaamen korpus (UHLCS)	R	CSC	C
uralic-uhlcs	Uralilaisia, turkkilaisia, indo-iranilaisia ja mongolikieliä sekä Siperian ja Kaukasian kieliä (UHLCS)	R	CSC	C
Uudenvuodenpuheet	Tasavallan presidenttien uudenvuodenpuheet	P	Korp	B
uzbek-uhlcs	Uzbekki-englanti sanakirja (UHLCS)	R	CSC	C
VKS	Vanhan kirjasuomen korpus	P	Korp	A
VNSK	Varhaisnykysuomen korpus, Kielipankki-versio	P	Korp	C
wanca2016-korp	Wanca 2016, Korp-versio	P	Korp	A
wanca2016-src	Wanca 2016, lähdemateriaali	P		B
wanca2016-vrt	Wanca 2016, VRT	P		A
wikipedia-fi-2017-src	Suomenkielinen Wikipedia 2017, lähdemateriaali	P		A
wordlists-uhlcs	Sanaluettelokorpus (UHLCS)	R	CSC	C
wordnet	WordNet, englannin kielen sanastotietokanta, Kielipankki-versio	P	CSC	C
ylenews-fi-2011-2018-korp	Ylen suomenkielinen uutisarkisto 2011-2018, Korp	A	Korp	A
ylenews-fi-2011-2018-s-korp	Ylen suomenkielinen uutisarkisto 2011-2018, sekoitettu, Korp	P	Korp	A
ylenews-fi-2011-2018-s-vrt	Ylen suomenkielinen uutisarkisto 2011-2018, sekoitettu, VRT	P		A
ylenews-fi-2011-2018-selko-korp	Ylen suomenkielisen uutisarkiston selkouutiset 2011-2018, Korp	A	Korp	A
ylenews-fi-2011-2018-selko-s-korp	Ylen suomenkielisen uutisarkiston selkouutiset 2011-2018, sekoitettu, Korp	P	Korp	A
ylenews-fi-2011-2018-selko-s-vrt	Ylen suomenkielisen uutisarkiston selkouutiset 2011-2018, sekoitettu, VRT	P		A
ylenews-fi-2011-2018-selko-src	Ylen suomenkielisen uutisarkiston selkouutiset 2011-2018, lähdemateriaali	A		A
ylenews-fi-2011-2018-selko-vrt	Ylen suomenkielisen uutisarkiston selkouutiset 2011-2018, VRT	A		A
ylenews-fi-2011-2018-src	Ylen suomenkielinen uutisarkisto 2011-2018, lähdeaineisto	A		A
ylenews-fi-2011-2018-vrt	Ylen suomenkielinen uutisarkisto 2011-2018, VRT	A		A
ylenews-sv-2012-2018-korp	Ylen ruotsinkielinen uutisarkisto 2012-2018, Korp	A	Korp	A
ylenews-sv-2012-2018-s-korp	Ylen ruotsinkielinen uutisarkisto 2012-2018, sekoitettu, Korp	P	Korp	A
ylenews-sv-2012-2018-s-vrt	Ylen ruotsinkielinen uutisarkisto 2012-2018, sekoitettu, VRT	P		A
ylenews-sv-2012-2018-src	Yle svenska webbartiklar 2012-2018, källmaterial	A		A
ylenews-sv-2012-2018-vrt	Ylen ruotsinkielinen uutisarkisto 2012-2018, VRT	A		A
Ylilauta	Ylilauta-korpus	P	Korp	A
Ylilauta-dl	Ylilauta-korpuksen ladattava versio	P		A
ylioppilasaineet	1994, 1999 ja 2004 äidinkielen ylioppilaskokeiden esseitä sisältävä korpus	R	Korp	B

(table id=23)


acquis-ftb3-dl	JRC-Acquis-monikielisen rinnakkaiskorpuksen suomenkielinen osakorpus, ladattava versio	P			VRT	a
aikakauslehtikorpus	Kotuksen aikakauslehtikorpus		c	c	b VRT	a Korp		Elisa Stenvall
Akkala	Puhutun ja kirjoitetun akkalansaamen korpus		a	a	a VRT	a Korp		Michael Riessler
amph-korp	Ajatella, miettiä, pohtia, harkita -korpuksen Helsinki-Korp-versio		c	c TXT	a VRT	a Korp		Antti Arppe
DIALUKI	DIALUKI - toisen ja vieraan kielen lukemisen ja kirjoittamisen diagnosointi	R	c	a TXT	a VRT	a Korp		Ari Huhta
dma-v2		P	c		VRT	a Korp
dma-wn-src	Digitaalisen muoto-opin arkiston sanaliput, lähdemateriaali	R	c		a PDF	a Lataus
DSPCON2013-2015-korp	Aalto-yliopiston DSP-kurssin keskustelukorpus 2013-2015, Helsinki-Korp-version		c	c TXT	a VRT	a Korp		Mikko Kurimo, Seppo Enarvi
DSPCON2013-2015-lat	Aalto-yliopiston DSP-kurssin keskustelukorpus 2013-, Helsinki LAT -versio		c	a TXT, WAV, TextGrid	a VRT	a Lat		Mikko Kurimo, Seppo Enarvi
eduskunta-v2-dl			a	a MP4, WAV, TXT	a WAV, ELAN, VRT	a Lataus
eduskunta-v2-korp			a	c TXT	a WAV, ELAN, VRT	a Korp
enets			a	a MP4, WAV, ELAN	a MP4, WAV, ELAN	a Lataus, LAT, Korp		Olesya Khanina
english-uhlcs-korp	Englannin korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
ERME	ERME Ersän ja mokšan laajennettu korpus		c	b XML	b VRT	a Korp		Jack Rueter	muuta
Ersä	Ersän puhekielen korpus		c	c	a ELAN	a Lat		Riho Grünthal
erzya-moksha-komi-uhlcs-korp	Ersän ja mokšan kirjallisuutta ja julkaisuja ja komisyrjäänin kirjallisuutta (UHLCS), Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
erzya-moksha-uhlcs-korp	Ersän ja mokšan sanaluettelokorpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
estonian1-uhlcs-korp	Viron korpus 1:n (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
estonian2-uhlcs-korp	Viron korpus 2:n (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
fedidi	Murteita käsittelevien fennististen väitöskirjojen lähdetietokanta		a	c TXT	c TXT	a Lataus
finears	Suomalaisen elektroakustisen musiikin haastatteluaineisto		a	b WAV,DOCX	b WAV,TXT	a Lataus		Mikko Ojanen	https://blogs.helsinki.fi/finnish-electroacoustic-resources/
FinIntas	The FinINTAS Corpus of Spontaneous and Read-aloud Finnish Speech		a	c wav + Praat	a ELAN	a Lat		Mietta Lennes
FINKA	Raja-Karjalan korpus	P	c	a VRT	a VRT	a Korp		Marjatta Palander
finlangus			a					Nana Lehtinen
finnish-bibles-uhlcs-korp	Suomen korpus (raamatut) (UHLCS), Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
finnish-literature-uhlcs-korp	Suomen korpus (kirjallisuutta) (UHLCS), Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
FinnTreeBank1-korp	Suomen kielen puupankki 1:n Helsinki-Korp-versio	P	c	c TXT	a VRT	a Korp
ha-korp	Ha-kieliaineiston Helsinki-Korp-versio	P	c	c TXT	a VRT	a Korp		Lotta Aunio
hanty-uhlcs-korp	Hantin korpus (pohjoishantin aineistot ja käännökset) (UHLCS), Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
HC	Helsinki Corpus of English Texts (1991)		c	c XML	b VRT	a Korp		Terttu Nevalainen, Jukka Tyrkkö	CoRD,OTA, muuta
helpuhe-2010txt	Helsingin puhekielen pitkittäiskorpus (2010-luvun tekstimuotoinen aineisto)		c	c TextGrid	a VRT	a Korp		Hanna Lappalainen
helpuhe-v2-korp	Helsingin puhekielen pitkittäiskorpuksen (1970, 1990, 2010) Helsinki Korp versio 2	R	c	a	a	a Lat		Hanna Lappalainen
helpuhe-v2-lat	Helsingin puhekielen pitkittäiskorpuksen (1970, 1990, 2010) Helsinki LAT versio 2	R	c	c TextGrid	b ELAN	a Lat	B	Hanna Lappalainen
HS	Helsingin Sanomien arkisto -korpus		c	a	a VRT	a Korp		Jarkko Rahkonen
ingrian-uhlcs-korp	Inkeroisen korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
Inkerin murteet	Inkerin murteiden korpus		a	a WORD-DOC, MP3, WAV	a VRT, ELAN	a Lat		Marjatta Palander	www, muuta
Kiltinänsaame	Kirjoitetun kiltinänsaamen korpus	P	a	a	a VRT	b Korp		Mikael Riessler
Kiltinänsaame (UHLCS)	Kiltinänsaamen korpus (UHLCS)		c	c PDF	b PDF	a		Pirkko Suihkonen
komi-dl			a	b MP4, WAV, ELAN	a MP4, WAV, ELAN	a Lataus, LAT		Niko Partanen
komi-uhlcs-korp	Komisyrjäänin korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
kra-korp	Keskiranskan korpuksen Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
latin-uhlcs-korp	Latinan korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
long-second	Long Second -korpus: Suomen kielen kehittyminen alakoulun valmistavalla luokalla		b	c ELAN, MP4	a VRT, ELAN	a Lat, Korp		Maria Ahlholm
Lönnrot	Elias Lönnrotin kirjeenvaihto	P	c	a XML	a VRT	a Korp		Kirsi Keravuori	www
lude-uhlcs-korp	Lyydin korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
montint-src	Haastatteluaineisto Yves Montand Neuvostoliitossa, lähdemateriaali		a	c PDF	c PDF	a Lataus		Mila Oiva
nenets-uhlcs-korp	Nenetsin korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
Nganasan	Nganasanin kielen puhekorpus		c	a ELAN	a VRT, ELAN	a Lat		Larisa Leisiö
nlfcl	Kansalliskirjaston klassikkokirjasto - Kielipankki-versio		a		b VRT	a Korp
nmk-korp	Nimimaiseman muutos -korpuksen Helsinki Korp -versio	A	c	a	a VRT	a Korp		Elisa Stenvall
nmk-lat	Nimimaiseman muutos -korpuksen Helsinki LAT -versio	A	c	a	a ELAN	a LAT		Elisa Stenvall
NorDiga	Nordican digitaalinen arkisto		a	a	a VRT	a Korp		Jan Lindström	www
north-saami-literature-uhlcs-korp	Pohjoissaamen korpus (kirjallisuutta) (UHLCS), Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
north-saami-report-uhlcs-korp	Pohjoissaamen korpuksen (Sámikultuvradoaibmagotti smiehttamush) (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
nzadi			a	a WAV, PDF, TXT	a WAV, PDF, TXT	a Lataus, LAT, Korp		Thera Marie Crane
ona	Oulun nauhoitearkisto	R	c	b	a ELAN	a Lat		Niina Kunnas
Opus ECB	Opus EKP -korpus	P		a	a	a		Jörg Tiedemann
Opus EU	Opus EU -korpus	P		a	a	a		Jörg Tiedemann
Opus Localization	Opus lokalisointi -korpus			a	a	a		Jörg Tiedemann
Opus Subtitles	Opus tekstitys -korpus	P		a	a	a		Jörg Tiedemann
oracc-2019-05-vrt	Open Richly Annotated Cuneiform Corpus, ladattava versio, toukokuu 2019	P	a	c VRT	a VRT	a Lataus		Heidi Jauhiainen
oulu-korp	Oulun korpuksen Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
pabivus-s-korp	Raamatun jakeita uralilaisille kielille, rinnakkaiskorpus, sekoitettu, Korp	P	a	c TXT	a VRT	a Korp		Jack Rueter
parole-fi-korp	Suomen kielen Parole-korpuksen Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
PERSO	PERSO Databases for Finnish Speech Synthesis		c	c TXT, WAV	a ELAN	a Lat		Martti Vainio, Heini Kallio
ProoF	ProoF - Maahanmuuttajien suomen kielen ääntäminen		a	a wav + Praat	a ELAN	a Lat		Mietta Lennes
Prosodiakorpus	Suomen kielen prosodian variaation korpus		a	a	a ELAN	a Lat		Tommi Kurki, Tommi Nieminen
quantlang-uhlcs-korp	Kvantifiointi suomessa ja keskisen Volgan ja Kaman alueella puhuttavissa kielissä (UHLCS), Helsinki-Korp-versio		c	c PDF	a VRT	a Korp
Saamen kielen korpus	Puhutun saamen kielen korpus (Giellagas)		c	c	a ELAN	b Lat		Marko Jouste
ScotsCorr-vrt	Helsinki Corpus of Scottish Correspondence (1540-1750), VRT	A	c	XML	VRT			Anneli Meurman-Solin
sfnet-korp	SFNET-keskusteluryhmäkorpuksen Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
SignWiki			a	a	a ELAN	a Lat		Leena Savolainen	www
stat-fi-en	Tilastokeskuksen suomi-englanti-käännösmuisti			c TMX	b TMX	a Lataus
stat-fi-sv	Tilastokeskuksen suomi-ruotsi-käännösmuisti			c TMX	b TMX	a Lataus
stt-fi-1992-2018-korp	STT:n uutisarkisto 1992-2018, Kielipankin Korp-versio	P	c		a VRT	a Korp		Olli Viitala
sus-fieldwork	Suomalais-Ugrilaisen Seuran kenttätyökorpus	P	c	a	a VRT	a Korp		Jack Rueter
Suvi	Suvi-verkkosanakirja		a	a	a ELAN	a Lat		Leena Savolainen	www
TAITO	TAITO-hankkeen kirjalliset ja suulliset aineistot		a	a TXT	a ELAN	a Lat		Marjo Vesalainen	www
testipiste	Testipisteaineisto		c		a VRT	a Korp		Janne Laitinen
Turjansaame	Puhutun ja kirjoitetun turjansaamen korpus	P	a	a TXT	a VRT	a Korp		Michael Riessler
ume-saami-uhlcs-korp	Uumajansaamen korpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
uralic-uhlcs-korp	Uralilaisia, turkkilaisia, indo-iranilaisia ja mongolikieliä sekä Siperian ja Kaukasian kieliä (UHLCS), Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
uzbek-uhlcs-korp	Uzbekki-englanti sanakirjan (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
VVKS	Virtuaalinen vanha kirjasuomi (VVKS) -kokoelman Kielipankin Korp-versio	P	c	a	a VRT	a Korp		Mari Siiroinen
wikipedia-fi-2017-korp	Suomenkielinen Wikipedia 2017, Korp	P	c	c VRT	b VRT	a Korp		Tatu Huovilainen
wordlists-uhlcs-korp	Sanaluettelokorpuksen (UHLCS) Helsinki-Korp-versio		c	c TXT	a VRT	a Korp
Yle-subtitle	Ylen ruututekstikorpus		a	a TXT	a VRT	a Korp		Jukka Mäkisalo
ylenews-fi-2019-2020-selko-src	Ylen suomenkielisen uutisarkiston selkouutiset 2019-2020, lähdemateriaali	A	c	TXT	JSON
ylenews-fi-2019-2020-src	Ylen suomenkielinen uutisarkisto 2019-2020, lähdeaineisto	A	c	TXT	JSON
ylenews-sv-2019-2020-src	Ylen ruotsinkielinen uutisarkisto 2019-2020, lähdeaineisto	A	c	TXT	JSON

CSC:n Tutkijan käyttöliittymä

Tutkijan käyttöliittymä eli SUI (Scientist’s User Interface) on poistettu käytöstä.

Korvaavat palvelut:

Kielipankin latauspalvelu
- Lataa omalle koneelle aineistoja, joiden lisenssi sallii sen
- Kielipankkiin talletetut aineistot
My CSC
- Tarkastele ja muokkaa käyttäjätietojasi
- Ohjeet

Hae Kielipankki-portaalista:

Kuukauden tutkija: Mila Oiva

Tulevat tapahtumat

Yhteystiedot

Kielipankin tekninen ylläpito:
kielipankki (ät) csc.fi
p. 09 4572001

Aineistoihin ja muuhun sisältöön liittyvät asiat:
fin-clarin (ät) helsinki.fi
p. 029 4144036 / 029 4129317

Katselmointiprosessi

Viestipohjia

Kaikki PRIV-aineistot

Katselmointipyyntö opiskelijan ohjaajalle

Katselmointipyyntö opiskelijan ohjaajalle

Opiskelijan lähettämän hakemuksen katselmointi (koskee pelkästään +PRIV-aineistoja, joissa henkilötietoja)

Administration tasks and responsibilities

Corpus data publication for download at the Language Bank

Introduction

Name, short name and version

The package

The license

README.txt

Descriptive metadata

Checklist

Korp version vs. download package

Language

Introduction

Name, short name and version

The package

The license

Manual

Descriptive metadata

Significant updates

Bug fixes

Example

Checklist

Portaalin hakutoiminnon hallinnointiohjeet

Miten haku käytännössä toimii?

Hakujen tilastointi

Sivujen piilottaminen hakutuloksista

Corpus pipeline description (content for the site Corpus Production Process)

Phase 0: Finding resources

Phase 1: Identifying corpora

Phase 2: Metadata

Phase 3: Agreements

3a. Define the license conditions

3b. Prepare the deposition agreement

Phase 5-1: Resource conversion for Download

Phase 5-2: Resource conversion for Korp

Phase 5-3: Resource conversion for LAT

Phase 5-4: Resource conversion for Taito

Phase 5-5: Resource conversion for Sanat

Phase 6: URN for Publication and internal records

Phase 7: Information dissemination on publication and use

Phase 8: Updating resources

Aineistokäyttöliittymät

Aineistojen käsittely

Development

Data management

Task management

Cooperation

Technical Documentation

Miscellaneous

A guide for writing tickets in JIRA

Parts of a Jira issue

(table id=22)

(table id=23)

CSC:n Tutkijan käyttöliittymä

Uutisia

Tulevat tapahtumat

Helsinki Digital Hu­man­it­ies Hack­a­thon 19.–28.5.2021

Yhteystiedot

Helsinki Digital Humanities Hackathon 19.–28.5.2021