Keelekorpus: erinevus redaktsioonide vahel

Eemaldatud sisu Lisatud sisu

Reasisene

Redaktsioon: 14. jaanuar 2016, kell 17:07

Korpuseks nimetatakse lingvistikas valitud, digitaliseeritud ja teatud reeglite järgi töödeldud tekstide kogumit. Korpusi kasutatakse keele uurimise alusena statistilises analüüsis, statistiliste hüpoteeside kontrollimiseks ja keelereeglite kindlakstegemiseks.

Korpus võib sisaldada ühe keele (ühekeelne korpus) või mitme keele (mitmekeeline korpus) tekste. Mitmekeelelised korpused, mis olid loodud keelte erinevate võrdlemiseks, nimetatakse paralleelseteks korpusteks.

Korpuste tähtsuse tõstmiseks uuringute jaoks kasutatakse märgendamist (annotatsiooni)^[1], sest märgendamata tekstikogude (tekstoteekide) rakendamisvõimalused on piiratud. Analüüsitava materjali maht on tavaliselt suur ja tasakaalustatud kujul on rohkem võimalusi objektiivsete uurimistulemuste saavutamiseks.

Eristatakse mitu erinevat märgendamise tehnikat^[2]:

Tehniline - eraldatakse tekstiosad: pealkirjad, laused, lõigud, fraasid mõnel juhtudel nähtused, mis võrreldes tavaliste sõnadega võivad käituda väga erinevalt (lühendid, numbrid).
Ortograafiline – määratakse kindlaks mõne märge funktsioon. Näitena võib tuua punkti funktsioon (lause lõpus, lühendites), suurtähe funktsioon (pärisnimi, lause algus, suurtest tähtedest koosnev lühend).
Semantiline – märgendatakse semantilisi suhteid või tähenduslikku kuuluvust.
Diskursuslik – lause tasandist kõrgemate nähtuste märgendamine.
Morfoloogiline – märgendatakse iga sõna sõnaliik, algvorm ja info grammatiliste kategooriate kohta.
Süntaktiline – igale sõnale lauses on lisatud märgend tema funktsiooni kohta.

Kõnekorpustes kasutatakse lisaks prosoodilist ja foneetilist märgendamist. Prosoodiline on vajalik rõhu, intonatsiooni, pauside eristamiseks, foneetiline aga suulise kõne häälduse märkimiseks.

Kõige levinumad maailmas on morfoloogiline ja süntaktiline märgendamine. Tüüpiliselt on süntaktiliselt märgendatud korpused ka morfoloogiliselt märgendatud.

Märgendamine algab teksti jagamisest lõikudeks ja lauseteks (või mingiteks teisteks üksusteks). Seda tehakse tavaliselt täisautomaatselt, kuid märgendada saab ka käsitsi (arvutipoolse interaktiivse abiga) või kombineerides neid kahte meetodit^[3].

Ajalugu

Eesti kõige vanim kirjakeele korpus ulatub 1889. aastasse ja selle uurimisperiood annab võimaluse jälgida eesti keele arengut umbes 650 aasta vältel.

Edasi saab korpuste ajaloos eristada kolme põlvkonda. Esimese põlvkonna korpuste koostamine oli piiratud arvutimälu ressursiga. Olulist osa mängis tekstide valik ja nende kasutusvaldkond. Näiteks 1980. aastate kirjaliku eesti keele korpus koosnes täiskasvanute jaoks Eestis ilmunud tekstidest perioodis 1984-1987. Viimase algallikad olid paberkandjatel.

Teise põlvkonda kuuluvad koondkorpus ja selle allosa tasakaalus korpus. Koondkorpuse puhul tekstide valikul piiranguid ei rakendata, suurt osakaalu omab ajalehekeel ja korpus koosneb umbes 250 miljonist sõnast. Tasakaalus korpus on jagatud ilukirjanduse, ajakirjanduse ja teaduse tekstide vahel. Iga korpuse koostisosa sisaldab umbes 5 miljonit sõna. Tasakaalus korpuse kasutajaliides on sõltumatu koondkorpuse kasutajaliidesest, mis välistab lause sattumist vastusesse mitu korda.

Kolmanda põlvkonna moodustavad veebist võetud tekstid. Korpused on väga suured ja nende sisu on korrapäratu. Sageli on valitud tekstid spontaanse keelekasutusega: foorumid, blogid, kommentaarid ja muud sarnased.

Tuntumad korpused

Eesti kirjakeel korpus 1890-1990
Tasakaalus korpus
Eesti keele koondkorpus
Meditsiinikeele korpus
Morfoloogiliselt ühestatud korpus
Sõltuvussüntaktiliselt ühestatud korpus
Ühestatud sõnatähendustega korpus
Inglise-eesti ja eesti-inglise paralleelkorpus
Vana kirjakeele korpus^[4]
Eesti murrete korpus
Eesti kõnekeele korpus
etTenTen kolmanda põlvkonna korpus

Korpuste kasutamine

Tartu Ülikooli eesti kirjaliku keele korpused on suuremas osas alla laaditavad. Nende uurimiseks saab kasutada enda kirjutatud või vabavaralisi programme. Lisaks saab esitada korpustele päringuid kasutajaliideste kaudu.

Keeleveebi portaali^[5] on koondatud paljud eesti tänapäeva kirjakeele korpused, mis on morfoloogiliselt märgendatud. Seal leitav tasakaalus korpus on lisaks süntaktiliselt ja semantiliselt märgendatud. Tasakaalus korpuse baasil on koostatud sagedusloendeid, mis lubavad arvutada sagedasemad sõnad, sõnavormid, sõnaliigid, käänded ja võrrelda sagedusi näiteks teaduse ja ilukirjanduse keelte vahel.

Keeleveebi kasutamist õpetav video loodud Tartu Ülikoolis "Multimeedia" aine raames^[6].

Vaata ka

Viited

↑ Keelekorpused (vene keeles) Корпус текстов.
↑ Mis on arvutilingvistika? lk. 35-36.
↑ Eesti keele tehnoloogilised ressursid ja vahendid Kadri Muischnek, Heili Orav, Heiki-Jaan Kaalep, Haldur Õim, Tallinn 2003.
↑ Vana kirjakeele korpus.
↑ Keeleveebi portaal.
↑ Keeleveebi portaali kasutamist õpetav video.

Välislingid

[korpusedVene-1] Keelekorpused (vene keeles) Корпус текстов.

[märgendamine-2] Mis on arvutilingvistika? lk. 35-36.

[märgendamineJatk-3] Eesti keele tehnoloogilised ressursid ja vahendid Kadri Muischnek, Heili Orav, Heiki-Jaan Kaalep, Haldur Õim, Tallinn 2003.

[vanaKirjakeel-4] Vana kirjakeele korpus.

[keeleveeb-5] Keeleveebi portaal.

[keeleveebKasut-6] Keeleveebi portaali kasutamist õpetav video.

[1]

[2]

[3]

[4]

[5]

[6]

@@ 1. rida: / 1. rida: @@
-'''Korpuseks''' nimetatakse [[lingvistika]]s valitud, digitaliseeritud ja teatud reeglite järgi töödeldud [[tekstide kogum]]it. Korpusi kasutatakse keele uurimise alusena [[Statistiline analüüs|statistilises analüüsis]], statistiliste hüpoteeside kontrollimiseks ja keelereeglite kindlaks tegemiseks.
+'''Korpuseks''' nimetatakse [[lingvistika]]s valitud, digitaliseeritud ja teatud reeglite järgi töödeldud [[tekstide kogum]]it. Korpusi kasutatakse keele uurimise alusena [[Statistiline analüüs|statistilises analüüsis]], statistiliste hüpoteeside kontrollimiseks ja keelereeglite kindlakstegemiseks.
-Korpus võib sisaldada ühe keele (ühekeelne korpus) või mitme keele (mitmekeeline korpus) tekste.  Mitme keelelised korpused, mis olid loodud keelte võrdlemiseks, nimetatakse [[Paralleelne korpus|paralleelseteks korpusteks]].
+Korpus võib sisaldada ühe keele (ühekeelne korpus) või mitme keele (mitmekeeline korpus) tekste.  Mitmekeelelised korpused, mis olid loodud keelte erinevate võrdlemiseks, nimetatakse [[Paralleelne korpus|paralleelseteks korpusteks]].
-Korpuste tähtsuse tõstmiseks uuringute jaoks, kasutatakse [[Märgendamine|märgendamist]] (annotatsiooni)<ref name="korpusedVene"> Keelekorpused (vene keeles)  [https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D0%BF%D1%83%D1%81_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2''Корпус текстов''.]</ref>, sest märgendamata tekstikogude (tekstoteegide) rakendamisvõimalused on piiratud. Analüüsitava materjali maht on tavaliselt suur ja tasakaalustatud kujul on rohkem võimalusi objektiivsete uurimistulemuste saavutamiseks.
+Korpuste tähtsuse tõstmiseks uuringute jaoks kasutatakse [[Märgendamine|märgendamist]] (annotatsiooni)<ref name="korpusedVene"> Keelekorpused (vene keeles)  [https://ru.wikipedia.org/wiki/%D0%9A%D0%BE%D1%80%D0%BF%D1%83%D1%81_%D1%82%D0%B5%D0%BA%D1%81%D1%82%D0%BE%D0%B2''Корпус текстов''.]</ref>, sest märgendamata tekstikogude (tekstoteekide) rakendamisvõimalused on piiratud. Analüüsitava materjali maht on tavaliselt suur ja tasakaalustatud kujul on rohkem võimalusi objektiivsete uurimistulemuste saavutamiseks.
 Eristatakse mitu erinevat märgendamise tehnikat<ref name="märgendamine"> Mis on arvutilingvistika? [http://www.emakeeleselts.ee/omakeel/2004_1/Ariva.pdf''lk. 35-36''.]</ref>:
-* Tehniline - eraldatakse [[Tekstiosa|tekstiosad]]: pealkirjad, laused, lõigud, fraasid mõnel juhtudel nähtused, mis võrreldes tavaliste sõnadega võivad käituda väga erinevalt (lühendid, numbrid);
+* Tehniline - eraldatakse [[Tekstiosa|tekstiosad]]: pealkirjad, laused, lõigud, fraasid mõnel juhtudel nähtused, mis võrreldes tavaliste sõnadega võivad käituda väga erinevalt (lühendid, numbrid).
-* Ortograafiline – määratakse kindlaks mõne märge funktsioon. Näitena võib tuua punkti funktsioon (lause lõpus, lühendites), suurtähe funktsioon (pärisnimi, lause algus, suurtest tähtedest koosnev lühend);
+* Ortograafiline – määratakse kindlaks mõne märge funktsioon. Näitena võib tuua punkti funktsioon (lause lõpus, lühendites), suurtähe funktsioon (pärisnimi, lause algus, suurtest tähtedest koosnev lühend).
-* Semantiline – märgendatakse [[Semantika|semantilisi]] suhteid või tähenduslikku kuuluvust;
+* Semantiline – märgendatakse [[Semantika|semantilisi]] suhteid või tähenduslikku kuuluvust.
-* Diskursuslik – lause tasandist kõrgemate nähtuste märgendamine;
+* Diskursuslik – lause tasandist kõrgemate nähtuste märgendamine.
-* Morfoloogiline – märgendatakse iga sõna sõnaliik, [[Algvorm|algvorm]] ja info grammatiliste kategooriate kohta;
+* Morfoloogiline – märgendatakse iga sõna sõnaliik, [[Algvorm|algvorm]] ja info grammatiliste kategooriate kohta.
-* Süntaktiline – igale sõnale lauses on lisatud märgend tema funktsiooni kohta;
+* Süntaktiline – igale sõnale lauses on lisatud märgend tema funktsiooni kohta.
-Kõne korpustes kasutatakse lisaks [[Prosoodia|prosoodilist]] ja [[Foneetika|foneetilist]] märgendamist. Prosoodiline on vajalik rõhu, intonatsiooni, pauside eristamiseks. Foneetiline aga suulise kõne häälduse märkimiseks.
+Kõnekorpustes kasutatakse lisaks [[Prosoodia|prosoodilist]] ja [[Foneetika|foneetilist]] märgendamist. Prosoodiline on vajalik rõhu, intonatsiooni, pauside eristamiseks, foneetiline aga suulise kõne häälduse märkimiseks.
-Kõige levinumad maailmas on morfoloogiline ja [[Süntaktika|süntaktiline]] märgendamine. Tüüpiliselt süntaktiliselt märgendatud korpused on ka morfoloogiliselt märgendatud.
+Kõige levinumad maailmas on morfoloogiline ja [[Süntaktika|süntaktiline]] märgendamine. Tüüpiliselt on süntaktiliselt märgendatud korpused ka morfoloogiliselt märgendatud.
-Märgendamine algab teksti jagamisest lõikudeks ja lauseteks (või mingiteks teisteks üksusteks). Seda tehakse tavaliselt täisautomaatselt, kuid märgendada saab ka käsitsi (arvuti interaktiivse abiga) või kombineerides neid kahte meetodit<ref name="märgendamineJatk"> Eesti keele tehnoloogilised ressursid ja vahendid [http://www.hm.ee/index.php?popup=download&id=3993''Kadri Muischnek, Heili Orav, Heiki-Jaan Kaalep, Haldur Õim, Tallinn 2003''.]</ref>.
+Märgendamine algab teksti jagamisest lõikudeks ja lauseteks (või mingiteks teisteks üksusteks). Seda tehakse tavaliselt täisautomaatselt, kuid märgendada saab ka käsitsi (arvutipoolse interaktiivse abiga) või kombineerides neid kahte meetodit<ref name="märgendamineJatk"> Eesti keele tehnoloogilised ressursid ja vahendid [http://www.hm.ee/index.php?popup=download&id=3993''Kadri Muischnek, Heili Orav, Heiki-Jaan Kaalep, Haldur Õim, Tallinn 2003''.]</ref>.
 ==Ajalugu==
-Eesti kõige vanim kirjakeele korpus ulatub 1889.aastasse ja selle uurimisperiood annab võimaluse jälgida eesti keele arengut umbes 650 aasta vältel.
+Eesti kõige vanim kirjakeele korpus ulatub 1889. aastasse ja selle uurimisperiood annab võimaluse jälgida eesti keele arengut umbes 650 aasta vältel.
-Edasi korpuste ajaloos saab eristada kolme põlvkonda. Esimese põlvkonna korpused olid piiratud arvutimälu ressursiga. Olulist osa mängis tekstide valik ja nende kasutusvaldkond. Näiteks 80ndate aastate kirjaliku eesti keele korpus koosnes täiskasvanute jaoks Eestis ilmunud tekstidest perioodis 1984-1987. Viimase algallikad olid paberkandjatel.
+Edasi saab korpuste ajaloos eristada kolme põlvkonda. Esimese põlvkonna korpuste koostamine oli piiratud arvutimälu ressursiga. Olulist osa mängis tekstide valik ja nende kasutusvaldkond. Näiteks 1980. aastate kirjaliku eesti keele korpus koosnes täiskasvanute jaoks Eestis ilmunud tekstidest perioodis 1984-1987. Viimase algallikad olid paberkandjatel.
-Teise põlvkonda kuuluvad koondkorpus ja selle allosa tasakaalus korpus. Koondkorpuse puhul tekstide valiku piiranguid ei rakendata, suure osakaalu omab ajalehekeel ja korpus koosneb umbes 250 miljonist sõnast.
+Teise põlvkonda kuuluvad koondkorpus ja selle allosa tasakaalus korpus. Koondkorpuse puhul tekstide valikul piiranguid ei rakendata, suurt osakaalu omab ajalehekeel ja korpus koosneb umbes 250 miljonist sõnast. Tasakaalus korpus on jagatud [[Ilukirjandus|ilukirjanduse]], [[Ajakirjandus|ajakirjanduse]] ja teaduse tekstide vahel. Iga korpuse koostisosa sisaldab umbes 5 miljonit sõna. Tasakaalus korpuse [[Kasutajaliides|kasutajaliides]] on sõltumatu koondkorpuse kasutajaliidesest, mis välistab lause sattumist vastusesse mitu korda.
+Kolmanda põlvkonna moodustavad veebist võetud tekstid. Korpused on väga suured ja nende sisu on korrapäratu. Sageli on valitud tekstid spontaanse keelekasutusega: foorumid, blogid, kommentaarid ja muud sarnased.
-Tasakaalus korpus on jagatud aga [[Ilukirjandus|ilukirjanduse]], [[Ajakirjandus|ajakirjanduse]] ja teaduse tekstide vahel. Iga korpuse koostisosa sisaldab umbes 5 miljonit sõna. Tasakaalus korpuse [[Kasutajaliides|kasutajaliides]] on sõltumatu koondkorpuse kasutajaliidesest, mis välistab lause sattumist vastusesse mitu korda.
-Kolmanda põlvkonna moodustavad veebist võetud tekstid. Korpused on väga suured ja nende sisu on korrapäratu. Tihti peale on võetud tekstid spontaanse keelekasutusega: foorumid, blogid, kommentaarid ja muud sarnased.
 ==Tuntumad korpused==
@@ 45. rida: / 44. rida: @@
 ==Korpuste kasutamine==
+Tartu Ülikooli eesti kirjaliku keele korpused on suuremas osas alla laaditavad. Nende uurimiseks saab kasutada enda kirjutatud või vabavaralisi programme. Lisaks saab esitada korpustele päringuid kasutajaliideste kaudu.
+Keeleveebi portaali<ref name="keeleveeb"> Keeleveebi [http://www.keeleveeb.ee/''portaal''.]</ref> on koondatud paljud eesti tänapäeva kirjakeele korpused, mis on morfoloogiliselt märgendatud. Seal leitav tasakaalus korpus on lisaks süntaktiliselt ja semantiliselt märgendatud. Tasakaalus korpuse baasil on koostatud sagedusloendeid, mis lubavad arvutada sagedasemad sõnad, sõnavormid, sõnaliigid, käänded ja võrrelda sagedusi näiteks teaduse ja ilukirjanduse keelte vahel.
+Keeleveebi kasutamist õpetav video loodud Tartu Ülikoolis "Multimeedia" aine raames<ref name="keeleveebKasut"> Keeleveebi portaali [http://www.uttv.ee/naita?id=21284''kasutamist õpetav video''.]</ref>.
-Tartu Ülikooli eesti kirjaliku keele korpused on suuremas osas alla laaditavad. Nende uurimiseks saab kasutada enda kirjutatud või vabavara programme. Lisaks saab esitada korpustele päringuid kasutajaliideste kaudu.
-Keeleveebi portaali<ref name="keeleveeb"> Keeleveebi [http://www.keeleveeb.ee/''portaal''.]</ref> on koondatud paljud eesti tänapäeva kirjakeele korpused, mis on morfoloogiliselt märgendatud. Leitav seal tasakaalus korpus on lisaks süntaktiliselt ja semantiliselt märgendatud. Tasakaalu korpuse baasil on koostatud sagedusloendeid, mis lubavad arvutada sagedasemad sõnad, sõnavormid, sõnaliigid, käänded ja võrrelda sagedusi näiteks teaduse ja ilukirjanduse keelte vahel.
-Keeleveebi kasutamist õpetav video loodud Tartu Ülikoolis „Multimeedia“ aine raames<ref name="keeleveebKasut"> Keeleveebi portaali [http://www.uttv.ee/naita?id=21284''kasutamist õpetav video''.]</ref>.
 == Vaata ka ==