Tutkimus
Tutkimus tarkoittaa järjestelmällistä toimintaa jonkin asian selvittämiseksi[1]. Tieteellinen tutkimus on tieteellisiä menetelmiä käyttävää tutkimusta, joka täyttää tieteellisten tutkimusten julkaisukriteerit. Ei-tieteellisiä tutkimuksia kutsutaan usein selvityksiksi.
![](http://upload.wikimedia.org/wikipedia/commons/thumb/b/b1/Odour_intens_scale.jpg/250px-Odour_intens_scale.jpg)
Tutkimusmenetelmät jaetaan määrällisiin eli kvantitatiivisiin ja laadullisiin eli kvalitatiivisiin. Määrällinen tutkimus pyrkii paljastamaan säännönmukaisuuksia, kun taas laadullinen tutkimus pyrkii paljastamaan tosiasioita mahdollisimman kokonaisvaltaisesti.[2]
Tieteelliseen tutkimukseen liittyy usein koejärjestely tai muu käytännöllinen toimenpide kuten esimerkiksi haastattelu, jonka avulla pyritään saamaan tietoa tutkittavasta aiheesta. Tutkimukset jaetaan ympäristön mukaan laboratorio- ja kenttätutkimuksiin. Lisäksi yleisten menetelmien yhteydessä käytetään usein jakoa havainnoivaan ja kokeelliseen tutkimukseen.
Yllä mainitut jaottelut eivät sovellu tutkimuksiin, jotka sisältävät useantyyppisiä ympäristöjä, menetelmiä ja tavoitteita.
Saaduista tuloksista tehdään yleensä kirjallinen tutkimusraportti, joka sisältää johtopäätösosan, jossa tutkijat arvioivat tutkimuksen tuloksia ja onnistumista sekä ehdottaa usein myös mahdollisia jatkotutkimuksia
Perus- ja soveltava tutkimus
muokkaaTutkimus jaetaan perinteisesti perustutkimukseen ja soveltavaan tutkimukseen. Yhdistelmätutkimuksessa pyritään yhdistelemään sekä perus- että soveltavaa tutkimusta. tavoitteita.
Perustutkimuksessa ollaan joko tekemisissä itse tutkimuksen kohteen kanssa ja kerätään siitä tietoa tai pyritään järjestelemään kohteesta aikaisemmin kerättyä tietoa tietokokoelmiksi tai teorioiksi. Tavoitteena on uuden tiedon luominen.
Soveltavan tutkimuksen tavoitteena on hyödyntää mahdollisimman pitkälle jo olemassa olevaa tietoa esimerkiksi halutun tyyppisen tuotteen toteuttamiseksi. Erik Allardtin mukaan ero perus- ja soveltavan tutkimuksen välillä ei ole menetelmissä ja teorioissa vaan perustuu yhteiskunnallisiin ja sosiaalisiin seikkoihin. Perustutkimusta tehdään korkean autonomian organisaatioissa, soveltavaa taas organisaatioissa, jotka suuntaavat tutkimusta ja tiedon kriteereitä omiin tarpeisiinsa.[3]
Perustutkimus
muokkaaPerustutkimuksen päätarkoituksena on yleinen tiedon lisääminen ja sitä kautta erilaisten muuttujien yhteyksien ymmärtäminen. Tällaisten tutkimusten taustalla on yleensä tavoite lisätä hyödynnettävissä olevaa tietoa, vaikka käytännössä tutkimusta vie eteenpäin tutkijoiden uteliaisuus ja yleinen tiedonhalu. Tutkimuksen toteutuksessa ei kuitenkaan ole mitään erityistä käytännöllistä tavoitetta, vaikka tietoa usein lähdetäänkin lisäämään sellaisista asioista, joista voi mahdollisesti yllättävienkin tulosten kautta olla jotain käytännön hyötyä. Termi "perustutkimus" siis viittaa siihen, että tiedon yleistymisen ja siis suuremman konsilienssin kautta se tarjoaa perustan myös muulle toiminnalle, eri tasojen sovellutuksille ja maailmankatsomukselle. Koska usein ei ole kovin selkeitä takeita lyhyen tähtäimen hyödyistä, suuri määrä tutkimusideoita joutuu kilpailemaan pienestä määrästä tutkimusrahoitusta ilman ennakkovarmuutta rahoituksen saamisen mahdollisuuksista. Tässä mielessä tutkimus on keksimisen osa-alue.
Esimerkkejä tutkimuskysymyksistä perustutkimuksessa:lähde?
- Tarjoaako säieteoria fysiikan perustutkimukselle sen kaipaaman suuren yhtenäisteorian?
- Mitkä aspektit genomista selittävät eliöiden kompleksisuuden?
- Onko mahdollista osoittaa Goldbachin konjektuuri oikeaksi tai vääräksi?
Perinteisesti perustutkimus on nähty soveltavaa tutkimusta edeltävänä toimintana, joka puolestaan johtaa käytännön sovellutuksiin. Viime aikoina jaottelussa on otettu kuitenkin entistä enemmän huomioon yhdistelmätutkimukset, joissa nämä osatavoitteet sekoittuvat ainakin jossain tutkimuksen vaiheessa.[4] Näin on erityisesti sellaisilla tutkimusalueilla kuten bioteknologia ja elektroniikka, joissa perustutkimus voi edetä rinta rinnan soveltavan tutkimuksen ja kehitystyön kanssa, sekä tavallisesti silloin kun julkinen ja yksityinen sektori tekevät yhteistyötä suuremman tavoitteen saavuttamiseksi. Tällaista yhdistelmätutkimusta, johon millään yksittäisellä toimijalla ei olisi riittävästi resursseja tai intressejä, on alettu kutsua pioneeritutkimukseksi.
Usein tutkimus halutaan luokitella perus- tai soveltavaan tutkimukseen sen rahoituslähteen perusteella. Valtion rahoittaman yliopistollisen tutkimuksen katsotaan tällä perusteella kuuluvan perustutkimuksen piiriin. Yrityksien harrastaman tutkimuksen, jonka rahoitus tulee markkinoilta kehitettyjen tuotteiden myynnin kautta, sen sijaan halutaan katsoa kuuluvan soveltavan tutkimuksen piiriin. Aikaisemmin tämä vastasikin pitkälle edellä esitettyä jakoa. Nykyisin tilanne on kuitenkin toinen. Valtio rahoittaa huomattavassa määrin soveltavaa tutkimusta. Toisaalta yritykset voivat tilata yliopistoilta perustutkimusta. Suuret yritykset voivat harjoittaa perustutkimusta myös omissa laboratorioissaan ja tutkimuskeskuksissaan. Oleellista on se, että niillä on riittävä rahoitusmarginaali käytettävissään. Yrityksien harjoittaman perustutkimuksen motiivina on luonnollisesti se, että näin tuotettu uusi tietämys antaa niille kilpailuetua.lähde?
Muita luokitteluja
muokkaaEtsinnällinen eli eksploratiivinen tutkimus rakentaa ja tunnistaa uusia tutkimusongelmia. Konstruktiivinen tutkimus kehittää ratkaisuja tutkimusongelmiin. Evaluoiva tutkimus arvioi esitettyjen ratkaisujen toimivuutta.
Jos etsinnällinen (tai eksploratiivinen) tutkimus johtaa yllättävien tutkimusongelmien löytymiseen, saattaa se olla merkki paradigman muutoksesta. Tiede ajautuu rakenteelliseen kriisiin, jos tutkimuksessa ei pystytä löytämään toimivia ratkaisuja näihin ongelmiin vanhan paradigman puitteissa. Tällöin normaalitieteen rinnalle muodostuu rajatiedettä, jonka tavoitteena on rakentaa kokonaan uudenlaiselle paradigmalle perustuvia ratkaisuja. Onnistuessaan tässä kuvaan tulee esitiede, jossa uusi tieto hiljalleen vakiintuu osaksi normaalitiedettä.
Tutkimus voidaan myös jakaa alkuperäiseen tutkimukseen kuten uusiin teorioihin sekä toissijaiseen tutkimukseen, joka analysoi, jäsentää, yhdistelee, arvioi, tulkitsee ja syntetisoi primaaritutkimusta.
Tutkimuksen luonteesta riippuen siihen voidaan sisällyttää useita erilaisia tutkimusmenetelmiä. Tutkimusmenetelmän valinnassa oleellista on tutkimuskohteen luonne, käytettävissä olevat tutkimusympäristöt sekä tutkimuksen tavoite. Lisäksi täytyy selvittää, miten tutkimusasetelma mahdollisesti vaikuttaa tutkimuskohteeseen. Tunnettuja tutkimusmenetelmiä ovat:
|
Tutkimusprosessi
muokkaa- Pääartikkeli: Tieteellinen menetelmä
Tutkimusprosessi voi edetä kolmen eri vaiheen kautta, joskaan sen ei ole pakko sisältää näitä kaikkia:
- Esitutkimus tai pilottitutkimus, jossa arvioidaan tutkimusmenetelmiin sisältyvien oletusten pätevyyttä ja teknisten ratkaisujen toimivuutta tai arvioidaan tutkimuksen tarpeellisuutta kartoittamalla alustavasti tutkimuskohdetta
- Tutkimusprojekti joka toteutetaan jonkin asian tutkimiseksi
- Jatkotutkimus tai lisätutkimus, jos tutkimusta on tarpeen jatkaa
Yleisesti tutkimus voidaan ymmärtää tietynlaisena rakenteellisena prosessina. Vaikka eri vaiheiden järjestys voikin vaihdella riippuen tutkimuskysymyksestä ja tutkijasta, seuraavat vaiheet ovat tyypillisesti osana mitä tahansa formaalia tutkimusta:
- Aiheen määrittely
- Taustaoletusten määrittäminen ja mahdollinen tutkimushypoteesi
- Käsitteiden määrittely
- Toimintatapojen valitseminen
- Aineiston kerääminen
- Aineiston analyysi
- Johtopäätökset
Tutkimusta raportoitaessa, etenkin artikkelien muodossa, edellä mainitut vaiheet sisältyvät vakiintuneeseen ns. IMRD-rakenteeseen. Lyhenne tulee sanoista Introduction (johdanto), Method (menetelmä), Results (tulokset) ja Discussion (johtopäätökset).
Yleinen väärinkäsitys on, että taustaoletukset ja hypoteesit voidaan todistaa niiden tutkimuksella. Todellisuudessa yksikään tutkimusmenetelmä ei mahdollista hypoteesien todistamista, lukuun ottamatta formaaleja tieteitä, paitsi siinä triviaalissa mielessä, että ne voivat saada vahvistusta ja muuttua vakiintuneiksi teorioiksi. Tämä ei kuitenkaan tarkoita tieteellisessä mielessä samaa kuin todistaminen.lähde? Sen sijaan taustaoletukset ja hypoteesit voidaan falsifioida eli osoittaa vääräksi.lähde? Toiset teoriat voivat osoittautua tiedon tarkentuessa käyttökelpoisemmiksi kuin toiset, mutta yhdenkään teorian pätevyydestä ei voida nykykäsityksen mukaan saada koskaan lopullista varmuutta. Sen sijaan monet tieteelliset teoriat ovat ajan mittaan osoittautuneet jollain tavoin puutteellisiksi.
Julkaiseminen
muokkaaAkateeminen julkaiseminen tarkoittaa järjestelmää, jossa tutkijan on välttämätöntä saada tutkimuksensa hyväksytyksi vertaisarvioidussa julkaisussa tai vertaisarvioimattomana esiprinttinä, jos haluaa tuloksensa pian julkisuuteen. Vertaisarviointi takaa yleensä sen, että työ on sisällöllisesti mahdollisimman korkealaatuista, eikä jokaisen tutkijan tarvitse erikseen arvioida tutkimuksen tieteellistä sisältöä kohta kohdalta. Järjestelmän tarkoitus on antaa kaikille mahdollisuus julkaista tutkimuksensa riippumatta omasta arvoasemasta, maineesta tai tieteellisestä asemasta. Vaikka tiedelehtien vertaisarviointi tarjoaa yleensä anonymiteetin tutkijalle, sitä on usein kritisoitu konservatiiviseksi ja kulloistakin tieteellistä eliittiä suosivaksi, koska anonymiteetistä huolimatta tutkijoiden henkilöllisyys on monesti selvitettävissä tutkimuksen sisällöstä ja tutkimuksen sisällön arviointiin voivat päästä vaikuttamaan muutkin kuin objektiiviset seikat mahdollisista sanktioista huolimatta. Näistä syistä johtuen vertaisarvioinnin käytännöt ovat usein muuttuneet ajan mittaan, eivätkä ole suinkaan samoja eri aloilla. Useimmat tieteelliset työt julkaistaan kirjoina tai artikkeleina, viime vuosina Internetissä ja muuten elektronisessa muodossa tapahtuva julkaiseminen on alkanut syödä merkittävästi perinteistä paperijulkaisemista.
Vertaisarvioimattomillakin julkaisuilla voi saada tieteellistä meriittiä, mutta yleensä työlleen saa helpommin tieteellistä huomiota vertaisarvioiduissa julkaisuissa. Niidenkin arvostus vaihtelee tapauksittain, joidenkin tutkimusalojen tutkimuksia, kuten esimerkiksi parapsykologia, ei välttämättä pidetä tieteeseen kuuluvina. Muun muassa erilaiset indeksointijärjestelmät ovat pyrkineet tarjoamaan menetelmän, jolla voisi arvioida tieteellisten teosten arvostusta, mutta tässä on se ongelma, ettei kaikkia vertaisarvioituja julkaisuja ole niihin aina hyväksytty ja usein valintaperusteet ovat varsin subjektiivisia. Mitään selkeää julkaisujen laadullista arviointimenetelmää ei ole toistaiseksi olemassa.
Lähes kaikilla vakiintuneilla tieteenaloilla on yksi tai useampi tieteellinen sarja ja muita tieteellisiä julkaisukanavia, vaikkakin monet tutkimusjulkaisut ovat varsin poikkitieteellisiä. Julkisuuteen tuotujen tekstien määrä vaihtelee suuresti tutkimusalasta riippuen. Arvostetuimmat tieteelliset julkaisut ovat yleistieteellisiä, kuten Nature ja Science.
Tutkimusraportilla on vakiintunut rakenne. Ensin esitellään tutkimusongelma, sitten tutkimuksen menetelmät, kolmannessa osassa esitetään tulokset ja neljännessä osassa tulokset liitetään taustakirjallisuuteen ja asetettuun tutkimusongelmaan. Rakennetta kutsutaan osien englanninkielisistä nimistä muodostetulla lyhenteellä IMRD-rakenteeksi.
Julkaisujen popularisointi
muokkaaTieteellisten tutkimusten tuloksista kerrotaan usein mediassa. Suomalaisen tiedejournalismin yleisesti tunnettuna ongelmana on toimittaja Anu Silfverbergin mukaan se, että toimittajat eivät suhtaudu yliopistojen julkaisemiin tiedotteisiin samalla kriittisyydellä kuin muiden tahojen julkaisemiin tiedotteisiin. Tutkimustiedotteiden pohjalta laaditaan sen vuoksi yleensä uutinen ilman tavanomaista journalistista taustatyötä. Kiireiset toimittajat lukevat tiedotteen lisäksi usein pelkän lyhyen tutkimuskoosteen tai tutkimuksen lopussa olevan johtopäätösosan, joissa saatetaan kuitenkin raportoida asioita valikoiden ja jopa harhaanjohtavasti. Silfverberg esitelmöi tiedeviestinnän ongelmista Tiedonjulkistamisen neuvottelukunnan ja Suomen tiedetoimittajien vuonna 2021 järjestämässä 8. kansallisessa tiedeviestintäkongressissa.[5]
Toistettavuuskriisi ja p-hakkerointi
muokkaa- Pääartikkeli: Toistettavuuskriisi
Niin sanottu tieteen toistettavuuskriisi alkoi 2000-luvun ensimmäisellä vuosikymmenellä, kun havaittiin, että satojen sosiaalipsykologisten tutkimusten kohdalla oltiin epäonnistuttu toistuvasti niiden tulosten toistamisessa. Tämä merkitsi sitä, että iso osa tieteellisestä tutkimuksesta oli rakennettu virheellisen tiedon varaan. Kun ilmiötä ruvettiin lopulta selvittämään, havaittiin, että kyseiset tulokset oli saatu usein aiemmin yleisesti hyväksytyn, niin sanotun p-hakkeroinnin, avulla. Tutkimusaineistosta puristetaan siinä väkisin tilastollisesti merkitseviä tuloksia esimerkiksi manipuloimalla otoskokoa ja käytettyjä muuttujia, mikä johtaa johtaa usein aineiston valikointiin tai peittelyyn. Jos tutkimushypoteesi ei saa aineistosta tukea, saatetaan jopa vaihtaa alkuperäinen tutkimushypoteesi toiseksi. Jos aineisto on riittävän pieni, siitä voi puristaa analyysitapaa muuttamalla lähes mitä tahansa, koska pienestä aineistosta löytyy niin paljon satunnaisvaihtelua. Myöhemmin huomattiin, että sama metodologinen ongelma koski lähes kaikkia muitakin tieteenaloja.[5]
Pieni osa tutkijoista on muuttanut toimintatapojaan tieteellisimmäksi toistettavuuskriisin seurauksena. Esimerkiksi maailmankuulu Toronton yliopiston psykologian professori Michael Inzlichti on tunnustanut, ettei hän ei ole onnistunut toistamaan vanhojen tutkimustensa tuloksia luotettavampiin tutkimusmenetelmiin siirryttyään.[5]
Toistettavuuskriisi johtuu suureksi osaksi siitä, ettei tutkijoita palkita ensisijaisesti tinkimättömästä työskentelystä, vaan mahdollisimman tiheästä julkaisemisesta mahdollisimman arvostetuissa lehdissä, vaikka Isot kansainväliset tiedelehdet eivät ole kiinnostuneita julkaisemaan tutkimuksia, joissa tutkimushypoteesi kaatuu tai joissa yritetään toistaa aiempien tutkimusten tuloksia. Lisäksi tiedelehdet on todella vaikea saada oikaisemaan julkaisuissaan havaittuja virheitä.[5]
Toistettavuuskriisi on synnyttänyt vaatimuksia siirtymisestä niin sanottuun avoimen tieteen malliin, jossa tutkijat luovuttavat aineistonsa lähtökohtaisesti julkisuuteen ja selostavat avoimesti kaikki tutkimuksessa tehdyt valinnat ja työvaiheet. Hypoteesin kaatumisesta pitäisi aina raportoida sekä kirjoittaa auki myös se, jos tutkimuksesta on poistettu osia. Tutkimusten ja niissä käytettävien hypoteesien esirekisteröinti voisi olla ratkaisu moneen edellä mainittuun ongelmaan, koska sen avulla voidaan esimerkiksi laskea julkaisuvinouman laajuus, joka johtuu siitä, ettei tutkimushypoteesin kaatavia tutkimuksia julkaista läheskään yhtä usein kuin niitä, joista saadaan tukea hypoteesille. Tutkimushypoteesi kaatuu joka toisessa psykologian alan tutkimuksessa, mutta lähes kaikista julkaistaviksi valituista tutkimuksista saadaan tukea valitulle hypoteesille. Avoimen tieteen laatimisen varjopuolena on, että se hidastaa tutkimusprosessia huomattavasti.[5]
Rahoitus
muokkaaValtaosa tieteellisen tutkimuksen rahoituksesta tulee kolmesta lähteestä, yrityksiltä (pääasiallisesti soveltavaan tutkimus- ja kehitystyöhön), säätiöiltä ja järjestöiltä sekä valtioilta, jotka kanavoivat tutkimuksen ja tuotekehityksen rahoitusta joko valtion budjetin kautta yliopistoille ja muille tutkimus- ja koulutuslaitoksille. Suomessa osa valtion rahoituksesta tulee Suomen akatemian ja Tekesin kautta. Muita tutkimuksen rahoittajia ovat erilaiset säätiöt ja rahastot, Suomessa esimerkiksi Sitra. Jonkin verran rahoitusta tutkimukseen tulee myös puolustusvoimien rahoituksen kautta. Yhdysvalloissa puolustusvoimien budjetin kautta ohjataan tutkimukseen huomattavia summia.
Monet vanhemmat tutkijat (kuten tutkimusjohtajat) käyttävät enemmän aikaa apurahahakemusten tekoon kuin varsinaiseen tutkimukseen. Apurahat ovat välttämättömiä paitsi tutkimusten toteuttamisen kannalta, se on myös merkittävä tapa osoittaa tieteellistä ansioitumistaan. Eräät virat jopa edellyttävät tällaista ansioitumista.
Suomalainen tutkimus
muokkaaSuomalainen tutkimus ei yllä aivan Euroopan maiden keskitasolle, jos mittarina käytetään EU:n Horisontti 2020 -rahoitusohjelman läpäisseitä rahoitushakemuksia. Vain 13 prosenttia Suomessa tehdyistä hakemuksista hyväksyttiin, kun EU-maiden keskimääräinen läpäisyprosentti oli lähes 15.[6]
Katso myös
muokkaaLähteet
muokkaa- ↑ Nurmi, Timo: Gummeruksen suuri suomen kielen sanakirja. 3. tarkistettu ja päivitetty painos. Helsinki: Gummerus, 2004. ISBN 951-20-6541-X.
Kielitoimiston sanakirja. Kotimaisten kielten tutkimuskeskuksen julkaisuja 132. Internet-versio MOT Kielitoimiston sanakirja 1.0. Helsinki: Kotimaisten kielten tutkimuskeskus ja Kielikone Oy, 2004. ISBN 952-5446-11-5. - ↑ Tieteellinen tieto ja tiedonintressit TOPI - Tulevaisuudentutkimuksen oppimateriaali. 30.12.2015. Viitattu 8.10.2022.
- ↑ ”Tieteen edistämisen suuntaviivoista (kirj. Erik Allardt)”, Tiede- ja teknologiapoliittinen katsaus, s. 7-15. Valtion tiede- ja teknologianeuvosto, 1987.
- ↑ Gordon, Tuula & Tohka, Laura: Naistutkimuksen yhdistelmätutkintokokeilu käynnistyy Tampereen yliopistossa. (Marginalisoidut seksuaalikulttuurit -projekti) Naistutkimustiedote, 2001, 21. vsk, nro 1, s. 17-18. Helsinki: Tasa-arvoasiain neuvottelukunta. (suomeksi)
- ↑ a b c d e Tiede on totta toistaiseksi – toimittaja Anu Silfverbergin podcastissa pohditaan tieteen replikaatiokriisiä Tiedonjulkistamisen neuvottelukunta. Viitattu 25.8.2023.
- ↑ Luonuansuu Saija, Pitkänen Jari: Horisontti 2020 -hankehakemus, mikä meni pieleen? www.oamk.fi. 2.3.2018. Viitattu 8.10.2022.
Kirjallisuutta
muokkaa- Eskola, Jari & Suoranta, Juha: Johdatus laadulliseen tutkimukseen. 7. painos 2005. Jyväskylä: Gummerus, 1998. ISBN 951-768-035-X.
- Kuoppala, Kari & Saarinen, Taina: Soveltavan tutkimuksen ja perustutkimuksen rajanvetoja. (pääkirjoitus) Tiedepolitiikka, 2010, 35. vsk, nro 3, s. 1. artikkeli. Helsinki: Edistyksellinen tiedeliitto.
- Kuusela, Pekka & Niiranen, Vuokko (toim.): Realismin haaste sosiaalitieteissä. Kuopio: Unipress, 2006. ISBN 951-579-219-3.
- Mattila, Markku: Rahoittajat ja tutkimuksen vaikuttavuus. Tieteessä tapahtuu, 2010, 28. vsk, nro 4-5, s. 9. artikkeli. Helsinki: Tieteellisten seurain valtuuskunta.
- Miettinen, Reijo & Tuunainen, Juha: Perus- ja soveltava tutkimus tiedepolitiikan luokittelukategorioina ja retorisina resursseina. Tiedepolitiikka, 2010, 35. vsk, nro 3, s. 2. artikkeli. Helsinki: Edistyksellinen tiedeliitto.
- Tiitta, Allan: Miten vaikuttavuus tuli tiedepolitiikkaan. Tieteessä tapahtuu, 2010, 28. vsk, nro 4-5, s. 6. artikkeli. Helsinki: Tieteellisten seurain valtuuskunta.
- Tuomi, Jouni: Tutki ja lue: Johdatus tieteellisen tekstin ymmärtämiseen. Helsinki: Tammi, 2007. ISBN 978-951-26-5640-0.
- Töttö, Pertti: Syvällistä ja pinnallista: Teoria, empiria ja kausaalisuus sosiaalitutkimuksessa. Tampere: Vastapaino, 2004. ISBN 951-768-127-5.
- Uusitalo, Hannu: Tiede, tutkimus ja tutkielma: Johdatus tutkielman maailmaan. WSOY kurssikirjat. 7. painos 2001. Helsinki: WSOY, 1991. ISBN 951-0-17457-2.
Aiheesta muualla
muokkaa- Metodix, Tieteellisen tutkimuksen, tutkimusmenetelmien ja niiden oppimisen verkkoympäristö
- Suomen tieteen ja teknologian tietopalvelu
- Terveysportti
- MedLine (englanniksi)
- Industrial Research Institute (Arkistoitu – Internet Archive) (englanniksi)
- European Industrial Research Management Association (Arkistoitu – Internet Archive) (englanniksi)