The Norwegian Language in the Digital Age (Bokmål Version) / Norsk i den digitale tidsalderen (bokmålsversjon)

90 Pages·1.015 MB·

by  Gjesdal A.M. et al.

WhitePaperSeries Hvitbokserie
THE NORSK
NORWEGIAN I DEN
LANGUAGE IN DIGITALE
THE DIGITAL TIDSALDEREN
AGE
BOKMÅLSVERSJON
Koenraad De Smedt
Gunn Inger Lyse
Anje Müller Gjesdal
Gyri S. Losnegaard

WhitePaperSeries Hvitbokserie
THE NORSK
NORWEGIAN I DEN
LANGUAGE IN DIGITALE
THE DIGITAL TIDSALDEREN
AGE
BOKMÅLSVERSJON
Koenraad De Smedt UIB
Gunn Inger Lyse UIB
Anje Müller Gjesdal UIB
Gyri S. Losnegaard UIB
GeorgRehm,HansUszkoreit
(Redaktører,editors)

FORORD PREFACE
Dette dokumentet er del av en serie som skal frem- is white paper is part of a series that promotes
me kunnskap om språkteknologiens status og poten- knowledgeaboutlanguagetechnologyanditspoten-
siale.Målgruppenerjournalister,politikere,språkbru- tial.Itaddressesjournalists,politicians,languagecom-
kere,lærereogandreinteresserte.Tilgjengelighetenog munities,educatorsandothers.eavailabilityanduse
bruken av språkteknologi i Europa varierer fra språk oflanguagetechnologyinEuropevariesbetweenlan-
tilspråk.Derforvilogsånødvendigetiltakforåstøtte guages.Consequently,theactionsthatarerequiredto
forskningogutviklingavspråkteknologiværeforskjel- furthersupportresearchanddevelopmentoflanguage
ligeforhvertspråk.Hvilketiltaksomernødvendigeav- technologiesalsodiffers.erequiredactionsdepend
hengeravflerefaktorer,foreksempelkompleksiteteni onmanyfactors,suchasthecomplexityofagivenlan-
etgittspråkogantallspråkbrukere. guageandthesizeofitscommunity.
ForskningsnettverketMETA-NET,etNetworkofExcel- META-NET,aNetworkofExcellencefundedbythe
lence finansiert av Europakommisjonen, presenterer European Commission, has conducted an analysis of
i denne serien (jf. s. 81) sin analyse av eksisterende current language resources and technologies in this
språkressurser og teknologier for de 23 offisielle EU- whitepaperseries(p.81).eanalysisfocusedonthe
språkeneogandrenasjonaleogregionalespråkiEuropa 23officialEuropeanlanguagesaswellasotherimpor-
–deriblantnorsk.Resultateneavdenneanalysentyder tantnationalandregionallanguagesinEurope.ere-
påatdeterbetydeligehulliforskningogutviklingfor sultsofthisanalysissuggestthattherearetremendous
allespråkene.Dennedetaljerteekspertanalysenavden deficitsintechnologysupportandsignificantresearch
nåværende situasjonen i denne serien vil forhåpentlig gapsforeachlanguage.egivendetailedexpertanal-
bidratilåmaksimereeffektenavnyforskning. ysis and assessment of the current situation will help
Per november 2011 består META-NET av 54 forsk- maximisetheimpactofadditionalresearch.
ningsinstitusjoner i 33 land (jf. s. 77) som samarbei- As of November 2011, META-NET consists of 54
dermedkommersielleaktører(IT-bedrier,utviklere research centres from 33 European countries (p. 77).
ogbrukere),offentligeetater,ikke-statligeorganisasjo- META-NETisworkingwithstakeholdersfromecon-
ner,representanterforspråksamfunnoguniversiteter. omy (Soware companies, technology providers and
Isamarbeidmeddissesamfunnsrepresentanteneermå- users), government agencies, research organisations,
letåskapeenfellesteknologivisjonogåutvikleenstra- non-governmental organisations, language commu-
tegiskforskningsagendaforflerspråklighetiEuropain- nitiesand European universities. Together withthese
nenår2020. communities,META-NETiscreatingacommontech-
nologyvisionandstrategicresearchagendaformulti-
lingualEurope2020.
III
Forfatterneavdennetekstentakkerforfatterneavhvitboken e authors of this document are grateful to the authors of
fortyskfortillatelsentilågjenbrukevissespråkuavhengigema- the White Paper on German for permission to re-use se-
terialerfraderestekst[1].ForfatternetakkerogsåGisleAnder- lected language-independent materials from their document
sen,TorbjørgBreivik,HelgeDyvik,KristinHagen,Torbjørn [1].eyalsowishtothankGisleAndersen,TorbjørgBreivik,
Nordgård,TorbjørnSvendsenogTrondTrosterudforverdi- Helge Dyvik, Kristin Hagen, Torbjørn Nordgård, Torbjørn
fullebidragogkommentarer. SvendsenandTrondTrosterudforvaluablecontributionsand
comments.
Arbeidet med denne utredningen er finansiert av det sju-
ende rammeprogrammet og Den europeiske kommisjonens edevelopmentofthisWhitePaperhasbeenfundedbythe
ICT Policy Support program, gjennom kontraktene T4ME SeventhFrameworkProgrammeandtheICTPolicySupport
(tildelingsavtale249119),CESAR(tildelingsavtale271022), ProgrammeoftheEuropeanCommissionunderthecontracts
METANET4U(tildelingsavtale270893)ogMETA-NORD T4ME (Grant Agreement 249119), CESAR (Grant Agree-
(tildelingsavtale270899). ment 271022), METANET4U (Grant Agreement 270893)
andMETA-NORD(GrantAgreement270899).
IV
INNHOLD CONTENTS
NORSK I DEN DIGITALE TIDSALDEREN
1 Sammendrag 1
2 Språkenevårestårifare 4
2.1 Språkgrenserhindrerutviklingenaveteuropeiskinformasjonssamfunn . . . . . . . . . . . . . . . . 5
2.2 Språkenevårestårifare . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 Språkteknologikantilretteleggeforspråkbruk . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.4 Muligheterforspråkteknologi. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.5 Utfordringerforspråkteknologi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.6 Språktilegnelsehosmenneskerogmaskiner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
3 Norskideteuropeiskeinformasjonssamfunnet 9
3.1 Generellefakta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.2 Særtrekkvednorskspråk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3.3 Nyligeutviklingstrekk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.4 SpråkpolitikkiNorge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
3.5 Språkogutdanning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.6 Inkluderingsaspekter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.7 Internasjonaleaspekter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.8 NorskpåInternett. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
4 Språkteknologiskstøttefornorskspråk 16
4.1 Applikasjonsarkitekturer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
4.2 Deviktigstebruksområdene. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4.3 Andrebruksområder . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.4 Utdanningsprogramme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.5 Nasjonaleprosjekteroginitiativer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.6 Situasjonenforspråkteknologiskstøttefornorskspråk . . . . . . . . . . . . . . . . . . . . . . . . 29
4.7 Sammenligningpåtversavspråk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
4.8 Oppsummering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
5 OmMETA-NET 35
THE NORWEGIAN LANGUAGE IN THE DIGITAL AGE
1 ExecutiveSummary 37
2 LanguagesatRisk:aChallengeforLanguageTechnology 40
2.1 LanguageBordersHoldbacktheEuropeanInformationSociety . . . . . . . . . . . . . . . . . . 41
2.2 OurLanguagesatRisk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.3 LanguageTechnologyisaKeyEnablingTechnology . . . . . . . . . . . . . . . . . . . . . . . . 41
2.4 OpportunitiesforLanguageTechnology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.5 ChallengesFacingLanguageTechnology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.6 LanguageAcquisitioninHumansandMachines . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3 TheNorwegianLanguageintheEuropeanInformationSociety 45
3.1 GeneralFacts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.2 ParticularitiesoftheNorwegianLanguage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3 RecentDevelopments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.4 OfficialLanguageProtectioninNorway . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.5 LanguageinEducation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.6 InclusionAspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.7 InternationalAspects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.8 NorwegianontheInternet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4 LanguageTechnologySupportforNorwegian 52
4.1 ApplicationArchitectures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.2 CoreApplicationAreas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3 OtherApplicationAreas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.4 EducationalProgrammes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.5 NationalProjectsandInitiatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
4.6 AvailabilityofToolsandResources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.7 Cross-languagecomparison . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5 AboutMETA-NET 71
A Litteraturliste---References 73
B MedlemmeriMETA-NET---META-NETMembers 77
C META-NEThvitbokserien---TheMETA-NETWhitePaperSeries 81
1
SAMMENDRAG
Informasjonsteknologipåvirkerhverdagenvår.Vibru- mislyktes.Innenhøyereutdanningfantesdetprogram
kerdatamaskinernårviskriver,redigerer,regnerut,sø- forspråkteknologiogdatalingvistikk,ogdeteksisterte
keretterinformasjon,ogiøkendegradogsånårvileser, forskningpådissefeltene,mendetmangletspråkressur-
hører på musikk, ser på bilder og ser film. Vi har med serogspråkverktøy.
osssmådatamaskinerilommaogbrukerdissetilåringe,
Bildet endret seg da forskningsrådet tok initiativ til et
skrivee-post,innhenteinformasjonogtilåunderholde
språkteknologiprogrami2002,medsiktepååutvikleny
ossselvhvorvienner.Menhvilkeninnvirkningharden-
kunnskapognødvendigeverktøy.Programmetresulter-
neutstraktedigitaliseringen avinformasjon,kunnskap
teiflereprosjektsomskaptenykompetanseogetbedre
og daglig kommunikasjon på språket vårt? Vil språket
grunnlagfornorskspråkteknologi.Destørsteprosjekte-
vårtendresegellertilogmedforsvinne?Hvaersjanse-
neidettespråkteknologiprogrammetleverteettekst-til-
neforatnorskspråkvilbestå?
tale-systemogendemonstratorforoversettelseavhøy
kvalitetfranorsktilengelsk.
Mange av de 6000 språkene som finnes i verden i dag
vilikkeoverleveidetglobalisertedigitaleinformasjons- Etter Stortingsmeldingen fra 2008 [2], og vedtaket av
samfunnet.Enregnermedatminst2000språkkommer denne meldingen i Stortinget, ble en fritt tilgjengelig
tilåforsvinnedekommendetiårene.Andrevilfremde- samling av norske språkteknologiske ressurser, Språk-
lesspilleenrolleiprivatsfærenoglokalsamfunnet,men banken,etablerti2010.Språkbankenernåigangmed
ikkeidetbredereoffentligelivsomnæringslivogakade- åbyggeoppogdistribuerenorskespråkdata,enoppga-
mia.Statusentiletspråkavhengerikkebareavtalletpå vesomlengeharværtetterspurtinnenforskningogut-
brukereellerhvormangebøker,filmerogTV-stasjoner vikling.Dersomdettearbeidetbliropprettholdt,vildet
sombenytterspråket,menogsåavihvilkengradspråket utgjøreenuvurderliginvesteringinorskspråksfremtid.
gjørseggjeldendeidendigitalevirkelighetenogbrukes
Påtrossavenbetydeligutviklinginnennorskspråktek-
iprogramvareapplikasjoner.
nologidetsistetiåretviserdennerapportenatdetennå
bare er for basisverktøy og -ressurser at situasjonen er
I denne sammenhengen sliter norsk fremdeles med
noenlunde tilfredsstillende. Når det gjelder mer avan-
voksesmerter. I begynnelsen av det tjueførste århund-
serteapplikasjoner,finnesdetfremdelessværtfåverktøy
ret eksisterte norsk språkteknologi bare i svært liten
ogressurserfornorsk,ogviharfremdeleslangtigjenfør
skala. Det fantes et relativt godt system for oversettel-
norsk språk er sikret en fremtid som fullverdig aktør i
sefrabokmålognynorsk,dervarstavekontroll,ogdet
detmoderne–ogframtidige–europeiskespråksamfun-
fantes også et lite dialogsystem som svarer på spørs-
net.
mål, mens folk flest lo av den dårlige kvaliteten til de
førstetalegjenkjenningsprogrammene.Etambisiøstin- Informasjons-ogkommunikasjonsteknologienforbere-
dustrielt initiativ til språkteknologiutvikling på Voss dersegnåtilnesteteknologirevolusjon.Ikjølvannetav
1
personligedatamaskiner,nettverk,stadigmindreoglet- Ikke alle europeiske språk er like godt forberedt til en
terekomponenter,multimedia,mobileenheterogdata- slik fremtid. Denne rapporten presenterer en evalue-
behandling i digitale skyer, vil den neste generasjonen ringavgradenavspråkteknologistøttefor30europeiske
teknologi bestå av programvare som ikke bare forstår språk,basertpåfirekjerneområder:maskinoversettelse,
talte og skrevne bokstaver og lyder, men også hele ord taleprosessering, tekstanalyse og, til sist, basisressurser
ogsetninger,ogsomstøtterbrukerenbedreenndagens somernødvendigeforåkunnebyggespråkteknologiske
teknologi,fordidensnakker,kjennerogforstårspråket applikasjoner.Språkenebledeltinnifemklyngeretter
deres.ForløpereidenneutviklingenerIBMssuperdata- nivå,ogikkeoverraskendehavnetnorskibunnklyngen,
maskinWatson,somsloUSA-mesterenikunnskapsspil- ogienkeltetilfelleriklyngenover,foralletyperverktøy
let“Jeopardy”,ogApplesmobilassistentSiriforiPhone, ogressurser.Norskliggerlangtetterstørrespråksomfor
somrespondererpåspråkkommandoerogkansvarepå eksempeltyskogfransk.Menhellerikkedissespråkene
spørsmål på engelsk, tysk, fransk og japansk. Et norsk klarerånåopptilkvalitetenogdekningsgradentilsam-
talegjenkjenningssystemforiPhoneertilgjengelig,men menlignbareressurserogverktøyforengelsk,somerdet
deterfremdelesmyemindrepåliteligenndettilsvaren- klartledendespråketpånestenallefelterinnenspråk-
deengelskesystemet. teknologi.
I St.meld. nr. 48 [3] konstaterer en at språkteknologi-
Språkbrukere kommuniserer allerede ved hjelp av tek-
feltetkanbli“enavdefremstearenaenederkampenom
nologiensomerutvikletforderesspråk.Etterhvertvil
norskspråkogkulturvilutspillesegitidenfremover”
teknologiske innretninger, som respons på enkle tale-
(kap.12.9,s.196).Hvamåvisågjøreforåsikrenorsk
kommandoer, være i stand til å hente de viktigste ny-
språkenfremtidiinformasjonssamfunnet?I2002anslo
heteneoginformasjonenfradenglobaledigitalekunn-
enekspertgruppepåoppdragframyndigheteneatdetvil
skapsbasen. Språkbasert teknologi vil kunne oversette
kreveeninvesteringpå20millionerkronerhvertårde
automatiskellerfungeresomstøttefortolker,lagesam-
førstefemårene[4].SelvomSpråkbankennåeretab-
mendragavsamtalerogdokumenterogværeethjelpe-
lertogvirksom,erdetetfaktumatdeårligeinvesterin-
middel i læringssituasjoner. Språkteknologi vil for ek-
genesålangtharutgjortbareenbrøkdelavestimertbe-
sempelkunnehjelpeinnvandreremedålærenorsk,og
hov.Detskullederforikkekommesomnoeoverraskelse
dermedogsåmedintegreringidetnorskesamfunnet.
atnorskspråkteknologifremdeleshengerigjenitidlig
barndom. Kommersielt er fem millioner språkbrukere
Informasjons- og kommunikasjonsteknologi vil gjøre
forfåtilaleneåforsvareenkostbarutviklingavnyepro-
industrielleroboterogtjenesteroboter(somidagerun-
dukter.NorskIT-industri,ogspesieltstoreogmellom-
derutviklingiforskningslaboratorier)istandtilåfor-
storebedrier,kanikkealenetakostnadenevedåbygge
ståhvabrukerenønskeratdeskalgjøreogårapporte-
opp store språkressurser og verktøy for norsk. Fortsatt
reomoppgavenedeharutført.Etsliktprestasjonsnivå
offentligstøtteerderfornødvendigforåsikreateksiste-
strekker seg langt ut over enkle bokstavlister og leksi-
rendeverktøyogdenopparbeidedekunnskapenogerfa-
kon,stavekontrolleroguttaleregler.Skalspråkteknolo-
ringenhosforskereogbedrierskalbliutnyttettilfulle.
gikunnetolkespørsmåloglevereutfyllendeogrelevante
svar,mådenbevegesegfrabasaletilnærmingertiletmer Norsk språk er ikke umiddelbart truet av den engels-
altomfattendeperspektiv,hvorspråkmodelleringentar ke dominansen innen språkteknologi. Det kan likevel
hensyntilsyntakssåvelsomsemantikk. endresegdrastisknårdennyegenerasjonenteknologi-
2