樂譜數(shù)字化的新途徑——計算機光學(xué)樂譜識別技術(shù)

1、樂譜數(shù)字化的新途徑計算機光學(xué)樂譜識別技術(shù) 摘 要 計算機光學(xué)樂譜識別（Optical Music Recognition，OMR）是計算機技術(shù)在音樂領(lǐng)域的發(fā)展和應(yīng)用，它利用圖像處理、模式識別、文檔圖像分析等相關(guān)技術(shù)，把樂譜圖像自動轉(zhuǎn)化成通用的數(shù)字音樂格式。OMR技術(shù)為紙質(zhì)樂譜數(shù)字化提供了一個智能、高效的新途徑，在計算機音樂、計算機輔助音樂教學(xué)、數(shù)字音樂圖書館等眾多領(lǐng)域有著廣泛的應(yīng)用前景。關(guān)鍵詞: 光學(xué)樂譜識別，數(shù)字化，數(shù)字音樂圖書館1 問題的提出信息技術(shù)改變著社會生產(chǎn)和人類生活的各個方面，人類社會正在步入一個數(shù)字化時代。現(xiàn)代計算機科學(xué)與音樂藝術(shù)的結(jié)合產(chǎn)生了計算機音樂，它的出現(xiàn)不僅體現(xiàn)了計算機技

2、術(shù)的一次革命，而且給人類的音樂活動帶來了生產(chǎn)方式的根本變革，人們對音樂的創(chuàng)作、演奏、傳播從傳統(tǒng)的手工作業(yè)方式一躍而為高科技方式。樂譜的發(fā)明是人類音樂史上的里程碑，它的出現(xiàn)使人們可以在一個相對標準的平臺上進行音樂的交流和傳承。古往今來的優(yōu)秀音樂作品大都以紙質(zhì)樂譜的形式保留下來，直至今天，紙質(zhì)樂譜仍是表達和描述音樂作品的主要載體。基于以上的時代背景與事實，那些長期涉足于計算機音樂的人士便迫切地提出了這樣一個問題：讓“紙質(zhì)樂譜進入計算機，計算機讀懂樂譜”，能夠?qū)崿F(xiàn)嗎？在計算機音樂發(fā)展的近幾十年中，各種音序編輯軟件層出不窮，如Encore、Cakewalk等，這類軟件的出現(xiàn)告訴人們，“樂譜進入計算機”

3、已經(jīng)不成為問題。然而，利用音序編輯軟件進行樂譜數(shù)字化是一種純手工人的方式，即手工錄入校對修改的方法，錄入人員必須具有一定的音樂專業(yè)知識，而且輸入工作量大、效率低。因此，在紙質(zhì)樂譜數(shù)字化的進程中，不可避免地產(chǎn)生了低速的音樂信息輸入與高速信息處理之間的矛盾。于是，一些計算機學(xué)者和專家們開始尋求一條紙質(zhì)樂譜數(shù)字化的新途徑，力圖突破純手工的樂譜數(shù)字化瓶頸，自動完成樂譜向數(shù)字音樂的智能轉(zhuǎn)化，即實現(xiàn)真正意義的“計算機讀懂樂譜”。經(jīng)過十幾年的研究和探索，計算機光學(xué)樂譜識別（Optical Music Recognition，以下簡稱OMR）技術(shù)應(yīng)運而生。2 光學(xué)樂譜識別技術(shù)的應(yīng)用OMR技術(shù)是將紙質(zhì)樂譜由掃描

4、儀輸入到計算機，經(jīng)過處理，把樂譜圖像自動轉(zhuǎn)化為計算機能“讀懂”的數(shù)字音樂-標準音樂格式文件（如MIDI格式）。這數(shù)字音樂文件與采集聲音數(shù)據(jù)的音頻文件（如WAV格式）不同，它的原理是“記譜”，記錄的正是樂譜所表達的音樂內(nèi)容。在計算機軟、硬件強大功能的配合下，人們可以輕松地對其進行編輯、加工、打印、傳播或?qū)崟r演奏。OMR技術(shù)為紙質(zhì)樂譜數(shù)字化提供了一個智能、高效的新途徑，有著極為廣泛的應(yīng)用前景，以下我們重點從計算機輔助音樂教學(xué)和數(shù)字音樂圖書館建設(shè)兩方面介紹OMR技術(shù)在其中的應(yīng)用：1）計算機輔助音樂教學(xué)在由應(yīng)試教育向素質(zhì)教育轉(zhuǎn)軌并不斷發(fā)展的今天，多媒體電腦音樂走進課堂已成為時代發(fā)展和音樂教育的需要。一

5、臺集成OMR系統(tǒng)、MIDI音樂系統(tǒng)的多媒體電腦即可代替?zhèn)鹘y(tǒng)的“課本+黑板+鋼琴”音樂教學(xué)模式。通常，音樂教師在黑板上寫出的譜例在學(xué)生心中難以形成音響的聽覺聯(lián)想，而鋼琴上彈出的聲音轉(zhuǎn)瞬即逝。借助OMR系統(tǒng)，教師則可在課堂上即時地將課本上的譜例生成MIDI文件，利用其非常直觀的樂譜顯示功能以及實時性、動態(tài)性的特點，將譜例與實踐音響同步展現(xiàn)在學(xué)生面前，并可迅速重新演奏或演奏樂譜中的任一片斷，使學(xué)生的聽覺與視覺形象融為一體，從而激發(fā)學(xué)生的學(xué)習(xí)興趣。2）數(shù)字音樂圖書館隨著數(shù)字圖書館的蓬勃發(fā)展，數(shù)字音樂圖書館也悄然興起。如同音樂文獻資源建設(shè)是傳統(tǒng)音樂圖書館的基礎(chǔ)性業(yè)務(wù)工作一樣，獲取大量的數(shù)字化音樂內(nèi)容是建

6、設(shè)數(shù)字化音樂圖書館的核心內(nèi)容。在建設(shè)過程中，必然會面臨的一個突出問題就是已有音樂資源的數(shù)字化問題。傳統(tǒng)音樂資源最主要的對象是印刷型紙介質(zhì)樂譜，快速準確地將傳統(tǒng)圖書館保存的紙質(zhì)樂譜資源數(shù)字化便成為建設(shè)數(shù)字音樂圖書館的當務(wù)之急。紙質(zhì)樂譜的數(shù)字化有兩種形式：一種是采用光學(xué)掃描壓縮存貯樂譜圖像，存貯格式有TIFF、JPEG、GIF等多種。另一種是根據(jù)樂譜描述的音樂內(nèi)容將其轉(zhuǎn)化成數(shù)字化音樂文件，如MIDI文件。同樣作為數(shù)據(jù)資源，數(shù)字化音樂文件具有存貯空間小、表現(xiàn)方式靈活、檢索方便快速等許多圖像文件無法比擬的優(yōu)勢，是數(shù)字音樂圖書館在Internet環(huán)境下理想的數(shù)據(jù)載體。音樂圖書館所藏的樂譜數(shù)以萬計，如此浩

7、大的電子化工程，若單純靠傳統(tǒng)的人工錄入，將是漫長和繁重的工作，既費時又昂貴。所以，建立一個快速準確、重碼率低的樂譜輸入方案，是進行大批量樂譜數(shù)字化的關(guān)鍵。OMR技術(shù)正為數(shù)字音樂圖書館解決樂譜數(shù)字化難題提供一套完整便捷的解決方案。國內(nèi)外，光學(xué)字符識別（Optical Character Recognition，簡稱OMR）技術(shù)在數(shù)字圖書館文獻錄入的應(yīng)用已經(jīng)獲得了巨大的成功。同樣，在數(shù)字音樂圖書館領(lǐng)域，OMR擁有著巨大的市場潛力和價值。國外已經(jīng)意識到OMR對數(shù)字音樂圖書館建設(shè)潛在的巨大作用。1994年9月，美國國家科學(xué)基金會（NSF）正式公布了一項為期四年投入2440萬美元的“數(shù)字圖書館首創(chuàng)計劃”

8、（Digital Library Initiative）。1998年，由國家科學(xué)基金會（NSF）、國家人文學(xué)資助會(NEH)等機構(gòu)聯(lián)合資助數(shù)字圖書館倡議第二階段。在中標的47個項目中有3項是關(guān)于數(shù)字音樂圖書館的研究和開發(fā)4，其中以O(shè)MR為技術(shù)支持的研究項目有美國馬薩諸塞大學(xué)的連機音樂識別和查詢系統(tǒng)（OMRAS），瓊斯·霍普金斯大學(xué)的Lester S. Levy數(shù)字化活頁樂譜藏品錄入與查詢系統(tǒng)。此外，在新西蘭，瓦卡托大學(xué)為新西蘭數(shù)字圖書館開發(fā)了樂譜聯(lián)機識別系統(tǒng)和基于音樂內(nèi)容檢索的查詢系統(tǒng)（MELody inDEX）。值得關(guān)注的是，以上系統(tǒng)的樂譜錄入方案均采用的是OMR技術(shù)。由于國內(nèi)數(shù)字

9、音樂圖書館的建設(shè)才剛剛起步，目前尚未見到OMR應(yīng)用于數(shù)字音樂圖書館的文獻和報道。但由以上分析可以看到，早日研究和開發(fā)出國內(nèi)自己的OMR系統(tǒng)，不僅對于我國未來數(shù)字音樂圖書館的建設(shè)和推廣具有及其重要的意義，而且勢在必行。 3 國內(nèi)外光學(xué)樂譜識別技術(shù)研究現(xiàn)狀國外有關(guān)OMR的研究起始于60年代后期，當時由于技術(shù)條件和硬件設(shè)備的限制，所研究的內(nèi)容也是非常有限的。到了70年代，隨著光學(xué)掃描儀的出現(xiàn)和機器性能的提升，OMR才真正已經(jīng)引起眾多學(xué)者的廣泛注意。進入80年代后，隨著計算機圖形圖像技術(shù)的不斷發(fā)展與成熟，研究內(nèi)容越來越深入，其研究成果也逐步進入實用階段。目前已經(jīng)出臺的商品化OMR軟件系統(tǒng)有：OMeR、

10、MidiScan、SmartScore、SharpEye Music Reader、PhotoScore等。對于常見的印刷體五線譜樂譜，它們的識別率均在90%以上，同時提供強大的后期編輯、打印功能，最終識別結(jié)果可導(dǎo)出為Midi、Niff、Music XML等數(shù)字音樂文件。在我國，一方面由于計算機音樂發(fā)展起步晚，計算機音樂只是少數(shù)音樂工作者的“專利”，社會缺乏計算機識別樂譜的需要；另一方面，由于國內(nèi)高校的學(xué)科設(shè)置綜合化程度、學(xué)科交叉的跨度與國外有著相當大的差距，長期以來，從事計算機音樂研究的專業(yè)人才嚴重缺乏。因此，OMR技術(shù)在國內(nèi)的系統(tǒng)研究和實踐工作幾乎為空白。目前，西北工業(yè)大學(xué)與西安音樂學(xué)院合

11、作正在開展印刷體光學(xué)樂譜識別技術(shù)的研究。隨著我國大規(guī)模傳統(tǒng)資源數(shù)字化進程的推進，數(shù)字化音樂教育與圖書館界國際交流與合作的增加與擴大，OMR技術(shù)必將逐步受到國內(nèi)學(xué)者與研究機構(gòu)的重視。相信在不遠的將來，OMR技術(shù)將在我國數(shù)字化音樂教育與數(shù)字音樂圖書館的建設(shè)中發(fā)揮巨大的作用，縮小我國計算機音樂在應(yīng)用高新技術(shù)方面與國外的差距。4 光學(xué)樂譜識別技術(shù)原理簡介OMR是一項綜合應(yīng)用數(shù)字圖像處理、模式識別、人工智能、音樂理論等多門相關(guān)學(xué)科的交叉技術(shù)，其目的就是要讓計算機“讀懂” 樂譜。一個完整OMR系統(tǒng)主要由五大模塊組成：樂譜掃描輸入與預(yù)處理、譜線定位與刪除、音符基元識別、音符基元重組及語義理解，其處理流程如圖

12、1所示。圖1. OMR系統(tǒng)處理流程示意圖（1） 樂譜掃描輸入與預(yù)處理將紙質(zhì)樂譜經(jīng)掃描儀輸入計算機生成樂譜圖像，并對掃描圖像中的噪聲、局部變形等缺陷進行消除和彌補。（2） 譜線定位與刪除針對樂譜圖像絕大多數(shù)符號和標記都疊加在譜線上這一特征，在提取和識別音符對象前首先對譜線進行定位和刪除，這樣可將各種音樂符號從譜線中分離出來，以排除譜線在識別音符過程中造成的巨大干擾。（3） 音符基元識別譜線刪除后的樂譜圖像可視作一幅僅由音符基元組成的圖集。所謂音符基元就是由各種音樂符號分解得到的最小符號圖形，它們通常是符頭、符干、符尾、升降號、譜號、休止符等，這些圖形的有效組合即構(gòu)成了具有音樂語義的音符對象。識別音符基元的目的就是經(jīng)過計算機的模式識別處理，使計算機能“認識和區(qū)分”這些最小音樂符號。（4） 音符基元重組利用樂譜知識規(guī)則將音符基元重新組合成特征音符對象。其功能是通過基于知識的意愿重組技術(shù)，將人所具備的音樂知識“傳授”給計算機，使計算機能模擬“識譜”這樣一個人為學(xué)習(xí)過程。（5） 音符語義理解對音符對象所代表的音樂語義