Chapter 1 音乐表示
这一章主要介绍目前常用的音乐表示方法，包括乐谱(sheet music representations)、符号化表示法(symbolic representations)和音频(audio representations)。
-
乐谱
这一节中简单介绍了五线谱、节奏、十二平均律等基础音乐知识，没有什么值得着重关注的地方。
-
符号化表示法
符号化表示法的前身是自动钢琴的打孔纸卷：在纸卷上记录下各个音的开始位置和结束位置，之间挖出孔，机器可以直接读出相应的音并作出响应。以此诞生了一种符号化表示方法——piano roll representations，这种方式可以直观地表现出音的高低，与抽象的机器不可读的五线谱相比，这种方法可以更容易被机器阅读，因此也被看做一种“中级表示”。
在此基础上，MIDI（musical instrument digital interface）表示法被发明了（MIDI发明的目的并不是表示音乐，而是以数字方式记录下乐器的演奏信息，最后在合成器中产生相应的音），MIDI将音离散化（可以和钢琴的琴键一一对应），不同的整数对应不同的音。一个典型的MIDI记录了：动作（琴键按下或释放）、通道（可对应乐器编号）、时间（相对于开始时刻的脉冲周期数）、音符、力度等信息。依照这些MIDI记录，可以方便地转换成piano roll。
MIDI可以方便地被机器读取，但是，现在我们的软件可以直接显示乐谱并方便地进行试听和编辑（比如我用的guitar tab），得益于一种名为MusicXML的表示方法，同典型的XML一样，musicXML结构化地记录下了音乐的信息，如图所示：
根据这些信息，相应的软件可以渲染出五线谱供人阅读，也可以以此生成音乐试听。
小结：符号化表示法，特别是musicXML是计算机处理音乐的理想形式。
-
音频
这是我们最常见最直观的音乐表示方法，毕竟我们是靠耳朵听音乐的。这一节首先简单介绍了声音产生和传播的原理，这种初中物理知识我就不多赘述了。这里给出了计算音所对应的频率的公式（以A4为440hz）
另外还简单介绍了泛音列。
接着介绍音的一个特征的三个不同方面：动态（演奏时的“感情”）、强度、响度（强度和响度所站的视角不同，强度是以物理上单位面积的声音能量来定义的，而响度是人的主观感受）。
动态在乐谱中用强弱符号表示，这个没有什么好说的。
声音强度以W/m2为单位，为了方便理解，我们规定刚刚引起听觉的强度定义为TOH(thresholud of hearing)，0dB（数值上为10^-12 W/m^2），dB是一个指数增长的单位，用以表示两个值之间的商，当用来度量声音强度时，用相应的能量密度值除以TOH，取以10为底的对数，再乘以10。因此可以知道，当强度增大一倍时，dB线性增大大约3。
然而人的耳朵不是以上面强度的物理定义来感受音乐的强弱的，在主观看来，音乐的响度除了受到强度影响外，还与音持续的时间和音的频率有关：在这里我们考虑音的频率对响度的影响，以1khz为标准，将听到的不同x dB的声音响度定义为x phon（phon为响度单位），这时我们改变频率，记录下相同的响度所对应的dB为多少，依次可以得到一个与频率相关的等响度曲线，如下图
接下来是重中之重——音色，这里介绍了两种考察音色的视角，一种是对声音信号的包络线分析，一种是对泛音列（或者频率成分）分析。
一般来讲，乐器发出一股单音的过程包括四大阶段，包括attack,decay,sustain,release，简称ADSR，A阶段是声音产生的阶段，这一阶段会产生各种频率成分，增幅快速变大；D阶段时，除了泛音列中的频率能在乐器上形成稳定的驻波，其他频率成分的能量被耗散掉，增幅下降；S阶段，驻波持续在发声物体上震动，增幅基本保持稳定；R阶段，人为止音，或者驻波能量耗散殆尽。如下图所示：
这种模型与钢琴的包络面较为匹配，但小提琴的包络面则有与之不符合的地方，小提琴的A阶段持续时间较长，没有D阶段，当小提琴加入揉弦技巧时，S阶段会产生周期性的震荡（原因很显然。）因此，我们可以以此为根据，从不同乐器的不同ADSR特征入手，从时域信号视角来区别不同的音色，以区别不同乐器。
当然，最被看好的音色分析方法是泛音列（频率分析），可以从乐器频谱图中发现其独特的特征，例如：弦乐器的泛音更丰富，很多能量会存在于比较高的泛音中；管乐中的闭管乐器，其泛音列中不存在偶数泛音，只有奇数泛音；巴松管的基频含的能量比其泛音要少；音叉的大多数能量都存在于其基频中，这使它的音色十分像合成器发出的正弦波；钟的频谱很复杂，有许多非泛音成分，这使得它听起来就像没调好音一样。另外，弦乐器，包括钢琴，当弦越软的时候，其高频泛音部分就会越远离理论上的泛音频率，这也是它们关键性的音色特征。
音色是由多种因素影响，并且难以测量，这既给音乐带来了多样的风味，也给量化分析带来了巨大的困难。
小结：目前常用的音色分析都是基于频谱图的，当然ADSR特征也可以作为一个参考方面，可是当面对多声部同时演奏时，频谱图仍然能起作用，而ADSR显然已经淹没在音符的汪洋中了。因此可以预见，将来研究的主要工具还是频谱图。目前业界公认常数Q变换是最贴近人耳听觉习惯的频域分析方法，也基本是音乐计算不可缺少的处理步骤。
