基于区分性特征的音素识别

第ｌ４卷第６期　２０１３年１２月　信息工程大学学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　Ｖｏ１．１４　ＮＯ．６　Ｄｅｃ．２０１３　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７１－０６７３．２０１３．０６．００９　基于区分性特征的音素识别　李立永，张连海　（信息工程大学，河南郑州，４５０００１）　摘要：针对当前主流的基于统计模型的语音识别系统没有使用语音产生知识的问题，通过模拟　人类的语音感知理解过程提出了一种“自下而上”的基于区分性特征的音素识别方法。该方　法首先根据不同音素的发音特点检测得到音素的边界信息；然后利用分类器完成语音的区分　性特征检测，并根据区分性特征与音素的对应关系建立映射表；最后利用音素的边界信息得到　语音段的特征序列，通过对语音段的特征序列模糊搜索匹配实现音素识别。实验结果表明，相　比于传统的基于隐马尔科夫模型的音素识别方法，该方法在识别速度、鲁棒性及可扩展性等方　面具有明显优势。　关键词：语音产生知识；音素边界检测；区分性特征；音素识别；模糊匹配　中图分类号：ＴＰ３９１　文献标识码：Ａ　文章编号：１６７１—０６７３（２０１３）０６￣６９２－０８　Ｐｈｏｎｅｍｅ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ｄｉｓｔｉｎｃｔｉｖｅ　Ｆｅａｔｕｒｅｓ　ＬＩ　Ｌｉ—ｙｏｎｇ．ＺＨＡＮＧ　Ｌｉａｎ—ｈａｉ　（Ｉｎｆｏｒｍａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｕｎｉｖｅｒｓｉｔｙ，Ｚｈｅｎｇｚｈｏｕ　４５０００１，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｏ　ａｄｄｒｅｓｓ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｔｈａｔ　ｃｕｒｒｅｎｔ　ｐｏｐｕｌａｒ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍｓ　ｂａｓｅｄ　ｏｎ　ｓｔａｔｉｓｔｉ—　ｃａｌ　ｍｏｄｅｌｓ　ｄｏ　ｎｏｔ　ｕｓｅ　Ｓｐｅｅｃｈ　ｐｒｏｄｕｃｔｉｏｎ　ｋｎｏｗｌｅｄｇｅ，ａ“ｂｏｔｔｏｍ－ｕｐ”ｐｈｏｎｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｍｅｔｈｏｄ　ｉｓ　ｐｒｏｐｏｓｅｄ　ｂａｓｅｄ　ｏｎ　ｔｈｅ　ｄｉｓｔｉｎｃｔｉｖｅ　ｆｅａｔｕｒｅｓ　ｂｙ　ｓｉｍｕｌａｔｉｎｇ　ｔｈｅ　ｐｒｏｃｅｓｓ　ｏｆ　ｈｕｍａｎ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ．　Ｆｉｒｓｔｌｙ，ｔｈｅ　ｐｈｏｎｅ　ｂｏｕｎｄａｒｉｅｓ　ａｒｅ　ｄｅｔｅｃｔｅｄ　ａｃｃｏｒｄｉｎｇ　ｔｏ　ｔｈｅ　ｃｈａｒａｃｔｅｒｓ　ｏｆ　ｄｉｆｆｅｒｅｎｔ　ｐｈｏｎｅｍｅｓ；Ｓｅｃ—　ｏｎｄｌｙ，ｔｈｅ　ｄｉｓｔｉｎｃｔｉｖｅ　ｆｅａｔｕｒｅｓ　ａｒｅ　ｅｘｔｒａｃｔｅｄ　ｂｙ　ｃｌａｓｓｉｆｉｅｒｓ，ａｎｄ　ｔｈｅ　ｍａｐｐｉｎｇ　ｔａｂｌｅ　ｏｆ　ｆｅａｔｕｒｅ－ｔｏ—ｐｈｏ－　ｎｅｍｅ　ｉｓ　ｂｕｉｌｔ　ｄｅｐｅｎｄｉｎｇ　ｏｎ　ｔｈｅ　ｄｉｓｔｉｎｃｔｉｖｅ　ｆｅａｔｕｒｅｓ；Ｆｉｎａｌｌｙ，ｔｈｅ　ｆｅａｔｕｒｅ　ｓｅｑｕｅｎｃｅｓ　ｏｆ　ｓｅｇｍｅｎｔｓ　ａｒｅ　ｏｂｔａｉｎｅｄ　ｕｓｉｎｇ　ｐｈｏｎｅｍｅ　ｂｏｕｎｄａｒｉｅｓ，ａｎｄ　ｂｙ　ｆｕｚｚｙ　ｓｅａｒｃｈｉｎｇ　ａｎｄ　ｍａｔｃｈｉｎｇ　ｔｈｒｏｕｇｈ　ｓｅｇｍｅｎｔ　ｆｅａｔｕｒｅｓ，　ｐｈｏｎｅｍｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｉｓ　ｃｏｍｐｌｅｔｅｄ．Ｅｘｐｅｒｉｍｅｎｔａｌ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ，ｃｏｍｐａｒｅｄ　ｔｏ　ｔｈｅ　ｐｈｏｎｅｍｅ　ｒｅｃｏｇ—　ｎｉｔｉｏｎ　ｍｅｔｈｏｄｓ　ｂａｓｅｄ　ｏｎ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ，ｔｈｉｓ　ｍｅｔｈｏｄ　ｈａｓ　ｐｒｏｍｉｎｅｎｔ　ａｄｖａｎｔａｇｅｓ　ｉｎ　ｔｅｒｍｓ　ｏｆ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｐｅｅｄ，ｒｏｂｕｓｔｎｅｓｓ，ｅｘｐａｎｓｉｂｉｌｉｔｙ　ｅｔｃ．　Ｋｅｙ　ｗｏｒｄｓ：ｓｐｅｅｃｈ　ｐｒｏｄｕｃｔｉｏｎ　ｋｎｏｗｌｅｄｇｅ；ｐｈｏｎｅ　ｂｏｕｎｄａｒｉｅｓ　ｄｅｔｅｃｔｉｏｎ；ｄｉｓｔｉｎｃｔｉｖｅ　ｆｅａｔｕｒｅ；ｐｈｏ－　ｎｅｍｅ　ｒｅｃｏｇｎｉｔｉｏｎ；ｆｕｚｚｙ　ｍａｔｃｈｉｎｇ　０　引言　当前主流的基于统计知识的语音识别系统发展进入瓶颈期，系统性能提升缓慢且代价昂贵，因此，语　收稿日期：２０１３＿０４．２３：修回日期：２０１３－０５－２８　基金项目：国家自然科学基金资助项目（６１１７５０１７）　作者简介：李立永（１９８７一），男，硕士生，主要研究方向为语音信号处理；　张连海（１９７１一），男，副教授，主要研究方向为语音信号处理。　第６期　李立永等：基于区分性特征的音素识别　６９３　言学家通过分析机器识别与人类语音感知（ｈｕｍａｎ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ，ＨＳＲ）的差异，提出了将语音发声时　的一些底层特征如发音方式特征、发音位置特征及韵律特征等加入到现有语音识别系统中，即将语音发音　知识与语音统计知识相结合　，从而弥补现有语音识别系统的缺点，提高语音识别系统的性能。在此情　况下，如何有效地检测语音发音知识以及如何将这些知识与统计模型相结合成为目前研究的热点　与难点。　文献［２．３］提出了一种基于Ｌａｎｄｍａｒｋ和区分性特征的语音识别体系（１ｅｘｉｃａｌ　ａｃｃｅｓｓ　ｆｒｏｍ　ｆｅａｔｕｒｅｓ，　ＬＡＦＦ），该体系中Ｌａｎｄｍａｒｋ用于描述语音事件在时序上的变化信息。ＬＡＦＦ认为语音信号可以通过一系　列具有区分性的二值区分性特征表示（ｄｉｓｔｉｎｃｔｉｖｅ　ｆｅａｔｕｒｅｓ），这些区分性特征可以在Ｌａｎｄｍａｒｋ附近区域检　测得到，并将这些区分性特征与词典搜索匹配从而实现语音识别。２００５年，文献［４］提出基于事件检测　（ｄｅｔｅｃｔｉｏｎ．ｂａｓｅｄ）的自动语音属性转录系统（ａｕｔｏｍａｔｉｃ　ｓｐｅｅｃｈ　ａｔｔｒｉｂｕｔｅ　ｔｒａｎｓｃｒｉｐｔｉｏｎ，ＡＳＡＴ），该系统首先在　前端进行语音事件检测，提取出语音学相关的事件、特征序列，然后以各种特征为基础并辅以必要的相关　知识并完成判决，在判决识别时常用的统计模型有隐马尔科夫模型（ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　ｍｏｄｅｌ，ＨＭＭ）　、人工　神经网络（ａｒｔｉｉｆｃｉａｌ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ，ＡＮＮ）　、条件随机场（ｃｏｎｄｉｔｉｏｎａｌ　ｒａｎｄｏｍ　ｆｉｅｌｄｓ，ＣＲＦ）　等。　在上述思想的指导下，本文提出了一种基于区分性特征的音素识别方法（ｐｈｏｎｅｍｅ　ａｃｃｅｓｓ　ｆｒｏｍ　ｌｅａ・　ｔｕｒｅｓ，ＰＡＦＦ），不同于传统统计模型自上而下（ｔｏｐ．ｄｏｗｎ）的结构，本文方法采用自下而上的“种子模型”结　构（ｂｏｔｔｏｍ—ｕｐ）　，首先完成描述语音产生知识（ｓｐｅｅｃｈ　ｐｒｏｄｕｃｔｉｏｎ　ｋｎｏｗｌｅｄｇｅ）的底层特征检测，并以底层特　征为基础，逐步实现上层特征识别。具体过程为，首先利用不同音素发音时在频谱区域所具有的不同结构　实现音素边界的检测；然后以多层感知器（ｍｕｌｔｉｐｌｅ　ｌａｙｅｒ　ｐｅｒｃｅｐｔｉｏｎ，ＭＬＰ）为统计分类模型，完成区分性特　征检测，并根据区分性特征建立特征与音素的映射表；最后根据得到的区分性特征与边界信息，按映射表　搜索匹配实现音素的识别。　１音素边界检测　不同音素的发音特征所对应的语音事件在信号的频谱上具有不同的结构。鼻音的频谱成分主要为低　频谐振，清摩擦音有着“类噪声”频谱，而浊摩擦音既有噪声结构又有谐波结构，爆破音则是一段静默区域　后气流的突然爆破，然后为送气噪声　。因此可以根据不同音素的频谱区域结构特性，将语音信号分为　若干频带，对比各个频带信号之间的差异性，实现音素边界的检测。为描述这种频谱区域结构的差异性，　本文将语音信号的语谱能量作为输入特征，分析比较相邻帧语谱能量向量之间的差异性，并通过判定准则　和二次筛选，检测并确定音素的边界，其检测流程图如图１所示。　／，　能量　区域１　ＯＨｚ～４ｏＯＨｚ　、　区域２　１．３Ｈｚ～５．５ｋＨ　区域３　６．（）Ｈｚ～８．０ｋＨ　图１　晋素边界检测流程图　假定给定信号的频谱区域１的连续两帧语音的语谱能量向量为Ｇ　和Ｇ　＋。，Ｇ　＝（　¨，　，　，　¨），　定义这两个向量的欧氏距离为　厂　————————————一　肋（Ｇ　，Ｇ川）＝４／∑．（　一　…．　）　的判定阈值。根据下式进行事件向量Ｔｈ　（ｋ）判决：　（１）　其中，　对应区域１的第ｋ帧语音的第ｎ个频带的语谱能量。设Ｐ　为区域１的语谱能量向量欧氏距离　Ｔｈａ㈩＝　三　（２）　６９４　信息工程大学学报　其中，　（ｋ）＝１时，表示区域１在第　帧时有语谱能量突变事件发生，即该时间点判定为第ｍ个候选音　素边界向量ＢＤ　（ｍ）。在区域１的事件检测过程中，如果相邻事件的时间间隔小于７ｍｓ，则判定该信号的　时间范围只存在一个候选边界，并取其中欧氏距离最大的语音帧为候选边界的位置。区域２和区域３的　边界检测方法和区域１相同。　在进行区域边界检测时，为了得到较高的检测率，本文将判定阈值设置的偏低，因此插入错误也将大　大增加，影响了后续处理的效果，本文为了剔除候选中的错误边界，对边界检测的结果进行二次筛选，主要　通过判别候选边界所划分的语音段之间的差异性来剔除插入错误，并采用语音段之间语谱能量均值向量　的欧氏距离作为判别的主要依据。　２区分性特征检测　Ｓｔｅｖｅｎｓ提出的ＬＡＦＦ理论认为语音信号的最小单位是一系列可以相互区分的特征集，并且可以利用　这些特征集表征不同的语音信号。Ｓｔｅｖｅｎｓ将这些区分性特征分为两类：发音器官无关特征和发音器官相　关特征，其中，前一类用来描述发音方式特征，后一类用来描述发音位置特征。本文则使用两种不同的区　分性特征集合表征音素，分别为英语发音方式（ｓｏｕｎｄ　ｐａｔｔｅｒｎ　ｏｆ　Ｅｎｇｌｉｓｈ，ＳＰＥ）和支配音韵特征（ｇｏｖｅｒｎｍｅｎｔ　ｐｈｏｎｏｌｏｇｙ，ＧＰ）　ｌｏ］。ＳＰＥ着重从发声的角度描述音素的产生，包括发音位置特征和发音方式特征；ＧＰ则　是通过声学频谱分析而提取的音素中的１１种互补分量，通过这些分量的组合描述所有的音素。　本文采用基于时间延迟（ｔｉｍｅ　ｄｅｌａｙｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ，ＴＤＮＮ）神经网络…　进行ＳＰＥ、ＧＰ特征集的检　测，输入特征为ｌ２维的梅尔频率倒谱系数（Ｍｅ１．￣ｅｑｕｅｎｃｙ　ｃｅｐｓｔｒａｌ　ｃｏｅｆｆｉｃｉｅｎｔｓ，ＭＦＣＣ）、１维的能量特征及　它们的一阶与二阶差分共３９维特征，输出结果为特征集的后验概率。图２为ＴＤＮＮ的结构框图，其中，　为输入节点，　为隐含层权重。ＴＤＮＮ的最大特点是在ＭＬＰ的隐含层引入时间延迟因子Ｄ　，当前时刻的　输人经过若干时刻的延迟后，对后续的判决产生影响，从而将更长时段的信息加入到系统中。　图２　ＴＤＮＮ系统的结构　在基于ＴＤＮＮ的音素识别中，ＴＤＮＮ的每个输出为对应音素的后验概率。考虑到音素与区分性特征　的对应关系，即任一个音素向量口可由区分性特征集中Ⅳ个并行的特征表示，即：口＝（ｅ。，ｅ　，…，ｅ　），其　中，　为二值的区分性特征，Ｎ为区分性特征的个数，若将ＴＤＮＮ的输出设定为区分性特征，即每个输出对　应一个区分性特征的后验概率，从而完成区分性特征的检测。　３　音素识别　音素边界信息与区分性特征检测完成后，即可通过特征与音素的映射表实现解码，完成音素识别。具　体实现过程：首先根据音素边界信息，将语音数据帧的特征序列通过加权处理转换为语音段的特征序列；　然后根据得到的语音段特征序列对语音段进行确认（是否包含多个音素）；最后根据建立的映射表完成对　语音段特征序列的搜索匹配，实现音素识别。　３．１　语音段特征序列　在音素的过渡区域，相邻音素不同的发音特征会发生明显的变化，因此，在这些区域检测出来的某些　第６期　李立永等：基于区分性特征的音素识别　６９５　区分性特征的后验概率会在０到１之间浮动，包含的语音信息模糊，如果利用这些区域的信息进行音素识　别会造成系统性能的急剧下降，因此本文提出了一种计算语音段特征序列的语音帧加权算法，根据语音帧　与音素边界的距离设置不同的权重，距离边界越近，则权重越小，越靠近音素中心位置，则权重越大，并将　所有加权后的语音帧的特征序列求和得到语音段的特征序列。　假设某音素的持续时间为ｎ帧，则该语音段的第ｉ帧的权重设为　，该帧的区分性特征序列向量为　（ａ　，。　，…，ａ　），则该语音段的特征序列向量可以表示为　ｓ（ｅ。，ｅ２，…，ｅ　）＝∑　（ａ１，ａ２，…，ａ　）　（３）　其中，　满足条件Ｗ　＞０且∑Ｗｉ＝Ｉ，当ｎ为偶数时，设后＝ｎ／２，Ｗ　可以表示为　ｆｉｆ　ｉ∈（１，ｋ］，Ｗ　＝Ａ‘　（１一Ａ）／２（１一Ａ　）　，．、　Ｉ　ｅｌｓｅ　Ｗ　＝Ｗ…＋ｌ　当ｎ为奇数时，设ｋ＝（ｎ＋１）／２，　可以表示为　『ｉｆ　ｉ∈（１，ｋ］，Ｗ　＝Ａ　一。（１一Ａ）／（１＋Ａ一２Ａ　）　，　、　Ｉ　ｅｌｓｅ　Ｗ　：Ｗ　一　＋ｌ　在（４）式、（５）式中Ａ为权重系数，通过实验验证，权重系数为０．８时效果最好。　３．２语音段确认　由于在音素边界的检测过程中存在漏检情况，因此，如果某个语音段存在两个或两个以上的音素，使　用语音帧加权算法计算得到语音段的特征序列后，再利用这些特征序列进行搜索匹配时很可能会造成音　素的识别错误，为了防止这种情况的发生，本文对持续时间大于４０ｍｓ的语音段进行特征序列确认，如果　该语音段包含多个音素的语音帧，则将该语音段根据音素的起始位置再次分段，如图３所示。　假设某语音段的加权后特征序列向量为ｓ（ｅ　，ｅ：，…，ｅ　），并假设加权后的特征序列中第ｋ个特征与　语音段第ｉ帧的第ｋ个特征的距离向量设为　Ｌ　（ｋ）＝ｌ　ｅ　一０　ｌ　（６）　如果在该语音段存在连续两帧的某个特征的距离Ｌ（ｋ）大于给定的距离阈值ＴＨＳ，则对该语音段再次　分段。语音段确认完成后再对每段语音进行加权处理，得到每段语音的特征序列。如图３所示，其中，　ＢＤ（ｍ一１）、ＢＤ（ｍ＋１）为语音段原有边界，且满足条件　２一ｋｌ≥２，ＢＤ（ｍ）为修正后加入的边界。本文将　距离阈值ＴＨＳ设为０．４。　３．３　特征与音素的映射表　不同的音素具有不同的发音特征序列，因此可以根据　ＢＤ（ｍ　１）　ＢＤ（ｍ）　ＢＩＸｍ＋１）　语音段的发音特征序列与音素的对应关系建立特征与音素　●　●　●　Ｌ，（ｋ）＞ＴＨＳ－　　；的映射表，并根据映射表将特征序列解码为音素。其中本　也一　１≥２　文用的ＳＰＥ特征集有ｌ４个，依次为Ａｎｔｅｒｉｏｒ、Ｂａｃｋ、Ｃｏｎｓｏ—　０，～　，　ｕ　ｕ　，…　…ｔ，　回　回音素边界回　ｎａｎｔａｌ　Ｃｏｎｔｉｎｕａｎｔ　Ｃｏｒｏｎａｌ　Ｈｉｇｈ　Ｌｏｗ　Ｎａｓａｌ　Ｒｏｕｎｄ　Ｓｉｌｅｎｃｅ　Ｓｔｒｉｄｅｎｔ、Ｔｅｎｓｅ、Ｖｏｃａｌｉｃ、Ｖｏｉｃｅ。本文用到的ＧＰ特征集为１１　图３语音段确认示意图　个，依次为ａ、Ａ、Ｅ、ｈ、Ｈ、ｉ、Ｉ、Ｎ、Ｓ、Ｕ、Ｕ。根据不同音素与　ＳＰＥ、ＧＰ特征的对应关系建立特征与音素的映射表，在映射表的特征序列中，“０”表示音素不具有该发音　特征，“１”表示音素具有该发音特征，如表１所示。　表１　ＳＰＥ、ＧＰ特征与部分音素的映射表　６９６　信息工程大学学报　２０１３钲　３．４　搜索匹配　由于本文采用ＴＤＮＮ系统检测语音帧的ＳＰＥ和ＧＰ特征（检测过程见３．１），得到的ＳＰＥ、ＧＰ特征序列　为０到１的后验概率序列，因此在进行音素识别前需要对特征序列进行０／１判决，然后才能根据特征与音　素的映射表搜索匹配完成识别，具体过程如图４所示。　园圈；圈回　／，　映射表　、　／ｅｄ：Ｏ００１￣ｌ１　ｌ　ｌ／ａｅ／：Ｏ００１００１００００ｌ１１　Ｊ　特概　＋　．　日；国　ｌ／ａａ／：ＯｌＯｌＯ０１００００１　１　１　Ｊ　Ｉ／ｓｈ／：Ｏ０１１１１００００１０００　ｆ　＼　／／　例４晋素识别过程　在得到的特征后验概率序列中，征率箍　一　某些特征的后验概率很大（接近于１），这种特征在进行０／１判决时，　不会存在模糊或歧义，但是也存在一些特征的后验概率接近给定阈值且小于给定阈值，如果直接通过阈值　、　、、　一　进行０／１判决，很容易造成误判从而降低系统的识别性能，为了更全面地利用得到的特征后验概率知识，日；田田　　本文采用了一种循环搜索的特征匹配方法，在搜索匹配中不断调整判决阈值，从而得到最为合理的识别　１●●●●●　，●Ｊ　结果。　特　搜　假设特征后验概率的判决阈值为掰Ｐ，初次匹配时将ＴＨＰ设置为较高的阈值　列　配　Ｐ　，并在下一轮匹配　时将阈值降低，每次降低的阈值步长设为　同时规定明Ｐ的最小值为删Ｐ　。因此，根据（７）式计算　搜索匹配的次数ｎ，本文通过实验验证，将删Ｐ　设置为０．６，册Ｐ　为０．２，阳Ｐ　为０．０５时识别性能最好，　根据下式可知本文的搜索匹配次数为２１次：　ｎ＝（　日Ｐｈ—ＴＨＰｆ）／ＴＨＰ　＋ｌ　（７）　通过阈值判决得到特征的０／１序列后，根据特征与音素的映射表，对语音段识别解码。假设某语音段　的特征序列向量为Ｓ（ｅ　，ｅ　，…，ｅ　），经过阈值判决后的特征序列向量为　（　，　：，…，　），映射表中某个　音素对应的目标特征序列向量为　音褰序列　一　（Ｐ。，Ｐ　，…，Ｐ　），则输入特征序列与目标特征序列的距离：　：：Ｉ　ｚ　（Ｐ　，Ｐ２，…，Ｐ　）一　（　，　２，…，　）ｌ＝　Ｉｐ　一　ｌ　（８）　为了描述识别结果的可靠程度，本文将特征序列Ｓ（ｅ　，ｅ　，…，ｅ　）中最小且超过判决阈值的特征后验　概率作为该次识别结果的置信度：　ｃＤ　＝ｅｉ／（Ｌ：＋１），ｅ，＝ｍｉｎ（ｅｌ，ｅ２，…，ｅ　）且ｅｊ＞　Ｐ　（９）　最后选取候选识别结果中置信度最大的且距离最小的音素作为该语音段的识别结果。　在识别过程中，本文将ＳＰＥ特征序列作为首要的识别依据，并以ＧＰ特征序列作为辅助识别信息，主　要分为两种情况：　①由于某些音素发音特征具有相似性，因此某些不同的音素可能会具有相同的特征序列，如果仅用　ＳＰＥ特征解码会造成识别结果的歧义，因此需要应用ＧＰ特征对识别结果加以确认。这些具有相同ＳＰＥ　特征序列音素组合如表２所示。　表２　ＳＰＥ歧　音素　②利用ＳＰＥ特征完成音素识别后，为了提高识别的准确性，可以利用ＧＰ特征再次识别。将ＳＰＥ、ＧＰ　识别的结果按照置信度排序，分别取置信度最大的两个识别结果作为候选。如果候选序列中存在相同识　别结果，则将该识别结果作为该语音段的输出，如果各不相同，则将所有候选结果及对应的置信度输出。　第６期　李立永等：基于区分性特征的音素识别　６９７　４实验配置及结果　４．１　实验配置　实验采用ＴＩＭＩＴ语料库，该语料库包含了来自美国８个不同地区的共６３０个人的朗读语音文件，每人　朗读１０句，总共有６３００个语句，其中分为ＴＲＡＩＮ和ＴＥＳＴ两个集合。　４．１．１　音素边界检测实验配置　本文衡量检测方法的性能指标有容错误差、检测率、插入错误率、删除错误率。其中，若容错范围为　ｔｍｓ，即若检测边界与标注边界间相距在ｔｍｓ内，则认为检测正确；若该误差范围内检测出ｎ个边界，则认　为其中ｎ一１个为插入错误；若距标注边界ｔｍｓ内没有检测任何边界，则视为删除错误。　４．１．２　区分性特征检测实验配置　根据ＣＭＵ／ＭＩＴ的建议，对ＴＩＭＩＴ中声学特征相近的音素进行合并，将６１个音素映射为４８个音素，如　表３所示。　表３　ＴＩＭＩＴ中音素映射关系　在进行区分性特征检测时，采用的是３层的ＴＤＮＮ，即输入层、隐　ＴＩＭＩＴ　本文实验　含层和输出层。其中，声学特征选用１２维ＭＦＣＣ、１维能量特征以及它　／ｕｗ／／ｕｘ／　／ｅｒ／／ａｘｒ／　们的一阶与二阶差分共３９维特征，考虑长时性特征的影响，本文　／ｍ／／ｅｒａ／　ＴＤＮＮ的输入端为连续９帧数据，ＴＤＮＮ的隐含层含有３００个神经元，　／ｎ／／ｎｘ／　输出端个数与区分性特征的个数相同。　／ｎＳ／／ｅｎｇ／　／ｈｈ／／ｈｖ／　４．１．３　音素识别实验配置　／ｐｃｌ／／ｔｃｌ／／ｋｃｌ／／ｑｃｌ／　在本文的音素识别过程中，将发音近似的音素不加以区分，它们为　／ｂｃｌ／／ｄｃｌ／／ｇｅｌ／　｛／ｅｌ／、／ｖｃｌ／、／ｓｉｌ／｝，｛／ｅｌ／，／１／｝，｛／ｅｎ／，／ｎ／｝。　／ｈ＃／／＃ｈ／／ｐａｕ／　在音素识别的对比实验中，将基于ＨＭＭ的音素识别系统作为基线系统，ＨＭＭ基线系统采用单音子　模型进行建模，每个模型采用３个隐含状态，每个状态的概率分布函数采用３２个高斯混元的ＧＭＭ。　音素识别系统性能的评定参数为正确率及准确率，假设日为正确识别的音素个数，Ｊ７＼，为标注文件的　个数，Ａ为识别的音素个数，则正确率为　％Ｃｏｒｒｅｃｔ＝　１／Ａｔ　１×１００％　（１０）　Ｖ　准确率为　／Ａｔ　％Ａｃｃｕｒａｃｙ＝　＾　×１Ｏ０％　（１１）　４．２　实验结果　４．２．１　音素边界检测结果　音素边界检测容错误差分别设置为１０ｍｓ、２０ｍｓ和３０ｍｓ，对应的边界检测结果如表４所示。　在相关的边界检测实验中，通常选择容错范围为２０ｍｓ，此处将本文和文献［１２］的检测结果进行比较，　如表５所示。文献［１２］利用音位属性进行音素边界检测，作为一种基于统计模型的检测方法，其计算量　庞大，耗时长，且当输入信号变化时，模型调整代价巨大。而本文采用的是基于信号语谱能量特征的检测　方法，计算量小，速度快，且可以方便地将根据输入信号特点调节参数。　表４音素边界检测结果　４．２．２　区分性特征检测结果　为了衡量区分性特征的检测效果，将检测的特征后验概率以０．５为阈值进行０、１离散化，并与从测试　６９８　信息工程大学学报　集语料库转化而来的结果进行对比，其识别结果如表６所示。　表５　本文和其它文献的检测结果　４．２．３　音素识别结果　在搜索匹配过程中，当ＳＰＥ、ＧＰ特征序列解码结果不同即存在歧义时，ＰＡＦＦ会输出多个识别结果及　对应的置信度，因此，在识别结果的对比时，将ＰＡＦＦ的识别结果分为两组，第１组将歧义区域中置信度最　大的选为识别结果进行对比；第２组则将歧义区域的识别结果包含正确的识别结果视为识别正确。将本　文的识别结果与ＨＭＭ基线系统的识别结果对比如表７所示，ＰＡＦＦ一１为第１组的识别结果，ＰＡＦＦ．２为第２　组识别结果。　表６　ＳＰＥ特征的检测结果　在语音识别算法实现过程中，算法的复杂度或运行时间对于语音识别系统的实时性意义重大，本文提　出的ＰＡＦＦ算法计算复杂度低，搜索效率快，相比与传统的基于统计模型的音素识别方法，识别速率大大　提高。本文将ＨＭＭ基线系统与ＰＡＦＦ运行速度进行实验对比，实验电脑型号为戴尔ＯｐｔｉＰｌｅｘ　３９０（配置为　ｉ５双核处理器、２Ｇ内存）。实验语料为ＴＩＭＩＴ语料库ＴＲＡＩＮ中ＤＲ１、ＤＲ２、ＤＲ３数据集，共１４７９句，时长　为３６０３秒。结果如表８所示。　表７音素识别结果　表８　音素识别系统识别完成耗时　识别系统（特征解码）　耗时　ＨＭＭ基线系统　４８分　ＰＡＦＦ　３．５分　４．３实验结果分析　４．３．Ｉ　音素边界检测结果分析　从表４的音素边界检测结果可以看出，随着容错误差的增大，音素边界的检测率在提高，但是由于检　测出的边界数目不会变化，因此插入错误略有下降，但仍然较大。由于音素边界检测是ＰＡＦＦ识别系统的　最前端，其检测性能会直接影响后续处理的效果，因此有效地提高检测率同时降低插入错误与删除错误是　研究的重点。同时，由于插入错误可以在ＰＡＦＦ算法实现过程中有效剔除，而删除错误则会严重影响音素　识别的效果，因此，本文的音素边界检测算法将检测阈值设置得较低，从而降低删除错误，但因此也使得插　入错误较高。　４．３．２　区分性特征检测结果分析　从表６可以看出ＳＰＥ特征与ＧＰ特征的检测结果在纯净语音环境下的平均检测正确率可以达到　９０％，另外，从文献［１２］中可以知道ＳＰＥ、ＧＰ特征白噪声及粉噪声的环境下都有较好的抗噪性能。　４．３．３　音素识别结果分析　从音素识别对比的结果可以看出，本文音素识别算法的准确率、正确率已十分接近ＨＭＭ基线系统。　并且，相比于传统的数据驱动的音素识别方法，本文方法在识别速度等方面具有较为明显的优势。另外，　本文共使用ｌ４个ＳＰＥ特征和１１个ＧＰ特征来完成音素识别，理论上这２５个特征已足够完成音素识别，　但是如果在特征搜索匹配时增加发音特征的类型或者加入由其他分类器检测的特征集，同时调整特征与　第６期　李立永等：基于区分性特征的音素识别　６９９　音素的映射表，则系统的音素识别错误概率将会下降，系统对环境噪声的鲁棒性也将会进一步提高。　ＰＡＦＦ对于发音方式变化明显的音素具有较好的检测效果，因此，还可以将ＰＡＦＦ识别的结果与其它数据　驱动的音素识别结果融合，进一步提高现有音素识别系统性能。　５　结束语　本文提出了一种基于语音产生知识的音素识别方法，相比于传统的基于数据驱动的“自上而下”的语　音识别方法，该方法通过模拟人耳听觉感知过程，采用“自下而上”的结构体系，以检测得到的发音底层特　征为基础，逐步实现高层特征的检测，并通过特征的搜索匹配完成识别。相比于基于数据驱动的识别方　法，本文方法在识别速度、系统鲁棒性及可扩展性等方面具有较大优势。　另外，本文主要采用区分性特征完成音素的匹配识别，还可以在匹配过程中进一步加入其它发音特　征，如Ｌａｎｄｍａｒｋ等音素类别信息，这些信息既可以作为系统输入来限制搜索的范围，又可以作为先验知　识，对识别结果进行筛选确认，从而进一步提高识别的性能。　参考文献：　［１］　Ｄｕｓａｎ　Ｓ，Ｒａｂｉｎｅｒ　Ｌ　Ｒ．Ｏｎ　Ｉｎｔｅｇｒａｔｉｎｇ　Ｉｎｓｉｇｈｔｓ　ｆｒｏｍ　Ｈｕｍａｎ　Ｓｐｅｅｃｈ　Ｐｅｒｃｅｐｔｉｏｎ　ｉｎｔｏ　Ａｕｔｏｍａｔｉｃ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ［ｃ］／／ｐｒｏｃ　．ｏｆ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　ｔｈｅ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｐｅｅｃｈ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ａｓｓｏｃｉａｔｉｏｎ（ＩｎｔｅｒＳｐｅｅｃｈ）．２００５：１２３３—１２３６．　［２］　Ｓｔｅｖｅｎｓ　Ｋ　Ｎ．Ｔｏｗａｒｄ　ａ　ｍｏｄｅｌ　ｏｆ　ｌｅｘｉｃａｌ　ａｃｃｅｓｓ　ｂａｓｅｄ　ｏｎ　ａｃｏｕｓｔｉｃ　ｌａｎｄｍａｒｋｓ　ａｎｄ　ｄｉｓｔｉｎｃｔｉｖｅ　ｆｅａｔｕｒｅｓ『Ｊ１．Ｔｈｅ　Ｊｏｕｒｎａｌ　ｏｆ　ｔｈｅ　Ａ．　ｃｏｕｓｔｉｃａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ａｍｅｒｉｃａ，２００２，１１１（４）：１３７２—１８９１．　［３］　Ｊａｎｅｔ　Ｓｌｉｆｋａ．Ａｃｏｕｓｔｉｃ　ｃｕｅｓ，ｌａｎｄｍａｒｋｓ　ａｎｄ　ｄｉｓｔｉｎｃｔｉｖｅＦｅａｔｕｒｅｓ：ａ　ｍｏｄｅｌ　ｏｆ　ｈｕｍａｎ　ｓｐｅｅｃｈ　ｐｒｏｃｅｓｓｉｎｇ［Ｊ］．ＥＣＴＩ　ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ｃｏｍｐｕｔｅｒ　ａｎｄ　ｉｎｆｏｒｍａｔｉｏｎ　ｔｅｃｈｎｏｌｏｇｙ，２００６，１　１：９　１—９６．　［４］　Ｌｅｅ　Ｃｈｉｎ—Ｈｕｉ，Ｍａｒｋ　Ａ　Ｃｌｅｍｅｎｔｓ，Ｓｏｒｉｎ　Ｄｕｓａｎ．Ａｎ　ｏｖｅｒｖｉｅｗ　ｏｎ　ａｕｔｏｍａｔｉｃ　ｓｐｅｅｃｈ　ａｔｔｒｉｂｕｔｅ　ｔｒａｎｓｃｒｉｐｔｉｏｎ（ＡＳＡＴ）［Ｃ］／／Ｐｒｏｃ．　ｏｆ　ＩｎｔｅｒＳｐｅｅｃｈ　Ａｎｔｗｅｒｐ．２００７：１８２５—１８２８．　［５］　Ｍｅｔｚｅ　Ｆ，Ｗａｉｂｅｌ　Ａ．Ａ　ｌｆｅｘｉｂｌｅ　ｓｔｒｅａｍ　ａｒｃｈｉｔｅｃｈｔｕｒｅ　ｆｏｒ　ＡＳＲ　ｕｓｉｎｇ　ａｒｔｉｃｕｌａｔｏｒｙ　ｆｅａｔｕｒｅｓ［Ｃ］／／Ｐｒｏｃ．Ｏｆ　ＩｎｔｅｒＳｐｅｅｃｈ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ．２００２：２　１　３３—２　１　３６．　［６］　Ｋｉｒｃｈｈｏｆｆ　Ｋ，Ｆｉｎｋ　Ｇ，Ｓａｇｅｒｅｒ　Ｇ．Ｃｏｍｂｉｎｇ　ａｃｏｕｓｔｉｃ　ａｎｄ　ａｒｔｉｃｕｌａｔｏｒｙ　ｆｅａｔｕｒｅ　ｉｎｆｏｒｍａｔｉｏｎ　ｆｏｒ　ｒｏｂｕｓｔ　ｓｐｅｅｃｈ　ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．　Ｓｐｅｅｃｈ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ，２００２，３７（３－４）：３０３—３１９．　［７］　Ｍｏｒｒｉｓ　Ｊ，Ｆｏｓｌｅｒ—Ｌｕｓｓｉｅｒ　Ｅ．Ｃｏｍｂｉｎｉｎｇ　ｐｈｏｎｅｔｉｃ　ａｔｔｒｉｂｕｔｅｓ　ｕｓｉｎｇ　ｃｏｎｄｉｔｉｏｎａｌ　ｒａｎｄｏｍ　ｉｆｅｌｄｓ［Ｃ］／／Ｐｒｏｃ．ｏｆ．Ｎｉｎｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｓｐｏｋｅｎ　Ｌａｎｇｕａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ（ＩＳＣＳＬＰ）．２００６：５９７—６００．　［８］Ｓｉｎｉｓｃａｌｃｈｉ　Ｓ　Ｍ，Ｔｏｒｂｊｏｒｎ　Ｓｖｅｎｄｓｅｎ，Ｌｅｅ　Ｃｈｉｎ—Ｈｕｉ．Ｔｏｗａｒｄｓ　Ｂｏｔｔｏｍ—Ｕｐ　Ｃｏｎｔｉｎｕｏｕｓ　Ｐｈｏｎｅ　Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］／／Ｐｒｏｃ．ｏｆ　Ａｕｔｏ・　ｍａｒｉｅ　Ｓｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ＆Ｕｎｄｅｒｓｔａｎｄｉｎｇ（ＡＳＲＵ）．２００７：５６６—５６９．　［９］Ｔｈｏｍａｓ　Ｆ　Ｑｕａｔｉｅｒｉ．Ｄｉｓｃｒｅｔｅ—Ｔｉｍｅ　Ｓｐｅｅｃｈ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ：Ｐｒｉｎｃｉｐｌｅｓ　ａｎｄ　Ｐｒａｃｔｉｃｅ［Ｍ］．Ｂｅｉｊｉｎｇ：Ｐｕｂｌｉｓｈｉｎｇ　Ｈｏｕｓｅ　ｏｆ　Ｅｌｅｃ－　ｔｒｏｎｉｃｓ　Ｉｎｄｕｓｔｒｙ．２００４：４３－５５．　［１０］Ｋｉｎｇ　Ｓ，Ｔａｙｌｏｒ　Ｐ．Ｄｅｔｅｃｔｉｏｎ　ｏｆ　ｐｈｏｎｏｌｏｇｉｃａｌ　ｆｅａｔｕｒｅｓ　ｉｎ　ｃｏｎｔｉｎｕｏｕｓ　ｓｐｅｅｃｈ　ｕｓｉｎｇ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋｓ［Ｊ］．Ｃｏｍｐｕｔｅｒ，Ｓｐｅｅｃｈ　ａｎｄ　Ｌａｎｇｕａｇｅ，２０００，１４（４）：３３３—３４５．　［１１］Ｓｔｒｏｍ　Ｎ．Ｔｈｅ　ＮＩＣＯ　Ａｒｔｉｉｆｃｉａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｔｏｏｌｋｉｔ［ＥＢ／ＯＬ］．［２０１０￣９・２３］．ｈｔｔｐ：／／ｎｉｃｏ　ｎｉｋｋｏｓｔｒｏｍ．ｃｏｎ．　［１２］许友亮，张连海，牛铜．基于音位属性和边界信息的音素识别［Ｊ］．数据采集与处理，２０１２，２８（４）：７９－８７．