单选题
基于统计的分词方法为()。
A
正向最大匹配法
B
逆向最大匹配法
C
最少切分法
D
条件随机场
答案解析
正确答案:D
解析:
第一类是基于语法和规则的分词法。其基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来进行词性标注,以解决分词歧义现象。因为现有的语法知识、句法规则十分笼统、复杂,基于语法和规则的分词法所能达到的精确度远远还不能令人满意,目前这种分词系统还处在试验阶段。第二类是机械式分词法(即基于词典)。机械分词的原理是将文档中的字符串与词典中的词条进行逐一匹配,如果词典中找到某个字符串,则匹配成功可以切分,否则不予切分。基于词典的机械分词法,实现简单、实用性强,但机械分词法的最大的缺点就是词典的完备性不能得到保证。据统计,用一个含有70000个词的词典去切分含有15000个词的语料库,仍然有30%以上的词条没有被分出来,也就是说有4500个词没有在词典中。第三类是基于统计的方法。基于统计的分词法的基本原理是根据字符串在语料库中出现的统计频率来决定其是否构成词。词是字的组合,相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好地反映它们成为词的可信度。最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描,这是基于词典分词的方法。最大匹配法有正向最大匹配法、逆向最大匹配法、最少切分法。其中,最少切分法使每一句中切出的词数最小,这也是基于词典分词的方法。
题目纠错
相关题目
单选题
下列数据中不属于字符串的是()。
单选题
type(1e6)的结果为()。
单选题
python字符串切片时,S[0,10]下标的取值范围为()。
单选题
info='abc'
info[2]='d'的输出结果是()。
单选题
a=[[1.,2.,1.],[1.,2.,1.]],a+3的值为()。
单选题
a=l,b=2,c=3,则下列表达式结果为True的是()。
单选题
a=[1,2,3.4,5],切片时如果要取[2,3.4],则下列结果正确的是()。
单选题
Python运算符中用来计算集合并集的是()。
单选题
Python语句print(0xA+0xB)的输出结果是()。
单选题
Python对not、or、and求值的优先顺序是()。
