AI智能推荐题库-试题通 AI智能整理导入题库-试题通
×
首页 题库中心 ADABOOST数据题库共6章西安 题目详情
C9ED61926A600001A62B87891FC01988
ADABOOST数据题库共6章西安
2,134
单选题

基于统计的分词方法为()。

A
正向最大匹配法
B
逆向最大匹配法
C
最少切分法
D
条件随机场

答案解析

正确答案:D

解析:

第一类是基于语法和规则的分词法。其基本思想就是在分词的同时进行句法、语义分析,利用句法信息和语义信息来进行词性标注,以解决分词歧义现象。因为现有的语法知识、句法规则十分笼统、复杂,基于语法和规则的分词法所能达到的精确度远远还不能令人满意,目前这种分词系统还处在试验阶段。第二类是机械式分词法(即基于词典)。机械分词的原理是将文档中的字符串与词典中的词条进行逐一匹配,如果词典中找到某个字符串,则匹配成功可以切分,否则不予切分。基于词典的机械分词法,实现简单、实用性强,但机械分词法的最大的缺点就是词典的完备性不能得到保证。据统计,用一个含有70000个词的词典去切分含有15000个词的语料库,仍然有30%以上的词条没有被分出来,也就是说有4500个词没有在词典中。第三类是基于统计的方法。基于统计的分词法的基本原理是根据字符串在语料库中出现的统计频率来决定其是否构成词。词是字的组合,相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻共现的频率或概率能够较好地反映它们成为词的可信度。最大匹配是指以词典为依据,取词典中最长单词为第一个次取字数量的扫描串,在词典中进行扫描,这是基于词典分词的方法。最大匹配法有正向最大匹配法、逆向最大匹配法、最少切分法。其中,最少切分法使每一句中切出的词数最小,这也是基于词典分词的方法。
题目纠错
ADABOOST数据题库共6章西安

扫码进入小程序
随时随地练习

关闭登录弹窗
专为自学备考人员打造
勾选图标
自助导入本地题库
勾选图标
多种刷题考试模式
勾选图标
本地离线答题搜题
勾选图标
扫码考试方便快捷
勾选图标
海量试题每日更新
波浪装饰图
欢迎登录试题通
可以使用以下方式扫码登陆
APP图标
使用APP登录
微信图标
使用微信登录
试题通小程序二维码
联系电话:
400-660-3606
试题通企业微信二维码