JSON中TERM重要性和情感分析的正确使用
陆仁贾wzl 发布于2018-01-31 浏览:2456 回复:3
4
收藏
基础QU功能上线后,用户将能获得当前query的term重要性、情感分析的结果,在场景BOT点击【查看JSON及完整内容】可以看到在原来的qu_res字段中包含了term重要性、情感分析的结果,json内容如下:
        "lexical_analysis": [
            {
                "basic_word": [
                    "中国"
                ],
                "term": "中国",
                "type": "23",
                "weight": 0.19111812114716
            },
            {
                "basic_word": [
                    "北京"
                ],
                "term": "北京",
                "type": "23",
                "weight": 0.38223624229431
            },
            {
                "basic_word": [
                    "人民",
                    "大学"
                ],
                "term": "人民大学",
                "type": "21",
                "weight": 0.42664569616318
            }

参数说明:

weight:代表该词在query中的重要程度,值越大表示越重要,所有词重要性之和为1

label:代表query的情感分类倾向,2表示正向,1表示中性,0表示负向

pval:query的好评置信度/差评置信度,越大表示分类结果的可靠性越高,0-1之间的值

basic_word: 该词可以切为哪些更小粒度的词

type:该词对应的词性,具体映射如下:

type	代码 	名称 	帮助记忆的诠释 
1	Ag 	形语素 	形容词性语素。形容词代码为a,语素代码g前面置以A。 
6	a 	形容词 	取英语形容词adjective的第1个字母。 
7	ad 	副形词 	直接作状语的形容词。形容词代码a和副词代码d并在一起。 
8	an 	名形词 	具有名词功能的形容词。形容词代码a和名词代码n并在一起。 
9	b 	区别词 	取汉字“别”的声母。 
10	c 	连词 	取英语连词conjunction的第1个字母。 
2	Dg 	副语素 	副词性语素。副词代码为d,语素代码g前面置以D。 
11	d 	副词 	取adverb的第2个字母,因其第1个字母已用于形容词。 
12	e 	叹词 	取英语叹词exclamation的第1个字母。 
13	f 	方位词 	取汉字“方” 
14	g 	语素 	绝大多数语素都能作为合成词的“词根”,取汉字“根”的声母。 
15	h 	前接成分 	取英语head的第1个字母。 
16	i 	成语 	取英语成语idiom的第1个字母。 
17	j 	简称略语 	取汉字“简”的声母。 
18	k 	后接成分 	 
19	l 	习用语 	习用语尚未成为成语,有点“临时性”,取“临”的声母。 
20	m 	数词 	取英语numeral的第3个字母,n,u已有他用。 
3	Ng 	名语素 	名词性语素。名词代码为n,语素代码g前面置以N。 
21	n 	名词 	取英语名词noun的第1个字母。 
22	nr 	人名 	名词代码n和“人(ren)”的声母并在一起。 
23	ns 	地名 	名词代码n和处所词代码s并在一起。 
24	nt 	机构团体 	“团”的声母为t,名词代码n和t并在一起。 
25	nx	外文专名	一般是全角英文专名,如:ZBT
26	nz 	其他专名 	“专”的声母的第1个字母为z,名词代码n和z并在一起。 
27	o 	拟声词 	取英语拟声词onomatopoeia的第1个字母。 
28	p 	介词 	取英语介词prepositional的第1个字母。 
29	q 	量词 	取英语quantity的第1个字母。 
30	r 	代词 	取英语代词pronoun的第2个字母,因p已用于介词。 
31	s 	处所词 	取英语space的第1个字母。 
4	Tg 	时语素 	时间词性语素。时间词代码为t,在语素的代码g前面置以T。 
32	t 	时间词 	取英语time的第1个字母。 
33	u 	助词 	取英语助词auxiliary 
5	Vg 	动语素 	动词性语素。动词代码为v。在语素的代码g前面置以V。 
34	v 	动词 	取英语动词verb的第一个字母。 
35	vd 	副动词 	直接作状语的动词。动词和副词的代码并在一起。 
36	vn 	名动词 	指具有名词功能的动词。动词和名词的代码并在一起。 
37	w	标点符号 	 
38	y 	语气词 	取汉字“语”的声母。 
39	z 	状态词 	取汉字“状”的声母的前一个字母。 

另,ML融合gate模型后,在我们内部四个垂类上lbs,movie,tv,food,500条query的召回率平均提升2%,query的精确率平均提升6.7%

收藏
点赞
4
个赞
共3条回复 最后由铃戌动质葡回复于2021-01-19
#5风搅火回复于2018-02-03

这种技术很实用

0
#4才能我浪费99回复于2018-02-02

厉害!

0
#2带走小萝莉回复于2018-01-31

sofa

0
TOP
切换版块