NLPJob

标签热度

机器学习 coursera 斯坦福大学 公开课 斯坦福 深度学习 自然语言处理 python 数据科学 andrew ng 数学 nlp 数据分析 数据挖掘 神经网络 大数据 计算机科学 英语 算法 deep learning 统计学 课件 数据可视化 机器学习公开课 机器学习笔记 google 机器学习视频 计算机 商业 推荐系统 数据结构 r语言 java 密码学 udacity 金融 免费电子书 电子书 公开课笔记 计算机视觉 商务英语 学术英语 python数据可视化 机器学习课程 机器人 ted 文本挖掘 r 视频 领导力 java编程 回归模型 excel 深度学习课程 mysql cousera公开课 统计 大数据公开课 ted公开课 ted演讲 线性回归 javascript mit 概率图模型 金融市场 tensorflow 学习英语 物联网 大数据专项课程 python入门 大数据课程 英语写作 英语学习 算法课程 强化学习 高级机器学习 kaggle 文本分析 机器学习资料 函数式编程 scala 游戏设计 cousera 机器学习系统 机器人公开课 开源代码 人工智能 普林斯顿大学 machine learning 线性代数 代价函数 软件工程 伯克利 管理 市场营销 财务会计 沃顿商学院 网页开发 网站开发 web开发 网络安全 python数据科学 商业分析 非对称密码学 对称密码学 应用密码学 大规模数据科学 英语听说 概率 机器学习基石 python机器学习 算法公开课 源代码 数学思维 社交网络分析 微积分公开课 杜克大学 机器学习公开课视频 公开课视频 coursera公开课视频 coursera公开课 贝叶斯 信息论 离散数学 宾夕法尼亚大学 neural networks 伯克利大学 密歇根大学 成本函数 梯度下降 云计算 编译器 自动机 cs101 daphne koller spark 软件 会计 英语交流 商业策略 风险管理 资产管理 地理信息系统 gis 卷积神经网络 面向对象编程 序列模型 移动应用开发 数据库 计算机通信 敏捷开发 高级商务分析 商务分析 商务英语课程 c语言 c++ 数据管理 投资 计算原理 计算基础 推荐系统导论 学术英语写作 android应用开发 android开发 android 机器人课程 机器人学 数据科学竞赛 yandex 深度学习公开课 深度学习书籍 数据集 机器学习资源 分布式 微积分 大规模机器学习系统 统计推断 数据科学公开课 游戏 数学思维公开课 机器学习课件 数学公开课 微积分公开课视频 微积分公开课下载 mit微积分 mit公开课 龙星计划 神经网络公开课 coursera视频 斯坦福公开课 windows ios udacity公开课 无人驾驶汽车 人机交互公开课 人机交互 正则化 过拟合 逻辑回归 模型思维 网易公开课 acl net 逻辑 cmu 情感分析 我爱公开课 引言 普林斯顿 经济 saas 52opencourse 逻辑导引 图模型 chirs manning dan jurafsky ppt 编码 时间序列 go语言课程 go语言 工程师 语法 区块链基础 区块链 网页设计 软件开发 商务基础 运营管理 商务 机器学习实战 数据系统 投资管理 swift 计算机安全与系统管理 系统管理 计算机安全 seo策略 seo工具 seo 组织领导力 css3 html5 会计基础 c sharp 英语沟通 并发 并行 全栈开发 数据仓库 商业智能 投资策略 金融基础 数据工程 python零基础 安全系统 现代密码学 硬件安全 软件安全 网络安全基础 递归神经网络 信息检索 云计算网络 云计算应用 云计算基础 云计算概念 分组交换网络 局域网 创意写作 写作 数学基础 台湾大学 基因序列 生物信息学 斯坦福算法课程 软件架构 软件设计 java程序设计 r语言基础 图论 组合数学 python数据表示 python基础 深度学习专项课程 游戏设计与开发 游戏开发 游戏设计概念 游戏设计艺术 angular 恐龙古生物学 恐龙 古生物学 推荐系统评价 jquery 英语语法 c# 高级算法 算法专项 iot python专项课程 python入门课程 商务英语交流技巧 商务英语交流 python社交网络分析 python文本挖掘 机器学习专项 金融价值 金融决策 金融公开课 数据结构与算法 大数据机器学习 大数据分析 商业与金融建模 金融建模 学术英语听说 数据分析工具 编程入门 编程 编程基础 算法思维 计算机基础 秘钥管理 hdfs 数据工程师 hive 3d交互设计 3d建模 虚拟现实 vr 洛桑联邦理工学院 函数式编程入门 数据科学课程 数据科学专项课程 学术英语课程 学术英语写作课程 斯坦福算法专项课程 斯坦福算法 python数据分析 英文简历 英文面试 英文写作 贝叶斯方法 商业分析技术 大数据建模 数据获取 数据清洗 文本挖掘课程 聚类分析 python公开课 python课程 主成分分析 深度学习资料 词意消歧 词义消歧 推荐系统入门 python书籍 机器学习算法 数据结构课程 图像处理 贝叶斯方法实战 深度学习源代码 sibyl p2p 机器学习书籍 数据结构资料 凸优化 推荐系统入门资料 数据科学导论 可视化 机器学习开源工具包 jane mcgonigal 公开课社区 挖课 courseminer 文本情感分析 多变量微积分 社会计算 数学分析公开课 概率图模型公开课 百度 吴恩达 香港科技大学 函数式语言 scala公开课 class2go coursera无法连接 coursera打不开 keith devlin 数学思维简介 社交网络 余凯 张潼 机器人视频 robert sedgewick 算法上 多伦多大学 莱斯大学 华盛顿大学 佐治亚理工学院 神经网络视频

Text Summarization

Keyword Extraction

Text Processing

Word Similarity

Best Coursera Course

+3 投票

句法分析是自然语言处理领域的一个关键问题,如能将其有效解决,一方面,可对相应树库构建体系的正确性和完善性进行验证;另一方面,也可直接服务于各种上层应用,比如搜索引擎用户日志分析和关键词识别,比如信息抽取、自动问答、机器翻译等其他自然语言处理相关的任务。

短语结构和依存结构是目前句法分析中研究最广泛的两类文法体系。这里先大概介绍下依存结构。

依存文法最早由法国语言学家L.Tesniere在其著作《结构句法基础》(1959年)中提出,对语言学的发展产生了深远的影响,特别是在计算语言学界备受推崇。

依存语法通过分析语言单位内成分之间的依存关系揭示其句法结构,主张句子中核心动词是支配其它成分的中心成分,而它本身却不受其它任何成分的支配,所有受支配成分都以某种依存关系从属于支配者。

在20世纪70年代,Robinson提出依存语法中关于依存关系的四条公理,在处理中文信息的研究中,中国学者提出了依存关系的第五条公理,如下:


1、一个句子中只有一个成分是独立的;
2、其它成分直接依存于某一成分;
3、任何一个成分都不能依存与两个或两个以上的成分;
4、如果A成分直接依存于B成分,而C成分在句中位于A和B之间,那么C或者直接依存于B,或者直接依存于A和B之间的某一成分;
5、中心成分左右两面的其它成分相互不发生关系。



句子成分间相互支配与被支配、依存与被依存的现象普遍存在于汉语的词汇(合成语)、短语、单句、复合直到句群的各级能够独立运用的语言单位之中,这一特点为依存关系的普遍性,依存句法分析可以反映出句子各成分之间的语义修饰关系,它可以获得长距离的搭配信息,并与句子成分的物理位置无关。

:LTP依存分析模块所使用的依存关系标记含义 (http://ir.hit.edu.cn/demo/ltp)
依存关系标记(共24个)
定中关系ATT(attribute)
数量关系QUN(quantity)
并列关系COO(coordinate)
同位关系APP(appositive)
前附加关系LAD(left adjunct)
后附加关系RAD(right adjunct)
动宾关系VOB(verb-object)
介宾关系POB(preposition-object)
主谓关系SBV(subject-verb)
比拟关系SIM(similarity)
核心HED(head)
连动结构VV(verb-verb)
关联结构CNJ(conjunctive)
语态结构MT(mood-tense)
独立结构IS(independent structure)
状中结构ADV(adverbial)
动补结构CMP(complement)
“的”字结构DE
“地”字结构DI
“得”字结构DEI
“把”字结构BA
“被”字结构BEI
独立分句IC(independent clause)
依存分句DC(dependent clause)

关于中文句法分析的应用,工业界我知道的百度和雅虎都有尝试,

百度的query分析,雅虎利用句法信息做多粒度切词等等。

大家还知道有什么其他的应用吗?

分类:自然语言处理 | 用户: (220 分)
重新分类 用户:
谢谢shin的参与!
赞shin,句法分析、用户行为定向大牛!

期待更多的指导和分享!

可以详细介绍下“雅虎利用句法信息做多粒度切词”,并推荐一些相关资料?

这儿能上传ppt或者pdf的附件吗?这样以前做的资料就可以发出来方便大家参考
汗,fandy折煞我了:)
是我面试雅虎的一个员工时了解到的,没有太多的书面资料,仍是偏研究
可以放在其他网站(如个人主页、百度文库等),在这里使用超链接

2 个回答

+1 投票
我现在想将依存关系用于识别评价对象,比如“这个相机很不错”,“相机”和“不错”会构成一组评价搭配,而且是SBV关系,利用情感词典识别出“不错”,再找到“相机”,不过感觉这个想法还不成熟,因为有些极性词在句子中可能不充当评价词的角色,而且目前数据规模有限,有数据稀疏的问题,同时在评价搭配中出现的评价对象最多占整个评价对象的1/3.所以估计得到的效果不一定好。不知道师兄们有没有什么建议?
用户: (170 分)

 

将依存关系用户识别评价对象的想法非常好啊!赞一个

SBV主谓关系的主体中,可以是人(我吃苹果),也可以是物(相机不错)。将这一关系应用到评价对象时,主体应更多的指物(如相机),这里可以有一个评价对象的主体词表限制SBV关系的范围。

“有些极性词在句子中可能不充当评价词的角色”给几个例子?

“在评价搭配中出现的评价对象最多占整个评价对象的1/3”没出现的给个例子?

另外,关于识别评价对象,是否用语义依存会更好呢?

确实应该考虑主体的类别,这点我还没注意到呢,还是鑫哥经验丰富,呵呵,我观察语料还不够啊。

说说我的任务吧。我主要是想从评论语料中获取评价对象,做成一个类似词典的资源,“挖掘”为主,而不是“识别”,所以师兄说的“评价对象的主体词表“实际上也是我们想要的。对于师兄提到的这个问题,我们也可以用一个分类器,抽一些特征来区分下人和物。

评论中”镜头的锐度一般“,像”一般“这样的词,是做评价词的,但”一般“有时候不是以极性词出现的。比如”一般来说“,所以可能需要先对评价词词典做一个过滤。

评论中有提到”镜头由滑盖保护“,虽然在这里没有出现极性词,但”镜头“和”滑盖“是相机领域的评价对象。我们统计语料发现评价搭配中的出现的评价对象最多占整个评价对象的1/3.

师兄说的语义依存我还不是很了解,LA组是在做,不过好像还没有到实用阶段吧。
依存关系解析可以用于评价分析,不过有几个需要注意的地方。

1. 依存关系解析属于通用的自然语言处理处理技术,并基于统计学习,corpus是基于upenn的treebank来做训练的。这里评论的用语形式和treebank中对应的各种如WSJ的新闻用语可能不一样,导致依存关系解析错误。因此需要尽量避免复杂句,同时通过类别或实体识别以及属性抽取等将句子中的成分尽量切的比较粗粒度(基于NER或chunking)。

 

2. 评价对象分析的主要输出形式如(对象,属性,属性评价,极性)这样的四元组,因此需要利用词典或知识库来对前三者进行抽取,最后的极性应该是基于上下文的分析。而这里知识库或词典的准备至关重要,而他们反过来也可以辅助对复杂句中的各种成分进行识别,利于粗粒度切分,并简化依存关系解析的难度。

 

3. 评价对象分析属于sentiment analysis(情感分析)的范畴,一般评论具有站点特殊性,用通用的方法做,往往准确率和查全率都不高。因此,常用的做法是利用有限的种子做站点相关的抽取模式(site-specific extration pattern),在抽取的模式中可以将依存解析作为一种特征(参见UW大学wufei在ACL上发表的open information extraction using wikipedia的思路)。

希望上述三点建议对你有用。
谢谢师兄的建议,我受到很多启发。

我们之前用识别NP的方法做识别评价对象的实验,语料是新闻语料,在分词后,试着把NP作为评价对象的候选,发现识别的准确率其实是很高的,不过召回率太低,因为有很多评价对象实际上是单个词。然后标了一部分领域相关的训练语料,发现F值可以达到一个比较高的水平了。

现在想做一个不用大量标语料的,所以才想利用依存分析,呵呵。

另外,师兄说的这种方法有点像boostrapping,通过不断地迭代,种子-模版-种子....不断完善词典。这个也是我们下一步的计划。不过现在思路不是很清晰,具体一些细节还要推敲。

我看看师兄推荐的这篇论文吧。
大家互相讨论吧。

这里相比bootstrapping来说,思想差不多,属于self-supervised learning的范畴。区别在于选用的特征以及迭代的次数选择以及置信度评估等。

其实,在实际应用中,简单的方法就会表现出很好的性能,至少可以解决80%的问题。

【从评论语料中获取评价对象,做成一个类似词典的资源,“挖掘”为主,而不是“识别“】—你把SBV的主语扔到百度去搜,如果返回有商业广告,就认为这个是物,这样是不是就挖掘出来了?可能有噪声,不妨先看看

嗯,利用搜索引擎也是个不错的方法。以后做的时候会考虑的。
我现在在做一个统计,看看评价搭配中的词、词性、句法有些什么样的规律,也许还能发现其他有趣的东西。呵呵
0 投票

请问是哪位中国学者提出了依存关系的第五条公理?

用户: (140 分)
...