寄托天下 寄托天下
楼主: 鬼谷子
打印 上一主题 下一主题

[未归类] 【重要】ETS对于雷同的判定&我的感想 [复制链接]

Rank: 2

声望
0
寄托币
117
注册时间
2005-2-12
精华
0
帖子
0
16
发表于 2005-3-4 19:57:31 |只看该作者
楼上的话让我想起我原先看过的一篇文献,专门是讨论如何分析自然语言的。这其中有一个软件叫做LSA(Latent Semantic Analysis)是用来分析两篇文章的相似性的。我自己不是很明白,专门写信请教了文章作者。文章作者给我简单描述了一下原理,贴出来给大家看看。
LSA is a program that takes about a year to learn and is dependent on several subprograms. I  find he entire logic of the system extremely complicated.  Very briefly, imagine a matrix where all words in all essays are listed across the top: a, aardvark, an, ant,.... zyther.  There would actually be over 30,000 words in english across the top.  Going down in this matrix would the various essays that are to be analyzed.  Within this matrix, we could actually insert the number of times each of these words is used in each essay.  Most of the entries in the matrix would be "0" since most people may only write about 300 words in the essay.  Nevertheless, if we had 7,000 essays, we would have a 30,000 by 7,000 matrix.  We could then factor analyze the matrix and determine that we will limit it to about 300 factors.  Using these 300 factors, we could then enter in new essays and apply these factor loadings and begin to see how any two essays are similar or different.  This is the basis of LSA.

If you want to learn more, I'd encourage you to go to: www.lsa.colorado.edu.  The authors of that website give you a much better overview of the system.


我理解的基本意思是,这个软件应该是从单个词出发,从下至上进行分析,而不管文章本身的意义。

使用道具 举报

Rank: 11Rank: 11Rank: 11Rank: 11

声望
35
寄托币
53977
注册时间
2004-3-27
精华
53
帖子
30

Aquarius水瓶座 荣誉版主

17
发表于 2005-3-5 10:47:34 |只看该作者
restarting给出的例子很好的,说明目前果然是有这样的软件,如果说ETS也是用这样的软件的话,那我们回避的重点就应该放在词汇上面了??

不过如果是同样的词汇造出的不同句式如何判定呢?我觉得lisplore的分析比较合理。
Ghost
Ravine
Elite

使用道具 举报

Rank: 2

声望
0
寄托币
650
注册时间
2004-12-6
精华
0
帖子
2
18
发表于 2005-3-11 21:13:21 |只看该作者
up

使用道具 举报

Rank: 3Rank: 3

声望
0
寄托币
1402
注册时间
2004-8-23
精华
0
帖子
1
19
发表于 2005-4-18 16:40:05 |只看该作者
哎呀,听完你们这帮人的分析更晕了,还是自己会什么就写什么吧!!!
中国歌坛有一句话说得好,原创的才是最好的!!!
4.21AW

凡为攻击我而制造的武器,必将被摧毁;凡在审判中攻击我的人,必将被定罪

No weapon that is formed against thee shall prosper;
And every tongue that shall rise against thee in judgement thou shalt condemn.

使用道具 举报

RE: 【重要】ETS对于雷同的判定&我的感想 [修改]
您需要登录后才可以回帖 登录 | 立即注册

问答
Offer
投票
面经
最新
精华
转发
转发该帖子
【重要】ETS对于雷同的判定&我的感想
https://bbs.gter.net/thread-251289-1-1.html
复制链接
发送
报offer 祈福 爆照
回顶部