【重要】ETS对于雷同的判定&我的感想

鬼谷子UID: 159645

GRE GENERAL TEST SCORES CANCELLED FOR 64 INTERNATIONAL TEST TAKERS

PRINCETON, N.J.(Jan.21,2003) – Officials of the Graduate Record Examinations (GRE) Program have announced that the GRE General Test scores have been cancelled for 64 students from the November 23, 2002, paper test administration in China, Korea, Taiwan and Hong Kong.

These 64 test takers are among the over 6,000 individuals who took the test on that date.  The affected scores were cancelled because their Analytical Writing essays do not contain sufficient original material to provide a valid indication of their analytical writing skills.

Investigators found the presence of paragraphs and sentences containing similar language or essays in a common essay structure. For many of these essays, published sources for the language and examples were discovered.  Further invalidating the scores is the fact that these students did not provide their own ideas or examples to illustrate their critical thinking.

“We understand that test takers may draw upon similar ideas for these analytical essays,” says John Yopp, vice president of ETS’s Graduate and Professional Education division. “And while this is acceptable, test takers must realize the graduate education community in the United States values most highly the ability of students to develop their own perspectives in analytical essays. The graduate community also values students who can illustrate through their essays not just how thoroughly they memorize and recall citations , but how much original thinking they do to show how they differ from their fellow test takers. ”
“We are extremely pleased that some 6,000 test takers created their own essays.  They serve as an example to all test takers and show that the vast majority of students do their own original work.  It reflects well on their hard work and dedication to learning.” Yopp concluded.

Officials are in the process of releasing scores of students whose scores have been cleared and of notifying those whose GRE General Test scores have been cancelled.  Several hundred additional essays have not yet been scored because of insufficient quality in the conversion of handwriting to digital images.  This prevented the essays from being scored through the nation-wide network of readers.  These essays are being reviewed and scores will be released as soon as they are available.

Students whose scores have been cancelled have forfeited their test fees and must pay to take the entire GRE General Test again at an upcoming administration. No record of the score cancellations, or the reason for cancellation, will appear on their future score reports sent to colleges and universities.
通过这件事我们可以看出ETS对于雷同的标准和对于我们AW写作的要求。这也正是我们一直建议同学们要自己动手写提纲，自己动手找例子的原因。因为只有这样才能够达到critical & original thinking。当然，背诵一些好的文章，比如新概念4等对于写作是有很大帮助的，“读书破万卷，下笔如有神”，毕竟，一些好的句式和表达是我们没有办法创造出来的，只能去学习和记忆。但是，我们如何运用这些资源来形成我们自己的风格，表达我们自己的critical & original thinking是最重要的问题。我觉得对于现成的资料中以及别人文章中精彩句子我们应该学习，记忆，消化，理解，然后变成自己的语言，而不应该生搬硬套。对于例子，我们也不能够原文照抄，而是应该用自己的语言将例子中最符合自己观点的内容简要的表达出来，因为上文中判定雷同的一个重要原因就是：published sources for the language and examples were discovered，所以，对于语句和例子我们一定要尽量有创意有新意，尽量不要使用所有人都在用的语句和例子，如果这样的层次很难达到，一时找不到很新鲜的语句和例子的话也一定要用自己的语言来表达，千万不要为了省事而全部照抄。

除此之外，就是思路和观点上面的critical & original thinking的问题了。我觉得我们不应该为了避免偏激而每篇文章都去中庸都去平衡，其实，无论你的观点多么的怪异，只要能够自圆其说，逻辑上面没有错误就符合了AW的要求了，而且，我觉得自己的想法才算是真正的critical & original thinking。孙远等人的书籍，尤其是其中的提纲只是一种参考，仅仅是一种参考而已，要知道，多少人都在看他们的书籍，都在用他们的提纲和模板，这样绝对不可能达到critical & original thinking。如上文的例子，6000考生中的64个被判了雷同，差不多是百分之一的比率，而如果你过分依赖模板和提纲，跟你使用相同的模板和提纲的人肯定不会少于百分之一的，这样你被判雷同的可能性就会相当的大。其实跟语言相比，结构思路上面的critical & original thinking是更重要的，所以，与其把时间花在选择很难的词汇，编造超长的句子上面还不如把时间用在构思和完善自己更critical & original 的思路上面。

说了这么多其实主要的目的就是让大家注意critical & original thinking的问题，以及如何避免被判雷同，只要抓住了critical & original thinking这一点，AW就一定会成功的。AW无非就是考查我们思考分析问题的能力的考试。只要你认真的去构思认真的去分析，用自己的语言把自己的观点表达清楚，你就已经征服了AW。最后还是要祝福大家AW考试取得成功！

davidjackyUID: 135962

大家都很关心这个问题，但是也没有个说法，希望大家能够好好讨论并达成共识，给后来者一些借鉴。

qianqunUID: 193202

那么像argument的模版能不能用阿

imjasonUID: 176604

其实真的是很头疼的问题啊。
感觉新东方的一套东西影响太深了。

大家可以看下论坛里的文章，尽管句子或者例子不是很一样，但是文章的主干，各段连接等等
基本都是相同的。我自己也是这样啊。
这个问题自己真要好好想想了。


PS：学校的网速真是让我不敢恭维了。

poohUID: 146994

魔板的东西不支持，argument如果真的觉得时间紧，就自己写个魔板吧，网上的就不要抄了

你可以在平时形成自己写作的风格，到了考场上就按照固定套路来就行了

lianglcl05UID: 181629

我认为不光模板是个问题，例子也让人头痛。因为，一说到例子，大家多会想到伟人，比如Edison, King,etc.所以，如果说雷同，我想这个概率恐怕要比模板更大。那这样的话，是不是就说不能举或者少举名人的例子啊？什么样的例子是ETS所喜欢的呢？望指点。

feifeiguoUID: 181589

我也想问同样的问题:是不是最好用自己身边的例子?但是这样的例子会不会不如名人的例子有说服力呢?~~~~谢谢解答~:)

tsepreppaperUID: 179582

关于这个雷同探测器，我想可以这么来看，当然一下纯属我个人臆断，并不能保证全都是那样的。

这个程序实际上就是一个全文文本分析器。把你写的作文的每一句话先用parser进行结构分析，得到一群syntax tree。然后对照ETS的语料库（corpus）进行匹配。corpus就是前人的publications，比如研究中文语言，把1949年到今天的所有人民日报作为corpus一样，ETS可以设定它们认为必要的任何资料档案。相应的corpus中的每句话应该也是建了syntax tree的。这样就可以从morphology和syntax的角度去分析匹配你的作文与他人的文章，得到相似程度。

值得注意的是ETS很有可能会使用一种动态生长corpus的技术，也就是把所有考生的作文也动态加入到它们的corpus中去，这样，两个人的文章很相似，那么第二个人显然就有plagiarism的嫌疑。

当然，为了提高判断的准确度，这个程序应该会排除一些特殊的词，比如is等等这样的词，因为它的出现频率太高了。当然也有可能在argument里面设定一些关键词忽略不计。

未完。。。

最初由 feifeiguo 发布
[B]我也想问同样的问题:是不是最好用自己身边的例子?但是这样的例子会不会不如名人的例子有说服力呢?~~~~谢谢解答~:) [/B]

鬼谷子UID: 159645

你是在说E-RATER吗？imong早有文章驳斥了这个问题，而且ETS也有明确的说明，AW考试的时候不会使用E-RATER的

DendisUID: 158017

很深刻的见地，谢谢老鬼啦

tcaactUID: 186901

嗬嗬，支持支持！

willorUID: 184214

ETS很变态的……

naiba369UID: 131655

up

lisploreUID: 195645

今天我来继续谈谈这个探测器。
首先回答网友提问。

最初由 鬼谷子 发布
[B]你是在说E-RATER吗？imong早有文章驳斥了这个问题，而且ETS也有明确的说明，AW考试的时候不会使用E-RATER的 [/B]

当然不是E-RATER，就目前的情况看，E-RATER评分仍然非常困难，ETS仍旧在研究过程中（http://www.gre.org/reswrit.html），对这个软件ETS发表了很多paper，但我并没有从这些paper中看到什么实质性的东西，所以尽管ETS把E-RATER吹得前景无限好，就从目前的情况来看，E-RATER用于实践还是需要很大技术改善的。

我不知道为什么所有的人都认为是E-RATER在探测作文的雷同，这是一个很大的误解。在http://www.gre.org/reswrit.html没有任何关于雷同探测的文章。也许这就是迷信新东方的结果。绝大多数的考生跑新东方上课，听到什么就是什么，没有判断力，更没有自己研究考试说明的习惯，总是把新东方讲的等同于ETS的考试说明。如果说这是由于一位网友所提及的“时间不够”的问题，那么暂且不论考生有什么错，错就错在新东方的这帮人赚钱赚得没有职业道德。既然所有人都信任新东方，为什么它们尽是把一些无聊和错误的信息提供于它们的衣食父母。看来各位需要用自己的判断来重新审视新东方的可靠性和实用性。（当然也要判断所有其他的信息来源的可靠性）

如果有人粗略读过ETS早先发的[I]An Introduction to the Analytical Writing Section of the GRE General Test[/I] （available at: http://ftp.ets.org/pub/gre/awintro.pdf）就可在第4页发现[I]How the Analytical Writing Section is Scored[/I] 这一section。你可以在这一section中发现这么一句话“Your essay responses on the analytical writing section will be reviewed by ETS essay-similarity-detection software and by experienced essay readers during the scoring process.”显然雷同判断是存在的，并且是重要的，但与E-RATER并没有什么太大的关系。

下面我来继续谈谈这个雷同判断程序。上次谈到

关于这个雷同探测器，我想可以这么来看，当然一下纯属我个人臆断，并不能保证全都是那样的。

这个程序实际上就是一个全文文本分析器。把你写的作文的每一句话先用parser进行结构分析，得到一群syntax tree。然后对照ETS的语料库（corpus）进行匹配。corpus就是前人的publications，比如研究中文语言，把1949年到今天的所有人民日报作为corpus一样，ETS可以设定它们认为必要的任何资料档案。相应的corpus中的每句话应该也是建了syntax tree的。这样就可以从morphology和syntax的角度去分析匹配你的作文与他人的文章，得到相似程度。

值得注意的是ETS很有可能会使用一种动态生长corpus的技术，也就是把所有考生的作文也动态加入到它们的corpus中去，这样，两个人的文章很相似，那么第二个人显然就有plagiarism的嫌疑。

当然，为了提高判断的准确度，这个程序应该会排除一些特殊的词，比如is等等这样的词，因为它的出现频率太高了。当然也有可能在argument里面设定一些关键词忽略不计。

未完。。。

那么怎样判断一篇作文有雷同他人的嫌疑呢？通常对这个“相似程度”作分析，设定一个最大可接受的下限，超过的就进行review。这也就是为什么有人在别人的成绩都寄到的时候自己的始终没有收到，打电话也是score unavailable的提示。这也许就是ETS在review，寻找确凿的证据呢。两个月以后收到score cancelled的通常是这种情况。

当然也可能是某些异常情况会判断成雷同，比如一句句子的整句完全匹配于他人的文章。也有可能是ETS提到的“experienced essay readers”们发现的。

说了那么多也许你很少发现有用的。那么现在来讨论究竟这个雷同判断有什么意义。

首先可以发现雷同探测软件是通过syntax和morphology的角度来判断一篇作文的。那么如果你用了别人的思想，它能判断出来吗？结论是不一定。如果你的用词和结构完全与原文不同，那么这个软件是无法查出来的。而如果有用到相同的词或者句子结构相同的，那么就要看这个软件的判断水平了。相信比较明显的雷同还是能够判断出来的。毕竟理论上来讲syntax和semantics是有强对应关系的，所以从词法句法来判断语义并不是完全无效的。

那么照这样的分析，什么样的情况最容易被判断为雷同呢？背新概念的网友应该要当心了。因为你是在背别人的文章，那么你的用词和句子的结构很有可能被判断出来。新概念的全文应该被ETS收入到corpus中去的，这从“GRE GENERAL TEST SCORES CANCELLED FOR 64 INTERNATIONAL TEST TAKERS”这次大规模事件可以确认，据那次被判雷同的大多数人回忆，他们只是用过新概念中的某句话而并没有过更多的其他可能了。

同样那些背诵“好词好句”整理、“闪光句型”的人，也应该要谨慎。因为从雷同探测软件的设计目的来看，针对的就是那些使用“闪光句型”的人。从另外一个角度来看，GRE作文的判分并不强烈依赖于语言的表达，只要清楚陈述你的思想和推理过程即达到了作文的语言功能。我的一个学理科同学就是一个很好的例子。她考前写的作文语言并不精彩，但每句话之间大多都体现了紧密的逻辑联系，非常有条理，文中的思想也比较成熟和思辨，所以正式考试得到5.5分的成绩也是很好理解的。相信她在考场上语言的表达能力并不会一夜间变得极其强大。

说了那么多，不过只是提供一个参考。

鬼谷子UID: 159645

感谢lisplore精彩的分析，刚刚在你给的链接里面确实看到了ETS essay-similarity-detection software的说法，这样就解开了我对于published sources for the language and examples是值得大家注意的问题。要背诵名篇的同学应该注意了，一定取人所长化为己用，而且了无痕迹才行。