寄托天下
查看: 2885|回复: 4

[学术讨论] zz一个关于审稿的文章 [复制链接]

Rank: 9Rank: 9Rank: 9

声望
1479
寄托币
13189
注册时间
2005-5-5
精华
25
帖子
361

荣誉版主 Economist

发表于 2011-8-30 21:45:19 |显示全部楼层
写得挺好的,我觉得也许对所有类型的批评,包括bbs上的讨论都有些借鉴意义。譬如有些版友可能对有些学校,经济学家或者研究成果因为其“不够好”而给出负面或者轻蔑的看法。我对此的经验是人开始涉足某个领域常常是通过间接媒介接触大牛的观点,大牛中天才很多,加之西方张扬个性的文化,不乏很多善于给出犀利批评的人。很多人(包括我在内)初学的时候难免模仿大牛,因为他们的牛难以模仿,就从比较容易的犀利开始模仿。但后来真正开始做了,往往发现,从一个犀利的角度把一期AER或者Econometrica的文章都评为垃圾并不难,但要自己把文章写到一个二流期刊发表的水平,可实在不是容易的事。所以从底层一步步走上去,还是要重新审视很多二三流的文章之所以能发,他们的优点是什么,很多field top之所以能发得更好,它们比前者的闪光点在哪里——当然,我们依然可以比较偷懒地认为某人比某人发得好,不是因为他文章写得更好,而是因为他的关系网更强大,但不久你可能也会发现,在竞争激烈的学术界里经营关系网,可能比提高文章质量的挑战性只高不低,能经营的好的人,能力都有过人之处。

罗索了这么半天,其实我的总结是:寄托在合理合法的范围之内欢迎大家对各种问题畅所欲言,这篇文章和我的引言,还是要欢迎大家各种批评,各种讨论:

原文链接:http://lumingfudan.blog.sohu.com/182485433.html

说审稿
-------------
陆 铭*
近日,因为审稿,以及收到的审稿报告,想起一些话,说给大家听听。
前两天,我将自己写的一份审稿报告和收到的一份审稿报告放在一起,在学生面前晒了晒。我对学生说,你们或早或迟,会成为审稿人,也会在各种报告会上批评别人的文章,那么,我希望你们记住两个C和两个P:constructive、professional、careful、polite。
审稿总是要批评的,批评是容易的,难的是建设性的批评。特别是对于实证研究,世人皆知,模型误设(mis-specification)、度量误差(measurement error)、内生性(endogeneity)是三个绕不过去的问题,从这三个角度去批评文章,基本不会错。但是,一份审稿报告如果只谈这三个方面的问题,怕是恰恰说明审稿人除了教科书之外,对所审的文章没有更深的理解。更重要的是,一篇文章的模型形式应基于理论与文献,变量的度量应该是在研究之前已经充分考虑的问题,内生性的解决并不容易,有经验的作者不会在这方面一点也不考虑。作为审稿人,我更愿意告诉作者这样一些信息:他有一个研究中闪亮的地方,他没有意识到;他遗漏了重要的文献;他可能能够找到某个数据,从而可以看看从X到Y的某个机制,甚至可以检验几种机制哪个更重要;或者,从X到Y的机制不是作者所说的那样,在历史和现实中,故事是另一种可能性,更接近真实的制度背景;我可能还会建议作者,在一篇学术论文中,不要将政策建议讲得那么多;我还会建议作者对于文章的引言部分换个写法,会使得他的工作更加重要和有趣。……我会尽量要求自己所提的建议是可以做到的,从而使审稿意见具有“建设性”。我不会对一篇研究收入差距对某个事物的影响的文章说,收入差距是内生的,你应该用实验数据去做,因为用实验方法来改变收入差距,不说是不可能的,也至少是不道德的。我也不会建议作者运用自然实验的数据来研究户籍的影响,因为我知道,随机地给农民工发放城镇户籍,这件事从来没有过。
对于耗费了经济学家大量精力的内生性问题,我想多说两句。我绝对认为克服内生性偏误是重要的,也是研究者应该努力去做的。不过,我的想法是,计量经济学方法和因果关系识别在理论上并无直接对应关系。计量的研究策略(包括实验方法、IV、regression discontinuity、propensity score matching、DID等等)都只是用来避免(或缓解)由遗漏变量或双向因果关系所产生的估计偏误的。在使用了这些方法之后,研究者所看到的相关性更接近因果关系,而其是否真是因果关系,仍然需要看理论逻辑。因此,我不认为运用OLS方法分析截面数据的研究就一定不好,事实上,只要研究策略得当(比如运用了实验或自然实验的方法),从而保证了核心解释变量的外生性,OLS恰恰是最好且有效的估计。一些顶级杂志的文章也常常在OLS的基础上,运用一些研究逻辑来排除某些作用机制,从而更好地接近因果推论。另外,一些开创性的研究往往是从看相关性起步的,此类研究的重要意义往往在于提出了具有创见的问题,当然,如果能够用更接近于因果分析的研究策略,则是锦上添花。
是不是可以简单地从研究方法来判断研究的价值?方法是重要的判断标准,但恐怕不能作为唯一标准。举个例子吧:党员到底代表什么?是能力还是权力?要回答这个问题,可以用同卵双胞胎数据,做一下双胞胎之间的数据差分,那么,同卵双胞胎的能力作为遗漏变量就被差分掉了。如果同卵双胞胎之间一个是党员,一个不是,两者之间的收入有差别,那说明党员的确不只代表能力。如果同卵双胞胎之间的党员身份差别没带来收入差别,那就只能说,通常在截面上看到的党员身份回报只是因为党员的平均能力更高而已。最近,我审的一篇文章运用截面数据的OLS分析发现了党员身份和教育水平之间有替代性,做法是将两者相乘做个交互项,并发现,在收入方程里这个交互项的系数是负的。对此,我当然可以批评作者,说教育和党员都是内生的,然后,建议他应该用双胞胎数据做一下。可是我没有,因为我相信,在理论上,党员身份和教育水平是否是相互替代的,这是个有价值的理论问题,恰恰因此,即使党员和能力相关,那么,当收入决定方程遗漏了能力的时候,也遗漏了能力与教育的交互项,如果真是这样,即使是用双胞胎数据进行差分,在残差项里的能力与教育的交互项也是差分不掉的。而从理论上来说,如果党员身份和教育水平是相互替代的,即使其系数存在遗漏变量偏误,只要符号方向不错,那么,就可以质疑“党员仅是能力的代表”这一说,因为如果真是这样,并且文献已经告诉我们能力与教育是互补的,那么,党员和教育就不会是互替的。由于看到了这一点,我建议作者将这一发现及其对于理解党员身份的性质的文献的贡献作为自己的亮点来说。
顺便再说说理论和实证的关系。有人认为,必须要在实证前面加个数学模型才能将机制讲清楚。甚至认为,在统计相关性之前,加上个数学模型才可以确认因果关系。读者不妨自己统计一下,在经验研究性质的经济学论文中有多少比例的文章并没有一个数学模型。比较一下有数学模型的和没数学模型的论文就知道,不能简单地批评说,没有数学就是没有理论。即使没有数学,实证研究对于模型设定、变量选取等等,仍然需要依赖于“理论”。但是,至少有两种情况,使得实证文章中并不需要写一个用数学表示的理论模型。第一,既有的理论已经很成熟,实证要做的,只是看从X到Y的净效应有多大,到底哪种机制是成立的;第二,实证所要看的机制实在是太直接,不需要用一个数学模型表述的理论,而这个有待检验的关系本身是否成立才是研究者关心的,比如说,如果我们想检验一下教育里的“同群效应”(peer effect),即一个人的学习成绩是否受到其同学成绩的影响,这个看似简单的关系在实证检验中却非常难做,而且这个“同群效应”是教育经济学的基石。更广泛地来说,基于社会互动的人类行为的相互依赖性是社会经济学(social economics)的基石。那么,对于一个X到Y的统计关系,是否必须以一个数学表述的理论来作为其因果推论的前提呢?如果你的答案是肯定的,那么,我就要追问两个问题,对于一个统计上的X与Y的正相关关系,我们可以写一个X影响Y的理论,也可以写一个Y影响X的理论,我们是否仅以此就能确认在统计上的关系到底是X到Y的因果链,还是反过来?与利用某种实证研究策略(包括实验方法、IV、regression discontinuity、propensity score matching、DID等等)看到了X对Y的影响相比,一个数学表述的理论加上“从X到Y”的相关关系,是否更能用来确认X与Y之间谁因谁果?
说完constructive,再说professional就容易了。正如陈凯歌在电影《和你在一起》中批评他学生说的那句,“都对,但是不好。”专业的审稿报告就应该是富有建设性的,这说明,在审稿人的研究内,他知道他审的这项研究可以做得更好,而且这不是外行话。为此,好的审稿人不应轻易地接受非自己熟悉的领域的审稿要求,否则,说外行话就在所难免。我对“professional”的理解就是,审稿人与作者同样知道,甚至比作者更知道研究的前沿在什么地方,什么地方是可以做得更好的。技术永远是手段,而不是目的本身。好的审稿人不应该只是告诉作者存在某项技术,而是清楚地知道一种技术(或者研究策略)是否适用并且可行,从而值得推荐给作者。对了,我不应该忘记说一句,好的审稿人还应该有一项非常重要的职业精神,那就是审稿的时间不要超过杂志所要求的时间,至少我自己一直这样要求自己,因为我将接受审稿的邀请作为对杂志和作者的承诺。不过,非常遗憾的是,我自己曾经有过两次经历,文章的两轮审稿经过了近2年时间。没有任何一家中文杂志说这是允许的,只能说,这是审稿人不够有职业精神。尤其是当我看到审稿人花了近两年的时间完成的审稿报告里,提醒我被解释变量(Y)的度量误差会引起系数估计的“衰减偏误”,我只好提醒自己“笑比哭好”,因为,事实上,“衰减偏误”只会在解释变量(X)存在度量误差时出现。
其实,所谓“careful”的第一个要求,就是审稿时不要自己出错。在我看过的中文杂志的审稿报告中,另一个常常出现的错误是,审稿人提出作者的解释变量之间存在共线性。其实,如果解释变量完全没有共线性,那么,就不需要多元回归技术来分析问题了,遗漏变量问题也就不是问题了。当然,高度相关的解释变量同时放在模型里,会使各变量的系数出现不显著的情况,这时,请不要轻易丢掉其中的一个(或几个),否则,当你这样做时,虽然剩下的变量系数显著了,但它的系数却可能存在估计偏误,因为,你把与它相关的变量放到模型的残差项里去了。通过减少解释变量的个数来增强模型中解释变量的显著性,这只能在问题足够重要、样本又非常小,而且作者只关心系数的方向时才可以,不过,现在这很难成为让人接受的理由。此外,好的审稿报告,不妨仔细帮作者找他文章中的错误,包括文字、格式与标点,更不用说表述上的欠妥之处了。
最后,Please be polite。你可以拒绝审一篇稿,如果你实在觉得文章没有改好的可能,写审稿意见也是浪费时间。我对于自己接受审稿邀请的文章,绝不会说其中存在的错误够得上“愚蠢”、“幼稚”之类的形容词。特别是对于那些刚刚在职业生涯上起步的年轻学者来说,告诉他哪些地方可以做得更好,就够了,审稿报告不需要任何形容词。我自己也犯过错,在发表了的文章里,还存在着因为不够仔细而导致的不可原谅的错误。不过,我总是觉得,有错是可以改的。只要不是明知故犯,更不能知错不改。
我写这篇随想是要对国内的审稿提点建设性的批评,就象我认为写审稿报告也尽量建设性一样。学者的基本职责是知识的生产和传播,而其方式无非三种:第一种是自己创作;第二种是培养学生,让学生延续自己的创作;而审稿则属于第三种,即通过帮助他人来生产和传播知识。在这个意义上,审稿是值得学者投入精力的事,尽管这只是在创造某种正的外部性。正的外部性之所以成为“外部性”是因为这项工作不能直接给自己带来回报,所以,太认真也难免显得有点傻。不过,学术就是这样的职业,傻事做不做,做得如何,完全看你自己。不管怎样,作为审稿人,不需要向任何人证明你比别人聪明,如果真要证明点什么,你就去证明,你的意见可以切实地帮助作者做得更好。我就是这样想的
已有 1 人评分声望 收起 理由
leopard2009 + 1 good to read

总评分: 声望 + 1   查看全部投币

先帝尝问于诸葛武侯曰:“知天何与逆天难?”
对曰:“知天易,逆天难。”

使用道具 举报

Rank: 5Rank: 5

声望
133
寄托币
1504
注册时间
2011-4-21
精华
0
帖子
78
发表于 2011-8-30 22:18:49 |显示全部楼层
本帖最后由 WildSwanAtCoole 于 2011-8-31 11:10 编辑

我认为能发在Top期刊上与Field Top的文章的区别一个在于asking the right question. 但其实什么是right的问题,是很难界定的。因为整个经济学界的发展其实为少数的人所把持,也许他们感兴趣的才是right的。但总的来说,我相信,一篇切中要害而且有想法的文章一定是能为有水平的教授所承认的。而这一点在国内不能做到。这样选题上的差距在实证中其实很明显。我们不以时序来看,一篇top期刊上的文章或许很普通泯然众人矣。但其实我们深究当时这篇文章的背景的时候,可以发现这篇文章背后大的背景可能是一条经济学的铁律在被撼动之时,这一点甚至在这篇文章中都没有直接指出,需要从一个大的背景来领会出来。一个领域的兴起和衰亡都不是偶然的。而Field Top的文章,其实大部分是在Top的文章出来之后进一步的研究,这些文章具有更多的专业性,甚至完全离开了最初的大背景。他们在细节上更加完善,技术上日趋成熟,在他们看来,top的文章很简单甚至粗糙,但欠缺的是一个经济学大背景的思索。大牛挖坑,小牛灌水,但小牛未必知道为啥在这里挖坑灌水。
另一个因素区别top和field top我认为真的就是研究者的科研水平了。我曾经在Top和Field Top上看到同样话题的文章,我查过working paper的时间,似乎都是差不多的时间。但是二者在论证上体现出了很大的差距。面对同样的问题,Top的文章有更细致的数据更细致的分析,而Field Top上的文章则是运用了一种似可似不可的计量技术。从认识的角度上来看,Top期刊上的那篇无疑是更科学的,令人信服的。而且还有更深入的挖掘和分析,一篇好文,让人赞叹。而Field Top上的文章则是说明了一个问题就停止了,和我们中文期刊的大部分文章一样。再往前一步,也是两者之间的差距。有时候,asking the right questions很重要,很多时候,answering it in a brilliant way更重要。
已有 1 人评分寄托币 声望 收起 理由
ouyangtracey + 5 + 2 很有见解~

总评分: 寄托币 + 5  声望 + 2   查看全部投币

做有缘事,不问何去何从。

使用道具 举报

Rank: 2

声望
18
寄托币
89
注册时间
2011-6-10
精华
0
帖子
2
发表于 2011-8-31 22:49:54 |显示全部楼层
陆老大不错 可惜他不懂计量

使用道具 举报

Rank: 5Rank: 5

声望
211
寄托币
3455
注册时间
2008-12-31
精华
2
帖子
154

Economist

发表于 2011-9-1 02:50:50 |显示全部楼层
敢问怎样才称得上“懂”计量? 3# 2011wi
"A rose by any other name would smell as sweet." - William Shakespeare

使用道具 举报

Rank: 5Rank: 5

声望
133
寄托币
1504
注册时间
2011-4-21
精华
0
帖子
78
发表于 2011-9-1 10:41:33 |显示全部楼层
陆确实在现在的大陆的经济学界中属于翘楚一类的,但他的实力和水平也被幻想有所夸大,或者这是我从身边人对他的极度推崇来看。我们应该以科学的观点来看人,不要有感情上的判断。我说他被夸大了,是因为国内的普遍审稿水平没有达到一定的高度。这使得他某种程度上来讲是孤独的。没有经过充分磨砺的文章不可能是一篇好文的。他可能确实有水平和潜力,但他的文章中还是有些地方他津津乐道但是实际上缺乏足够的严谨。这些错误是低级的,在审稿人水平够高的水平下可以被纠正,但在他的文章中居然出现了,这就注定说明他的文章的高度不可能是一流的。他也开始在国外的较顶级的期刊上有文章了,但其实这更多的是声名的延伸而非真正的科研水平了。他走到了一个高度,但可惜他走不了更远。他作为一个本土博士,而终于有了今天的成就,而这本身却限制了他更大的发展,他做不到世界的top。这也是一个永远逃避不了的哲学问题。但从他最近文章的状态上来看,他没有能够有这些提升,如果他将来有,那将是中国经济学界的一个幸运。其实我常常想,如果当初他出国了的话,会是怎么样?少了一个今天的陆铭,但多了一个谁呢?今天的陆铭是可以有可以无的,因为他太少,但多出来的那个人呢?我说出这些话可能来自于年少轻狂,但绝不是黑陆的。希望大家有理性的探讨,并给出具体的理由。
已有 1 人评分寄托币 声望 收起 理由
ouyangtracey + 3 + 2 赞~

总评分: 寄托币 + 3  声望 + 2   查看全部投币

做有缘事,不问何去何从。

使用道具 举报

RE: zz一个关于审稿的文章 [修改]

问答
Offer
投票
面经
最新
精华
转发
转发该帖子
zz一个关于审稿的文章
https://bbs.gter.net/thread-1300569-1-1.html
复制链接
发送
回顶部