《心理学报》审稿意见与作者回应题目:人力资本、社会资本和心理资本影响中国员工职业成功的元分析作者:周文霞、谢宝国、辛迅、白光林、苗仁涛第一轮审稿人1意见:该文对已经发表的数据进行了元分析,试图得到变量之间的真实关系,并检验了作者提出的研究假设。
用元分析数据检验理论假设是一个不错的思路,可以得到很多利用原始数据进行分析所得不到的结论。
但该文在数据整理、统计分析等方面存在较大的问题。
在考虑发表前,还需要做较大的修改。
意见1:原始研究的文献特征没有呈现。
(page 10)76篇文献的基本特征应该整理成一个表格,置于表1之前。
具体做法可参考《心理科学进展》宋佳萌,范会勇(2013)一文。
进行基本特征编码可以看到影响本文结论可靠性的潜在文献特征。
请明确指出哪两个研究提供两个独立样本?(page 10)回应:非常感谢审稿专家的建议。
为了不影响阅读,我们以附录的形式将相关信息附在了文章后面。
并在文中指出了潘静洲(2012)、杨凡(2011)的研究包含两个独立样本。
意见2:Effect size用的是什么指标?在合成之前应该明确交代一下。
(page 10)回应:Effect size我们用的是积差相关系数。
该信息已经在文中做了明确交代,请见“4.2 文献筛选”(3)的红色字体。
意见3:统计分析方法的选择有问题。
(page 11)。
建议试试Mike Cheung提出的two stage Meta-analytic SEM。
将元分析和结构方程模型结合的思想早已出现。
国内外也早有应用了。
用这种思想方法来检验理论的做法也早已出现。
因此,在方法学上难说是创新。
相反,这种方法还有不少风险。
主要问题是增加了接受错误模型的可能性(即拟合指标偏高)。
Mike Cheung提出的two stage Meta-analytic SEM可以解决这两个问题(Cheung, M. W. L., & Chan, W. (2005). Meta-analytic structural equation modeling: A two-stage approach. Psychological Methods, 10, 40–64.)。
回应:非常感谢审稿专家的推荐。
我们认真阅读了审稿专家推荐的这种方法,增加了新知识。
但是,我们发现该方法非常繁杂,应用性不强。
我们查阅了国外顶级期刊(比如,Journal of Applied Psychology, Academy of Management Journal)所发表的“Meta-Analytic SEM”的研究论文发现,他们所采用的方法基本上是Viswesvaran和Ones(1995)的方法(附上最近4年发表的5篇论文)。
而且,我们用MASEM的主要目的是对理论假设(即变量之间的关系)进行检验,并不是为了获得一个最优拟合模型。
因此,我们用Viswesvaran和Ones(1995)的方法对理论假设进行检验是恰当的。
[1] Colquitt, J.A., Scott, B.A., Rodel, J.B., Long, D.M. et al. (2013). Justice at the millennium, adecade later: A meta-analytic test of social exchange and affect-based perspectives. Journal of Applied Psychology, 98, 199–236.[2] Butts, M.M., Casper, W.J., & Yang, T.S. (2013). How important are work–family support policies? A meta-analytic investigation of their effects on employee outcomes. Journal of Applied Psychology, 98, 1–25.[3] Eean R. Crawford, E.R., & LePine, J.A.(2010). Linking job demands and resources toemployee engagement and burnout: A theoretical extension and meta-analytic test. Journal of Applied Psychology, 95, 834–848[4] Jiang, K., Hu, J., & Baer, J. (2012). How does human resource management influenceorganizational outcomes? A meta-analytic investigation of mediation mechanisms, Academy of Management Journal, 55, 1264–1294.[5] Nahrgang, J., Morgeson, F.P., & Hofmann, D.A. (2011). Safety at work: A meta-analyticinvestigation of the link between job demands, job resources, burnout, engagement, and safety outcomes. Journal of Applied Psychology, 96, 71–94.意见4:从表1看,该相关矩阵有不少缺失值。
回应:表1是各研究变量间相关系数的矩阵,我们只提供了相关矩阵的下对角。
上对角属于冗余信息。
意见5:Q关系到分析模型的选择与结论的推广。
本文没有说明统计分析所依据的模型及其根据。
回应:谢谢审稿专家的提醒。
我们用的是随机效应模型。
关于为什么用随机效应模型,我们在文中做了补充。
请见“4.3 元分析程序”中的红色字体部分。
意见6:“表1研究变量之间的相关矩阵”(page 12)所有的Q检验都非常显著。
意味着存在潜在的调节变量mediating variables? 调节变量效应需要进行计算,并解释其对本研究结果的影响。
对此,Lipsey & Wilson(2001)可能讲的不详细。
可参考Applied Meta-Analysis for Social Science Research (Card, 2012)的chapter 9 and 11。
回应:本研究的研究目的是探讨中国组织情境下人力资本、社会资本和心理资本对职业成功的解释力以及中介机制问题(mediating),变量之间的调节机制(moderating)并不在本研究范围内。
当然这是一个很有趣的问题,但是一篇文章无法将所有的问题都解决。
这种研究思路在国外顶级期刊(比如,Journal of Applied Psychology, Academy of Management Journal)都是接受的。
(比如,[1] Colquitt, J.A., Scott, B.A., Rodel, J.B., Long, D.M. et al. (2012). Justice at the millennium, a decade later: A meta-analytic test of social exchange and affect-based perspectives. Journal of Applied Psychology, 98, 199–236. [2] Jiang, K., Hu, J., & Baer, J. (2012). How does human resource management influence organizational outcomes? A meta-analytic investigation of mediation mechanisms. Academy of Management Journal, 55, 1264–1294.)。
关于可能存在的调节效应,我们已经在文章中的局限部分做了说明,请见6.3。
意见7:publication bias必须加以说明,因为它关系到结论的可靠性。
回应:在计算真实效应值(r c)之前,我们对所有的样本加权平均效应值均做了出版偏差检验(漏斗图)。
只不过,由于漏斗图太多(22个漏斗图)就没有放在文章中。
出版偏差检验结果表明,有一个研究存在出版偏差,因此我们将之删除在元分析之外。
具体说明,我们已经在原文中“4.2 文献筛选”做了补充说明(见红色字体部分)。
意见8:“首先,采用路径分析对第一组假设进行检验。
”(page 11)为何不用SEM?建议文章通篇采用同一分析风格。
回应:我们就是用SEM做的路径分析(即SEM的结构模型),不是用SPSS做的路径分析。
之前表述可能让人误解,因此将该句话更正为“首先,采用结构方程模型进行路径分析对第一组假设进行检验”。
意见9:“由表2的标准化回归系数(β)可以看出,人力资本、社会资本和心理资本与晋升、薪酬和主观职业成功均存在显著正向关系,第一组假设得到完全验证。
” (page 11)若能把变量之间的相互关系变成图1那样的,应该更具有可读性。
回应:用图形的方法展示出来会非常复杂,更加不利于阅读,而且也无法将三种资本对四个因变量的优势关系显示出来。
另外,如果用图形来展示,也非常占版面(每个因变量都得做一个图形出来,这样会出现4个图形)。
不过,之前的呈现方法确实不太清晰。
为此,我们进行了修改。
具体修改,见表2。
意见10:本研究主题下的原始研究有没有变异?大家所得结果是否不同。
如果不同就必要进行元分析。
回应:以前,研究者认为两种情况下适合做元分析:(1)变量之间的关系有正有负;(2)虽然结果都一致,但是需要看看两个变量之间的关系强度到底有多大。
本质而言,这两种情况其实就是对定量文献的回顾,有人将之称为“psychometric meta-analysis”(Viswevaran & Ones, 1995)。
但是,元分析最新发展是,与结构方程模型技术相结合实现对理论假设的检验,比如中介机制等。
〔Viswesvaran, C.,& Ones, D. (1995). Theory testing: combining psychometric meta-analysis and structural equations modeling.Personnel Psychology, 48, 865–885.〕。