no. 4
L'exploration statistique du biais de publication
Journal de la Société française de statistique & Revue de statistique appliquée, Tome 148 (2007) no. 4, pp. 29-56.

Cet article présente les principales techniques statistiques permettant d'identifier et de corriger le biais de publication. Un biais de publication apparaît lorsque la publication d'une recherche dépend de la significativité et/ou de la direction des résultats obtenus par le chercheur. Plusieurs études ont ainsi montré que certaines revues académiques avaient tendance à un certain degré de publication sélective en ne retenant à la publication qu'un certain type d'études, notamment celles qui présentent des résultats statistiquement significatifs. Dès lors, une synthèse de la littérature qui s'appuierait uniquement sur les études publiées pourrait s'avérer biaisée en faveur d'études présentant des effets empiriques plus larges qu'ils ne sont réellement. Avec la méta-analyse, des techniques statistiques - comme le test d'asymétrie des entonnoirs et le test de méta-significativité - permettent d'identifier et de corriger ce type de biais.

The purpose of this paper is to survey and illustrate selected statistical methods that can identify and correct publication bias. Publication bias has long been a major concern to researchers. In its more benign form, it is the result of selection for statistical significance. Researchers, reviewers and editors are predisposed to treat “statistically significant” results more favorably. Hence, there are more likely to be published. Such publication bias makes empirical effects seem larger than they are. With meta-analysis, statistical methods - such as funnel asymmetry and meta-significance tests - can be employed to identify and accommodate these biases.

Mot clés : biais de publication, test d'asymétrie des entonnoirs, test de méta-significativité, méta-analyse de régression
Mots clés : publication bias, funnel asymmetry test, meta-significance test, meta-regression analysis 
@article{JSFS_2007__148_4_29_0,
     author = {Laroche, Patrice},
     title = {L'exploration statistique du biais de publication},
     journal = {Journal de la Soci\'et\'e fran\c{c}aise de statistique & Revue de statistique appliqu\'ee},
     pages = {29--56},
     publisher = {Soci\'et\'e fran\c{c}aise de statistique},
     volume = {148},
     number = {4},
     year = {2007},
     language = {fr},
     url = {http://www.numdam.org/item/JSFS_2007__148_4_29_0/}
}
TY  - JOUR
AU  - Laroche, Patrice
TI  - L'exploration statistique du biais de publication
JO  - Journal de la Société française de statistique & Revue de statistique appliquée
PY  - 2007
SP  - 29
EP  - 56
VL  - 148
IS  - 4
PB  - Société française de statistique
UR  - http://www.numdam.org/item/JSFS_2007__148_4_29_0/
LA  - fr
ID  - JSFS_2007__148_4_29_0
ER  - 
%0 Journal Article
%A Laroche, Patrice
%T L'exploration statistique du biais de publication
%J Journal de la Société française de statistique & Revue de statistique appliquée
%D 2007
%P 29-56
%V 148
%N 4
%I Société française de statistique
%U http://www.numdam.org/item/JSFS_2007__148_4_29_0/
%G fr
%F JSFS_2007__148_4_29_0
Laroche, Patrice. L'exploration statistique du biais de publication. Journal de la Société française de statistique & Revue de statistique appliquée, Tome 148 (2007) no. 4, pp. 29-56. http://www.numdam.org/item/JSFS_2007__148_4_29_0/

[1] Abramovitz M. et al. (1992). « A plea for pluralistic and rigorous economics », American Economic Review, 82, 25.

[2] Ashenfelter O., Harmon C. et H. Oosterbeek. (1999). « A review of estimates of the schooling/earnings relationship, with tests for publication bias », Labour Economics, 6, 453-470.

[3] Bauchau V. (1997), « Is there a file drawer problem" in biological research ? »", Oikos, 79, 407-409.

[4] Begg C.B. (1994). « Publication bias », in The Handbook of Research Synthesis, Russel Sage Foundation.

[5] Begg C. B. et J. A. Berlin (1988), « Publication Bias : a problem in interpreting medical data », Journal of Royal Statistical Society, Series A, 151(3), 419-463.

[6] Begg C.B. et Mazumdar M. (1994). « Operating characteristics of a rank correlation test for publication bias », Biometrics, 50, 1088-1101. | Zbl

[7] Becker B.J. et Morton S.C. (2002). « Publication bias : Methods and practices in evidence-based medicine and social science », Mathematical Sciences Research Institute, Berkeley, California.

[8] Berlin J.A., Begg C.B. et Louis T.A. (1989). « An assessment of publication bias using a sample of published clinical trials », Journal of the American Statistical Association, 84, 381-392.

[9] Card D. et Krueger A.B. (1995). « Time-Series Minimum-Wage Studies : A Meta-Analysis », American Economic Review, 85(2) :238-43.

[10] Cohen J. (1969). « Statistical power analysis for the behavioral sciences » | Zbl

[11] Cooper H.M. (1998). « Synthesizing research : a guide for literature reviews », Thousand Oaks, CA : Sage.

[12] Coursol A. et Wagner E.E. (1986). « Effect of positive findings on submission and acceptance rates : a note on meta-analysis bias », Professional Psychological Research & Practice, 17, 447-452.

[13] Cucherat M. (1997). « Méta-analyse des essais thérapeutiques », Paris, Masson.

[14] Dalhuisen J., Florax R.J.G.M., Degroot H.L.F. et Nijkamp P. (2003). « Price and income elasticities of residential water demand : a meta-analysis », Land Economics, 79, 292-308.

[15] Davidson R. et Mackinnon J.G. (2004). « Econometric theory and methods », Oxford : Oxford University Press. | MR

[16] Dear K.B.G. et Begg C.B. (1992). « An approach for assessing for publication bias prior to performing a meta-analysis » 237-245.

[17] Dickersin K., Chan S., Chalmers T.C. Sacks H.S. et Smith H. Jr. (1987). « Publication bias and clinical trials », Controlled Clinical Trials, 8, 343-353.

[18] Dickersin K., Min Y.I., et Meinert C.L. (1992). « Factors influencing publication of research results. Follow-up of applications submitted to two institutional review boards », Journal of the American Medical Association, 267, 374-378.

[19] Doucouliagos C. et Laroche P. (2003). « What do Unions do to Productivity : A Meta-Analysis », Industrial Relations, 42(4), 650-692.

[20] Doucouliagos C., Laroche P. et Stanley T.D. (2005). « Publication Bias in Union-Productivity Research » 320-347.

[21] Duval S.J. et Tweedie R.L. (2000). « A non-parametric 'trim and fill' method of accounting for publication bias in meta-analysis », Journal of the American Statistical Association, 95, 89-98. | MR | Zbl

[22] Egger M., Smith G.D., Scheider M., et Minder C. (1997). « Bias in meta-analysis detected by a simple, graphical test », British Medical Journal, 316, 629-34.

[23] Egger M., Juni P., Bartlett, C. Holenstein F. et Sterne J. (2003). « How important are comprehensive literature searches and the assessment of trial quality in systematic reviews ? Empirical study », Health Technology Assessment, 7, 1-68.

[24] Galbraith J.K. (1988). « A note on graphical presentation of estimated odds ratios from several clinical trials », Statistics in Medicine, 7, 177-207.

[25] Gerber A.S., Green D.P. et Nickerson D. (2001). « Testing for Publication Bias in Political Science », Political Analysis, 9, 385-392.

[26] Gilbody S.M., Song F., Eastwood A.J. et Sutton A. (2000). « The causes, consequences and detection of publication bias in psychiatry », Acta Psychiatrica Scandinavia, 102, 241-249.

[27] Givens G.H., Smith D.D. et Tweedie R.L. (1997). « Publication bias in Meta-analysis : A bayesian data-augmentation approach to account for issues exemplified in the passive smoking debate », Statistical Science, 12, 221-250.

[28] Glass G.V., Mcgaw B. et Smith Ml. (1981). « Meta-analysis in social research », Beverly Hills, CA : Sage Publication.

[29] Goldfarb R.S. (1995). « The Economist-as-audience needs a methodology of plausible inference », Journal of Economic Methodology, 2(2), 201-22.

[30] Gorg H. et E. Strobl (2001). « Multinational Companies and Productivity : A Meta-analysis », The Economic Journal, 111(475) :723-39.

[31] Green B. et Hall J. (1984). « Quantitative methods for literature review », Annual Review of Psychology, 35, 37-53.

[32] Greene W.H. (1990). « Econometric Analysis ». New York : MacMillan.

[33] Gujarati D.N. (2003). « Basic Econometrics »

[34] Hedges L.V. (1992). « Modeling publication selection effects in meta-analysis », Statistical Science, 7, 227-236.

[35] Hedges L.V. et Olkin I. (1985). « Statistical methods for meta-analysis », Boston : Academic Press. | MR | Zbl

[36] Hedges L.V. et Vevea J.L. (1996). « Estimating effect size under publication bias : small sample properties and robustness of a random effects selection models », Journal of Educational and Behavioral Statistics, 21, 299-332.

[37] Hunter J.E. et Schmidt F.L. (1990). « Methods of Meta-Analysis : correcting error and bias in research findings », Sage publications.

[38] Ioannidis J.P.A. et Trikalinos T.A., (2007). « The appropriateness of asymmetry tests for publication bias in meta-analyses : a large survey », Canadian Medical Association Journal, April, 1091-1096.

[39] Jarrell S. et T.D. Stanley (1990). « A Meta-Analysis of the Union-Nonunion Wage Gap », Industrial and Labor Relations Review, 44, 54-67.

[40] Laroche P. et Schmidt G. (2004). « La méta-analyse en sciences de gestion : utilités, utilisations et débats », Academy of Management, Division « Méthodes de Recherche », Crossing Frontiers in Quantitative and Qualitative Research Methods, ISEOR, Lyon, 18-20 Mars.

[41] Latour B. 2001. « Le métier de chercheur, regard d'un anthropologue », Paris, INRA Editions.

[42] Light R.J. et Pillemer D.B. (1984). « Summing up : The science of reviewing research », Cambridge, MA : Harvard University Press.

[43] Macaskill P., Walter S.D., et Irwig L. (2001). « A comparison of methods to detect publication bias in meta-analysis », Statistics in Medicine, 20, 641-654.

[44] Mahoney M.J. (1977). « Publication prejudices : An experimental study of confirmatory bias in the peer review system », Cognitive Therapy & Research, 1, 161-175.

[45] Muller J.L. (1988). « Pour une revue quantitative de la littérature : les méta-analyses », Psychologie Française, 33-4, décembre, 295-303.

[46] Neumark D. et W. Wascher (2002). « Meta-Analysis », Journal of Economic Perspectives, 16(3), 226-7.

[47] Orwin R.G. (1983). « A fail-Safe N for effect size in meta-analysis », Journal of Educational Statistics, 8, 157-159.

[48] Roberts C.J. et Stanley T.D. (Eds.), « Meta-regression analysis : Issues of publications bias in economics », Blackwell Publishing.

[49] Rosenberg M.S. (2005). « The File-drawer problem revisited : a general weighted method for calculating fail-safe numbers in meta-analysis », Evolution, 59 (2), 464-468.

[50] Rosenberg M.S., D.C. Adams et J. Gurevitch. (2000). « MetaWin : Statistical Software for Meta-Analysis », Version 2.0. Sinauer Associates, Sunderland, Massachusetts.

[51] Rosenthal R. (1979), « The « file drawer problem » and tolerance for null results », Psychological Bulletin, 86 :638-41.

[52] Rosenthal R. (1991). « Meta-analytic procedures for social research », (ré-édition de l'ouvrage publié initialement en 1984), Newbury Park, CA : Sage.

[53] Rothstein H.R., Sutton A.J. et Borenstein M. (2005). « Publication bias in meta-analysis : prevention, assessment and adjustment », John Wiley & Sons. | MR

[54] Rust R.T., D.R. Lehmann et J.U. Farley (1990). « Estimating Publication Bias in Meta-Analysis », Journal of Marketing Research, 27, 220-226.

[55] Scargle J.D. (2000). « Publication Bias : the « file-drawer » problem in scientific inference », Journal of Scientific Exploration, 14, 91-106.

[56] Schulz K.F., Chalmers I., Hayes R.J., et Altman D.G. (1995). « Empirical evidence of bias : Dimensions of methodological quality associated with estimates of treatment effects in controlled trials », Journal of the American Medical Association, 273, 408-412.

[57] Shepherd G.B. (Ed.) (1995). « Rejected : Leading economists ponder the publication process », Sun Lakes : Thomas Horton and Daughters.

[58] Sigelman L. (1999). « Publication Bias Reconsidered », Political Analysis, 8, 201-210.

[59] Smart R.G. (1964). « The importance of negative results in psychological research », Canadian Psychologist, 5, 225-232. | MR

[60] Sommer B. (1987). « The file drawer effect and publication rates in menstrual cycle research », Psychology of Women Quaterly, 11, 233-242.

[61] Stanley T.D. (2001). « Wheat from chaff : Meta-Analysis as quantitative literature review », The Journal of Economic Perspectives 15(3), 131-150.

[62] Stanley T.D. (2005). « Beyond Publication bias », Journal of Economic Survey, 19, 309-337.

[63] Stanley T.D. et Jarrell S.B. (1989). « A meta-regression analysis : A quantitative method of literature surveys », Journal of Economic Surveys, 3, 54-67.

[64] Stanley T.D. et Roberts C.J. (2005). « Meta-regression analysis : Issues of publication bias in economics », Oxford : Blackwell Publishing Ltd.

[65] Stanley T.D, Florax R.J.G.M., et Degroot H.L.F. (2003). « It's all about power : Differentiating genuine empirical significance from the artifact of publication bias », Discussion Paper 3, Center for Entrepreneurial Studies, Hendrix College.

[66] Sterling T.D. (1959). « Publication decisions and their possible effects on inferences drawn from tests of significance - or vice versa », Journal of the American Statistical Association, 54, 30-34.

[67] Sterling T.D. Rosenbaum W.L., et Weinkam J.J. (1995). « Publication decisions revisited : The effect of the outcome of statistical tests on the decision to publish », American Statistician, 49, 108-112.

[68] Sterne J.A.C., Gavaghan D. et Egger M. (2000). « Publication and related bias in meta-analysis : Power of statistical tests and prevalence in the literature », Journal of Clinical Epidemiology, 53, 1119-1129.

[69] Stouffer S.A., Suchman E.A., Devinney L.C., Star A. et Williams R.M. (1949). « The American soldier : adjustment during army life », vol.1, Princeton, NJ : Princeton University Press.

[70] Sutton A.J., Duval S.J., Tweedie R.L., Abrams K.R. et Jones D.R. (2000a). « Empirical assessment of effect of publication bias on meta-analyses », British Medical Journal, 320, 1574-1577.

[71] Sutton A.J., F. Song, S. M. Gilbody et K. R. Abrams (2000b). « Modelling Publication Bias in Meta-Analysis : a review », Statistical Methods in Medical Research, 9, 421-45. | Zbl

[72] Sutton A.J., Abrams K.R., Jones D.R., Sheldon T.A., et Song F. (2000c). « Methods for Meta-analysis in Medical Research », Chichester : John Wiley and Sons.

[73] Thompson S.G. et Pocock S.J. (1991). « Can meta-analyses be trusted ? », Lancet, 338, 1127-1130.