انتقاد ضریب تاثیر

ضریب تاثیر ژورنال‌ها، شاخصی که درستیش باید بیشتر بررسی شود

دانشمندان رابطه‌ای عشق/نفرت با ضریب تاثیر ژورنال‌ها دارند. ضریب تاثیر ژورنال‌ها برای رتبه‌بندی کردن ژورنال‌ها بر اساس اعتبار‌شان استفاده می‌شود. دانشمندان از ضریب تاثیر نه تنها برای مشخص کردن اینکه مقاله‌یشان را کجا چاپ کنند، بلکه برای قضاوت در مورد مقاله‌های داوری شده‌یشان و همین‌طور برای به دست‌ آوردن شغل، جایگاه‌های بالاتر و حقوق بیشتر استفاده می‌کنند و همه‌ این‌ها به آسانی با همین عدد مشخص می‌شوند.

با این وجود برخی افراد معتقدند که ضریب تاثیر ژورنال‌ها نه تنها فایده‌ای ندارد بکه برای جامعه‌ علمی مضر است. برای روشن شدن این قضیه، گروهی از محققان و ویراستاران ژورنال‌ها، پژوهشی انجام دادند. آنها در این پژوهش‌ میزان استناد‌ به مقالات را تحلیل کردند، این استناد‌ها همان استناد‌هایی هستند که برای به دست آوردن عدد جادویی ضریب تاثیر استفاده می‌شد. نتایجی که این گروه به دست آوردند بسیار جالب بود و احتمالا منتقدان استاندار‌د‌های سنجشی از این نتایج لذت می‌برند.

ظاهرا محاسبه‌ ضریب تاثیر بسیار راحت است. میانگین تعداد دفعاتی که به یک مقاله‌ ژورنال در بازه‌ زمانی دو ساله استناد شده باشد. برای مثال ضریب تاثیر کنونی  ژورنال Nature عدد ۴۱.۴۵۶ است، این معنی را می‌دهد که در طول دو سال به هر یک از مقالات این ژورنال به طور میانگین  ۴۱ بار استناد شده است.

اما احتمال بد تفسیر شدن این عدد بسیار زیاد است. برای مثال فرض کنید شمردن استناد مقالات مانند شمردن اندازه‌گیری قد افراد است، پس به دست آوردن میانگین قد باید مفید باشد. شما می‌دانید که به طور میانگین مردان بلندتر از زنان هستند و در نمونه‌گیریتان این نکته را در نظر می‌گیرید. اما برای مقالاتی که در یک ژورنال خاص چاپ می‌شوند توزیع استناد‌ها به شدت مورب و یک‌طرفه است. مقالات با نفوذ که تعدادشان هم بسیار کم است بیشترین استناد را می‌گیرند و اکثریت دیگر مقالات  بسیار کم و یا هیچ استنادی را دریافت نمی‌کنند. بنابراین تعداد متوسط استناد‌ها می‌تواند گمراه کننده باشد.

ضریب تاثیر دو مشکل اساسی و بسیار بزرگ دارد، اول اینکه مقداری که ضریب تاثیر  برای پیش‌بینی تعداد استناد‌های بعدی که مقاله‌ چاپ شده در این ژورنال می‌گیرد کاملا بی‌معنی است. خوب واضح است مقاله‌ای که در یک ژورنال با ضریب تاثیر بالا چاپ می‌شود مطمئنا استناد‌های زیادی دریافت می‌کند. مشکل دیگری که این شاخص  دارد این است که روش محاسبه‌اش اصلا شفاف سازی نمی‌شود.

محاسبه‌ای که شرکت خصوصی تامسون رویترز برای تعیین مقدار ضریب تاثیر انجام می‌دهد چندان شفاف نیست. یکی از منابع درآمد تامسون رویترز فروش دسترسی به Web of Science است. بنابراین اطلاعات تحلیل ژورنال‌ها و داده‌های استنادی به رایگان در دسترس همه قرار ندارد. بررسی داده‌های استنادی که باید از بخش منابع و مآخذ مقاله‌ها به دست آورد کاری زمان‌بر است.  ژورنال‌ها به شکل‌های متفاوتی منتشر می‌شوند و بعضی از آن‌ها بخش استناد‌های‌شان بسیار خلاصه است که شناسایی مقالات استناد شده را مشکل می‌سازد. به فهرست این مشکلات، پیدا کردن استناد‌ها، خطاهای نوشتاری و اشتباهات نگارشی نیز اظافه کنید، این مشکلات تشخیص درست استناد‌ها را دشوار می‌سازند.

پس چرا ناشران ژورنال‌ها با هم همکاری نمی‌کنند تا با استفاده از پایگاه تامسون رویترز ضریب تاثیر ژورنال‌های‌شان را محاسبه کنند؟ چند سال پیش در انجمن سلطنتی بریتانیا چنین ایده‌ای متبلور شد.  استیفن کوری از زیست شناسان سلولی کالج سلطنتی لندن در این باره گفت: «متقاعد کردن افراد سخت بود» و ادامه می‌دهد «گروه ائتلاف اصلی در ماه‌های بعدی رشد کرد و اعضایش بیش‌تر شد» این‌ها ۱۱ ژورنال بودند که داده‌های روز را منتشر می‌کردند و عبارت بودند از ساینس، ای‌لایف، ژورنال ام‌‌بور، ژورنال اینفومتریکس، شرح کار انجمن سلطنتی بریتانیا، ژورنال منتشر شده توسط کتابخانه‌ عمومی علم، و  Nature با دو ژورنال وابسته به آن. در سال‌های ۲۰۱۳ و ۲۰۱۴ این ژورنال‌ها، بیش از ۳۶۶ هزار مقاله‌ پژوهشی و ۱۳ هزار مقاله‌ مروری را منتشر کردند. سپس این تیم از پایگاه تامسون رویترز خواست تا دقیق بگوید که در سال ۲۰۱۵ هر ژورنال چه مقدار استناد می‌گیرد. مسئول این تجزیه و تحلیل متخصصی در زمینه شناخت استناد ژورنال‌ از دانشگاه مونترال کانادا بود.

نتیجه‌ این کار موجب شد تا بهانه‌های زیادی دست منتقدان ضریب تاثیر بیفتد. توزیع استناد‌ها به حدی مورب بود که بیش از ۷۵ درصد مقالات هر ژورنال میزان استناد‌های‌شان از میزان میانگین کم‌تر بود. همچنین تلاش شده بود از ضریب تاثیر برای حدس تاثیر پیش‌بینی هر مقاله‌ معین استفاده شود.  با مشخص شدن تطابق نداشتن استنادات با مقاله‌های شناخته شده، تحلیلگران نقص‌های بسیار زیادی را در پایگاه تامسون رویترز یافتند. «امیدواریم که این تحلیل‌ها کمک کند تا ارزش اغراق‌ آمیزی که به ضریب تاثیر نسبت داده می‌شود آشکار گردد و بحث‌ها در مورد این شاخص نامناسب برای ارزیابی پژوهش‌ها یا پژوهشگران را گسترش و شدت دهد.». این تیم همچنین نتایج کارش را در boixiy منتشر کرده است.

این تیم با تجزیه و تحلیل‌هایی که در دست داشت به تامسون رویترز مراجعه کرد. برند پولورر سردبیر ژورنال EMBO  در هایدلبرگ آلمان گفت: «این بحث نسبتا سودمند بود و تامسون رویترز می‌خواست گفتگو در این مورد ادامه دهد، اما با اینکه موافق بودند که باید به نکاتی که ما بیان کردیم  توجه شود، اما نمی‌خواستند هر کاری که موجب شود نظام رتبه‌بندی مجلات آنها را خراب کند انجام دهند. معلوم است چرا، چون از این رتبه‌بندی سود زیادی عایدشان می‌شود.»

جیمز پرینگل، رئیس بخش صنعت و توسعه، نوآوری و علوم  تامسون رویترز در فیلادلفیا در مورد این موضوع بیان داشت که «مؤلفان درست اشاره کردند، از ضریب تاثیر تنها باید به عنوان کمکی برای شناخت تاثیر مجلات استفاده شود. ضریب تاثیر بازتابی از عملکرد استنادی ژورنال‌ها به عنوان کل است، نه جزء چزء موارد منتشر شده‌ مختلف مقاله.» پرینگل در خصوص خطا در پایگاه تامسون رویترز نیز گفت: «تیم ویرایستاری تامسون رویترز مداوم با ناشران کار می‌کنند تا روش‌هایی برای بهبود انطباق سطح-موارد را بیابند، همچنین راه‌های برای مؤلفان ارائه شده تا به راحتی بتوانند اطلاعات‌شان را ویرایش کنند. به علاوه با طرح‌های نوآور صنعتی همکاری می‌شود و استفاده از شاخص‌های استاندارد تشویق می‌شود.»

آیا انتشار این داده‌ها منجر به شروع دوره‌ی جدید می‌شود؟ در این‌باره با دیوید اسمیت، کارشناس نشر دانشگاهی در آکسفوردشر بریتانیا و کسی که در بلاگ آشپزخانه علم دارای نفوذ است گفتگو شد. او عقیده دارد که بعید است این داده‌ها زیاد تاثیر گذار باشند همچنین بیان کرد «این نتایج از تعداد کمی ژورنال‌ها به دست آمده است، اگر تحقیقات در این زمینه گسترده‌تر و بزرگتر باشند باارزش‌تر و جالب‌تر است.»

به عقیده‌ی اسمیت، حتی اگر این داده‌ها از کل جامعه‌ی علمی جمع‌آوری شده باشد هیچ چیزی نمی‌تواند به خوبی ارزش کار یک دانشمند و محقق را اندازه بگیرد، مشکل ضریب تاثیر نیست، ضریب تاثیر تنها یکی از راه‌های فکر کردن در مورد پیشرفت علمی است که باید بیشتر روی آن کار شود.

منابع:

باهانون، جان. آیا از ضریب تاثیر مجلات متنفرید؟ تحقیقات جدید دلایل بیشتری برای این تنفر به شما می‌دهد، مجله ساینس، ۶ ژولای ۲۰۱۶ 

۱ دیدگاه در “ضریب تاثیر ژورنال‌ها، شاخصی که درستیش باید بیشتر بررسی شود

دیدگاه‌تان را بنویسید: