آیا اثربخشی خطری برای علم، استقلال علمی و کیفیت فعالیت های پژوهشی به دنبال دارد؟ تحلیلی از منظر چارچوب تعالی پژوهش انگلستان

پنج شنبه 7 دی 1396 ساعت 06:07 ق.ظ


مقدمه

همواره یکی از مباحث اصلی که پیرامون موضوع اثربخشی مطرح می‌شود، تأثیر رویکرد اثربخشی بر کیفیت فعالیت‌های دانشگاهی و به تبع آن کیفیت علمی مقالات و دستاوردهای پژوهشی است. تجربه شخصی ما در جهاد دانشگاهی نشان می­ دهد که پژوهشگران و اساتید در این ارتباط نگرانی‌هایی  پیرامون استقلال عمل در فعالیت‌های علمی خود دارند. از سوی دیگر از آنجایی  که سیاست گذاران و سیستم‌های پژوهشی ما در حال سوق پیدا کردن به سمت تحقیقات کاربردی و اثربخش هستند، برخی از محققان نسبت به صداقت و درستی تحقیقات احساس خطر نموده و معتقدند که تحقیقات ممکن است به سمت نیازها و دیدگاه‌های کاربران و ذینفعان نتایج آنها منحرف شده و از هدف بنیادین پژوهش که یافتن حقیقت است فاصله بگیرد. 

علاوه بر این، جنبه مهم دیگری که تأثیر عمده­ ای بر دستیابی پژوهش‌ها به اثربخشی دارد، ارتقا جایگاه مخاطبان تحقیقات است به نحوی که مخاطبان تحقیقات در مراحل مختلف انجام پژوهش‌ها، از اولویت‌گذاری‌ها برای موضوعات پژوهشی تا تدوین سؤال های تحقیق و نگارش نتایج آن‌ها و حتی در ارزیابی‌های پژوهش‌ها دخیل می‌شوند. برای نمونه، در Research Excellence Framework 2014 که مبنای تحلیل زیر نیز می­باشد، 30 درصد از اعضای گروه‌های ارزیابی را نمایندگان مخاطبان نهایی تشکیل می‌دادند.  بدون شک این موضوع می­تواند موجب شکل­ گیری نگرانی‌هایی پیرامون استقلال عمل پژوهشگران و محققان در میان برخی از اعضای جوامع علمی شود. جنبه دیگری از این نگرانی‌ها مربوط به جایگاه تحقیقات نظری و یا بنیادین خصوصاً در حوزه‌های انسانی و اجتماعی است. توجه بیشتر مدیران و سیاست گذاران پژوهشی به تحقیقاتی با اثربخشی آنی‌تر در مقابل پژوهش‌هایی که برای نتایج آنها کاربرد و مخاطبان آماده‌ای را نمی‌توان مشخص کرد، منجر به نگرانی‌هایی در میان محققان درباره آینده این تحقیقات شده است.

با این حال، نگرانی‌ها پیرامون اثربخشی یا تجاری سازی در حوزه‌های فنی و مهندسی موضوعی است که بررسی بسیار فراتری را می‌طلبد. مطلب زیر نوشته دکتر مارتین آست ویک از اساتید کالج دانشگاهی لندن، سعی دارد تا پاسخی برای جنبه اول از این نگرانی‌ها ارائه نماید. چارچوب تعالی پژوهش در سال 2014 نه تنها زمینه‌ای قوی را برای سنجش و رتبه بندی دانشگاه‌ها بر اساس کیفیت پژوهشی آنها (بخش Outputs)، اثربخشی آنها در محیط‌های خود (بخش Impacts) و همچنین شرایط و امکانات محیطی آنها (بخش Environment) فراهم کرد، بلکه فرصت‌های بی نظیری را نیز برای به‌دست آوردن تحلیل‌های آگاه کننده از وضعیت آموزش عالی انگلستان در اختیار محققان و سیاست گذاران حوزه پژوهشی قرار داد که در آینده به نمونه‌هایی از آنها خواهیم پرداخت. با اثربخشی همراه باشید.


I’m going to assume that readers of this blog are familiar with the essential aims and scope of REF2014 – to evaluate research activity generated by higher education institutions (HEIs) across the UK. Our recent work has focused on impact, and so here I’ll talk exclusively of impact (effects outside academia) and quality (peer-reviewed evaluations of how good the research is). Environment, the third category, is not discussed here.

coloured-doors.jpg
مسیرهای گوناگون دستیابی به اثربخشی

While quality was assessed directly based on academic publications, impact was judged based on a series of case studies submitted by HEIs; written cases that described the effects of particular research outside academia. HEFCE (the Higher Education Funding Council for England) has shared all impact case studies and also been kind enough to create an API for examining them, meaning we were able to access and use this corpus for text analysis (if you’re so inclined, I’ve shared my Python Code). Our questions were around how impact was framed and reported, and how this was rewarded. The interaction of academia and society can take many different forms, such as entrepreneurship, activism, community engagement, policy, etc. We wanted to understand how the impact category captured this – did it reflect academic engagement in all its glory? Or narrow it towards specific forms? Perhaps just as importantly, does high-impact research come at the expense of quality?

The nitty gritty

One of the unstated aims of the REF seems to have been to make the reporting framework and terminology as complex as possible, so I’ll spend a little time unpacking that. Within the REF, there were four panels: Life Sciences (A), Physical Sciences (B), Social Sciences (C) and Arts and Humanities (D). Within these four panels were 36 Units of Assessment (UoAs), further subdividing the broad panels into more specific disciplinary areas (for example, UoA7, under Panel B, is “Earth Sciences and Environmental Systems”, a subspeciality of Physical Sciences).

Institutions submitted academic outputs and impact case studies at UoA level. All selected researchers included their papers in their institution’s submission for that UoA; meanwhile, the institution also decided on a number of impact case studies to be submitted too. For the sake of brevity, I’m going to describe submissions (publications, impact case studies, and anything else) by a specific institution to a specific UoA as a ‘unit submission’.

Figure-1.jpg
.Figure 1: REF Impact vs REF Output (Quality). This figure was originally published in the article Beyond Academia – Interrogating Research Impact in the Research Excellence Framework

Does impact come at the expense of quality?

One of the questions we considered was whether research impact and research quality are linked; does good research have high impact, or does impact arise from superficial but ‘flashy’ research? There are a couple of caveats to this: firstly, the impact cases submitted had to be linked to research outputs (papers), but did not have to be linked to the same outputs as were submitted to demonstrate research quality. So any analysis we do can’t link the quality of research papers to their impact, only link the quality of a unit submission to its impact. We might frame this question: does a university’s research in a particular area show a link between quality and impact?

The second caveat is that impact case studies had to be based on outputs that were judged to be of at least two-star quality, so that should exclude really poor research (such as the superficial, ‘flashy’ type described above). But as researchers did not know what rating their work would be given prior to submitting their impact case, this is no guarantee.

We used the Grade Point Average (GPA) for a unit submission – the simple mean of the scores across all submissions in that unit – and compared the Impact GPA to the Quality GPA. If we plot Quality vs Impact (Figure 1), we see what looks like a (very) fuzzy straight line – there is definitely a correlation between the two, but it is not the only determining factor. There are plenty of exceptions, but there’s a general trend towards high-quality work having high impact – the highest impact case studies (GPA = 4.0) scored GPAs of 2.5-3.6 in quality, and the highest quality unit submission (GPA = 3.7) scored very nearly the highest impact (GPA = 3.9).

This blog post is based on the author’s co-written article, ‘Beyond Academia – Interrogating Research Impact in the Research Excellence Framework’, published in PLoS ONE (DOI: 10.1371/journal.pone.0168533).


   نظر شما چیست؟ آیا اثربخشی خطری را متوجه کیفیت علمی فعالیت ها و دستاوردهای محققان در حوزه های گوناگون می نماید؟ نظرات و تجربیات خود را از طریق فرم زیر با ما به اشتراک بگذارید.

 

photo_2017-12-11_19-33-24.jpg
حمید گلحسنی دانش آموخته رشته آموزش زبان انگلیسی از دانشگاه تربیت مدرس است و در جهاد دانشگاهی واحد تربیت مدرس مسئولیت انجام تحقیقات مربوط به پروژه اثربخشی تحقیقات را بر عهده دارد. جهاد دانشگاهی واحد تربیت مدرس همچنین در حال برنامه ریزی برای برگزاری اولین سمینار بین المللی اثربخشی تحقیقات علوم انسانی و اجتماعی و تدوین دوره های آموزشی مختص اثربخشی تحقیقات برای محققان و سیاست گذاران می باشد.
منبع: LSE Impact Blog

پربازدیدترین مطالب

تعریف اثربخشی تحقیقات

دوشنبه 20 آذر 1396 ساعت 07:24 ب.ظ

پروژه های اثربخشی

یکشنبه 10 دی 1396 ساعت 09:19 ب.ظ

ارتباط با ما

یکشنبه 3 دی 1396 ساعت 02:53 ب.ظ

کارگاه های آموزشی اثربخشی

دوشنبه 11 دی 1396 ساعت 10:32 ق.ظ

برای ما بنویسید

سه شنبه 28 آذر 1396 ساعت 09:54 ب.ظ

دریافت جدید ترین مطالب

اثربخشی تحقیقات در شبکه های اجتماعی

ارتباط با ما

تهران، بزرگراه جلال آل احمد، پل نصر (گیشا)، دانشگاه تربيت مدرس، ساختمان مدیریت امور دانشجویی (کتابخانه قدیم)، طبقه سوم، بلوک سمت راست


021-88220295-7
info@researchimpact.ir
ارسال پیام


استفاده از مطالب این وبسایت برای مقاصد غیر تجاری و با ذکر منبع بلامانع است. کليه حقوق اين سايت متعلق به اثربخشی تحقیقات می‌باشد.

Copyright © researchimpact