Jakość może przybrać różne rozmiary i kształty

Najbardziej wartościowe recenzowanie polega na, poza wszystkim innym, stosowaniu czytelnych kryteriów i wskazówek, umożliwiających dobry dialog między naukowcem, recenzentem i przedstawicielami społeczności akademickiej i, ostatecznie, prowadzi do udoskonalenia wyników badań, które mają zostać opublikowane (...). Każda forma otwartej inicjatywy propagującej system wspierający dialog jest dla mnie wartościowa.

 Ioana Galleron

Ioana Galleron jest wykładowcą językoznawstwa i literaturoznawstwa francuskiego na Université de Bretagne-Sud. Jest zaangażowana w projekty badawcze, których przedmiotem jest ewaluacja nauki, m.in. EvalHum. Od kwietnia 2016 r. kieruje COST Action CA15137.

Wersja angielojęzyczna 

 

Michał Starczewski: Czym różnią się systemy ewaluacji w naukach ścisłych i przyrodniczych (STEM) od tych w naukach humanistycznych i społecznych (SSH)? W jaki sposób Unia Europejska i państwa członkowskie mierzą się z zagadnieniem tych różnic? Czy możliwe jest znalezienie wspólnych kryteriów dla wszystkich dyscyplin i czy w ogóle powinniśmy próbować?

Ioana Galleron: Nie ma odrębnych systemów ewaluacji dyscyplin STEM i SSH, choć te systemy, które są, różnią się w swoich założeniach (ex-post/ex-ante, bazujące na wynikach / bazujące na wielkości). Nie jest to samo w sobie problemem, z wyjątkiem niektórych metod, ponieważ ani dyscypliny SSH, ani STEM nie tworzą jednorodnych grup. Różnice są ogromne, jeśli chodzi o nawyki publikacyjne, np. między biologią a matematyką z jednej strony, oraz między naukami społecznymi a humanistyką z drugiej, a także wewnątrz tych szerokich obszarów.

Są mocne dowody, że wskaźniki ilościowe, takie jak impact factor, index Hirscha i podobne, nie odzwierciedlają jakości, ani nawet nie pozwalają prawidłowo zaobserwować produktywności w dyscyplinach SSH. Dlatego takie wskaźniki nie powinny być wykorzystywane do ewaluacji tych dyscyplin, tym bardziej, że dane nie są ani kompletne, ani reprezentatywne. Takie metody są jednak wciąż wykorzystywane, po części dlatego, że krajowe systemy ewaluacji często znajdują się pod przemożnym wpływem naukowców reprezentujących dyscypliny STEM i są zaprojektowane przede wszystkim z myślą o nich, po części z powodu panujących przekonań, że konkurencja w publikowaniu w międzynarodowych czasopismach podniesie jakość badań, a wreszcie także dlatego, że te metody posługują się łatwymi do użycia liczbami. Znaczenie ma także fakt, że alternatywy jawią się jako niejasne i mało wiarygodne.

Istotnie, należy udoskonalić procedury ewaluacji badań SSH, które są czasami postrzegane przez wielu badaczy jako nieuczciwe, nieprzejrzyste i błędnie zaadaptowane do tych dyscyplin. Sprzeciw wobec podstawowych zasad ewaluacji o wiele częściej spotyka się w społecznościach SSH ze względów ideologicznych, albo z powodu tradycji współpracy. Sugerowano nawet, że z epistemologicznego punktu widzenia dyscypliny STEM i SSH całkowicie się różnią, ponieważ w obszarze STEM jest długa tradycja postępów związanych z dyskusjami i obalaniem ustaleń dokonywanych przez innych badaczy, podczas gdy ten paradygmat rzadziej ma miejsce w SSH. To wszystko prowadzi do tego, że nawet gdy dwie dyscypliny skłaniają się do stosowania jakichś wspólnych kryteriów, to tkwią w nich istotne różnice, które trzeba uwzględnić podczas ewaluacji jednych i drugich.

Krótko mówiąc, ewaluacja nauk społecznych i humanistycznych jest problematyczna tak dla ewaluujących, jak i dla ewaluowanych. Podczas gdy pewne państwa europejskie zauważyły już ten stan rzeczy i zaczęły szukać odpowiednich rozwiązań, w wielu innych nie widać takiej postawy. Z tego względu europejska inicjatywa dla SSH jest bardzo potrzebna. Trzeba stworzyć przestrzeń dyskusji między tymi, którzy eksperymentują z procedurami uczciwszymi i lepiej dostosowanymi do dyscyplin SSH, i trzeba też nadać temu zagadnieniu taki rozgłos, na jaki zasługuje.

Kieruje pani COST Action European Network for Research Evaluation in the Social Sciences and the Humanities (ENRESSH). Czy może pani opisać cele tego przedsięwzięcia?

“European Network for Research Evaluation in the Social Sciences and the Humanities” to Działanie COST, które zaczęło się w kwietniu 2016 r., a zakończy w kwietniu 2020 r. Naszym celem jest zaproponowanie przejrzystych dobrych praktyk w zakresie ewaluacji badań społecznych i humanistycznych. W ramach Działania współpracują ze sobą bardzo różni eksperci: badacze ewaluacji, decydenci, członkowie jednostek oceniających, jak również badacze reprezentujący humanistykę i nauki społeczne. Projekt porównuje rozproszone prace poświęcone ewaluacji badań SSH, powstające w różnych częściach Europy, w celu uniknięcia niepotrzebnego ich powielania oraz by upowszechnić ich rezultaty. Zaczęliśmy od wymiany doświadczeń, tak by uzyskać obraz stanu badań nad ewaluacją w Europie. W ciągu następnych lat zespół zorganizuje konferencje, warsztaty i spotkania, by zasypać przepaść między akademikami zajmującymi się ewaluacją badań SSH, menadżerami nauki i decydentami.

Skorzystam z okazji i wspomnę o EvalHum Initiative. Jest to szeroko zakrojone stowarzyszenie, które stara się zebrać razem wszystkich pracujących w obszarze ewaluacji nauki w naukach społecznych i humanistycznych. Brzmi to podobnie do opisu Działania ENRESSH, więc pewnie nikogo nie zaskoczy fakt, że to członkowie EvalHum zaproponowali Działanie COST. Obie inicjatywy są jednak ściśle oddzielone. Stowarzyszenie wznowi działalność, kiedy Działanie COST się zakończy. To także EvalHum organizuje serię konferencji RESSH, spośród których następna odbędzie się w Antwerpii w lipcu 2017 r.

Czasem pojęcia używane do opisu komunikacji naukowej w różnych krajach oznaczają bardzo różne rzeczy. Tak jest w przypadku np. „monografii”, „artykułu” i „recenzji”. W niektórych państwach monografia jest prawnie definiowana przez liczbę stron, a w innych przez liczbę autorów. Jak wiele zamieszania powoduje to na poziomie międzynarodowym? Czy sądzi pani, że część kontrowersji byłoby łatwiej rozwiązać, gdyby ludzie byli bardziej świadomi tych wieloznaczności?

Zbyt często procedury ewaluacyjne skupiają się na formalnych cechach publikacji. Nie uwzględnia się faktu, że cechy formalne mówią o jakości tylko bardzo zgrubnie, że za etykietami takimi jak: „recenzja (naukowa)”, „wydawnictwo uniwersyteckie”, czy „książka” mogą kryć się bardzo różne rzeczywistości, a liczby stron lub współtwórców same w sobie niewiele znaczą. Nie ma powodu, by postrzegać materiały konferencyjne jako z zasady „mniej dobre” niż jednoautorska książka. Nie ma też powodu, by przedkładać publikowanie artykułów nad książki – lub vice versa! – ponieważ wysoka jakość może przybierać różne rozmiary i kształty. Takie skróty lub tendencje miałyby sens wyłącznie wtedy, gdyby, po pierwsze, był jakiś konsensus, wewnątrz społeczności SSH, dotyczący najczęściej występujących typów publikacji w odniesieniu do pewnych typów wyników badań, i, po drugie, jeśli można byłoby mieć pewną dozę zaufania do kontroli jakości zapewnianej przez jakieś naukowe grono (choćby na poziomie czasopisma, konferencji, wydawnictwa, etc.). Niestety, kiedy przyglądamy się rzeczywistości kryjącej się za tymi słowami, zwłaszcza z ogólnoeuropejskiego punktu widzenia, widzimy, że te dwa warunki są dalekie od spełnienia.

Nie wiem więc, czy to pomoże rozwiązać kontrowersje, ale świadomość tego, jakie procesy zachodzą w trakcie publikacji książki naukowej w, dajmy na to, Rydze, a co się dzieje z książką w Wenecji, prawdopodobnie pomoże wypracować wspólne standardy, a także będzie skuteczniej wspierało lepszą naukę niż narzucanie akademikom ich (publikacyjnych) wyborów. 

Czy otwarta nauka sprawia, że ewaluacja staje się skuteczniejsza? W jaki sposób?

Otwarta nauka zmieni praktyki badawcze w humanistyce i naukach społecznych. Być może wpłynie na metody i procedury ewaluacji. Ale pojawia się kilka pytań, np. czy badacze społeczni i humaniści są w ogóle świadomi dyskusji o otwartym dostępie i jej skutków i czy ci badacze mają środki finansowe, by publikować w otwartym dostępie? Opłaty odautorskie (APC) za artykuły są problemem dla często i tak już niedoinwestowanych badań z obszaru SSH, przez co publikowanie książek okazuje się nieprzystępne. Jednakże, wracając do pytania, sam fakt, że niektórzy badacze decydują się udostępniać w sposób otwarty swoje publikacje, a nawet dane badawcze, powinien być uwzględniany w trakcie ewaluacji. Otwarta nauka jest też lepiej rozpowszechniona, dzięki czemu wyniki można łatwiej ponownie wykorzystać, a także łatwiej jest obalić błędne twierdzenia; to są dwa inne istotne aspekty, które powinny zostać docenione.

Co więcej, w pewnych państwach otwarta nauka pozwala naukowcom przyspieszyć, albo wyjść poza system publikacyjny, który całkiem często jest z wyżej wspomnianych powodów dysfunkcyjny w obszarze SSH.

W jaki sposób można oceniać udostępnianie danych badawczych? Który aspekt jest najważniejszy: natychmiastowy dostęp, licencje prawne czy pełne metadane?

Udostępnianie danych badawczych to sposób na zwiększenie transparentności procesu badawczego i ułatwienie pracy recenzentów. Równocześnie pozwala uniknąć niepotrzebnego powtarzania pracy, ponieważ badania mogą być powtórzone lub ponownie przeanalizowane z innej perspektywy. Opracowanie procedury ewaluacji udostępniania danych badawczych nie jest jednak łatwe i prawdopodobnie będziemy potrzebować trochę czasu, by przyjrzeć się, jak akademicy radzą sobie z tym zagadnieniem.

Metadane są kluczowe z punktu widzenia ewaluacji. Są też być może prostsze do udostępniania i chronienia. Żeby zbudować dojrzałe procedury ewaluacji, musimy wiedzieć, co dzieje się w danej dyscyplinie, a póki co ta wiedza w obszarze SSH jest bardzo niekompletna, zarówno na poziomie krajowym, jak i europejskim. Co więcej, sytuacja jest bardzo zróżnicowana zależnie od dyscypliny: o wiele lepsza jest obecność w międzynarodowych bazach danych psychologii czy ekonomii, podczas gdy badania językoznawcze i literaturoznawcze pozostają tu wyraźnie w tyle. Dostęp do metadanych – nie tylko dotyczących danych badawczych, ale też różnych publikacji – pozwoliłby nam uczynić postępy w stronę europejskiej bazy danych o osiągnięciach badań SSH, a także  obserwować zwyczaje publikacyjne, sposoby współpracy i trendy tematyczne na większą i pewniejszą skalę.

Narzędzia komunikacji zmieniają się bardzo szybko. Zmienia się także komunikacja naukowa. Czy pani zdaniem ewaluacja badań powinna dotrzymywać kroku tym zmianom, czy raczej powinna być trochę bardziej zachowawcza i ewoluować w swoim tempie?

Ewaluacja badań naukowych musi uwzględniać procesy badawcze i zwyczaje naukowców. Tak, ze względu na swoją wiarygodność musi nadążać za zmianami w komunikacji naukowej. W obecnych procedurach oceny jest mało miejsca na blogi naukowe, newslettery oraz, w większości państw, na liczne formy zaangażowania społecznego w szerokim znaczeniu, a to są tylko nieliczne przykłady. A przecież te wszystkie próby komunikowania się inaczej niż w tradycyjny sposób, zarówno wewnątrz świata akademickiego, jak i poza jego obrębem, stwarzają przestrzeń dla innowacji. W obszarze SSH jest ogromny potencjał pomijany przez decydentów, w wielu przypadkach z powodu zliczania wyłącznie wskaźników i wyników, które faktycznie nie odzwierciedlają tego, co realnie dzieje się w danej dyscyplinie.

Z drugiej strony, trzeba wciąż pamiętać, że wskaźniki, które są wykorzystywane w ewaluacji nauki potrzebują czasu, byśmy mogli przekonać się, jak działają. Usilne próby nadążania za każdym trendem nie pozwalają procedurom ewaluacji dojrzeć.

Jaka jest rola mediów społecznościowych w komunikacji naukowej? Czy instytucje akademickie powinny inwestować w narzędzia zliczające tweety lub posty na Facebooku, takie jak Altmetric?

Media społecznościowe zrobiły wiele dobrego dla nauk SSH, ponieważ umożliwiły porozumiewanie się z dużą publicznością i informowanie jej o naszych tematach i badaniach. To jest coś, co się nie zawsze udawało w mediach tradycyjnych, które są bardziej skoncentrowane na odkryciach „twardych” nauk. Jak wcześniej wspomniałam, „tradycyjne” wskaźniki nie sprawdzają się w naukach SSH. Badacz społeczny lub humanista z niskim indeksem H niekoniecznie jest nieproduktywny, co mogą pokazać liczby pobrań jej lub jego artykułów z repozytoriów. Trzeba jednak mieć świadomość, że wskaźniki alternatywne również mogą nie odzwierciedlać dokładnie tego, co się dzieje w dyscyplinie z powodu często spotykanej zachowawczości. Znakomite badania, które nie są rozpowszechniane za pośrednictwem Twittera, Facebooka lub akademickich mediów społecznościowych wciąż mogą być intensywnie czytane w bibliotekach.

Co więcej, dane z platform Sieci 2.0 nie są wystarczająco wiarygodne i, jak wszystkie dane, mogą być kształtowane przez potężne nauki (fizykę i medycynę), tak by liczyć to, w czym one są dobre (opowieści o odkryciach i leczeniu raka), niż nasze opowieści z obszaru SSH, które często są dla ludzi bardziej interesujące. W skrócie: instytucje powinny mieć świadomość, jak naukowcy posługują się mediami społecznościowymi w komunikacji naukowej, ale jednocześnie powinny zachować ostrożność w interpretowaniu uzyskanych stąd informacji i uważać, by nie narzucać nienaturalnych zachowań

Mówi się czasem o przepaści pomiędzy nauką a społeczeństwem. „Zwykli ludzie” nie wiedzą, czego właściwie dotyczy nauka i nie mogą uczestniczyć w jej rozwoju. W tym samym czasie naukowcy są często postrzegani jako zamknięci w wieży z kości słoniowej i ignorujący prawdziwe problemy życia codziennego. Projekty „nauki obywatelskiej” mają na celu zbudowanie mostu i połączenie obu stron. Czy pani zdaniem nauka staje się coraz bardziej egalitarna?

Zawsze jestem zdumiona, gdy słyszę o “przepaści” między nauką a społeczeństwem. A jeszcze bardziej zdumiewają mnie ludzie skupiający się raczej na naszej (suponowanej) wieży z kości słoniowej, niż na, powiedzmy, złotej wieży bankierów… Bądź co bądź, czy to jest nowe zjawisko i czy w związku z nim powinniśmy się czegoś obawiać? „Zwykli ludzie” żyjący w XVI w. byli jeszcze mniej świadomi, czym jest nauka, ponieważ zdecydowana większość nie potrafiła czytać, a naukowcy byli przez wielu postrzegani jako zagrożenie. Nauka jest lepiej postrzegana i rozumiana w naszych nowoczesnych, dobrze wyedukowanych społeczeństwach – i być może poczucie, że naukowcy nie otwierają się wystarczająco na społeczeństwo jest związane z tą większą zdolnością zrozumienia przez „laicką publiczność”, czym jest nauka, przez co ludzie stają się bardziej zainteresowani uczestniczeniem w niej. Nauka nie odrzuca ludzi, ale pyta ich, zgodnie ze swoją istotą, jaką mają wiedzę i umiejętności, by przyłączyć się. Wiele jest wspaniałych historii społecznego zaangażowania naukowców ze wszystkich obszarów, zwłaszcza SSH, które pokazują, jak niewiele jest prawdy w tradycyjnych przekonaniach o wyniosłym pozostawaniu naukowców ponad tłumem.

Z kolei z socjologicznego punktu widzenia jesteśmy świadkami stałej i ciągłej zmiany społeczności uczonych, których pochodzenie jest coraz bardziej zróżnicowane, także więc w tym znaczeniu nauka staje się coraz bardziej „egalitarna”.

Pojawia się wiele pomysłów na udoskonalenie procesu recenzowania naukowego i uczynienie go bardziej transparentnym. Jakie rodzaje otwartego recenzowania uważa pani za najbardziej wartościowe?

Pomimo znanych ograniczeń, tradycyjne recenzowanie zostało sprawdzone jako użyteczne narzędzie sprzyjające lepszej nauce i zapewniające, że jest ona uprawiana prawidłowo. Niektóre wydawnictwa lub czasopisma humanistyczne i społeczne pojęciem recenzowania określają niezwykle zwięzły proces, którego rezultatem jest jeden wers (lub nawet jedno słowo!) akceptujące kawałek badań. Nie mówię tego, by podważać bardzo dobrą pracę wykonywaną przez liczne redakcje lub wydawnictwa, ale w wielu innych przypadkach to, kto zostanie opublikowany, zależy w mniejszym stopniu od jakości pracy, a większe znaczenie mają osobiste związki między badaczami i redaktorami, albo, co gorsza, zdolność zapłacenia za publikację.

Uważam, że najbardziej wartościowe, prawdziwe (w przeciwieństwie do „szyderczego” lub „pozornego”) recenzowanie polega na, poza wszystkim innym, stosowaniu czytelnych kryteriów i wskazówek, umożliwiających dobry dialog między naukowcem, recenzentem i przedstawicielami społeczności akademickiej i, ostatecznie, prowadzi do udoskonalenia wyników badań, które mają zostać opublikowane. Ostatnie propozycje biologicznego czasopisma eLife otwierają interesujące perspektywy poprzez umożliwienie dialogu przed publikacją między anonimowymi recenzentami a badaczem, jak również na rozbudowane formy recenzji, w której interesariusze uczestniczą w ocenie badań z misją społeczną. Uogólniając, każda forma otwartej inicjatywy propagującej system wspierający dialog jest dla mnie wartościowa.

 

 

Additional information