כל מי שעבר תהליך קידום באקדמיה הנאו-ליברלית נתקל בצורך האובססיבי לספור מאמרים ולחפש דרוגים של כתבי עת בכל מיני מאגרים. האקדמיה היום נסמכת יותר ויותר על מדדים סטטיסטים אדישי תוכן על מנת לשפוט את איכותם של מחקרים וחוקרים. השיטה הזאת מחליפה את השיטה הקודמת שחייבה את ועדות המינויים במוסדות האקדמיים, ולפעמים גם את ראשי החוגים, לקרוא את הפרסומים של חברי סגל כדי לדעת מה הם/ן חוקרות ובמה הן מתמחות, תוך בחינת תרומתן לתחום ולמוסד. זאת משימה מורכבת ללא ספק, בייחוד במציאות בה התמחויות נעשות יותר ויותר ספציפיות וחברי וועדות מינויים מוסדיות אינם בהכרח מתחומי הדעת של המועמדים/ות. ועדיין יש בנמצא ועדות מקצועיות שמכנסות אנשים שתחום המומחיות שלהם קרוב לתחום של המועמד/ת, וחבריהם/ן נוטים לקרוא את הפרסומים של אלו שאת גורלם/ן הם חורצים. משום שהם מכירים את השדה לפחות חלקית, הם יכולים להעריך את כתבי העת ואת מי שכותב בהם ברמת התוכן, ואם לא, יש להם אפשרות להתייעץ עם קולגות מתחומי דעת דומים. אבל הועדות המקצועיות שהיו צריכות בעצם לשלוט בתהליכי ההערכה בזכות הידע הרלוונטי של חבריהן, מקבלות תפקיד משני בקביעת גורלו של חוקר באקדמיה, ומי שקובעת וחותמת אם יהיה קידום או לא, אם החוקר/מרצה/חבר סגל הוא בעל ערך למוסד או לא, אלה ועדות מינויים מוסדיות שלחלק גדול מחבריהן אין ידע רלוונטי בתחום הדעת וההתמחות של המועמד/ת. כאן נכנסים המדדים הסטטיסטים שמוצגים כאובייקטיבים, למרות שהאובייקטיביות שלהם מפוקפקת כפי שאראה בהמשך.  הטכנולוגיה מאפשרת היום לספור ציטוטים של מאמרים ושל כתבי עת, ולערוך מיני חישובים סטטיסטים מסובכים יותר ופחות. תוצריהם של החישובים האלה מוצגים בדיאגרמות צבעוניות ובטבלאות, ואמורים להנחות את חברי ועדות המינויים ולפניהם, את ראשי החוגים, הדקנים וכל מי שהמועמד/ת פוגש/ת בדרך, בהערכת איכותו האקדמית או התאמתה למוסד.

המדדים האלה כוללים את מספר הפרסומים של המועמד, את הדרוג של כתבי העת שבהם פורסמו המאמרים, ואת מספר הפעמים שבהם המאמרים האלה צוטטו (H אינדקס ו-I אינדקס). המספרים האלה אמורים לכאורה למדוד ולשקף את איכותו האקדמית של החוקר/ת. אלא שנתונים מראים שכתבי עת במדעי החברה ובמדעי הרוח מצוטטים פחות על ידי הקהילה האקדמית, לעומת כתבי עת במדעים מדויקים ובמדעי החיים. העיתונאי האמריקאי זוכה הפוליצר מייקל א. הילציק (2015) מדווח שבעוד ש- 75% מהמאמרים במדעים מדויקים מצוטטים, במדעי החברה מצטטים רק 25% ומבין אלו במדעי הרוח - 2% בלבד.[1] במילים אחרות, אלו מביננו המפרסמות בעיקר בתחום מדעי הרוח, אני למשל, סיכוייה 'להצטיין' במושגים נאו-ליברלים ו'להתאים' למוסד, נמוכים מראש.

עבורי, תהליך דרוג הפרסומים מעייף ומתסכל, בעיקר כי אני מפקפקת בשיטה. קשה לי להבין למה פרסומים מרובי ציטוטים הם בהכרח בעלי ערך רב יותר. כולנו יודעים שלמחשבה ולמחקר מקוריים לוקח זמן לטעת שורשים בעולם הידע ולכן הסיכוי שיצטטו אותם נמוך, בעוד שלמחשבה שגורה יש סיכוי גבוה להיות מצוטטת. מאמרי סקירה למשל, זוכים להמוני ציטוטים, לא משום שהם מחדשים דווקא, אלא משום שהם מספקים בסיס לחשיבה ולפתוח התחום. האם יש להם ערך רב יותר מאשר למאמר שמאתגר ידע קיים, שמציע מבט אחר ומקורי? זה נכון גם לגבי כתבי העת. המאמרים בכתבי עת שהתמסדו יזכו ליותר ציטוטים בלי קשר לאיכותם. ואלו לכתבי עת חדשים או ספציפיים, למשל אלו העוסקים בספרות ילדים, או בפדגוגיה ביקורתית, יש סיכוי נמוך להופיע בדרוגים, כי מספר חוקרי ספרות הילדים והפדגוגיות הביקורתיות נמוך מאוד ביחס לחוקרים שמתמקדים למשל בחקר הסרטן. אז איזה סיכוי יש לכתב עת שעוסק בתחום איזוטרי להיות מצוטט ולזכות את המפרסם/ת בו בכבוד? סיכוי די נמוך. אני חושבת שהשיטה מייצרת שיח מיינסטרימי שמסליל את כולם לאותו נתיב ובונה עולם דעת צר יחסית ובעיקר, לא מאיים. חשוב לומר שאינני הראשונה להצביע על כשלים אלו. ברוס אלברטס, העורך בפועל של כתב העת "סיינס" (Science) הצהיר על כך  באחד ממאמרי המערכת שלו. הוא טען שכתבי העת בעלי דרוג גבוה הם סוג של כלוב זהב שחוסם מחשבה ומחקר מקוריים.[2]

העבודה האקדמית וקידום הידע האנושי מבוססים על יצירתיות. יצירת ידע משמעותי כולל, תהליכי חשיבה והעמקה, ואלו לוקחים זמן, לפעמים אפילו הרבה זמן. אבל מה עושים במציאות שבה לכתוב משהו מקורי, אחר, פורץ דרך, מונע פרסום? ומה קורה כשמספר המאמרים שלי תקוע כי עצרתי לקרוא, לחשוב ולהתבונן? הסיכוי שלי להישאר במערכת האקדמית קטן וכך גם הסיכוי להתקדם בה.

אבל משום שאני אשה מעשית ועל אף ההרהורים הלא פשוטים ששטחתי בפניכן, נעניתי  לרוח הנאו-ליברלית ולמשטר הדרוג, ןערכתי מיפוי של הפלטפורמות המדרגות כשהפרסומים שלי משמשים כ case study. התחלתי ב- Journal Citation Report (JCR)  שמפרסם מדי שנה את האימפקט פקטור של כל כתב עת ונחשב למדד הנפוץ של כתבי עת בעלי איכות. גיליתי שהאינדקס הזה כולל בתוכו 12,000 כתבי עת, מתוכם 8,500  שייכים למדעים המדויקים ומדעי החיים, 3000 שייכים למדעי החברה, ורק 500 שייכים לתחומים אחרים. רק חלק מכתבי העת בהם אני מפרסמת, הופיעו באינדקס הזה וגם כשהופיעו, הם זכו בדרוג נמוך, משום שרובם משתייכים למדעי הרוח. לא ויתרתי וחקרתי את האינטרנט מחפשת אחרי מדדים אחרים שיראו מספרים גבוהים יותר, מספרים שלכאורה יעשו עימי (ועם עבודת חיי) צדק. טיילתי בין השאר בסקופוס, ב-Scimago Journal & Country Rank, וב-H אינדקס, וגיליתי את השוק העצום של מדדים אדישי תוכן. בהדרגה רשימת הפרסומים שלי התמלאה במספרים קטנים וכל פריט נראה ככה:

Hager, T. (2008) Compassion and indifference: The attitude of the English legal system toward Ellen Harper and Selina Wadge, who killed their offspring in the 1870s. The Journal of Family History: Studies in Family, Kinship and Demography 33(2), 173-194. IF 0.333, History 53/89, CiteScore 0.400, Art and Humanities 190/250, SNIP 0.631, SJR 0.168, Art and Humanities 240/400, Art and Humanities Q3 (Q2 in the time of publishing), (13 citations).

הסתכלתי בפליאה במספרים שנראו לי משונים. ידעתי שהם חישובים מתמטיים, אבל ההערכות המספריות השונות לאותם כתבי עת במדדים השונים, היו חידה שהייתי עייפה ומשועממת מכדי לפתור. במשך שלושה ימים הפכתי בהדרגה את רשימת הפרסומים שלי לטבלת מספרים והרגשתי כיצד העשייה האקדמית שלי נעלמת ביניהם ומאבדת משמעות.

אם זה לא היה עצוב, זה היה מצחיק. המחשבה על חוקרת רצינית שמשקיעה את כל המיומנויות והמאמצים האקדמיים שלה לאתר חישובים שנראים לה חסרי מובן עבור ועדות מינויים אנונימיות, היתה לרגעים די קומית. יכולתי לדמיין חדר צפוף שבו כולם יושבים סביב שולחן ועליו מגשי סנדויצ'ים, קערת פירות וערמות של מסמכים. "הנושא עכשיו הוא חוקרת במדעי הרוח", מכריזה המזכירה. "אנחנו הולכים לפתוח את תיק x" כולם פותחים את התיק המדובר, אחד מהם לוקח סנדוויץ' מהמגש. השורות והמספרים מרעיבים אותו. "אז ביחס לרשימת הפרסומים", מישהו אומר, "המאמר השלישי קיבל רק 0.21 וזה לא מספיק. אבל תראו המאמר החמישי קיבל 0.32 וזה הרבה יותר טוב." "אתה יכול לראות שהיא קיבלה ציון הרבה יותר גבוה במאמר 15 וה-Q הוא גם יותר גבוה", קובע אחר. "נראה שהיא למדה לאחרונה לפנות רק לכתבי עת עם פרופיל גבוה". "כן היא משתפרת", מאשר משתתף נוסף ומדפדף בתיק בחוסר סבלנות. "אבל משום שאף אחד מהציונים שלה אינו מעל 4 אני מציע לבקש ממנה עוד שני פרסומים בכתבי עת עם אימפקט פקטור גבוה עם ציון של 5 לפחות." האחרים מהנהנים בהסכמה, אחד מהם לוקח תפוח אדום מהמגש.

לפעמים אני תוהה אם חברי ועדות מינויים במוסדות האקדמיים עוברים השתלמות במדדים אדישי תוכן, שבמהלכה הם מתנסים בנוסחאות המתמטיות ומתרגלים את ההבדלים ביניהן. אני משערת שלא, אבל אז איך קורה שמערכת שלמה מופעלת על ידי נוסחאות לא ברורות רק משום שהאקדמיה הנאו-ליברלית תובעת לכמת הכל?

חוסר המשמעות התברר לי כששמעתי הרצאה של חוקר מחשבים על מדדים אדישי תוכן. למדתי ש-H אינדקס הוא קורלציה של מספר הציטוטים של מאמר שלי ביחס למספר הציטוטים של מאמרי כתב העת. למדתי גם שאם משנים את הנוסחה המתמטית אפשר לשנות קריירות שלמות. המרצה עשה את זה מול עינינו: הוא שינה את הנוסחה של ה-H אינדקס בכך שחילק את אותם מספרים באופן שונה והראה לנו כיצד השינוי הזעיר וחסר המשמעות יכול להרוס ולשפר מוניטין אקדמי. הוא קרא להתנגד למדדים אדישי תוכן והציע לחזור להערכות מבוססות תוכן. אחד המשתתפים אמר: "אבל זאת הדרך היחידה להשיג שיפוט ללא משוא פנים, איך אחרת נוכל להעריך אובייקטיבית הישגים אקדמיים? אתה לא יכול לסמוך על קוראים כי יש מניפולציות פוליטיות בכל מקום". איש המחשבים לא חייך כשהוא אמר: "הלוואי ש-H  אינדקס היה מאפשר שיפוט ללא משוא פנים. זה עצוב אולי, אבל לא ככה זה עובד. אנחנו בעצם משתמשים במספר שרירותי שבעצם אינו משקף את ערכם של החוקרים או עבודתם".

[1] Hiltzik, M. (2015) Are Most Academic Papers Worthless? Don't Trust this Worthless Statistic. Los Angeles Time 30, November https://www.latimes.com/business/hiltzik/la-fi-mh-are-academic-papers-really-worthless-20151130-column.html

[2] Alberts, B. (2013) Impact Factor Distortions. Science 340 May 17, p.787