Open source peer review

Given enough eyeballs, all bugs are shallow
(Linus Torvalds, citato in The Cathedral and the Bazaar, Eric S. Raymond)

Premetto che non sono sicuro del motivo per cui lo sto scrivendo io, questo post. A rigore, toccherebbe a Mrs. Inminoranza; ancora più a rigore, se Danilo, il suo amico che occasionalmente commenta qui avesse un blog, l'onere spetterebbe a lui, visto che l'idea è in partenza sua.

Nonostante i miei tre lettori già lo sappiano, giova ripetere che il sistema della peer review è quel sistema che permette, in principio, di valutare la bontà di un articolo che va in pubblicazione su una rivista scientifica o accademica; ogni articolo deve essere valutato e giudicato da un certo numero di accademici di provata competenza e viene pubblicato solo in caso di giudizio positivo della maggioranza.

Il sistema garantisce che in generale articoli sugli unicorni, sul moto perpetuo e sui rapimenti alieni non vengano pubblicati su riviste accademiche che, come si dice, fanno scienza, anche se ogni tanto gli interessi del big business fanno breccia e su Nature arriva un articolo sulla memoria dell'acqua sponsorizzato da aziende che con l'omeopatia ci fanno un pacco di soldi; il sistema presenta ovviamente delle falle che si prestano bene, ad esempio, ad essere sfruttate da quel che viene chiamato il deplorevole umorismo dei fisici, che occasionalmente riescono a combinare burle degne di rilievo - famosa quella di quand'ero studente, in cui un gruppetto di ignoti riuscì a farsi pubblicare due articoli di fisica della materia su una rivista americana, a firma del Prof. Stronzo Bestiale, dell'inesistente Istituto di Fisica della Materia di Palermo, e non sono rare le scelte ad hoc di variabili e indici nelle formule, per comporre insulti in svedese o polacco al lettore.

La peer review ha anche dei risvolti negativi un po' più seri di questi, purtroppo. Il nome dei referee è formalmente segreto, ma in generale l'autore dell'articolo può conoscerlo, e pochi referee avranno il coraggio di stroncare un grande nome, sapendo che questi potrebbe conoscere con relativa facilità il nome del colpevole e rivalersi su di lui; d'altra parte, non è troppo raro il caso di review negative dovute più ad antipatie personale (o di review positive dovute in gran parte ad amicizia) che ad effettivi meriti dell'articolo. Una review positiva può anche essere (esperienza quasi personale) dovuta a fattori di marketing, ad un do ut des piuttosto becero: se vuoi una review positiva ed essere pubblicato, cita il tale articolo nel tuo, così mi aumenti l'impact factor (q.v.).

Le scienze hard, e in effetti tutta l'accademia, lavorano secondo quello che Eric Raymond chiama il modello della cattedrale; un modello organizzativo analogo a quello dei costruttori di cattedrali medievali e rinascimentali, piccoli gruppi di adepti, profondi conoscitori dell'arte arcana di creare il giusto equilibrio di pieno e vuoto, esperti costruttori e architetti, gilde chiuse a cui si accedeva tramite iniziazioni misteriose e precluse alle masse. Quasi solo l'informatica, da venti-trent'anni o meno a questa parte, adotta il modello del bazar: una comunità aperta a tutti, in cui tutti hanno voce - e credetemi, a volte la cacofonia può essere assordante - in cui l'unico criterio di selezione sono i risultati, in cui tutti i contributi vengono accettati o rifiutati solo alla prova dei fatti. Questo modello è stato formalizzato a cavallo del secolo dal cosiddetto movimento Open Source, ma la tendenza esisteva da molto prima, nel famoso MIT Media Lab di Richard Stallman da cui è nata la Free Software Foundation, nei gruppi di lavoro dell'Università della California, a Berkeley (la Berkeley Standard Distribution, o BSD, nelle sue varie incarnazioni, è ancora lo standard per Unix, e costituisce il fondamento su cui Linux è stato costruito) e a San Diego (oggi dimenticato, l'UCSD Pascal è stato il primo sistema a p-code in grado di farsi strada nel mondo reale, ispiratore delle macchine virtuali Java).

Senza voler entrare nei dettagli o scatenare una guerra di religione, è un dato di fatto che il modello organizzativo del bazar funziona: funziona talmente bene che sistemi operativi come Linux e applicazioni come Apache (il software che fra le altre cose sta mandando al vostro browser questa pagina), creati da dilettanti e supportati da appassionati distribuiti in tutto il mondo, sono oggi la principale minaccia commerciale per un colosso come Microsoft. Non si tratta di un sistema perfetto, per carità, qualunque sistemista Linux ha la sua personale collezione di racconti del terrore, derivanti in primo luogo dal fatto che spesso da un bazar non c'è modo di tener fuori gli imbecilli e poi dalla disarmante costatazione che l'informatica è l'unica scienza in cui la sociopatia viene considerata un tratto caratteriale positivo (ci devo fare su un post, uno di questi giorni); ciononostante, è l'idea che sta alla base della cosiddetta rivoluzione informatica che ha caratterizzato gli ultimi 20 anni della nostra vita.

L'idea di Danilo, come me l'ha presentata Mrs. Inminoranza, è sostanzialmente di applicare lo stesso principio alla selezione dei lavori scientifici e accademici: invece di una rivista col suo gruppetto di referee , un sistema aperto in cui gli autori sottopongono i propri lavori e chiunque possa dimostrare la propria competenza in materia può fare da referee, ed un lavoro diviene pubblicabile se ha avuto un certo numero di review positive (ogni review negativa, ovviamente, ne cancella una positiva). Il diavolo è nei dettagli, come dicono gli inglesi: cosa vuol dire "dimostrare la propria competenza"? Nel mondo open source è facile: la tua competenza viene dimostrata dalla qualità del tuo lavoro. Vuoi lavorare al kernel di Linux? Nessuno ti vieta di sottoporre una patch a questo o quel modulo che riduca la dipendenza da ndiswrapper, se ne sei capace - anche perchè non ci vuole molto a compilare il modulo e a vedere se effettivamente la scheda wi-fi del portatile funziona o fonde; la tua competenza, nel tempo, verrà misurata in base alla qualità e all'entità dei tuoi contributi: nel bazar, la bancarella con più gente davanti è in generale quella con i prodotti migliori o più necessari ad ogni famiglia. Laddove si parte da un modello-cattedrale, ed in cui è obiettivamente più difficile se non impossibile portare contributi originali (non sono in molti a potersi costruire in casa un supercollider o un apparecchio per la PCR, se non altro per ragioni di spazio), la competenza di un laureando in biochimica, che magari sarebbe perfettamente in grado di esprimere un giudizio su un articolo, è estremamente difficile da dimostrare senza un formale processo fatto di esami e, ancora, peer-review del suo lavoro. È il problema dell'uovo e della gallina, e senza questo sistema di certificazione, potremmo dire, della competenza, si finisce al modello Wikipedia, in cui nella migliore delle ipotesi si spaccia per verità scientifica l'opinione della maggioranza, e nella peggiore migliaia di dipendenti della Glaxo-Smith-Kline danno parere positivo a tutti gli articoli scritti da ricercatori della Glaxo-Smith-Kline, compresi quelli che raccomandano di imbottire le donne incinte di tutti i fondi di magazzino della Glaxo-Smith-Kline perchè fanno tanto bene. E prima che un lettore proponga la soluzione banale, quella di permettere l'accesso al lavoro di review solo a chi rivendica titoli in materia (laurea, dottorato, cattedra), faccio notare che questa è la soluzione banale del modello-cattedrale, quella in cui l'appartenenza al gruppo degli iniziati ottenuta non tramite l'esame delle competenze specifiche ma attraverso una più o meno oscura procedura di iniziazione, garantisce la possibilità di lavorare alla costruzione della cattedrale. In altre parole, il mondo è pieno di imbecilli con una laurea - ci sono fior di laureati a pieni voti in informatica a cui non farei neanche guardare il mio computer di casa, senza nemmeno arrivare ai miei server - e d'altra parte conosco almeno una persona che di zoologia e biologia evoluzionistica ne sa abbastanza da poter dare punti a fior di accademici pur senza aver, credo, mai messo piede in un dipartimento di biologia o scienze naturali. Il problema di un sistema del genere è arrivare ad un metodo di valutazione delle capacità che sia deciso dall'applicazione, in qualche modo, di quelle stesse capacità. Questo è il vero segreto del successo del movimento Open Source, la spietata applicazione di principi darwiniani: tutti sono uguali, in partenza, tutti vengono gettati nella stessa arena, l'autorevolezza deriva solo da quanto a lungo si riesce a sopravvivere.

L'unica via d'uscita dal modello-cattedrale è una soluzione che permetta di gestire la transizione, permettendo a chiunque abbia un certo numero di pubblicazioni alle spalle di valutare gli articoli futuri - la capacità di pubblicare, di creare lavori scientificamente rilevanti (col vecchio sistema di peer-review chiuso) è una misura della capacità di una persona - non la migliore, certo, ma ancora, l'unica metrica possibile che si basi sui risultati - del resto, anche l'Open Source non pretende di essere il sistema migliore possibile, ma è uno di quelli che alla fine, magari dopo aver imboccato la strada sbagliata una ventina di volte, producono i risultati migliori e più affidabili. Non è un caso che nei commenti a corredo del codice sorgente del kernel (il nucleo del sistema operativo) di Linux, la parola "crap" ricorra 160 volte, "bastard" 20, "fuck" 60 e "shit" 100.

Conviene precisare a questo punto che non mi preoccupa troppo, invece, il secondo problema di un modello open source della valutazione dei lavori, ossia convincere chi oggi viene pagato per fare il referee per una rivista a farlo gratis per un sistema centralizzato. Non mi preoccupa troppo perchè, a detta di quelli che lo fanno, i soldi sono veramente pochi e il lavoro fin troppo, fare il referee non è per nessuno una fonte primaria di reddito e se lo si fa lo si fa per il prestigio che dà il titolo di referee di questa o quella rivista - e ancora, un sistema aperto conviene in termini di prestigio perchè è, appunto, l'unico e pertanto il più autorevole dei sistemi di valutazione - molto meglio che fare il referee per una rivista magari a basso impact factor che non legge nessuno

Per riassumere: un sistema in cui gli articoli vengano sottoposti ad un sito/database, referee scelti casualmente ed in grande numero fra quelli con un numero sufficiente di pubblicazioni in un'analoga branca del sapere, per giungere ad una sorta di imprimatur di pubblicabilità accettabile dalle riviste che possono fare a meno del proprio sistema di peer review.

In realtà questo modello apre poi la porta, oltre che ad un modello open source del giudizio di pubblicabilità, ad un modello che fa direttamente a meno delle riviste. Oggi, che un articolo venga pubblicato su carta o in rete fa veramente poca differenza, la versione cartacea delle riviste è da un lato una sorta di status symbol e dall'altro un modo che hanno le varie società nazionali di questa o quella disciplina di finanziare i propri congressi estivi di due settimane a Capri (chi ha mai sognato di abbonarsi al Nuovo Cimento per poi scoprire che costa più di un mutuo alzi la mano); dal punto di vista dell'autore, che per la pubblicazione non viene pagato, è l'impact factor della rivista a fare la differenza, e l'impact factor è funzione, alla fine, dell'autorevolezza di chi pubblica e della qualità dei lavori - un sistema aperto, in cui si può pubblicare senza sottostare ai ricatti e alle arbitrarietà del sistema chiuso della peer review e in cui i lavori sono poi liberamente accessibili, potrebbe fare molto sia per la visibilità dei ricercatori, sia (soprattutto) per la visibilità delle scienze. In un mondo in cui i creazionisti stampano milioni di copie di pamphlet e libercoli indegni anche di essere usati come carta da cesso, e li spediscono gratis a scuole, insegnanti, parrocchie e famiglie, in un mondo in cui preti che non sfigurerebbero in un romanzo di Philip Pullman spiegano alle liceali che il cancro al collo dell'utero è cosa buona e giusta perchè è una punizione divina per la promiscuità sessuale, in un mondo in cui la vecchia battuta di Roberto D'Agostino su "Hegel, Stielike e Rummenigge" suscita immancabilmente la domanda "ma dove giocava Hegel? Nel Bayern?", costringere chi vuole leggere online un articolo di biologia evoluzionistica a pagare dai 25 ai 40 dollari è in ultima analisi autolesionistico, trasmette al pubblico (che alla fin fine, pagando le tasse, finanzia il sistema scientifico/accademico) un'idea da torre d'avorio e lascia la porta aperta a chi, invece, facendo del parassitismo a spese della credulità popolare il proprio business, diffonde il proprio messaggio di ignoranza ed oscurantismo ascrivendo i fondi spesi alla voce spese pubblicitarie, come del resto farebbe qualunque azienda di questo mondo.

Oh, poi sia chiaro: questo è un divertissement, non ho mica intenzione di riformare il mondo accademico e il suo sistema di attribuzione del prestigio. Se proprio voglio suicidarmi, vado a Brixton e mi metto a gridare insulti razzisti in un pub. È più rapido e meno doloroso.