05 gennaio 2008

Open source peer review


Given enough eyeballs, all bugs are shallow
(Linus Torvalds, citato in The Cathedral and the Bazaar, Eric S. Raymond)

Premetto che non sono sicuro del motivo per cui lo sto scrivendo io, questo post. A rigore, toccherebbe a Mrs. Inminoranza; ancora più a rigore, se Danilo, il suo amico che occasionalmente commenta qui avesse un blog, l'onere spetterebbe a lui, visto che l'idea è in partenza sua.

Nonostante i miei tre lettori già lo sappiano, giova ripetere che il sistema della peer review è quel sistema che permette, in principio, di valutare la bontà di un articolo che va in pubblicazione su una rivista scientifica o accademica; ogni articolo deve essere valutato e giudicato da un certo numero di accademici di provata competenza e viene pubblicato solo in caso di giudizio positivo della maggioranza.

Il sistema garantisce che in generale articoli sugli unicorni, sul moto perpetuo e sui rapimenti alieni non vengano pubblicati su riviste accademiche che, come si dice, fanno scienza, anche se ogni tanto gli interessi del big business fanno breccia e su Nature arriva un articolo sulla memoria dell'acqua sponsorizzato da aziende che con l'omeopatia ci fanno un pacco di soldi; il sistema presenta ovviamente delle falle che si prestano bene, ad esempio, ad essere sfruttate da quel che viene chiamato il deplorevole umorismo dei fisici, che occasionalmente riescono a combinare burle degne di rilievo - famosa quella di quand'ero studente, in cui un gruppetto di ignoti riuscì a farsi pubblicare due articoli di fisica della materia su una rivista americana, a firma del Prof. Stronzo Bestiale, dell'inesistente Istituto di Fisica della Materia di Palermo, e non sono rare le scelte ad hoc di variabili e indici nelle formule, per comporre insulti in svedese o polacco al lettore.

La peer review ha anche dei risvolti negativi un po' più seri di questi, purtroppo. Il nome dei referee è formalmente segreto, ma in generale l'autore dell'articolo può conoscerlo, e pochi referee avranno il coraggio di stroncare un grande nome, sapendo che questi potrebbe conoscere con relativa facilità il nome del colpevole e rivalersi su di lui; d'altra parte, non è troppo raro il caso di review negative dovute più ad antipatie personale (o di review positive dovute in gran parte ad amicizia) che ad effettivi meriti dell'articolo. Una review positiva può anche essere (esperienza quasi personale) dovuta a fattori di marketing, ad un do ut des piuttosto becero: se vuoi una review positiva ed essere pubblicato, cita il tale articolo nel tuo, così mi aumenti l'impact factor (q.v.).

Le scienze hard, e in effetti tutta l'accademia, lavorano secondo quello che Eric Raymond chiama il modello della cattedrale; un modello organizzativo analogo a quello dei costruttori di cattedrali medievali e rinascimentali, piccoli gruppi di adepti, profondi conoscitori dell'arte arcana di creare il giusto equilibrio di pieno e vuoto, esperti costruttori e architetti, gilde chiuse a cui si accedeva tramite iniziazioni misteriose e precluse alle masse. Quasi solo l'informatica, da venti-trent'anni o meno a questa parte, adotta il modello del bazar: una comunità aperta a tutti, in cui tutti hanno voce - e credetemi, a volte la cacofonia può essere assordante - in cui l'unico criterio di selezione sono i risultati, in cui tutti i contributi vengono accettati o rifiutati solo alla prova dei fatti. Questo modello è stato formalizzato a cavallo del secolo dal cosiddetto movimento Open Source, ma la tendenza esisteva da molto prima, nel famoso MIT Media Lab di Richard Stallman da cui è nata la Free Software Foundation, nei gruppi di lavoro dell'Università della California, a Berkeley (la Berkeley Standard Distribution, o BSD, nelle sue varie incarnazioni, è ancora lo standard per Unix, e costituisce il fondamento su cui Linux è stato costruito) e a San Diego (oggi dimenticato, l'UCSD Pascal è stato il primo sistema a p-code in grado di farsi strada nel mondo reale, ispiratore delle macchine virtuali Java).

Senza voler entrare nei dettagli o scatenare una guerra di religione, è un dato di fatto che il modello organizzativo del bazar funziona: funziona talmente bene che sistemi operativi come Linux e applicazioni come Apache (il software che fra le altre cose sta mandando al vostro browser questa pagina), creati da dilettanti e supportati da appassionati distribuiti in tutto il mondo, sono oggi la principale minaccia commerciale per un colosso come Microsoft. Non si tratta di un sistema perfetto, per carità, qualunque sistemista Linux ha la sua personale collezione di racconti del terrore, derivanti in primo luogo dal fatto che spesso da un bazar non c'è modo di tener fuori gli imbecilli e poi dalla disarmante costatazione che l'informatica è l'unica scienza in cui la sociopatia viene considerata un tratto caratteriale positivo (ci devo fare su un post, uno di questi giorni); ciononostante, è l'idea che sta alla base della cosiddetta rivoluzione informatica che ha caratterizzato gli ultimi 20 anni della nostra vita.

L'idea di Danilo, come me l'ha presentata Mrs. Inminoranza, è sostanzialmente di applicare lo stesso principio alla selezione dei lavori scientifici e accademici: invece di una rivista col suo gruppetto di referee , un sistema aperto in cui gli autori sottopongono i propri lavori e chiunque possa dimostrare la propria competenza in materia può fare da referee, ed un lavoro diviene pubblicabile se ha avuto un certo numero di review positive (ogni review negativa, ovviamente, ne cancella una positiva). Il diavolo è nei dettagli, come dicono gli inglesi: cosa vuol dire "dimostrare la propria competenza"? Nel mondo open source è facile: la tua competenza viene dimostrata dalla qualità del tuo lavoro. Vuoi lavorare al kernel di Linux? Nessuno ti vieta di sottoporre una patch a questo o quel modulo che riduca la dipendenza da ndiswrapper, se ne sei capace - anche perchè non ci vuole molto a compilare il modulo e a vedere se effettivamente la scheda wi-fi del portatile funziona o fonde; la tua competenza, nel tempo, verrà misurata in base alla qualità e all'entità dei tuoi contributi: nel bazar, la bancarella con più gente davanti è in generale quella con i prodotti migliori o più necessari ad ogni famiglia. Laddove si parte da un modello-cattedrale, ed in cui è obiettivamente più difficile se non impossibile portare contributi originali (non sono in molti a potersi costruire in casa un supercollider o un apparecchio per la PCR, se non altro per ragioni di spazio), la competenza di un laureando in biochimica, che magari sarebbe perfettamente in grado di esprimere un giudizio su un articolo, è estremamente difficile da dimostrare senza un formale processo fatto di esami e, ancora, peer-review del suo lavoro. È il problema dell'uovo e della gallina, e senza questo sistema di certificazione, potremmo dire, della competenza, si finisce al modello Wikipedia, in cui nella migliore delle ipotesi si spaccia per verità scientifica l'opinione della maggioranza, e nella peggiore migliaia di dipendenti della Glaxo-Smith-Kline danno parere positivo a tutti gli articoli scritti da ricercatori della Glaxo-Smith-Kline, compresi quelli che raccomandano di imbottire le donne incinte di tutti i fondi di magazzino della Glaxo-Smith-Kline perchè fanno tanto bene. E prima che un lettore proponga la soluzione banale, quella di permettere l'accesso al lavoro di review solo a chi rivendica titoli in materia (laurea, dottorato, cattedra), faccio notare che questa è la soluzione banale del modello-cattedrale, quella in cui l'appartenenza al gruppo degli iniziati ottenuta non tramite l'esame delle competenze specifiche ma attraverso una più o meno oscura procedura di iniziazione, garantisce la possibilità di lavorare alla costruzione della cattedrale. In altre parole, il mondo è pieno di imbecilli con una laurea - ci sono fior di laureati a pieni voti in informatica a cui non farei neanche guardare il mio computer di casa, senza nemmeno arrivare ai miei server - e d'altra parte conosco almeno una persona che di zoologia e biologia evoluzionistica ne sa abbastanza da poter dare punti a fior di accademici pur senza aver, credo, mai messo piede in un dipartimento di biologia o scienze naturali. Il problema di un sistema del genere è arrivare ad un metodo di valutazione delle capacità che sia deciso dall'applicazione, in qualche modo, di quelle stesse capacità. Questo è il vero segreto del successo del movimento Open Source, la spietata applicazione di principi darwiniani: tutti sono uguali, in partenza, tutti vengono gettati nella stessa arena, l'autorevolezza deriva solo da quanto a lungo si riesce a sopravvivere.

L'unica via d'uscita dal modello-cattedrale è una soluzione che permetta di gestire la transizione, permettendo a chiunque abbia un certo numero di pubblicazioni alle spalle di valutare gli articoli futuri - la capacità di pubblicare, di creare lavori scientificamente rilevanti (col vecchio sistema di peer-review chiuso) è una misura della capacità di una persona - non la migliore, certo, ma ancora, l'unica metrica possibile che si basi sui risultati - del resto, anche l'Open Source non pretende di essere il sistema migliore possibile, ma è uno di quelli che alla fine, magari dopo aver imboccato la strada sbagliata una ventina di volte, producono i risultati migliori e più affidabili. Non è un caso che nei commenti a corredo del codice sorgente del kernel (il nucleo del sistema operativo) di Linux, la parola "crap" ricorra 160 volte, "bastard" 20, "fuck" 60 e "shit" 100.

Conviene precisare a questo punto che non mi preoccupa troppo, invece, il secondo problema di un modello open source della valutazione dei lavori, ossia convincere chi oggi viene pagato per fare il referee per una rivista a farlo gratis per un sistema centralizzato. Non mi preoccupa troppo perchè, a detta di quelli che lo fanno, i soldi sono veramente pochi e il lavoro fin troppo, fare il referee non è per nessuno una fonte primaria di reddito e se lo si fa lo si fa per il prestigio che dà il titolo di referee di questa o quella rivista - e ancora, un sistema aperto conviene in termini di prestigio perchè è, appunto, l'unico e pertanto il più autorevole dei sistemi di valutazione - molto meglio che fare il referee per una rivista magari a basso impact factor che non legge nessuno

Per riassumere: un sistema in cui gli articoli vengano sottoposti ad un sito/database, referee scelti casualmente ed in grande numero fra quelli con un numero sufficiente di pubblicazioni in un'analoga branca del sapere, per giungere ad una sorta di imprimatur di pubblicabilità accettabile dalle riviste che possono fare a meno del proprio sistema di peer review.

In realtà questo modello apre poi la porta, oltre che ad un modello open source del giudizio di pubblicabilità, ad un modello che fa direttamente a meno delle riviste. Oggi, che un articolo venga pubblicato su carta o in rete fa veramente poca differenza, la versione cartacea delle riviste è da un lato una sorta di status symbol e dall'altro un modo che hanno le varie società nazionali di questa o quella disciplina di finanziare i propri congressi estivi di due settimane a Capri (chi ha mai sognato di abbonarsi al Nuovo Cimento per poi scoprire che costa più di un mutuo alzi la mano); dal punto di vista dell'autore, che per la pubblicazione non viene pagato, è l'impact factor della rivista a fare la differenza, e l'impact factor è funzione, alla fine, dell'autorevolezza di chi pubblica e della qualità dei lavori - un sistema aperto, in cui si può pubblicare senza sottostare ai ricatti e alle arbitrarietà del sistema chiuso della peer review e in cui i lavori sono poi liberamente accessibili, potrebbe fare molto sia per la visibilità dei ricercatori, sia (soprattutto) per la visibilità delle scienze. In un mondo in cui i creazionisti stampano milioni di copie di pamphlet e libercoli indegni anche di essere usati come carta da cesso, e li spediscono gratis a scuole, insegnanti, parrocchie e famiglie, in un mondo in cui preti che non sfigurerebbero in un romanzo di Philip Pullman spiegano alle liceali che il cancro al collo dell'utero è cosa buona e giusta perchè è una punizione divina per la promiscuità sessuale, in un mondo in cui la vecchia battuta di Roberto D'Agostino su "Hegel, Stielike e Rummenigge" suscita immancabilmente la domanda "ma dove giocava Hegel? Nel Bayern?", costringere chi vuole leggere online un articolo di biologia evoluzionistica a pagare dai 25 ai 40 dollari è in ultima analisi autolesionistico, trasmette al pubblico (che alla fin fine, pagando le tasse, finanzia il sistema scientifico/accademico) un'idea da torre d'avorio e lascia la porta aperta a chi, invece, facendo del parassitismo a spese della credulità popolare il proprio business, diffonde il proprio messaggio di ignoranza ed oscurantismo ascrivendo i fondi spesi alla voce spese pubblicitarie, come del resto farebbe qualunque azienda di questo mondo.

Oh, poi sia chiaro: questo è un divertissement, non ho mica intenzione di riformare il mondo accademico e il suo sistema di attribuzione del prestigio. Se proprio voglio suicidarmi, vado a Brixton e mi metto a gridare insulti razzisti in un pub. È più rapido e meno doloroso.

10 commenti:

nullo ha detto...

interessante.

il problema mi sembra che verrebbe annullata la differenza tra submission e publication.

submitting al database centrale, che inevitabilmente dovrebbe essere aperto a tutti, equivarrebbe allora a pubblicare. anche se immagino si potrebbe garantire una differenza di visibilità conservando due livelli: il database centrale dove finisce tutto, e le riviste di eccellenza dove finisce solo ciò che ha, popperianamente, resistito al database. ma il problema sarebbe comunque che adesso un'articolo submitted non è di dominio pubblico, lo è solo un pubblicato. con la vostra proposta invece uno pubblicherebbe (nel senso di rendere pubblico) semplicemente sottomettendo

Eugenio Mastroviti ha detto...

Non necessariamente: il database centrale non ha bisogno di essere aperto a tutti, solo ai reviewer/referee - altrimenti, ancora, si ricade nel modello Wikipedia (e in questo senso, forse, la definizione di "open source" è fuorviante)

falecius ha detto...

L'idea è interessante, anche per noi umanisti secondo me. Del resto, se la biologia ha i creazionisti, l'islamologia ha i fallaciani... (parlo ovviamente per me). Non vedo molto il problema posto da nullo, nel senso che adesso, chiunque può fare una submission NON peer-reviewed aprendosi un blog e scrivendoci qualsiasi cazzata. Gli articoli immessi nel database ma NON approvati sarebbero la stessa cosa.

Anonimo ha detto...

La mia idea iniziale era ancora più darwiniana. Gli articoli sono pubblici, e chiunque può referarli. Però l'impact factor dell'articolo coinvolge anche il referee, nel senso che se ha commentato positivamente un articolo che in seguito ha un forte impatto acquista punti, se lo ha stroncato ne perde. Dopo un po', basterebbe fare la somma algebrica del _punteggio_ dei referee positivi e negativi per avere un'onesta opinione sull'articolo in questione. E, nell'ipotesi che un simile sistema prendesse piede, un mucchio di giovani ricercatori/post doc/ e così via sarebbero incentivati a leggere e commentare (gratis), potendo poi inserire nel loro curriculum il loro punteggio di referee. In pratica, e come giustamente dici, ci si sgancerebbe dalla carta stampata, ci si sgancerebbe dal baronaggio, chiunque potrebbe scrivere e chiunque (ma soprattutto i giovani, che ancora cercano il loro livello di incompetenza) potrebbe referare. E la discriminante sarebbe _solo_ il valore dell'articolo. E quei cosi sono _davvero_ dei saraceni, cazzo! Non ci sono mulini a vento, in Spagna...

Danilo

Uriel ha detto...

Hai dimenticato pero' un piccolo particolare: la scienza "hard", come dici, ha un fortissimo elemento fondante, che e' l'elemento utilitarista: per essere accettabile un sapere deve produrre almeno un'applicazione (la prima applicazione di una teoria si chiama "esperimento", secondo i galileiani). Inoltre, da popper in poi, si pretende che il criterio utilitarista (l'esperimento puo' funzionare o meno) sia anche un criterio scientifico (ergo , la teoria deve poter essere vera o falsa).

E' questo criterio, in ultima analisi , che fa funzionare Linux & co: poiche' l'applicazione funziona, ecco che la teoria funziona, e il modello bazaar e' accettabile sul piano epistemologico.

Il problema viene laddove il criterio utilitarista viene meno; non mi riferisco alla presunta "ricerca pura" (che e' un paravento per la ricerca scadente: gli astronomi, per dire, solo per costruire strumenti di misura producono e finanziano brevetti come se piovesse) , ma a quei campi dove non c'e' applicazione possibile, o dove si indaga una blackbox, prendi per esempio quella branca della letteratura che e' la psicologia.

Come marxista credo che tutti i fenomeni storici siano fondati su elementi indagabili sul piano materiale e/o economico; il bazaar vincera' sul modello a cattedrale nel momento in cui le sue applicazioni renderanno piu' soldi, indipendentemente dalla sua bonta' sul piano teoretico.

Il motivo per il quale i matematici dimostrano i teoremi e' che e' la maniera economicamente migliore di farsi pagare. Altrove, nessuno osava dubitare dei teoremi del MAestro, e al massimo gli allievi se li dimostravano da se', volendo offendere il maestro mostrando scarsa fiducia.... anche quel sistema era figlio di precise condizioni materiali ed economiche.

Non credo che una discussione teoretica possa decidere alcunche' , insomma, per quanto autorevoli o politicamente potenti possano essere i partecipanti.

falecius ha detto...

Non c'entra niente, ma ti ho mandato un meme :P

Paolo Bizzarri ha detto...

@Uriel:

"Il motivo per il quale i matematici dimostrano i teoremi e' che e' la maniera economicamente migliore di farsi pagare."

Io (che sono 'gnorante, ma ci sto lavorando sopra) ho scoperto che matematici come il Tartaglia letterlamente risolvevano problemi matematici per campare.

Infatti, se eri bravo, ti potevi guadagnare un contratto con l'Arsenale di Venezia...

Uriel ha detto...

Io (che sono 'gnorante, ma ci sto lavorando sopra) ho scoperto che matematici come il Tartaglia letterlamente risolvevano problemi matematici per campare.
----

Esatto. Stai dicendo la stessa cosa. Se li avessero pagati per tenere la dimostrazione per se', come accadeva in India e Cina, se la sarebbero tenuta. Visto che parli di Tartaglia, ti faccio presente che Del Ferro era arrivato alle medesime conclusioni, ma non le aveva mai pubblicate, sempre per ragioni squisitamente economiche; gli conveniva tenerle per se'.

Si tratta , cioe', di un comportamento dettato da questioni squisitamente economiche, come dici tu "ti potevi guadagnare un contratto con l'Arsenale di Venezia".

Cioe',l'analisi economica spiega il loro modo di lavorare.

Uriel

Lopo ha detto...

Qualche giorno fa su una lista dell'ASPO è stato appropriatamente affermato che il nuovo modello di peer review "2.0" (passatemelo...) è una struttura come quella di The Oil Drum, con articoli che a tutti gli effetti sono studi scientifici, inviati a una redazione che fa un primo filtraggio, e pubblicati, o, meglio, dati in pasto ad un discreto numero di commentatori fissi di notevole competenza. Consiglio di farci un salto per notare la vivacità e la qualità della produzione e delle discussioni.

Anonimo ha detto...

Forse è passato troppo tempo, ma vorrei precisare che l'IAS in Sicilia c'e' davvero e con il nome di Stronzo Bestiale si è voluto indicare un noto fisico italiano.