Manifiesto Friedmanista



Dr. Friedman
es un personaje mítico, una leyenda urbana, un rumor que trae el viento, un chajá que dice "chajá" pensando que le vas a afanar los pichones. Está en todas partes: desde la mancha de café con leche en tu cuaderno de apuntes, hasta el doblés blanquito de ese boleto de subte enterrado hace años en el bolsillo de aquella ochentosa campera flúo que ya no usas. Es la esencia filosófica detrás de la pelusa del ombligo, la fuerza que mueve a Yoda a hablar al revés.

Pero sobre todo, está ahí cuando gritás al viento "LA PUTA MADRE, PORQUE TODO ME PASA A MI?"

No solo te paso a vos. También nos paso a nosotros. También le pasó a ÉL.

domingo, 13 de octubre de 2013

El amor en los tiempos de Peer Review.

¿Que tan serias son las publicaciones científicas de matemáticas?

Esta pregunta podra parecer insultante para algunos. Despues de todo, gente que se dedica a revisar y publicar papers matematicos no solo no tiene mucho tiempo para bromas sino que ademas al dedicar su vida a buscar errores de concepto en papers  llenos de simbolos no puede cometer errores tan garrafales como no distinguir a alguien que escribe sobre matematicas y alguien que abusa de la notacion y presenta conceptos inexistentes como si fueran verdad...¿No?

Lamentablemente si ese fuera el caso, este post de DR.Friedman, no existiría (Digo lamentablemente ya que me habria quedado sin temas acerca de los cuales escribir).
De modo que, como se habran dado cuenta los lectores mas avispados (y los que tienen algun conocimiento de logica), hubo incidente bastante interesante relacionado con un journal matemático que no habla demasiado bien sobre las practicas de peer review que hacen algunas publicaciones.

El opúsculo en concreto se llama Advances In Pure Mathematics (De ahora en adelante APM). Y el 3 de agosto del 2012 recibieron el siguiente articulo  de un tal profesor Marcie Rathke.
El articulo en cuestion se llama Independent, Negative, Canonically Turing Arrows of Equations and Problems in Applied Formal PDE (Algo asi como Flechas Independientes Negativas Canónicas de Turing y problemas en PDE aplicadas formales) y comienza asi:

Let ρ=A. Is it possible to extend isomorphisms? We show that D′ is stochastically orthogonal and trivially affine.
In [10], the main result was the construction of p-Cardano, compactly Erdős, Weyl functions.
This could shed important light on a conjecture of Conway-d’Alembert.

Para los que no entiendan inglés, el abastracto del artículo quedaría traducido aproximadamente asi:

Asumimos que ρ=A. ¿Es posible extender los isomorfimos? Mostraremos que D′ es estocásticamente ortogonal y trivialmente afín. En [10], el resultado principal fue la construcion de funciones de Weyl que sean p-Cardano y compactamente Erdős.
Esto podría arrojar luz sobre una conjetura de Conway-d’Alembert.

El artículo en sí parece tener toda la estructura de un paper matemático, pero con un detalle: es falso.
 De esto pueden darse cuenta por dos cosas, la  primera es que ninguno de los conceptos matemáticos que menciona el artículo tiene sentido, ni existe en el mundo de las matemáticas, traten de buscar mediante google alguno de los términos que aparecen en el paper.
 La segunda es que los coautores del paper o incluso las referencias al final del paper son nombres de matemáticos famosos en los que la primera inicial del nombre no coincide con su apellido (como por ejemplo la de un tal C. Russell., evidentemente referenciando a Bertrand Russell  ) .

Pues resulta que el artículo es completamente falso  y de hecho fue generado por un programa de computadora llamado MathGen .

10 dias despues de enviado el paper, los autores de APM respondieron con un mail al supuesto Marcie Rathke informandole que acepetarían publicar su paper.
Por supuesto, y como no era de esperar otra cosa, incluyeron algunas correcciones en su respuesta.

Dear Author,
Thank you for your contribution to the Advances in Pure Mathematics (APM). We are pleased to inform you that your manuscript:
ID : 5300285
TITLE : Independent, negative, canonically Turing arrows of equations and problems in applied formal PDE
AUTHORS :Marcie Rathke
has been accepted. Congratulations!

Anyway, the manuscript has some flaws are required to be revised :
(1) For the abstract, I consider that the author can’t introduce the main idea and work of this topic specifically. We can’t catch the main thought from this abstract. So I suggest that the author can reorganize the descriptions and give the keywords of this paper.
(2) In this paper, we may find that there are so many mathematical expressions and notations. But the author doesn’t give any introduction for them. I consider that for these new expressions and notations, the author can indicate the factual meanings of them.
(3) In part 2, the author gives the main results. On theorem 2.4, I consider that the author should give the corresponding proof.
(4) Also, for proposition 3.3 and 3.4, the author has better to show the specific proving processes.
(5) The format of this paper is not very standard. Please follow the format requirements of this journal strictly.
Please revised your paper  and send it to us as soon as possible.


Las correcciones se leen como sigue:

(1) El abstracto no puede introducir la idea principal del paper. Se le pide al autor que lo reorganize e ingluya las palabras clave reelevantes.
(2) El autor no da indicación de las notaciones y expresiones matematicas que usa.
(3) En la parte 2,donde el autor presenta los resultados principales, el teorema 2.4 no incluye su correspondiente prueba.
(4) En las porposiciones 3.3 y 3.4 el autor debería aclarar el proceso que usa para demostrarlas.
(5) El formato del paper no sigue los requerimientos del APM .

El autor no siguio persiguiendo la aceptación porque según sus propias palabras:

A) Consideraba que no valía la pena, ni era necesario. Las correcciones que tenía que hacerle al artículo hubieran dañado la naturaleza estocástica del programa.
B) APM requería un pago de 500 dolares en concepto de "procesar el paper".

Hubo criticas de que clamaban que esto era una manera gentil de presentar su rechazo o de que estas correcciones resultarían en un paper que tuviera sentido y por tanto, el paper corregido, no sería aceptado.

 A esto que el autor responde que esto sería contrario a las practicas de cualquier publicación matemática, que "aceptación provisional", implica que el articulo tiene pocas fallas, y que eso significa (en cualquier publicación serio, por supuesto)  el referi considera que al corregirlas,  el articulo tendra el suficiente sentido como para ser publicado en el journal y además que si esas correcciones fueran dirigidas a "rechazar" al autor esto consumiría un tiempo arbitrariamente largo para ambos, ya que el autor del paper corregiria su publicación, y el referí tendría que inventar/buscar nuevas correcciones.
Y asi ad infinitum.

Al final no importa tanto que el autor original no publicara sus resultados ya que, usando el mismo programa, otra persona consiguio que aceptaran y esta vez publicaran un paper suyo en otra publicación especializada de matemáticas.

Mas alla de ser una historia interesante, esto nos hace preguntarnos que tanto podemos confiar en los journals  matemáticos del tipo de APM, ya que  si uno cobra por publicar artículos...¿Cuantos de estos artículos puede realmente permitirse rechazar?.

Enlaces para seguir leyendo (todos en inglés) :




2 comentarios:

  1. Muy buen tema para discutir. El alcance posible que tiene esta discusión es mucho más amplio que lo que el simple hecho de si "se puede o no confiar en que una publicación tendrá sentido si aparece en un journal serio". Tiene que ver con la implementación del método científico en el mundo moderno.

    ¿A qué voy? Hoy día, el roadmap para establecer un hecho científico es el siguiente: se tiene una idea, se produce en forma privada un argumento que sintetiza la(s) hipótesis y sus consecuencias (esto puede incluir la realización de experimentos para obtener data sets a correlacionar en el caso de una disciplina empírica, o de la deducción de teoremas en una disciplina formal, respectivamente), y luego se escribe un paper limpio. Ese paper no tiene validez aún, porque no ha sido "reconocido" por la comunidad científica. De ahí en más, el paper puede circular por canales no oficiales dentro de la comunidad académica, ser leído o discutido, pero la difusión sin refutación aparente (e.d. un experimento con resultados no repetibles por terceros, o un error de forma o de contenido en una deducción) no eleva el status del paper, sino que sigue siendo una conjetura coloquial.

    Hoy día, para que un paper se eleve a la categoría de "hecho científico", debe ser publicado en una revista reconocida o en un sitio de Internet prestigioso donde sea sometido al sistema de referato. Eso implica que un puñado de científicos anónimos (los "referís") deben revisar el trabajo de forma independiente y expedirse, rechazándolo o pidiendo correcciones, como en el caso del fraude que vos bien relatás. Si el paper es aceptado directamente o luego de ser corregido, se hace oficial y puede ser citado en publicaciones subsiguientes por terceros, y en algunos años puede convertirse -dependiendo de su alcance e importancia- en una nueva ley empírica o en un teorema con nombre y apellido.

    El asunto es que la parte final del proceso es bastante opaca y esencialmente política, e.d. incoherente con el escepticismo propio del método científico en su expresión pura. ¿Quién le da el poder a la institución "respetable" para reclutar al grupo de referís, y poder filtrar la basura de las ideas con sentido? Uno podría alegar que el poder se lo da la misma comunidad científica que sigue leyendo las publicaciones de esas revistas, considerándolas respetables por el hecho de aparecer allí, y que si se dejaran pasar demasiados fraudes ese respeto desaparecería y la institución sería sustituida por otra. Este razonamiento es una analogía con cualquier otro "mercado perfecto" donde la competencia barre a los incompetentes.

    En la práctica, eso no ocurre. La confianza en las revistas serias es muy difícil de sustituir o reconocer cuando hay un consenso político (e.d. sentido común) sobre esa supuesta seriedad. Es así que alguien que leyese ese galimatías pseudomatemático que vos citaste como ejemplo, por el sólo hecho de haber sido publicado en el APM, tendería a considerar que el error de juicio está en uno mismo y no en los referís que lo aprobaron. Esa clase de corsé político en el pensamiento es una infección del escepticismo que es inaceptable, pero no hay un culpable único: los culpables somos todos los que le damos más valor a algo simplemente por la autoridad de quien lo dice. Esto se extiende a todas las esferas de la vida, pero en el caso de la ciencia reconocer el problema es quizá más importante que en cualquier otro caso. La ciencia no es política, pero los científicos sí pueden serlo, y para mantener el asunto a raya hay que reconocerlo y purgarse a uno mismo de esa clase de toxinas cognitivas.

    (Contd.)

    ResponderEliminar
  2. (Finale):

    No todo está perdido, pero seguramente se requieran cambios que, a diferencia de la situación hace 40 años, hoy día son implementables fácilmente aprovechando las oportunidades institucionales que brindan las redes modernas de comunicación alrededor de Internet. Para que un paper se eleve de conjetura de validez dudosa a ley natural o descienda a paparruchada insalvable, el mejor filtro posible es una comunidad escéptica con un gran número de referís de identidad explícita, donde la discusión que lleve a su juicio final sea transparente y pública para cualquiera que quiera revisarla. Esto implicaría que el "open peer review" de un paper fuese un thread asociado de críticas, donde cada comentario fuese retenido y calificado por la comunidad. Esto es muy similar a lo que ocurre en los sitios de Q&A, con la excepción de los moderadores, que son parte del mismo sistema político infeccioso que puede usar su poder para ocultar parte de la discusión eliminándola.

    La moraleja es esta: no se necesitan ni moderadores ni revistas serias para tener la seguridad de que se lee contenido válido, porque en rigor esa seguridad es ilusoria en tanto y en cuanto el proceso de filtrado de la basura es opaco y basado en la confianza que se le tenga a un pequeño grupo de seres omnisapientes e incapaces de equivocarse. Lo más saludable es retener TODO, y ordenar quizá el thread con votos positivos o negativos, quizá hasta exigiendo al votante que expliqué el por qué de su voto -y uno podría aplicar el concepto recursivamente, votando explicaciones de votos.

    El producto de todo esto es un filtrado transparente -en el sentido de "universalmente accesible"- pero al mismo tiempo mucho más desordenado, porque uno ya no podría leer con seguridad absoluta que lo que lee está homologado por unos dioses anónimos que todo lo saben y lo han juzgado como válido. Bastaría con rollear hacia abajo en el thread y empezar a leer críticas negativas o refutaciones, y sería el trabajo individual de cada lector juzgar por su cuenta todo el thread y sumar o no un voto positivo al mismo, lo cual exige mayor trabajo y compromiso del lector/científico.

    Pero eso, eso es la ciencia, es lo que lo hace el método único para llegar a la verdad. La verdad exige un sacrifio continuo de trabajo, escepticismo y malestar por la duda constante de estar parado sobre un flan.

    ResponderEliminar

EH WACHIN, comentá acá abajo si no quere' q pele fierro'