Regresión logística en la literatura psiquiátrica: evaluación de los artículos publicados entre 2002 y 2005 en una prominente revista

Logistic regression in psychiatric literature: evaluation of articles published between 2002 and 2005 in a prominent journal

ARTIGOS ORIGINAIS

Regresión logística en la literatura psiquiátrica: evaluación de los artículos publicados entre 2002 y 2005 en una prominente revista

Logistic regression in psychiatric literature: evaluation of articles published between 2002 and 2005 in a prominent journal

José Gabriel Franco^I; Ana Milena Gaviria^II; Yolanda Torres^III; José Miguel Cotes^III

^IClínica Universitaria Bolivariana, Escuela de Ciencias de la Salud, Universidad Pontificia Bolivariana, Medellín, Colombia

^IIFacultad de Psicología, Universidad San Buenaventura, Medellín, Colombia

^IIIFacultad de Medicina, Universidad CES, Medellín, Colombia

^{Correspondência}

RESUMEN

INTRODUCCIÓN: Muchos artículos de revistas especializadas en psiquiatría usan la regresión logística para identificar el efecto de variables independientes sobre la probabilidad de ocurrencia de un evento. Evaluaciones de artículos publicados en otras especialidades médicas han mostrado que el reporte de la regresión logística es incompleto en muchos casos, lo cual implica dificultades para su interpretación.

OBJETIVO: Evaluar la calidad, en cuanto al análisis de regresión logística y a al cumplimiento de criterios de validez interna de los artículos publicados en una revista de alto factor de impacto en psiquiatría.

METODOLOGÍA: Dos revisores independientes seleccionaron (búsqueda manual) los artículos publicados en Archives of General Psychiatry (2002-2005) que usaran regresión logística y los evaluaron con criterios de validez interna del Journal of American Medical Association (JAMA) y un instrumento diseñado para valorar la calidad de los modelos logísticos (CML).

RESULTADOS: De 121 artículos evaluados, 85 (70,2%) cumplían criterios de validez interna de JAMA. En relación con el instrumento CML, el criterio más reportado fue la codificación de las variables independientes (90,9%), seguido por el reporte del proceso de selección de variables independientes incluidas al inicio del estudio (87,6%) y por la inclusión del RR u OR del modelo con su respectivo IC (82,6%). El criterio menos reportado fue la evaluación de la bondad del ajuste (9,1%), seguido por el reporte del proceso de ajuste del modelo (24,8%).

CONCLUSIONES: Aunque la mayoría de los artículos cumplen con altos estándares editoriales, la forma en que se reporta la regresión logística debe ser mejorada.

Palabras clave: Regresión logística. Psiquiatría. Estudios de evaluación. Bibliometría. Medicina basada en evidencia.

ABSTRACT

INTRODUCTION: Many articles in journals that specialize in psychiatry use logistic regression to identify the effect of independent variables on the probability of occurrence of an event. Assessments of articles published in other medical specialties have shown that the report of logistic regression is incomplete in many cases and this leads to difficulties in interpretation.

OBJECTIVE: Assess the quality related to logistic regression analysis and accomplishment of internal validity criteria of articles published in a high impact journal specialized in psychiatry.

METHODS: Two independent reviewers selected (manual search) articles that used logistic regression published in the Archives of General Psychiatry (2002-2005) and evaluated them with the internal validity criteria of the Journal of the American Medical Association (JAMA) and a tool designed to value the quality of logistic models (CML).

RESULTS: Of 121 articles assessed, 85 (70.2%) met JAMA's criteria of internal validity. In relation to the CML tool, the most frequently reported criterion was coding of independent variables (90.9%), followed by the report of the selection process of independent variables included at the beginning of the study (87.6%) and by the inclusion of the RR or OR of the model and its respective CI (82.6%). The less frequently reported criterion was the goodness of fit (9.1%), followed by the report of the adjustment process of the model (24.8%).

CONCLUSIONS: Although most articles reach high editorial standards, the reporting of logistic regression should be improved.

Keywords: Logistic Regression. Psychiatry. Evaluation Studies. Bibliometrics. Evidence-based medicine.

Introducción

Muchos artículos publicados en revistas especializadas en psiquiatría usan la regresión logística para identificar el efecto que tienen algunas variables independientes sobre la probabilidad de ocurrencia de un desenlace (variable dependiente) de tipo dicotómico. Este modelo matemático asume unos supuestos básicos, es escogido en un estudio especifico porque se piensa que los datos siguen dichos supuestos, si esto no es así las conclusiones a las que se llega pueden ser una distorsión de la realidad¹. La regresión logística es muy usada porque ofrece varias ventajas, por ejemplo: no requiere que las variables independientes continuas sigan una distribución normal, pueden utilizarse variables independientes dicotómicas junto con otras continuas, los desenlaces para los que puede ser usado son muy frecuentes (p. Ej.: presencia o ausencia de un trastorno mental) y da una medición de la fuerza de asociación entre las variables independientes y el desenlace (Razón de disparidad –OR–, el cual se asemeja al Riesgo relativo –RR–, cuando la frecuencia del evento es baja)².

Concato, et al³ evaluaron 60 artículos publicados en Lancet y New England Journal of Medicine y encontraron que el 73% de ellos tenía fallas metodológicas en los modelos multivariados; entre estos, el logístico. Algunos de los problemas eran: "sobreajuste" de los modelos, ausencia de información de cómo fueron seleccionadas las variables independientes y baja frecuencia de reporte de las unidades de medida de las variables independientes. Este trabajo fue el punto de partida para la evaluación de artículos en áreas como neumología y cuidado crítico⁴, en los que también se encontró que el reporte de la regresión logística es incompleto lo que lleva a que el lector tenga dificultades para interpretar los resultados. El reporte del uso de modelos logísticos en revistas de ginecobstetricia, entre otras, también es incompleto⁵.

El uso de criterios generales, como los del Journal of the American Medical Association (JAMA)^10-12, para valorar la validez interna de los artículos, puede no ser suficiente a la hora de evaluar de forma especifica información relacionada con el uso de la regresión logística. La necesidad de unos parámetros que deben ser considerados por los autores que usen la regresión logística, ha sido objeto de discusión en varios comités editoriales⁶. Por otra parte se ha recomendado a los editores criterios más estrictos a la hora de aceptar para publicar artículos que usan este modelo^7-9.

Según nuestro conocimiento, no se ha valorado si en la literatura psiquiátrica se presentan fallas en el reporte del uso de la regresión logística. Conocer la calidad de los artículos en esta especialidad en cuanto al cumplimiento de los supuestos del análisis de regresión logística y a la observancia de criterios de validez interna es fundamental, ya que estos son usados por los clínicos para la toma de decisiones en su práctica asistencial y en investigación.

En este trabajo se evalúa la calidad de los artículos que utilizan la regresión logística, publicados entre el 2002 y el 2005 en Archives of General Psychiatry, por medio de la valoración del cumplimiento de unos parámetros establecidos por los autores con este fin. Adicionalmente, se verifica si los artículos publicados en dicha revista cumplen con los criterios de validez interna propuestos por JAMA^10-12 y se estima si el cumplimiento de los criterios de JAMA se relaciona o no con el cumplimiento de los parámetros de evaluación de la regresión logística establecidos por los autores.

Se escogió a Archives of General Psychiatry porque posee el factor de impacto (FI) más alto dentro de las revistas dedicadas a psiquiatría general (11,155, para el 2003)¹³. El FI se relaciona directamente con la probabilidad de que un artículo sea citado. Las revistas con mayor FI tienden a tener mayor prestigio y a ser las más leídas^14,15.

Metodologia

Diseño

Evaluación de Estudios, entendiendo por tal: un trabajo que busca determinar la efectividad o utilidad de un proceso, personal o equipo. Término introducido en el INDEX MEDICUS en el año 2001, en la categoría: Tipo de Publicación¹⁶.

Selección de articulos

Los artículos fueron seleccionados por medio de búsqueda manual realizada de forma independiente por 2 evaluadores en todos los artículos originales publicados en Archives of General Psychiatry entre 2002 y 2005. Fueron incluidos en el estudio todos los trabajos originales, seleccionados por al menos un evaluador, que contenían dentro del apartado "Métodos" información sobre el uso de un modelo de regresión logística o presentaban en los "Resultados" información obtenida a través de dicho modelo.

Instrumentos y obtención de datos

Se registró si los estudios cumplían con los criterios de JAMA que evalúan específicamente la validez interna. Para los artículos sobre tratamiento se tuvieron en cuenta los siguientes aspectos¹⁰:

Criterios Primarios: ¿Se ha realizado de manera aleatoria la asignación de los tratamientos a los pacientes?, ¿Se han tenido en cuenta adecuadamente todos los pacientes incluidos en el ensayo y se los ha considerado a la conclusión del mismo?, ¿Se ha realizado seguimiento completo?, ¿Se han analizado los pacientes en los grupos a los que fueron asignados aleatoriamente?

Criterios Secundarios: ¿Se ha mantenido un diseño "ciego" respecto al tratamiento aplicado, en cuanto a los pacientes, los clínicos y el personal del estudio?, ¿Eran similares los grupos al inicio del ensayo?, Aparte de la intervención experimental: ¿se ha tratado a los grupos de la misma forma?

En la evaluación de los artículos de efecto nocivo se evaluaron las siguientes preguntas¹¹:

Criterios Primarios: ¿Se han utilizado unos grupos de comparación claramente identificados que sean similares en cuanto a factores determinantes importantes del resultado aparte del que se investiga?, ¿Se han evaluado las exposiciones y los resultados de la misma forma en los grupos que se comparan?, ¿Ha sido el seguimiento suficientemente largo y completo?

Criterios Secundarios: ¿Es correcta la relación temporal?, ¿Existe un gradiente en la relación dosis respuesta?

Por ultimo, para los artículos sobre pronóstico los criterios fueron¹²:

Criterios Primarios: ¿Fue una muestra representativa y bien definida de pacientes en un momento similar en el curso de la enfermedad?, ¿Fue el seguimiento lo suficientemente prolongado y completo?

Criterios Secundarios: ¿Se utilizaron criterios objetivos y no sesgados de resultados?, ¿Se llevó a cabo un ajuste para los factores pronósticos importantes?

Para considerar que un artículo tenía validez interna debía cumplir con la totalidad de los ítems, teniendo en cuenta que en los artículos sobre tratamiento, cuando la intervención comprendía un procedimiento psicoterapéutico el criterio de mantener un diseño "ciego" no aplicó; en los artículos sobre efecto nocivo, la existencia de un gradiente en la relación dosis respuesta, no aplicó si las variables de interés eran discretas; en los artículos sobre pronóstico, cuando el diseño era de corte transversal, el criterio de un seguimiento prolongado y completo tampoco se aplicó.

Se diseñó un instrumento para la evaluación de la calidad de los modelos logísticos (CML), que contiene 9 ítems, los cuatro primeros, el sexto y el séptimo, se cumplimentan seleccionando "Si" o "No". El quinto, octavo y noveno, tienen además la opción de seleccionar "No aplica". Cada ítem contiene una breve explicación que amplia el concepto a evaluar (^Anexo). El proceso de diseño del CML se describe a continuación:

Con base en estudios previos^3,4,9,17, recomendaciones de expertos^1,7,8,18 y el criterio de los investigadores, se desarrollo la versión del CML, que fue aplicada en la prueba piloto.

Para la prueba piloto fueron usados 10 artículos que cumplieran los criterios de inclusión, publicados en el American Journal of Clinical Psychiatry, que tiene el segundo FI entre las especializadas en psiquiatría (5,120)¹³. A estos artículos se les aplicaron los instrumentos de la investigación (criterios JAMA y CML) para conocer su comportamiento en cuanto a la comprensión y ambigüedad de los ítems, tiempo de diligenciamiento y facilidad de calificación.

Teniendo en cuenta la experiencia durante dicha prueba piloto, se desarrollo la versión final del CML.

Dos investigadores aplicaron por separado los instrumentos del estudio a cada uno de los artículos seleccionados. Permaneciendo ciegos entre si. A continuación, las evaluaciones se compararon y cuando la puntuación en algún ítem de los instrumentos no coincidía se usó el consenso entre ambos. Durante la búsqueda del consenso, fueron cotejados en primer lugar los hallazgos del CML y posteriormente, los criterios de validez interna de JAMA, con el fin de no sesgar la valoración de las diferencias en el CML con el conocimiento del comportamiento respecto a los criterios de JAMA.

Analisis Estadistico

La concordancia en la selección inicial de los artículos mediante la doble búsqueda manual fue evaluada con el índice de Kappa. La descripción de los estudios comprendió porcentajes de cumplimiento de los criterios de validez interna de JAMA según el diseño metodológico, porcentajes de cumplimiento de los criterios del CML y diferencias de proporciones para muestras independientes (c² de Pearson) para cada uno de los criterios CML según el cumplimiento o no cumplimiento de los criterios de validez interna de JAMA. Se usó el programa SPSS 10.

Resultados

Entre enero del 2002 y diciembre de 2005, fueron publicados en 48 números, 440 artículos originales en Archives of General Psychiatry, 9,16 artículos por numero, en promedio. De estos, 121 fueron elegidos por al menos un investigador, por cumplir los criterios de inclusión (Kappa: 0,893, p<0,000). El tipo de diseño más frecuente en estos 121 reportes fue el de corte transversal con 46 (38,0%) artículos, seguido por los otros diseños observacionales, el tipo de estudio menos frecuente fue el cuasi experimental, con 2 (1,7%) estudios (Tabla 1).

De los 121 artículos seleccionados, 85 (70,24%) cumplieron con los criterios de validez interna de JAMA, mientras que 36 (29,75%) no cumplieron por lo menos uno de ellos (Tabla 1).

1 (0,8%) articulo cumplía con los 9 ítems del CML; 11 (9,1%) cumplían con 8; 41 (34%) con 7 y 29 (24%) con 6. Entre los ítems menos reportados: 11 (9,1%) artículos presentaban alguna prueba para la bondad del ajuste; 30 (24,8%) describían el proceso de ajuste del modelo y 56 (46,3%) reportaban algún tipo de evaluación de la colinealidad. En cuanto a los ítems más reportados: la codificación de las variables independientes se describía en 110 (90,9%) artículos; el reporte del proceso de selección de las variables independientes incluidas al inicio del estudio fue incluido en 106 (87,6%) trabajos y la inclusión del RR o OR de los modelos y sus respectivos intervalos de confianza (IC) se realizó en 100 (82,6%) artículos (Tabla 2).

Al comparar el cumplimiento o no de los criterios del CML en relación con los de validez interna de JAMA, el único ítem del CML para el que se encontró diferencia con significación estadística (asociación sistemática) fue la inclusión de los RR o las OR y sus IC; (c²: 3,881, gl: 1, p=0,049). El consenso final entre los dos evaluadores aparece en la Tabla 2.

Discusión

Para nuestro conocimiento este es el primer estudio que evalúa simultáneamente la validez interna de artículos originales por medio de los criterios de JAMA y específicamente los reportes de regresión logística por medio de un instrumento diseñado para tal fin (CML). El cumplimiento de los criterios de valides interna de JAMA fue muy bueno, esto es de esperar si se tiene en cuenta que Archives of General Psychiatry¹⁹ se adhiere a los requerimientos uniformes para manuscritos enviados a revistas biomédicas, recomendados por un comité internacional de editores²⁰ que se adscriben a los principios de la medicina basada en la evidencia.

Nuestros resultados, en cuanto a la calidad de los reportes del uso de los modelos logísticos según el CML son similares a los encontrados por otros autores en otras revistas dedicadas a epidemiología (Journal of Clinical Epidemiology y American Journal of Epidemiology)¹⁷ y otras especialidades médicas (The Lancet, The New England Journal of Medicine, CHEST, British Journal of Obstetrics and Gyneacology, entre otras)^3-5,9. En las revistas dedicadas a epidemiología³ solo tres de diez criterios utilizados en la evaluación fueron cumplidos por al menos el 50% de los artículos.

Es pertinente el uso de criterios específicos para valorar el reporte del uso de la regresión logística en salud. La ausencia de relación estadística entre el cumplimiento de la mayoría de los ítems del CML y el de los criterios JAMA podría indicar que a pesar de superar satisfactoriamente los criterios JAMA, los artículos no tienen una total validez interna ya que aun cumpliendo con estos su comportamiento valorado con el CML, que profundiza un poco más en el concepto de validez interna en el caso especifico de la regresión logística, no fue tan bueno. Es muy importante que los resultados de este tipo de modelos tengan validez interna y que el reporte de este tipo de técnica estadística permita una adecuada interpretación por parte del lector ya que de lo contrario pueden conducir a errores en las inferencias que de ellos se hacen para la práctica clínica y para la toma de decisiones referentes al cuidado de la salud publica. Dado que la regresión logística es una técnica relativamente compleja que permite controlar variables explicatorias, los estudios que la usan tienen un gran valor dentro de la literatura medica en general y la especializada en psiquiatría, en la que la causalidad puede ser muy compleja.

Aunque los resultados de este estudio, en el que fue evaluada específicamente una publicación de alto FI, no se pueden extrapolar a las otras revistas especializadas en psiquiatría, no hay razón para pensar que las otras publicaciones en esta área, reporten de una manera más completa el uso de la regresión logística. Esta evaluación apunta a la necesidad de mejorar el reporte de los diferentes elementos del modelo logístico necesarios para una mejor toma de decisiones en psiquiatría. Es posible que muchos de estos elementos sean valorados durante la investigación, pero que esto no se vea reflejado en los informes, lo que podría tener que ver con restricciones que se demandan a los autores en cuanto a la extensión de sus artículos para publicación. Usando como ejemplo los 3 ítems del CML menos reportados en los artículos evaluados en este estudio, podemos encontrar los siguientes problemas a la hora de interpretar los resultados de los estudios que usan la técnica de regresión logística:

• Cuando no se reporta alguna prueba para la evaluación de la bondad del ajuste se deja incompleta la construcción del modelo

  ²¹. Siempre que se ajusta un modelo logístico se debe tener la precaución de corroborar que los datos se ajustan efectivamente a éste

  ^22,23. Si en un artículo no se describe como fue evaluada la bondad del ajuste el lector no puede saber si los datos reportados corresponden realmente a una función logística, lo que implicaría que cualquier decisión tomada a partir de esta información puede ser incorrecta.

• La forma como las variables fueron introducidas en el modelo final es importante ya que el lector debe tener en cuenta que estas pudieron ser seleccionadas por criterios clínicos (relevancia demostrada en investigaciones previas, experiencia del investigador, plaucibilidad biológica) o por algún tipo de selección automática ofrecida por el programa estadístico; el uso de métodos automáticos puede llevar a modelos inestables que no puedan ser reproducidos, ya que las variables independientes elegidas de esta manera son sensibles a fluctuaciones aleatorias

  ^1,24. Por otro lado, ningún método automático usa criterios clínicos.

• Si dos variables independientes están altamente correlacionadas entre si y son incluidas en un modelo, su contribución al mismo y la contribución de las demás variables puede ser poco precisa. La varianza asociada con los coeficientes de regresión de las variables será mayor y por tanto habrá una reducción en la significación estadística

  ⁹.

Un aspecto importante para ser considerado en futuras evaluaciones de la calidad del uso de la regresión logística, que no fue incluido en este estudio, es el requerimiento de un numero suficiente de eventos por variable independiente, ya que se ha observado que los cálculos pierden precisión a medida que la proporción de eventos por variable baja de 10. Se puede incurrir en un error tipo I cuando se "sobreoptimiza" un modelo al tener muchas variables independientes por evento. En general se acepta que la razón de eventos (desenlaces "positivos") por variable independiente debe ser mínimo de 10 a 1 y preferiblemente mayor ya que entre más eventos por variable independiente hay el estimativo de los coeficientes de regresión es más fiable y los IC son más precisos^17,25.

Conclusiones

El reporte del uso de la regresión logística en Archives of General Psychiatry fue similar en calidad al de otras destacadas revistas. Aunque la mayoría de los artículos cumplen con altos estándares editoriales, según la valoración por medio de los criterios de validez interna de JAMA, muchos no reportaron que prueba usaron para evaluar la bondad del ajuste y no describieron el proceso por el cual se obtuvo el modelo final. La forma en que se reporta la regresión logística debe ser mejorada.

Recebido em: 13/09/06

Versão final reapresentada em: 18/06/07

Aprovado em: 20/06/07

• 1. Katz MH. Multivariable analysis: a primer for readers of medical research. Ann Intern Med 2003; 138: 64450.
• 2. Hosmer DW. Lemeshow S. Applied Logistic Regression New York, USA: Wiley-Interscience; 1989.
• 3. Concato J. Feinstein AR, Holford TR. The risk of determining risk with multivariable models. Ann Intern Med 1993; 118: 201-10.
• 4. Moss M. Wellman DA, Cotsonis GA. An appraisal of multivariable logistic models in the pulmonary and critical care literature. Chest 2003; 123: 9238.
• 5. Khan KS, Chien PFW, Dwarakanath LS. Logistic regression models in obstetrics and gynecology literature. Obstet Gynecol 1999; 93: 101420.
• 6. Cantwell JD. Standardizing criteria for logistic regression models. Ann Intern Med 1993; 119: 541.
• 7. Campillo C. Standardizing criteria for logistic regression models. Ann Intern Med 1993 (119) 540-1.
• 8. Bender R, Grouven U. Logistic regression models used in medical research are poorly presented. BMJ 1996; 313: 628.
• 9. Bagley SC, White H, Golomb BA. Logistic regression in the medical literature: standards for use and reporting with particular attention to one medical domain. J Clin Epidemiol 2001; 54: 97985.
• 10. Guyatt GH, Sackett DL, Cook DJ. Users' guides to the medical literature. II. How to use an article about therapy or prevention. A. Are the results of the study valid? Evidence-Based Medicine Working Group. JAMA 1993; 270: 2598-601.
• 11. Levine M, Walter S, Lee H, Haines T, Holbrook A, Moyer V. Users' guides to the medical literature. IV. How to use an article about harm. Evidence-Based Medicine Working Group. JAMA 1994; 271: 1615-9.
• 12. Laupacis A, Wells G, Richardson WS, Tugwell P. Users' guides to the medical literature. V. How to use an article about prognosis. Evidence-Based Medicine Working Group. JAMA. 1994; 272:234-7.
• ¹³
  13. Frontiers in Bioscience; Impact factor of Journals Available at: http://www.bioscience.org/services/impact.htm Consultado en julio 4, 2005.
• 14. López-Abente G. Munoz-Tinoco C. Time trends in the impact factor of Public Health journals. BMC Public Health 2005; 5: 24.
• 15. McKibbon KA, Wilczynski NL, Haynes RB: What do evidence based secondary journals tell us about the publication of clinically important articles in primary healthcare journals? BMC Med 2004; 2:33.
• ¹⁶
  National Center for Biotechnology Information (NCBI). National Library of Medicine, MeSH database Available at http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd= Retrieve&db=mesh&list_uids=68023362&dopt=Full Consultado en julio 3, 2005.
• 17. Ottenbacher KJ, Ottenbacher HR, Tooht L, Ostia GV. A review of two journals found that using multivariable logistic regression frequently did not report commonly recommended assumptions. J Clin Epidemiol 2004; 57: 114752.
• 18. Domínguez E. Aldana D. Regresión logística. Un ejemplo de su uso en endocrinología. Rev Cubana Endocrinol 12(1): 58 64.
• ¹⁹
  JAMA & Archives. Available at: http://archpsyc.ama-assn.org/misc/ifora.dtl# OriginalArticles Consultado en febrero 14, 2006.
• ²⁰
  International Committee of Medical Journal Editors. Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication, Updated February 2006. Available at: www.icmje.org/icmje.pdf Consultado en febrero 14, 2006.
• 21. Hosmer DW. Lemeshow S. Assessing the Fit of the Model. En: Applied Logistic Regression New York, USA: Wiley-Interscience.1989:13575.
• 22. Silva LC. Bondad del ajuste. In: Silva LC ed. Excursión a la regresión logística en ciencias de la salud. Madrid, España: Ediciones Dias de Santos S.A. 1995:638.
• 23. Hosmer DW, Hosmer T, Cessie SLe, Lemeshows S. A comparison of Goodness-of-fit Test for the Logistic Regression Model. Stat Med 1997; 16: 965-80.
• 24. Austin PC, Tu JV. Automated variable selection methods for logistic regression produced unstable models for predicting acute myocardial infarction mortality. J Clin Epidemiol 2004; 57: 1138-46.
• 25. Ortega M, Cayuela A. Regresión logística no condicionada y tamaño de muestra: una revisión bibliográfica. Rev Esp Salud Pública 2002; 76: 85-93.

Anexo

^{Anexo - haga un clic aqui para ampliar}

Anexo - haga un clic aqui para ampliar

Fechas de Publicación

• Publicación en esta colección
  17 Set 2007
• Fecha del número
  Set 2007

Histórico

• Acepto
  20 Jun 2007
• Revisado
  18 Jun 2007
• Recibido
  13 Set 2006