Rev. Ciencias Sociales 108: 79-90 / 2005 (II) ISSN: 0482-5276

TEORÍA SOCIAL

MEJORANDO LA CALIDAD DE LA INVESTIGACIÓN POR MEDIO DE ENCUESTAS EN LOS PAÍSES EN DEMOCRATIZACIÓN* Mitchell A. Seligson RESUMEN

El aumento de las democracias en los países en vías de desarrollo ha producido un “boom” en el campo de encuestas de opinión pública. Desafortunadamente, los investigadores, tanto los académicos como los que trabajan con ciencia aplicada, asumen en muchos casos de manera incorrecta, que los datos de encuestas que se generan en los países en vías de desarrollo son de la misma calidad que los de las fuentes del primer mundo. Como lo demuestra este artículo, existen serias razones para dudar de la calidad de los datos surgidos de muchas de esas encuestas. Utilizar datos de mala calidad lleva inevitablemente a una mayor incidencia de errores de “Tipo II” por los cuales una hipótesis nula (por ejemplo, que no existe una relación significativa entre un conjunto determinado de variables) se acepta de manera falsa. La comunidad de investigación por encuestas debe realizar tres pasos para superar esos problemas: establecer normas, insistir en archivar los datos y en la formación de cuadros en esta área de investigación. PALABRAS CLAVES: ENCUESTAS * DEMOCRACIA * OPINIÓN PÚBLICA * PAÍSES EN VÍAS DE DESARROLLO

ABSTRACT

The rise of democracies in the developing world has produced a boom in the field of survey research. Unfortunately, researchers in both scholarly and applied settings often incorrectly assume that the data being generated in the developing world are of the same quality as that from first world sources. In fact, as this article shows, there is reason to be very concerned about the quality of the data emerging from those surveys. Using poor quality data inevitably leads to a greater incidence of “Type II” errors by which a null hypothesis (i.e., that there exists no significant relationship among a given set of variables) is falsely accepted. The survey research community must take three steps to overcome these problems: set standards, insist on archiving of data sets, and form greater human capital. KEYWORDS: SURVEYS * DEMOCRACY * PUBLIC OPINION * DEVELOPING COUNTRIES

*

Quisiera agradecer a todos aquellos que participaron en los diversos encuentros que llevaron a la preparación de este estudio. Estas reuniones incluyeron uno en la Universidad de Michigan, en Ann Arbor, organizado por Ken Coleman. Otro en la Conferencia 2003 de la Asociación de Ciencia

Política del Medio Oeste, en Chicago, Illinois, y uno más en el Centro Woodrow Wilson para Académicos en Washington, DC. Los participantes del encuentro en el Centro Wilson fueron: Norman Bradburn, Subdirector de Ciencias Sociales, Conductuales y Económicas de la Fundación

Mitchell A. Seligson

80

ANTECEDENTES EL AUGE DE LAS ENCUESTAS SOBRE DEMOCRACIA

La expansión de los regímenes democráticos en todo el mundo ha provocado un auge en el campo de la investigación por encuestas. Existen seis razones para explicar este auge: en primer lugar, la democracia conlleva elecciones; en las elecciones, los partidos y candidatos necesitan saber dónde y cómo hacer campaña, y los patrocinadores quieren saber a quien apoyar. En segundo lugar, a los gobiernos democráticos les importa mucho la opinión pública, pues no sólo su reelección depende de la voluntad pública, sino que también su habilidad para gobernar depende en gran medida de qué tan capaces son de prever la reacción pública a sus políticas. En tercer lugar, los gobiernos democráticos quieren información objetiva que les ayude a planear sus programas y a ser capaces de evaluar el impacto de los mismos una vez puestos en práctica. La cuarta razón consiste en que los donantes internacionales llevan a cabo cada vez más encuestas de “usuarios” o usuarios potenciales de los servicios públicos para ayudarles a planear estrate-

Nacional de la Ciencia ( NSF por sus siglas en inglés); María Barrón, Oficina Latinoamericana, USAID ; Linda Carlson Directora divisional para las Estadísticas de Recursos Científicos, NFS ; Ernesto Castagnino, Especialista Principal en Modernización del Estado, Banco Interamericano de Desarrollo; Richard Dobson, Departamento de Est ado, Steve Finkel, Depar t a mento de Ciencia Polític a, Universidad de Virginia e Instituto de Estados Unidos para la Paz; Nelia Forest, Universidad de California, Berkeley y Centro Wilson; Kwabena Gyimah-Brempong, Oficial del Programa para la Economía, NFS; Rick Lempert, Director de Ciencias Sociales y de la Conducta, NFS; Joanne Ángel, Funcionario del Programa de Sociología, NFS; Ugo Panizza, Depar t a mento de Investigación, Ba nco Interamericano de Desarrollo; Meg Ruthenburg, Centro Woodrow Wilson, Washington DC.; Katia Santo, Centro Woodrow Wilson; Margaret Sarles, Oficina de Democracia y Gobernancia, USAID ; Frank Scioli, Funcionario del Programa para las Ciencia Política, NFS ; Kinnon Scott, Grupo de Investigación, Banco Mundial; Andrew D. Selee, Centro Woodrow Wilson, Washington, DC.; Andrew Stein, Departamento de Estado;

gias de inversión1. En quinto lugar, los donantes internacionales examinan constantemente el impacto de los programas de asistencia que prestan como medio para evaluar el éxito de un proyecto y para seleccionar futuras subvenciones y préstamos. Finalmente, por lo menos dentro del campo de la ciencia política, existe un consenso creciente en que la cultura política es un factor importante para mantener la democracia y en que todo el “juego de la democracia” trasciende la instalación o construcción de instituciones correctas para hacer que los ciudadanos crean en los principios democráticos.

Patrician E. White, Funcionario del Programa de Sociología, Fundación Nacional de Ciencia. Al encuentro de Chicago acudieron John Booth, Universidad del Norte de Texas; Mike Bratton, Ciencia Política, Universidad Estatal de Michigan, y director del Afrobarómetro; Ada Finifter, Ciencia Política, Universidad Estatal de Michigan; Steve Finkel, Ciencia Política, Universidad de Virginia; Jim Gibson, Ciencia Política, Universidad de Washington; Ronald Inglehart, Ciencia Política, Universidad de Michigan (y también director de la Encuesta Mundial de Valores); Bill Mishler, Jefe de Ciencia Política en la Universidad de Arizona y colaborador del Barómetro de las Nuevas Democracias; Barry Ames, Jefe del Departamento de Ciencia Política, Universidad de Pittsburgh y María Barrón. En la Universidad de Michigan se encontraban Ken Coleman, Henry Heitowit, Steve Heringa, Ronald Inglehart, Jim Lepkowski, Margaret Sarles y Mark Tessler. Este estudio fue hecho posible gracias al generoso apoyo de la Agencia Norteamericana para el Desarrollo Internacional ( USAID). Margaret Sarles, Bruce Kay y Eric Kite en la Oficina para la Democracia y la Gobernancia de USAID apoyados por María Barrón en la Oficina de Latinoamérica y el Caribe, aseguraron el financiamiento e hicieron posible todo el proyecto. 1

USAID gasta cerca de 100 millones de dólares al año

en ayuda para los países en vías de desarrollo para fortalecer sus democracias; sólo en Latinoamérica, entre 1992 y 2002, USAID gastó más de mil millones de dólares en promoción de la democracia. Y aun así los críticos han argumentado que los resultados no siempre han cumplido con las expectativas (Carothers 1999; Lowenthal 1991; Ottaway y Carothers 2000; Schraeder 2002; Oficina General de Contabilidad de Estados Unidos [GAO por sus siglas en inglés] 2003).

Mejorando la calidad de la investigación por medio de encuestas en los países...

Por supuesto, no existe unanimidad en este punto —que surgió de forma tan contundente años atrás en el “Prefacio a la teoría democrática” de Dahl— y habrá entre los “nuevos institucionalistas” quienes descartan por completo el papel de lo que Dahl llamó el “consenso de las normas poliárquicas” (1956, 135). Aún así, hablando en general, es válido decir que la mayoría de los expertos en democracia están de acuerdo hoy día, en que en las democracias, el público importa; el público vota, protesta e incluso se rebela, y excluirlo de los cálculos del estudio de la consolidación democrática significa correr el riesgo de saltarse una parte importante de la historia. Los científicos sociales son los principales beneficiarios de este auge de las encuestas en los países en vías de desarrollo. Sin embargo, los altos costos de este tipo de investigación son un factor importante que limita nuestra capacidad de expandir las fronteras de esa ciencia. Es muy costoso poner en práctica la metodología de las encuestas en los países industriales avanzados. Ciertamente, el costo por entrevista ha llegado a ser tan alto que pocas encuestas se llevan a cabo cara a cara. En su lugar, los científicos sociales en Estados Unidos y Europa Occidental dependen en gran medida de las entrevistas telefónicas, los cuestionarios auto-administrados, o una de las numerosas variaciones de las encuestas por Internet. Aún así, todos conocemos los problemas que acarrean esos modos alternativos de investigación por encuestas; en algunas encuestas telefónicas un porcentaje muy alto de todas las llamadas son desviadas por las máquinas contestadoras, los aparatos para bloquear llamadas, o por las simples negativas de parte de quienes responden, para no mencionar el creciente desafío que representan para este tipo de investigación los hogares que sólo cuentan con teléfono celular. Puesto que los teléfonos celulares son móviles por definición, diseñar una muestra que incluya teléfonos celulares es extremadamente difícil, debido a que uno no sabe con precisión a qué unidad de muestra pertenece cada teléfono celular. Sin ese conocimiento, es muy complicado definir parámetros de muestra y determinar errores de muestreo. Un problema adicional en todas las encuestas telefónicas es que están aumentando los índices

81

tanto de rechazo como de no contacto. Adicionalmente, la duración de las entrevistas en las encuestas telefónicas (y por Internet) es limitada, ya que es muy difícil evitar que los encuestados cuelguen cuando las entrevistas duran más allá de 15 ó 20 minutos. Esto obliga a los investigadores a restringir los datos que pueden obtener de cada encuestado. La investigación por encuesta enfrenta una limitación particular en buena parte de los países en vías de desarrollo, en donde grandes segmentos de la población, y especialmente los pobres, no tienen teléfono y por lo tanto se encuentran ausentes en las encuestas que excluyen las entrevistas de cara a cara. Las encuestas por correo poseen ciertas ventajas, incluyendo el costo, pero es difícil determinar quién respondió verdaderamente el cuestionario en un hogar formado por múltiples individuos. Además, los cuestionarios por correo adoptan una lingua franca que podría no ser el idioma que usan ciertas poblaciones minoritarias. En los países en vías de desarrollo, los sistemas de correo no son siempre confiables, las direcciones de las casas son dudosas o imposibles de saber, y porciones significativas de la población son analfabetas o semialfabetizadas, y por lo tanto quedan completamente excluidas de la muestra. Por todas esas razones, las encuestas cara a cara en los países en vías de desarrollo se han vuelto especialmente atractivas. En gran parte de Latinoamérica, la región que mejor conozco, se pueden realizar encuestas cara a cara de un promedio de 45 minutos por alrededor de 15 a 25 dólares cada una y a veces menos, incluyendo los costos de diseño de la muestra, recolección de datos y codificación. Esto contrasta con los precios que en promedio alcanzan a ser de diez veces más por entrevistas personales comparables en los Estados Unidos. Los costos varían, por supuesto, de país a país, dependiendo de las tasas de cambio, los costos de la mano de obra, el tamaño del país y la densidad de población. Es mucho más barato, por ejemplo, llevar a cabo un muestreo nacional en El Salvador (con sólo 21 000 kilómetros cuadrados y 292 personas por kilómetro cuadrado) que en Bolivia (1099 kilómetros cuadrados y 7 personas por kilómetro cuadrado) (Banco Mundial

Mitchell A. Seligson

82

2000, 10)2 . Y sin embargo, esta variación es trivial cuando se compara con el costo de llevar a cabo entrevistas cara a cara en las naciones industriales avanzadas. Las entrevistas de elite, que uno normalmente espera realizar personalmente, son casi siempre mucho menos costosas en las naciones en vías de desarrollo que en las industrializadas avanzadas —de nuevo, debido a los costos de la mano de obra3. En pocas palabras, dólar por dólar, uno puede saber mucho más de un rango mucho más amplio de poblaciones nacionales llevando a cabo investigación por medio de encuestas en los países en vías de desarrollo que en el mundo industrial avanzado. Si lo que se busca es el avance científico, la capacidad de encontrar patrones e información para hacer generalizaciones, entonces con las encuestas en los países en vías de desarrollo, ceteris paribus, se obtendrá progreso más rápidamente.

EL LADO OSCURO DEL AUGE DE LAS ENCUESTAS: LA “NORMALIZACIÓN DE LA DESVIACIÓN”

El auge de la investigación por encuestas en los países en vías de desarrollo ha llevado a los investigadores, tanto a los académicos como a quienes trabajan con ciencia aplicada, a asumir en muchos casos de manera incorrecta, que los datos de encuestas que se generan en los países

2

El tamaño del territorio y la densidad de población no impactan el tamaño de la muestra cuando los propósitos requieren de niveles idénticos de precisión, pero afectan señaladamente los costos de transporte. En El Salvador, por ejemplo, incluso se puede llegar a las regiones más remotas en un día de manejo desde la capital, y los segmentos de la muestra nunca representarían más de un corto tramo en automóvil de uno a otro, mientras que en Bolivia, que es densamente montañosa, llegar a un simple segmento puede tomar días de viaje a campo traviesa, seguidos por horas de caminata. Al mismo tiempo, sin embargo, los costos de la mano de obra son más bajos en Bolivia que en El Salvador.

3

La excepción a esta norma son la pequeña cantidad de países en desarrollo con costos de mano de obra inusualmente altos.

en vías de desarrollo son de la misma calidad que los de las fuentes del primer mundo. Algunos reconocen que la calidad de los datos no es tan buena como la de los que están acostumbrados a analizar, pero creen que por lo menos son de calidad aceptable. Sin embargo, como lo demuestra este artículo, existen serias razones para dudar de la calidad de los datos surgidos de muchas de esas encuestas. Algunos analistas aun sabiendo que los datos no son sólidos, afirman que “son lo suficientemente buenos, y que es preferible tener datos de mala calidad que reflejen algo de la realidad de un país sobre el que no se sabe nada a no tener nada”. Yo me opongo enérgicamente a ese argumento. Utilizar datos de mala calidad lleva inevitablemente a una mayor incidencia de errores de “Tipo II” por los cuales una hipótesis nula (por ejemplo, que no existe una relación significativa entre un conjunto determinado de variables) se acepta de manera falsa. De diversas maneras, la situación que se enfrenta hoy en este campo no difiere del cuadro que describía Diane Vaughan en su brillante análisis sobre la decisión que provocó el lanzamiento el Challenger y que terminó matando a toda la tripulación del transbordador espacial y destruyendo la nave (Vaughan, 1996). Aunque los aros de goma que sellaban el cohete impulsor habían sufrido diferentes grados de daño en siete de los lanzamientos anteriores al fatal vigésimo quinto despegue que terminó en tragedia, de todas formas se permitió que continuaran los lanzamientos. En la NASA , ella argumenta, los ingenieros y los científicos habían llegado a aceptar una “cultura de la normalización de la desviación”, de modo que la desviación en el desempeño de la nave espacial se volvió aceptable, de hecho hasta normal. Aunque el problema de los aros de goma fue corregido tras el trágico desastre del Challenger, no ocurrió lo mismo con el problema cultural. En 2003, la espuma que cayó de un tanque de combustible durante el lanzamiento, y que viajaba a cerca de 500 millas por hora, golpeó el ala del Columbia, causando una ruptura en la cubierta que provocó que se quemara al regreso, de nuevo con la pérdida total de la tripulación. Algunos informes afirman que había caído espuma de los tanques de combustible en todos los lanzamientos anteriores del

Mejorando la calidad de la investigación por medio de encuestas en los países...

transbordador espacial, pero como nada había ocurrido hasta el desastre del Columbia, aquella desviación se aceptaba como “normal”. ¿Estamos cometiendo el mismo error al aceptar datos de encuestas con poca o ninguna evidencia de su calidad? ¿Es tan grande la tentación de utilizar un conjunto de datos “gratuitos” que se pueden descargar de una fuente u otra, que se ignoran las cuestiones sobre la calidad de los datos y que las violaciones a las reglas básicas de la investigación por encuestas se están volviendo, en sí mismas, aceptables? ¿Consideramos que esos datos son “lo suficientemente buenos”? ¿Barremos estas preocupaciones bajo la alfombra y nos decimos que son tantas las dificultades para realizar investigación de encuestas en las condiciones de los países en vías de desarrollo, que sólo necesitamos estar conformes con lo que obtenemos? Si así fuera, tanto las ciencias sociales como las políticas sociales seguramente sufrirán un deterioro, generando consecuencias que, si bien son mucho menos dramáticas que los desastres de los transbordadores espaciales, podrían afectar seriamente las vidas de cientos de millones de personas. Los investigadores deben sopesar los beneficios científicos (debido a su impresionante ventaja en costos) de efectuar encuestas en naciones en vías de desarrollo contra los importantes “costos ocultos” de cómo se llevan a cabo realmente muchas de las encuestas en estos países. Hoy en día, se puede contratar servicios de encuestas con cientos de universidades, agencias gubernamentales, consultores y firmas privadas en los países en vías de desarrollo, las cuales transmiten el archivo de datos obtenidos (normalmente en formato SPSS) por medio de archivos adjuntos en el correo electrónico. O bien se reciben listados de números con los porcentajes de respuestas a diversas interrogantes. La comodidad de recibir un archivo de datos bellamente formateado y etiquetado, sin embargo, puede enmascarar serios errores en el proceso de recolección de datos. Al científico social acostumbrado a descargar de la Universidad de Michigan el último Estudio Electoral Nacional (NES por sus siglas en inglés) patrocinado por la NFS le espera, al parecer, una inquietante sorpresa en gran

83

parte de los datos recolectados en las encuestas de los países en vías de desarrollo. Uno no puede esperar automáticamente que la calidad de los datos sea, en lo más mínimo, como la que indica la norma para el NES, la Encuesta Social General del NORC en la Universidad de Chicago, el Eurobarómetro o encuestas similares en las que han llegado a apoyarse las ciencias sociales modernas. En Estados Unidos también se pueden obtener datos de encuestas de mala calidad, por supuesto, al igual que puede ocurrir en Europa Occidental, pero en los países en vías de desarrollo, los datos obtenidos mediante encuestas de buena calidad son la excepción más que la regla. Espero que al relatar mis experiencias personales con los datos de encuestas realizadas en Latinoamérica quedarán ilustrados de manera efectiva los problemas más comunes, los cuales son probablemente similares a los que se encontrarían en gran parte de África, Medio Oriente y algunas regiones de Asia. Me di cuenta de los problemas de calidad en las encuestas en América Latina por primera vez hace muchos años, cuando se me pidió efectuar una encuesta en varios países de la región. Hasta entonces, había estado acostumbrado a estar cercanamente involucrado en el diseño de la muestra y el trabajo de campo de las encuestas con las que trabajaba. Como estudiante de posgrado, yo mismo planeaba y realizaba la investigación de campo para mi tesis doctoral, como era entonces la norma (hoy, de manera creciente, con la disponibilidad abierta de los conjuntos de datos recabados por encuestas que se alojan en archivos, los estudiantes escriben tesis basadas en encuestas realizadas por otros). Esto significaba obtener los datos y los mapas censales, seleccionar la muestra (esa primera vez con la ayuda de Leslie Kish, autora de la obra clásica sobre el moderno muestreo para encuestas [Kish 1965]), y después conducir las entrevistas (junto con mi esposa, quien planeaba utilizar algunos de los datos para su propia tesis de doctorado). La experiencia de entrevistar a una muestra de 531 encuestados (un número que nunca olvidaré) probó ser invaluable para investigaciones futuras. Aprendí, por ejemplo, que los mapas censales en América Latina no siempre están actualizados y que los encuestados que uno selecciona

Mitchell A. Seligson

84

no siempre se encuentran en casa. También aprendí, que algunos vecindarios o unidades habitacionales se veían demasiado amenazadores para adentrarnos en ellos y teníamos que obligarnos, en ocasiones, a superar miedos e ingresar a lugares donde existirían razones para preocuparnos por nuestra seguridad. Descubrí que la no respuesta ocurre comúnmente cuando a los encuestados se les lee por primera vez una pregunta y que las técnicas bien desarrolladas que me enseñaron en la Universidad de Michigan para sondear indirectamente con el fin de aumentar los niveles de respuesta a las preguntas son extremadamente valiosos. Aprendí por las malas sobre los errores en la recolección de datos y la necesidad de verificar cada cuestionario. En pocas palabras, fue obvio que ignorar cualquiera de una amplia variedad de problemas en el proceso de la recolección de datos para la investigación de encuestas puede afectar seriamente la calidad de los datos en muchas maneras y producir resultados engañosos. Posteriormente, en mi carrera, cuando la magnitud de la tarea de encuestar se amplió para abarcar múltiples países, comencé a efectuar encuestas trabajando con apoyo con mis estudiantes bilingües de posgrado, entrenándolos, supervisando su trabajo y haciendo que viajaran a los países donde se realizaría la encuesta, a fin de obtener las muestras, reclutar y entrenar a los encuestadores, supervisar las pruebas piloto y asegurar la calidad de la codificación y el procesamiento de los datos. Eventualmente, sin embargo, comencé un proyecto en el que el tamaño de las muestras, el número de países involucrados y los plazos de tiempo se volvían demasiado grandes para una supervisión en la que se pudiera intervenir en el entrenamiento y el trabajo de campo; el proyecto había excedido la capacidad de los estudiantes de posgrado que trabajaban conmigo en aquella época. Como resultado de ello, contraté por primera vez a una compañía local de la región en la que debía realizarse la encuesta. La firma no sólo estaba bien establecida sino que estaba afiliada a una de las grandes compañías transnacionales de encuestas con filiales en todo el mundo. Cuando llegaron los archivos quedé horrorizado. Tan pronto comencé a correr las distribuciones de frecuencia de

las variables, descubrí que aproximadamente el 15% de las respuestas pertenecían a códigos fuera de rango, que los códigos localizadores geográficos a menudo no tenían sentido y que los archivos y las impresiones enviados por la firma no correspondían uno con otro. Cuando confronté a la firma con respecto a estos hallazgos, se me dijo, “es la primera vez que alguien ha solicitado datos en crudo, y nuestra política consiste en recodificar todos los códigos fuera de rango como faltantes, de manera que las impresiones que enviamos se vean limpias. Eso es lo que nuestros clientes esperan y piden”. Esta experiencia me obligó a tener mucho más cuidado con las compañías que contrataría en el futuro. Permítanme describir experiencias más recientes, las cuales son alarmantes desde mi punto de vista, con respecto a la calidad de las encuestas en la región latinoamericana —experiencias que creo, son válidas para otras regiones de los países en vías de desarrollo.

EXPERIENCIAS RECIENTES ✧

Recientemente, cuando planeaba llevar a cabo una muestra nacional de un país, decidí dirigirme al instituto de encuestas de la universidad que llevaba a cabo las encuestas periódicas de empleo para el banco central de aquel país. Mi suposición era que si el banco central confiaba en esta universidad para calcular las cifras de empleo/desempleo (un hecho que la universidad anunciaba de manera prominente), entonces yo podría confiar en sus procedimientos de muestreo. Al discutir mis necesidades de muestreo con el director del instituto de encuestas, le pregunté cómo manejaba la selección de hogares con una unidad primaria de muestreo dada (PSU). Me dijo: “Enviamos al encuestador al vecindario seleccionado y después él determina a qué puertas tocar y a quién entrevistar en cada hogar. Nuestros encuestadores conocen sus vecindarios”. Esto significa, por supuesto, que no sólo los encuestados no eran elegidos de manera probabilística (o por lo menos elegidos según alguna clase de sistema de cuota), sino que las cifras de desempleo para aquel

Mejorando la calidad de la investigación por medio de encuestas en los países...

entrevista excedían en mucho los costos. Respondió que la gente de su país era psicológicamente incapaz de responder a más de 10 minutos de preguntas. También se me dijo que una “buena” muestra del país no necesitaría incluir una cantidad significativa de encuestados de la montaña, porque aquella gente, mucha de ella indígena, no contaba realmente. Cuando discutí estos puntos (y otros), se me advirtió con mucha firmeza que le bajara al tono, ya que el director de la organización tenía una maestría de la Escuela de Gobierno John F. Kennedy en Harvard. Aparentemente, aquellas credenciales eran todo lo que se necesitaba saber.

país, producidas por aquellas encuestas, bien podrían estar salvajemente infladas. Es mucho más probable que los encuestados que se encuentran en casa estén desempleados, a que lo esté la población en su totalidad. También es más probable que quienes se encuentren en una vivienda durante el día sean mujeres más que hombres, o muy jóvenes o muy viejos, y que no sean representativos de la pirámide nacional de edades. En pocas palabras, los datos surgidos de las encuestas basadas en aquel diseño de muestra eran sistemáticamente poco representativos de la población de aquel país. ✧

✧

En otro caso, cuando un plazo era muy importante para mi encuesta, me dirigí a una compañía con una excelente reputación de terminar el trabajo a tiempo. Averigüé que podían hacer 1500 entrevistas en el mismo día gracias a que tenían un equipo de 1500 encuestadores, cada uno de los cuales efectuaba una entrevist a. Sin supervisión ni entrenamiento. No había reglas que aplicar para el encuestador, quien elegía a los encuestados de acuerdo con su criterio. Tristemente, esta firma todavía produce datos de encuestas que son utilizados por los principales donantes internacionales para desarrollar indicadores de gobernabilidad a un nivel nacional. En otro proyecto, otros tuvieron a su cargo la selección de la compañía encuestadora, así que tuve que trabajar con lo que tenía. Inicialmente, me sentía optimista con respecto al resultado, puesto que esta compañía tenía la reputación de ser la firma encuestadora líder en el país. Sin embargo, cuando entramos en la discusión técnica con respecto al cuestionario y al diseño de la muestra, surgieron problemas importantes. Se me dijo, por ejemplo, que no se podía realizar una encuesta en hogares en la que el tiempo de la entrevista superara los 10 minutos. Yo expliqué que desde un punto de vista de la efectividad de costos, los costos principales se acumulaban al localizar a los encuestados adecuados y los beneficios adicionales de añadir algunos minutos a la

85

✧

Otro proyecto requería que yo buscara una compañía que fuera especialmente sensible a cuestiones de etnicidad; se me indicó que me dirigiera a la principal ONG con experiencia en encuestas en el país, una que venía altamente recomendada por colegas antropólogos en Estados Unidos. En este país, los datos del censo venían de hacía muchos años; cuando pregunté al equipo técnico como manejaban este problema, me dijeron que si cualquiera de los segmentos de la muestra caían en regiones que en el último censo no estaban pobladas (como las áreas periféricas de las principales ciudades), corregirían esta omisión eligiendo un segmento del centro de la ciudad, donde vive mucha gente. Cuando sugerí que esto podría sub-representar a los inmigrantes urbanos recientes, que tienden a ser más pobres y con menos educación que aquellos que viven en el centro urbano, dijeron que nunca antes habían pensado en ese problema y que no podían sugerir una manera de abordarlo. Aparentemente, la noción de poner al día los mapas censales nunca se les había ocurrido.

✧

En otra ocasión se me dirigió a una organización que presumía de su antigua asociación con la oficina del Censo de Estados Unidos, la cual había invertido mucho en diseñar un marco muestral a un nivel nacional para esta organización. Cuando les pedí diseñar una muestra que variara de la plantilla de la Oficina del

Mitchell A. Seligson

86

Censo de Estados Unidos, una que abarcara diferentes regiones, cada una con un intervalo de confianza determinado para los errores de muestreo, me dijeron que el experto del Censo de Estados Unidos ya no los asesoraba y que ellos no sabían lo que eran los errores de muestreo, ni cómo variar el diseño que este les había dejado. ✧

✧

En otro caso, una firma presentó su diseño de muestra, en el cual habían decidido seleccionar dos segmentos urbanos por cada segmento rural. Cuando les pregunté si realmente la población urbana era del doble de tamaño que la rural, respondieron diciendo “no”, pero los campesinos tienen problemas para responder a las preguntas de las encuestas, así que no querían perder mucho tiempo entrevistándolos. En otro estudio, una organización que era un brazo de investigación demográfica muy conocido de una universidad importante me pidió re-analizar una encuesta. La antigua tradición en las encuestas demográficas consiste en incluir módulos a los que sólo un sub-conjunto (por lo regular la mitad) de los encuestados responden, de modo que el número total de las variables estudiadas puede aumentarse. Al entregar los resultados de una encuesta sobre democracia encargada al donante internacional el reporte no distinguía entre preguntas sin respuesta y preguntas no realizadas, de modo que el donante internacional vio tasas de respuesta más bajas del 50% en grandes números de temas referentes a las opiniones sobre la democracia. La conclusión sin fundamento que extraían era que en aquel país en particular, la población no estaba informada respecto a la democracia y no estaba interesada en la política. De hecho, la alta tasa de no respuesta era sólo un reflejo del hecho de que a la mitad de los encuestados nunca se les hicieron las preguntas de interés para el donante.

Hablando en términos más generales, si se trata de entrenamiento a los encuestadores, yo diría que es casi la regla de las compañías en Latinoamérica entrenar a sus encuestadores

de manera que tomen el cuestionario como una guía general. Asimismo, les dan mucha flexibilidad para cambiar las preguntas. Entrenan a los encuestadores diciéndoles: “Ponlo en palabras que la gente entienda”. Cuando discuto esta política, se me dice: “nosotros tenemos muy buenos encuestadores, que saben lo que hacen”. Esa forma de actuar lleva a resultados engañosos, ya que cada encuestador hace la pregunta o preguntas a su manera, limitando las posibilidades reales de comparación entre las respuestas dadas.

CAUSAS DE LOS PROBLEMAS DE CALIDAD DE DATOS

Esta lista de problemas en las encuestas realizadas en Latinoamérica podría seguir y dudo que mis experiencias en los últimos quince años (he venido realizando encuestas en Latinoamérica durante treinta años, pero he utilizado a las compañías sólo en los últimos quince) sean atípicas. Más bien, pienso que estas reflejan los crecientes problemas de una región en la que las encuestas solían ser una rareza y de repente se han convertido en una moda. Es más, sospecho que estos problemas también se encuentran, en diversa medida, en otros países en vías de desarrollo4. 4

Existen razones para creer que Europa del Este y la antigua Unión Soviética podrían tener menos problemas, en gran medida porque su nivel de pericia en el campo de la investigación de encuestas durante el periodo comunista fue probablemente más alto que en Latinoamérica. En Latinoamérica, a los dictadores por lo general no les importaba lo que pensara la gente, mientras que en los países socialistas, el gobierno se preocupaba a menudo (demasiado a menudo) sobre lo que estaba pensando la gente. En África y el Medio Oriente, sin embargo, los niveles de experiencia en el campo de las encuestas son muy bajos, probablemente más bajos que en Latinoamérica, aunque existen excepciones importantes. Cada generalización conlleva excepciones importantes. La metodología para la investigación de encuestas está muy avanzada en Israel, por ejemplo, pero de nuevo uno no caracterizaría a Israel como a una “democracia en desarrollo”. De manera similar, en Asia existen fuertes capacidades para realizar encuestas en Taiwán, y he escuchado pero no lo puedo confirmar, que esas capacidades existen también en China. Incluso en Latinoamérica, que ha sido el centro de este ensayo, hay importantes excepciones a las generalizaciones que aquí se hacen.

Mejorando la calidad de la investigación por medio de encuestas en los países...

Existen dos causas principales para los problemas de calidad en este campo; una se encuentra del lado de la oferta y la otra en el de la demanda. En el lado de la oferta, es decir, la oferta de organizaciones que se proponen para llevar a cabo encuestas en los países en vías de desarrollo, la escasez de expertos bien entrenados en el campo de la encuestas de investigación es un serio problema. Este problema se extiende al lado de la demanda, es decir aquellos que pagan por las encuestas, el segundo factor que afecta la calidad de la investigación por encuestas. La credibilidad de los hallazgos de las encuestas en las naciones en vías de desarrollo es un asunto muy serio. Las compañías locales viven en un mundo en el que las encuestas pre-electorales se han convertido en una línea de negocio de altos beneficios y representa una entre las mayores fuentes de demanda. En Latinoamérica, muchos periódicos e incluso estaciones de televisión han formado alianzas con firmas para comisionarles encuestas regularmente, similares a las encuestas de CBS /New York Times. Desafortunadamente, los medios de comunicación en Latinoamérica y en muchas partes del mundo que se encuentran en proceso de democratización no poseen aún la tradición de independencia en la presentación de las noticias de que disfrutan los principales medios de comunicación en Estados Unidos. Necesitamos recordar que hasta hace poco, en Estados Unidos la desmesurada influencia política de los periódicos era común (como en el infame caso del “Boss Tweed” en Nueva York, tan bien ilustrado). Hoy en día, sin embargo, cuando escuchamos los resultados de una encuesta de CBS/ New York Times, o una encuesta Gallup reciente, pocos pensamos que han sido “cocinados” para favorecer a un partido o al otro. Tristemente, eso es precisamente lo que muchos latinoamericanos piensan cuando leen los resultados de las encuestas en sus periódicos, e incluso de manera más triste, muchas veces tienen razón. Los partidos políticos efectúan encuestas y dan a conocer datos a los medios, o a “sus medios”, que muestran a su candidato muy por delante en la carrera con la esperanza de

87

generar un “efecto de coleo” basado en las encuestas5. Cuando los resultados de la elección revelan en última instancia diferencias radicales entre las estimaciones de la encuesta y el voto real, los lectores pierden la confianza en los resultados de encuestas, desencadenándose un problema de credibilidad que es difícil de superar.

¿QUÉ SE DEBE HACER?

He pensado en las soluciones para ayudar a resolver el problema de la calidad de los datos durante mucho tiempo, y recientemente organicé una serie de encuentros en la Universidad de Michigan, la Asociación de Ciencia Política del Medio Oeste (Chicago) y el Centro Wilson en Washington DC, para ayudar a meditar bien en ellas. Basado en aquella aportación, he llegado a considerar la posibilidad de un enfoque de doble vía, que hace énfasis tanto en una solución a corto plazo como en una a mediano plazo. La solución a corto plazo implica el establecimiento de normas de calidad internacionales para encuestas. La solución a mediano plazo implica la formación de capital humano en el área de la investigación por encuestas.

DEFINICIÓN DE ESTÁNDARES

L os est á ndares internacionales se han vuelto la regla en todo el mundo. Las compañías compran artefactos que cumplen con las normas ISO (International Standards Organization), confiadas en que cumplirán con las demandas de las tareas a realizar. La competencia surge entre las compañías que manufacturan artefactos con la norma ISO. ¿Cómo se vería una “norma ISO” para una muestra de encuesta? ¿Qué tal normas de entrenamiento

5

Brasil se encuentra entre los pocos países en desarrollo que han intentado controlar esta práctica, haciendo que sea un requerimiento legal que los autores de cualquier encuesta electoral cuyos resultados se publican deben depositar los datos y una explicación detallada de la metodología utilizada con la comisión electoral.

88

para diseñar los cuestionarios, para los encuestadores y codificadores, así como el personal de recolección de datos? ¿Y qué hay de las normas de calidad del procesamiento de datos? ¿Cómo se va a proteger a los sujetos humanos en estas encuestas, y cómo pueden los encuestadores hacer preguntas que son consistentes con las regulaciones federales de Estados Unidos pero se consideran sensibles o incluso amenazantes en los países gobernados por regímenes autoritarios o semiautoritarios? Estos son temas amplios respecto a los cuales los investigadores por encuestas con experiencia internacional tienen ideas bastante claras, pero harían falta algunos esfuerzos para clarificarlas y hacerlas lo bastante flexibles y realistas como para aplicarse en todo el mundo. Algunas organizaciones internacionales ya han desarrollado normas técnicas impresionantes, tal como la ONU y la OMS . El Afrobarómetro ha desarrollado una importante guía para encuestas que incluye información útil sobre diseño de muestras y otra información relevante (Davids, Africa, y Bratton 2002). En Estados Unidos, dos comités nacionales han estado trabajando cada uno durante alrededor de un cuarto de siglo para mejorar los métodos estadísticos y la calidad de los datos (el Comité Federal de Metodología Estadística [FCSM] y el Comité para las Estadísticas Nacionales [CNSTAT]). Aún así, la norma actual, NCES STANDARD: 2-1, es muy general, se centra en reportar los métodos utilizados más que en proporcionar guías claras con respecto a qué métodos deberían emplearse. Existe una norma para la tasa de respuesta (GUIDELINE 2-2-2A) que ayuda, pero muy pocos estándares más. Los estándares son una cosa y la certificación de que se ha cumplido con ellos es otra. Esta es la situación que enfrentamos cuando buscamos asistencia médica. Los buenos planes de salud se limitan a los especialistas certificados por un consejo. Utilizamos las instalaciones médicas en Estados Unidos con el conocimiento implícito de que estamos obteniendo un producto de calidad, certificado como tal. La recertificación periódica de los médicos es un requisito. El incentivo por parte de los proveedores de cuidados de salud para ser y permanecer certificados es obvio; sin certificación, las corrientes

Mitchell A. Seligson

de ingresos se afectarían radicalmente e, incluso de manera más específica, los enfermos no recibirían tratamientos de vanguardia. Se pueden desarrollar normas para las encuestas, pero ¿se puede cumplir con la certificación? ¿Por qué debería una organización de encuestas en los países en vías de desarrollo esforzarse por ser certificada si ya tiene un negocio próspero sin certificación? ¿Y por qué deberíamos insistir en certificar a las organizaciones de encuestas en los países en vías de desarrollo cuando tal certificación no existe en el mundo industrial avanzado? Estas preguntas proponen verdaderos retos a la noción de certificación, aunque plantean la posibilidad de que esa certificación podría también resultar apropiada en el mundo industrial avanzado. Generar la demanda de certificación en los países en vías de desarrollo corresponde a los donantes internacionales. Si los donantes, USAID, el Banco Mundial, el BID y potencialmente NSF, etcétera, limitaran las ofertas a las organizaciones certificadas, entonces la demanda de certificación se establecería rápidamente. Mejor aún, las firmas comerciales que buscan datos de encuestas buscarían a las firmas certificadas —aunque se debe asumir que las firmas no certificadas y probablemente con costos más bajos, sobrevivirían en el largo plazo. Otra cuestión se refiere a quién es responsable del costo de la certificación. Por ahora, no sé lo que costaría certificar a una compañía, pero supongo que los costos incluirían visitas al lugar por parte de expertos en investigación por encuestas que hablaran el idioma del país de que se trata. Por lo tanto, se involucran costos de viaje y honorarios. Tal vez las fundaciones podrían subsidiar este costo en los primeros años del proyecto, y después las futuras certificaciones y recertificaciones las pagarían las propias compañías, ya que la certificación significaría un aumento de prestigio y un resultante aumento en el negocio. En suma, una vía en este esfuerzo implicaría el establecimiento de un comité de normas, tal vez como una actividad de las Academias Nacionales, el ICPSR (Consorcio Interuniversitario para la Investigación Política y Social), o un esfuerzo de colaboración entre el ICPSR , el ECPSR (Consorcio Europeo para la

Mejorando la calidad de la investigación por medio de encuestas en los países...

Investigación Política) y socios relevantes en África, Asia y Latinoamérica. Elegir a los socios en los países en desarrollo será difícil debido a que ya existen muchos intereses creados, pero sin la colaboración local, las normas establecidas podrían ser rechazadas al ser consideradas como “una imposición de los gringos”.

ARCHIVAMIENTO DE DATOS

Un paso adicional a corto plazo que consiste en insertar un requisito de transparencia en todos los proyectos financiados con dólares estadounidenses. Este requerimiento igualaría a la norma en vigor en el NSF, es decir que el futuro financiamiento dependería de archivar el conjunto de datos obtenidos (raw data) con ese apoyo en uno de los grandes y fácilmente accesibles archivos de datos nacionales (el ICPSR en Michigan, Roper en la Universidad de Connecticut, etcétera). Una de las ineficiencias principales de las prácticas de hoy en los países en vías de desarrollo es que rara vez las bases de datos de las encuestas se ponen a disposición del público en general. Como resultado, los fondos y el esfuerzo que se aplicaron a la recolección de datos se pierden, ya que no pueden llevarse a cabo análisis posteriores por parte de académicos y profesionales del desarrollo. Es importante señalar que las normas para archivar los datos están bien establecidas, pero las protecciones a los sujetos humanos son interpretadas de manera diferente por distintas universidades en Estados Unidos. Muchas no permiten la diseminación de los datos a menos que se sigan estrictos procesos de des-identificación, y de que todos los usuarios obtengan certificación de entrenamiento y aprobación de la Junta de Revisión Institucional (IRB). Estos son temas en los que se necesitaría trabajar.

FORMACIÓN DE CAPITAL HUMANO

Se pueden diseñar buenas normas, pero no se pueden poner en práctica sin una adecuada dotación de experiencia y conocimiento y ahí es donde entra el objetivo a mediano plazo. La formación de capital humano en el

89

campo de la investigación por encuestas ha estado ocurriendo durante mucho tiempo, pero se ha hecho sobre la marcha. Una intensificación del esfuerzo que debe concentrarse en las democracias en vías de desarrollo implica una combinación de entrenamiento técnico a corto plazo en la metodología de las encuestas para aquellos científicos sociales que ya están en activo, y añadir a los programas de maestría y doctorado entrenamiento especializado en metodología de encuestas. Cientos de estudiantes del mundo en vías de democratización se encuentran estudiando en diferentes campos de las ciencias sociales en Estados Unidos. Desafortunadamente, muchos reciben poco o nulo entrenamiento en metodología de investigación por encuestas e incluso muchos de quienes utilizan conjuntos de datos de encuestas para sus proyectos de investigación usan únicamente los datos existentes. Pero ¿cómo corregimos esta falta de entrenamiento para los estudiantes de investigación de encuestas en los países en vías de desarrollo? Una opción a considerar por parte de los donantes multilaterales y bilaterales sería financiar a los estudiantes actuales y recientes del doctorado en ciencias sociales de las naciones en desarrollo para que acudieran a seminarios de entrenamiento intensivo como los que se ofrecen en la Universidad de Michigan o en la Universidad de Essex. Hablando en general, un curso de verano proporcionaría de una sólida introducción a la investigación por encuestas, si bien dos veranos serían lo ideal. Tal vez ese financiamiento podría ser canalizado a través de la Fundación Nacional de Ciencia, que podría otorgar becas de investigación para esos cursos de verano a los estudiantes graduados prometedores y los estudiantes recientemente graduados que estudien en instituciones de Estados Unidos. Un programa incluso más efectivo podría consistir en aprovechar los Centros de Recursos Nacionales Título VI, fuertemente financiados desde el nivel federal en áreas extranjeras. Existen más de cien centros de ese tipo en las universidades norteamericanas en todo el país. Aquellos programas ya poseen financiamiento del Departamento de Educación de Estados Unidos para entrenar a la gente en estudios

90

sobre áreas extranjeras, y el financiamiento podría obtenerse por entrenar a estudiantes extranjeros en áreas de la más alta prioridad (por ejemplo, los países en vías de desarrollo) para combinar el entrenamiento de su área con entrenamiento en investigación por encuestas.

CONCLUSIONES

Los esfuerzos académicos y de organizaciones de desarrollo internacionales se ven limitados por la mala calidad de los datos de investigación por encuestas. Una amplia gama de serios errores se dan en el diseño y la recolección de las encuestas, cada uno de los cuales reduce la posibilidad de obtener las conclusiones correctas a partir de los datos. La comunidad de investigación por encuestas debe realizar tres pasos para superar esos problemas: establecer normas, insistir en archivar los conjuntos de datos y formar un mayor capital humano. Si esto no se hace, las fallas para llevar a cabo estas reformas minarán los avances en las ciencias sociales y disminuirán la efectividad de los esfuerzos para el logro del desarrollo internacional.

Mitchell A. Seligson

Davids, Yul Derek; Cherrel Africa y Michael Bratton, 2002, Afrobarometer: Survey manual for Round 2 Surveys, June 2 0 0 2 - M a y 2 0 0 3 , Er n s t L a n si n g , Michigan State University. Kish, Leslie, 1965, Survey Sampling, Nueva York, J. Wiley. Lowenthal, Abraham F., 1991, Exporting Democracy: The United States and Latin America: Case Studies, Baltimore, Johns Hopkins University Press. Ottaway, Marina y Thomas Carothers, 2000, Funding Virtue: Civil Society Aid and Democracy Promotion, Washington DC, Carnegie Endowment for International Peace. S c h r a e d er, Pet er J., 2 0 0 2 , E x p o r t i n g D e moc rac y Rhetor ic vs. Re alit y, Boulder, CO, Lynne Rienner Publishers.

REFERENCIAS

Unites States General Accounting Office, 2003, Foreign A ssistance: US Democracy P rogram s in Si x L atin A merican Countries Have Yielded Modest Results: Report to Congressional Requesters, Washington DC, GAO.

Carothers, Thomas, 1999, Aiding Democracy Abroad: the Lear ning Cur ve. Washington DC, Carnegie Endowment for International Peace.

Vaughan, Diane, 1996, The Challenger Launch Decision Risky Technology, Culture, and Deviance at NASA , Chicago, University of Chicago Press.

Da hl, Rober t A la n, 1956, A P reface to Democratic Theory, conferencias de la Charles R. Walgreen Foundation, Chicago, University of Chicago Press.

World Ba nk, 2000, World Development I n d ic ato r s , Wa s h i n g t o n D C . T h e International Bank for Reconstruction and Development.

Mitchell A. Seligson [email protected]