México: Las excusas de los encuestadores

Los encuestadores mexicanos han fallado sistemáticamente en el pronóstico o predicción de los resultados de las elecciones desde hace varios años.[1] A menudo observamos que para la misma elección, casas encuestadoras muestran candidatos distintos con ventajas por encima del margen de error.[2] Los sesgos o diferencias de los números de la encuesta respecto del resultado final han estado asociados con las casas encuestadoras en general[3] y, como recientemente se ha demostrado, también con candidatos y partidos en particular.[4] No obstante, la razón principal que utilizan los encuestadores en México para justificar sus fallas se deriva de la sobreregulación a la que, argumentan, está sujeta su profesión.

Además de culpar a los electores, quienes según los encuestadores mexicanos no contestan adecuadamente, prefieren omitir su respuesta o, incluso mienten, usualmente los encuestadores han adjudicado sus errores a las reglas que limitan la publicación de encuestas previas a los procesos electorales y a las restricciones de publicar información en las encuestas de salida.[5] No obstante, la sobreregulación de la publicación de encuestas ha sido consecuencia de dos procesos simultáneos: la sobreexposición de los propios encuestadores como actores políticos durante procesos electorales, y la ausencia de rigor científico en la publicación de sus encuestas y la disponibilidad de los datos para posterior análisis por parte de académicos y especialistas.

Más allá de si los encuestadores se equivocan nuevamente en 2015 en sus pronósticos del resultado final de la elección, o incluso si terminan declarando que sus números no son predicciones pues sólo son una “fotografía” del momento del levantamiento de la encuesta (aunque posteriormente se promocionen en el mercado como la encuestadora que más se acercó al resultado final), hasta la fecha los encuestadores en México han fallado más veces de las que han acertado y, una vez más, reciclarán sus justificaciones. Una de las implicaciones más importantes del círculo vicioso del desempeño de los encuestadores tiene como consecuencia que la regulación de las encuestas en México haya desviado la utilidad de las encuestas como una valiosa pieza de información dentro de las campañas políticas.

La industria de las encuestas en México, consolidada desde mediados de la década de los noventa, después de un tardío arranque lleva varios años estancada y entrampada en un marco regulatorio excesivo, en parte gracias a los propios encuestadores, quienes no se han involucrado en un debate serio sobre los requerimientos de rigor científico que su profesión les exige.

Los encuestadores no hacen públicas sus bases de datos (ni sus cuestionarios) para investigar más allá de quién ganó y por cuánto, y no declaran abiertamente si participan sistemáticamente con algún partido político, o incluso si participan con varios simultáneamente.

En alguna ocasión se mencionó que los encuestadores que divulgan los resultados de sus encuestas en medios de comunicación son los “serios”,[6] pues están bajo el escrutinio de la opinión pública y tienen el respaldo de un medio de comunicación. No obstante, se deja de lado que los propios medios de comunicación utilizan a las encuestas como una nota que pasa por su consejo editorial y que los resultados son interpretados desde la línea editorial del medio de comunicación.

Los medios de comunicación enfatizan el enfoque de qué candidato o partido político va arriba y por cuánto, como si fuera una “carrera de caballos”, a veces sin importar los aspectos metodológicos relevantes para la publicación del encabezado,[7] o más aún, revisando cuáles podrían ser las razones de la distribución de las preferencias con información que contiene la propia encuesta.[8]

Los debates pendientes en el mundo de las encuestas en México incluyen, entre otros, responder los siguientes seis puntos:

1. Los sesgos de las casas encuestadoras y los sesgos que favorecen o perjudican a cualquier candidato;
2. La publicación de los votantes probables y las metodologías de los ejercicios estadísticos y de interpretación de resultados (que sean públicas para ser replicables, como dicta el método científico);
3. El orden y fraseo de las preguntas;
4. El reporte de la tasa de rechazo y la demostración de la razón a la cual se le atribuye este fenómeno;
5. Días y horas de levantamiento, así como implicaciones de sesgos de entrevistados debido a la sobre o sub-representación de ciertos segmentos del electorado ocasionado por la fecha del levantamiento;
6. En cuanto a las series de tiempo, demostrar que el instrumento (cuestionario) es comparable, que se utilice la misma pregunta en el mismo orden y con el mismo fraseo para que sea estrictamente comparable para descartar que los cambios en los resultados de un levantamiento a otro se deben a que hubo cambios en las preferencias y no cambios en el instrumento de medición.

El desfase que existe entre las expectativas generadas entre la última publicación de encuestas previa a la elección y los resultados oficiales ha incrementado la regulación, de la que los encuestadores se han quejado permanentemente, lo que paradójicamente les ha brindado una coartada para evitar discutir las omisiones, los sesgos (sistemáticos o no) y, especialmente, para justificar la ausencia de una autocrítica basada en el método científico, del cual las encuestas son un claro ejemplo.

Como lo han reiterado los propios encuestadores, la reputación de las casas encuestadoras pasa, necesariamente, por la máxima transparencia en metodología, la completa presentación de información y rigurosos debates públicos sobre los hallazgos, no sólo de los datos sobre el ganador y el segundo lugar, sino también de las preferencias, aversiones, simpatías, opiniones y comportamiento de diversos segmentos del electorado mexicano.

Más aún, los encuestadores no han podido resistir la tentación de ser analistas de sus propios datos, lo que los ha convertido, a decir de algunos de ellos, en superpollsters,[9]pues interpretan los datos a conveniencia de sus clientes, y presentan escenarios en los que nunca se equivocan. Convertidos en protagonistas de los procesos preelectorales, de campaña y postelectorales, los encuestadores buscan, a toda costa, proteger sus intereses para mantenerse en el mercado culpando de sus errores a los medios de comunicación, a la autoridad electoral y, la mayor de las veces a los propios encuestados.

En consecuencia, la diversidad de la regulación en el período de veda de publicación de encuestas preelectorales y de salida no es sistemática ni se encuentra justificada por argumentos claros o explícitos.[10] Si bien la regulación de la publicación de encuestas en México tiene origen en los conflictos postelectorales, la sobre-regulación ha incrementado la posibilidad de un conflicto postelectoral pues la publicación es aún más complicada y permite a los encuestadores presentar los datos de forma conveniente a sus clientes o a sus intereses.

Las prácticas internacionales sobre la prohibición de encuestas pre-electorales muestran una tendencia a disminuir o eliminar por completo el período de veda electoral, contrario a lo que se debate en México. Entre 1996 y 2012, por cada uno de los países que incrementó la regulación de la publicación de encuestas preelectorales, hubo tres que la disminuyeron, la eliminaron o se mantuvieron sin prohibición alguna, como lo muestra la tabla 1.

 Tabla 1. Comparativo de prohibición de la publicación de encuestas en diversos países, 1996-2012.

En suma, la respuesta a la transparencia y exactitud del trabajo de los encuestadores no es mayor regulación, sino el ejercicio del rigor científico en el diseño, levantamiento y publicación de sus encuestas. La autoregulación del gremio debe pasar, necesariamente, por la exigencia del cumplimiento del método científico y la transparencia como la norma para el avance de la disciplina, además de encauzar los ejercicios estadísticos por encuestas a las mejores prácticas internacionales y de vanguardia.

Luis Estrada es doctor en Ciencia Política (Universidad de California, San Diego 2005) y Socio-Director General de SPIN.

[1] El Dr. Estrada agradece a Paola Cicero, Maricela Sandoval, Rosa Amanda Tuirán y Mariano Ruiz Funes Molina su asistencia en la investigación del presente artículo.
[2] En 2015 para la elección de Nuevo León, El Norte, El Universal y Consulta-Mitofsky muestran diferentes resultados de encuestas levantadas en períodos similares, al igual que en la delegación Miguel Hidalgo en el Distrito Federal, El Universal y Reforma muestran resultados distintos más allá del margen de error. Para ver el caso de las diferencias de grupos de encuestadores en la elección de 2006, ver Estrada, L., y P. Parás. 2006. “Uso y Abuso de las Encuestas de Salida y Conteos Rápidos el 2 de Julio de 2006.” Elecciones Inéditas 2006: La Democracia a Prueba. 145-161.
[3] Ver, por ejemplo  Converse, P. E., y M. Traugott.1986. “Assessing the Accuracy of Polls and Surveys.” Science, 234(4780), 1094-1098, así como Jackman, S. 2005. “Pooling the Polls over an Election Campaign.” Australian Journal of Political Science, 40(4), 499-517.
[4] Ver Cantú, F., V. Hoyo y M. A. Morales. 2015. “Las ‘crisis de las encuestas’ en México: la evidencia científica de 2006 y 2012”. Nexos. 27 de mayo de 2015.
[5] Ver, entre otros, Abundis, F. 2004. “La Falsificación de la Opinión Pública.” Reforma. 30 de mayo de 2004; Campos, R. 2012. “El Debate de las Encuestas: 1. No Leo.” Nexos. Abril 2012; Moreno, A. 2006. “Evaluación 2006.” Reforma. 24 de septiembre de 2006; Moreno, A. 2010. “Las Fallas de las Encuestas.” Reforma. 25 de julio de 2010; Moreno, A. 2012. “El Desliz de las Encuestas.” Reforma. 12 de agosto de 2012, entre otros.
[6] Ver la entrevista con el Dr Ulises Beltrán y con el Dr. Pedro Salazar.
[7] Reforma publica una encuesta llevada a cabo entre “líderes de opinión”, en la que envía la encuesta a una base de datos de alrededor de cuatro mil correos electrónicos, obteniendo una respuesta de mil personas aproximadamente, lo que claramente no es una muestra representativa, pues el marco muestral no es un universo de “líderes de opinión”. Más aún, la intención de responder la encuesta puede estar relacionada con la opinión editorial del diario, por lo que se presentaría un sesgo de autoselección, lo que implicaría una opinión inclinada a favorecer o criticar a cierto partido político de acuerdo con la línea editorial del periódico. Reforma no ajusta por ninguna de estas amenazas a la validez de su encuesta.
[8] Ver, por ejemplo, “Universitarios votan por PAN; Los de menor escolaridad, por el PRI”.El Financiero, 3 de mayo de 2015, así como “La gente pobre y sin estudios, el principal activo del PRI: encuesta”, en el portal de CNN-Expansión, 5 de mayo de 2015.
[9] Ver, por ejemplo, Moore, D. W. 1992. The Superpollsters: How They Measure and Manipulate Public Opinion in America. New York: Four Walls Eight Windows.
[10] Ver, por ejemplo, Estrada, L. 2014. “Regulación de encuestas preelectorales y de salida en perspectiva comparada”, en L. C. Ugalde y G.Rivera (coordinadores). Fortalezas y Debilidades del Sistema Electoral Mexicano: Tribunal Electoral del Poder Judicial de la Federación.