Manual para entender cómo trabajan las encuestadoras y por qué dan diferentes resultados

Sus reiteradas advertencias podrán leerse como un mecanismo de defensa ante eventuales errores, pero en realidad es un intento por reducir las exigencias de certidumbre y aclararle a la ciudadanía que los informes que se presentan mes a mes, lejos de pretender ser un pronóstico de los acontecimientos, es un cuadro a trazo grueso de las preferencias electorales. Que es equivocado pensar que un número más arriba o más abajo en el final del camino sea un error en sí mismo. 

Conscientes de las dificultades que tienen para explicar los pormenores de las investigaciones que llevan a cabo, los responsables de elaborar las encuestas ponen el acento en la necesidad de educar para leer los números de modo correcto. 

En vísperas de la campaña electoral, los encargados de opinión pública de las cinco encuestadoras –Ignacio Zuasnabar (Equipos), Eduardo Bottinelli (Factum), Mariana Pomiés (Cifra), Rafael Porzekanski (Opción) y Alain Mizrahi (Radar)– conversaron con El Observador acerca de las técnicas y metodologías detrás de los números que les quitan el sueño a los políticos. 

Diferencias metodológicas

Las empresas del mercado local suelen utilizar un amplio abanico de metodologías en sus técnicas de análisis de datos, pero a la hora de hacer estudios electorales ponen en marcha sus mecanismos más sofisticados.

Una primera distinción entre las técnicas utilizadas divide a las consultoras uruguayas en dos grupos. Por un lado, aquellas que eligen sus muestras a través de un método probabilístico (Equipos, Cifra, Factum, Opción) y, por otro, la empresa Radar, que utiliza un método no probabilístico a través de cuestionarios online. 

Diego Battiste

Para comprender a grandes rasgos el método probabilístico puro conviene imaginarse un enorme bolillero con los datos de cada ciudadano (en el caso de las elecciones, de todos aquellos en condiciones de votar). La teoría estadística dice que una muestra pequeña es capaz de representar a un universo más grande si cumple con determinadas características; la fundamental es que todas las personas del universo tengan las mismas probabilidades de ser seleccionadas. El problema es que la realidad, porfiada, siempre se antepone a una muestra probabilística perfecta y obliga a las encuestadoras a recurrir a mecanismos de ajuste como las cuotas y la ponderación (ver más adelante).

Las muestras probabilísticas se pueden reflejar en cuestionarios presenciales (cara a cara) o por vía telefónica (fija o celular). La encuesta cara a cara es la que tiene una mayor cobertura, porque la telefonía –por más extendida que esté a lo largo y ancho del territorio– siempre deja a un pequeño porcentaje por fuera. Sin embargo, los costos y los tiempos de las consultas presenciales han llevado a varias empresas a optar por la vía telefónica, y solo Equipos mantiene la consulta presencial, que implica más de media hora de preguntas y respuestas.

“Lo que pasa con el cara a cara es que estamos teniendo dificultad en la aceptación de la encuesta, es decir, que efectivamente nos abran la puerta, por la propia inseguridad de la gente”, explica Pomiés. “Hay gente a la que le vas a tocar el timbre y te dice: te contesto por teléfono o por portero eléctrico. Para eso te lo hago por teléfono”, agrega la ejecutiva de Cifra. 

Dado que la telefonía fija y la celular tienen, cada una, sus limitaciones en términos de cobertura, tanto Cifra como Factum optan por un combinado de las dos. “Luego de muchos años trabajando con los distintos modelos concluimos que este mix es el que mejor se ajustaba en función de costos y tiempos”, dice Eduardo Bottinelli, de Factum. 

Mientras que la telefonía celular tiene mayor aceptación entre los jóvenes y no distingue capas sociales, la telefonía fija permite una penetración en las ciudades del interior donde el celular no es tan utilizado. “Tiene sus dificultades. Por ejemplo, las conversaciones por celular tienen que ser más cortas que por teléfono fijo, porque agarrás a las personas en cualquier lado y la tolerancia al diálogo es menor. Como las preguntas tienen que ser iguales para todos, las encuestas quedan más cortas”, explica Pomiés. 

Opción, por su parte, se maneja exclusivamente con telefonía celular. “Utilizamos muestreos aleatorios que permiten que cada persona con un teléfono celular tenga probabilidad de ser seleccionada”, dice Porzecanski, director de Opinión Pública de esa consultora.

Sin margen de error

Del otro lado del río de la probabilidad queda la consultora Radar. Aunque todas las empresas del rubro utilizan encuestas online para algunas investigaciones, la consultora dirigida por Alain Mizrahi es la única que bucea en el ciberespacio para analizar la intención de voto. 

La particularidad de las encuestas online es que con ellas no se puede aplicar la teoría estadística, porque en vez de elegir aleatoriamente a sus encuestados, son los propios usuarios los que van hacia la encuesta. Por lo tanto, en un principio no hay forma de asegurar que quienes responden representan al universo que se planea estudiar, sin pasar por una serie de ajustes. 

Leé también

Ignacio Zuasnabar: “Las encuestas se van a equivocar en esta elección que viene”

“No te permiten hacer lo que se conoce como inferencia”, explica Porzecanski. Por eso sus fichas técnicas no tienen margen de error, una medida íntimamente relacionada con la selección aleatoria de la muestra. Como el margen de error tiene que ver con la probabilidad de que la muestra se comporte dentro de un rango definido, la autoselección de las encuestas online impide calcularlo.

“Todos ajustamos”

En defensa de la metodología de Radar, Mizrahi destaca que “en realidad no existen las muestras probabilísticas perfectas” y que a fin de cuentas “todos terminan apelando a los mismos mecanismos”. Para hacer sus encuestas, la empresa contrata avisos pagos en Facebook e Instagram mediante un método que han ido “perfeccionando durante los últimos años” y cuya receta Mizrahi prefiere mantener en reserva. Según afirma, existe “un tire y afloje con los algoritmos de Facebook”, que tiene sus propios intereses a la hora de mostrar o no mostrar un anuncio.

Nicolas Garrido

Además, Radar utiliza “mecanismos de control” para evitar que la muestra se ensucie con respuestas duplicadas o multiplicadas, pero ese trabajo fino también puede tener sus grietas. “Generalmente te das cuenta. Nos pasó que en 2015, en Rocha, una noche entre las tres y las cuatro contestaron 20 personas al mismo candidato, y era uno que no tenía chance de ganar. Ahí es fácil detectarlo, pero otros casos son más complicados. Si alguien contrata hackers rusos para interferir es probable que no los detectemos”, señala Mizrahi.

De cualquier forma, el empresario destaca que ese está lejos de ser el principal motivo de preocupación. “El desafío para todos, más allá de la metodología, es que la muestra sea representativa del universo que estás estudiando. Si la muestra es aleatoria o no, es totalmente secundario, señala.

Innovación en el margen de error

Detrás de esas palabras de Mizrahi se esconde un debate que despierta matices y diferencias entre los encuestadores. Al pasar de la teoría a la práctica, las empresas se topan con múltiples situaciones que llevan a “toquetear” la muestra para asegurarse que ciertos parámetros muy influyentes a la hora de decidir el voto estén bien representados. 

Eso se da, en primer lugar, a través de cuotas a la hora de llenar una encuesta y, luego, a partir de la ponderación de los datos recabados. “Si lo dejáramos abierto, todas las encuestas las van a contestar mujeres mayores, que son las más predispuestas y amables a contestar. No tendría un solo hombre joven respondiendo”, dice Pomiés, resumiendo la necesidad de cuotificar por sexo y edad, entre otras variables. “Si la muestra fuera perfecta, yo por probabilidad debería encontrar lo mismo que en la población. El problema es que la respuesta de la gente a la predisposición no es perfecta”, afirma. 

Aunque cada encuestadora tiene su “librito” y utiliza distintos mecanismos de ajuste, en general todas procuran que su muestra represente de manera precisa las distribuciones por edad, sexo, perfil socioeconómico y educativo, así como el voto en la última elección. 

Mizrahi se agarra de esa realidad para echar por tierra las distinciones entre las metodologías. “Hoy en la encuesta cara a cara o la telefónica pasa lo mismo que en la online: el que tiene ganas contesta, más o menos cerca de las zonas que salieron sorteadas. A la larga no hay diferencias. Hoy ninguno tiene nada de aleatorio”, sentencia.

Del otro lado, no obstante, matizan que las muestras aleatorias requieren menos toqueteos, y que eso a la larga las hace más representativas. “En teoría, si una muestra probabilística está bien hecha, la necesidad de ponderación es menor”, explica Zuasnabar. “Sin hacer juicio de valor de lo que hace cada empresa, viendo las encuestas online que hacemos nosotros para otras cosas, prefiero quedarme con la telefónica porque la tengo que tocar menos”, dice Pomiés al ser consultada sobre las diferentes metodologías. 

Bottinelli, por su parte, señala que Factum decidió no utilizar aún encuestas online para investigaciones de intención de voto porque entiende que es una herramienta que hay que “seguir perfeccionando”. “Todos los diagnósticos dicen que la industria va para ese lado, pero no creemos que ya estemos en una etapa de desarrollo que permita hacerlo”, agrega. Según Bottinelli, las encuestas online exigen “más ajustes” porque presentan un sesgo en el universo. “No solo implica tener internet, que está bastante extendido en Uruguay, sino que también requiere una frecuencia, intensidad y modo de uso que pueden ser difíciles de anticipar y ponderar”. 

La ponderación, al fin y al cabo, es una cuestión de poner en la balanza los riesgos intrínsecos de la disciplina. “Es cierto que cuando vos ponderás siempre estás tocando algo y corrés el riesgo de que lo que estás agrandando ya tenga de por sí algún sesgo. Es un riesgo estadístico, pero es menor que el riesgo a que una variable importante quede subrepresentada”, ejemplifica Pomiés. Cuanto menos se toque, coinciden los profesionales, mejor.  

La pregunta, por favor

Más allá de todos estos dimes y diretes metodológicos, una diferencia mucho más básica tiene que ver con la formulación de la pregunta. Una misma muestra, consultada por la misma vía, y hasta por la misma persona, podría responder cosas distintas con unos pocos cambios y matices en la pregunta. 

Ese es un factor al que, según los expertos, pocas veces se le da la relevancia que merece. “La formulación incide muchísimo en la respuesta, y si uno mira las encuestas que hoy se hacen públicas, no todos preguntamos de la misma manera”, expresa Pomiés. Por este tipo de diferencias es que los expertos piden tener cautela a la hora de comparar una encuesta con otra. 

En el caso de las elecciones internas (no obligatorias) el abanico de preguntas es aun mayor porque, según admiten todos los consultados, no hay una forma de predecir con precisión quién irá a votar.

Por eso las encuestas de Equipos, por el momento, preguntan la “preferencia” dentro de una interna partidaria entre quienes dice votar a ese partido. Por ejemplo, a los que dicen que votan al Frente Amplio, el encuestador les muestra una tarjeta con los cuatro precandidatos y pregunta: “¿A quién preferiría como candidato a Presidente del Frente Amplio de entre estos candidatos?” 
Otras empresas, como Cifra, Opción y Radar, preguntan explícitamente a los encuestados si piensan ir o no a votar en junio. La primera pregunta de Cifra puede sonar reiterativa, pero deja las cosas claras: “¿Piensa votar en las internas del 30 de junio de este año, donde el voto no es obligatorio y vota el que quiere?” A quien contesta “seguro que sí” o “probablemente sí” se le pregunta directamente “a cuál de los candidatos que se presentarán piensa votar”, sin pasar por el partido. Radar toma un camino similar para llegar a los que votan en las internas, pero pasando por el partido y recién después la lista de candidatos en esa colectividad. 

La encuesta de Opción, de alguna forma, toma el camino contrario para llegar al mismo lugar. A quienes declaran que votarán por uno de los tres principales partidos en octubre se les pregunta si irían a votar en las internas de sus respectivos partidos. Si dicen que sí, se les pregunta a cuál candidato entre una lista cerrada.

Factum, en tanto, hasta abril incluido basará su consulta en un escenario imaginario de internas obligatorias. “Creemos que todavía es temprano para preguntar las internas. Hoy en día, el 50% de los que te dicen que seguramente van a ir a votar ni siquiera sabe en qué fecha cae la elección”, dice Bottinelli. “Hay que ir mirando todo, porque tampoco podemos ir con una muestra muy chica. Al final es contraproducente”, agrega. 

En virtud de estas diferencias metodológicas y de formulación de preguntas, los especialistas creen que comparar resultados de encuestas que dan una imagen de la carrera disímiles es en vano. Y quizás eso traiga un poco de tranquilidad camino al día que los candidatos crucen el disco y los uruguayos tengan la foto entera.

Analizar tendencias y márgenes