De 2012 a 2015, el Gobierno Federal reportó un súbito crecimiento de 40 a 70 millones de personas conectadas en el país, pero un cambio metodológico pone en duda la veracidad de las cifras.
Una investigación del Observatorio de R3D, por Juan Ortiz Freuler (@JuanOF9)
El 11 de noviembre de 2016, el presidente Enrique Peña Nieto mencionó que “de 2012 a 2016, en sólo cuatro años los usuarios de Internet crecieron en casi 30 millones, pasando de 41 millones de usuarios a 70 millones que hoy se tienen; 74% de crecimiento en tan sólo cuatro años. El 5 de diciembre, la cifra fue repetida por el coordinador del PRI en el Senado, Emilio Gamboa Patrón, quien sostuvo que “el número de usuarios [de Internet] pasó de 40 a 70 millones.” Al día siguiente, en el Foro de Gobernanza de Internet de la ONU, la coordinadora de la Estrategia Digital Nacional, Alejandra Lagunes, repitió que los usuarios de Internet han crecido más de 70% en los últimos cuatro años.
Les adelanto que la respuesta corta a la pregunta que titula este texto es que no es posible saber cuánto creció el número de usuarios de Internet entre 2014 y 2015. Las frases expuestas anteriormente, hechas por tres de las más altas autoridades del país, son insostenibles.
Los datos de la encuesta de INEGI sobre usuarios de TIC 2015 no ofrecen resultados comparables con las de años anteriores. Cualquier afirmación que se apoye en ella para afirmar el crecimiento en el número de usuarios de tecnologías de la información carece de sustento. La falta de comparabilidad mina la evaluación de políticas de telecomunicaciones, y el funcionamiento del sistema de rendición de cuentas.
Por tanto, estas afirmaciones carecen de bases empíricas que las fundamenten y reflejan el empobrecimiento del debate público a partir de torpezas y negligencias (en el mejor de los casos) o de una manipulación de las estadísticas. Que el propio Presidente de la República se encuentre en esta embarazosa situación nos debería poner en alerta. Se están erosionando las bases de la deliberación pública sobre la cual se erige nuestra democracia.
A continuación, ofreceré información para identificar la punta de la madeja, fuente de este problema (al menos la punta visible), con el objetivo de fomentar el debate en torno a estos hechos, y activar los mecanismos de control público con los que cuenta el sistema institucional para lidiar con estas situaciones. Hasta dónde llegan las responsabilidades de esta situación es una tarea aún por determinar.
Un salto de 13 puntos porcentuales
El Programa México Conectado fue lanzado a principios del mandato de la actual administración como la herramienta a través de la cual se daría cumplimiento al artículo 6 de la Constitución, que establece que “el derecho a la información será garantizado por el Estado. (…) El Estado garantizará el derecho de acceso a las tecnologías de la información y comunicación (…) incluido el de banda ancha e internet.”
Existen dos mediciones de acceso al Internet en México. Una es la que se realiza cada 10 años mediante el Censo de Población y Vivienda, donde se entrevista a integrantes de cada una de las viviendas del país, y se obtiene información fehaciente acerca de los servicios y dispositivos disponibles en cada una.
La segunda fuente de información sobre Internet en México es la encuesta anual del INEGI (MODUTIH/ENDUTIH). A través de una encuesta que se realiza a una muestra de unas decenas de miles de viviendas, el INEGI estima el porcentaje de personas que utilizan Internet en México.
La fuente del problema son los cambios que se introdujeron a la ENDUTIH, encuesta del INEGI sobre uso de TICs, que en 2015 fue modificada a partir de un llamativo convenio suscrito entre el INEGI y la Secretaría de Comunicaciones y Transportes (SCT).
Al observar los resultados 2015 de la encuesta anual de INEGI, con la cual se evalúan las iniciativas de gobierno en materia de telecomunicaciones, notamos un abultado crecimiento de usuarios respecto de 2014: 13 puntos porcentuales de un año al otro. Lo que es aún más sorprendente es que el porcentaje de usuarios mostró crecimiento en todos y cada uno de los Estados, situación que no ocurrió en ninguna de las cuatro mediciones anteriores.
En los dos años anteriores, la variación interanual había sido de 0.9% (2013-14) y 5.1% (2012-13). Por esta razón, en el Observatorio de R3D nos interesamos en el hecho de que en 2015 se modificó la metodología de la medición.
Como se observa en los gráficos abajo, el ángulo de las líneas que suponen componer la serie se ve artificial. Esto se observa al comparar la tasa de crecimiento interanual en el uso de Internet 2015 con las tasas de crecimiento históricas de la distintas entidades federativas de México (figura 1), pero también con la de otros países de la región (figura 2).
Figura 1. Población usuaria de Internet en México
Esta gráfica también está disponible en formato interactivo
Figura 2. Usuarios de Internet por cada 100 habitantes
Los datos del Banco Mundial usados en esta gráfica pueden consultarse en línea
Cuando indagamos acerca de cómo se evaluaría el Programa México Conectado, desde la Presidencia establecieron dos metodologías:
– Índice de Ciudadanos Interactuando con su gobierno vía Internet, de la OCDE;
– Índice de Digitalización, realizado por Telecom Advisory Services[TAS], que no se realiza de manera periódica (ver página 389).
Como explica la Presidencia, el índice de la OCDE se apoya en los resultados del relevamiento realizado por el INEGI mediante la encuesta MODUTIH (ahora llamada ENDUTIH), que mide uso de Internet y TICs. El Índice de la TAS, por su parte, incluye componentes como “Porcentaje de usuarios de Internet”, que recaban de la Unión Internacional de Telecomunicaciones (UIT), que a su vez, también toma los datos de la ENDUTIH.
Es así que las evaluaciones nacionales e internacionales que se hagan sobre el Programa de conectividad México Conectado, o uso de TICs en general, en última instancia se apoyarán en los datos que produce el INEGI.
Un convenio cuestionable
Entre 2001 y 2014, la encuesta recibió el nombre de Módulo sobre Disponibilidad y Uso de Tecnologías de la Información en los Hogares (MODUTIH). En 2015, a partir dos convenios en los que, por un lado, participó el INEGI, y por el otro el Instituto Federal de Telecomunicaciones (IFT) y la Secretaría de Comunicaciones y Transportes (SCT), se realizaron modificaciones a la metodología de la encuesta, que pasó a llamarse Encuesta Nacional sobre Disponibilidad y Uso de las Tecnologías de la Información en los Hogares (ENDUTIH). Entre otros aspectos, la SCT se involucró en la definición del cuestionario y en la capacitación de quienes realizaron el relevamiento (ver página 16).
La colaboración entre el INEGI y el Poder Ejecutivo debe mirarse con recelo. La SCT tiene entre sus objetivos mejorar la conectividad en México. Quienes encabezan la SCT tienen, por tanto, que mostrarle al Congreso (que les da recursos) y al Presidente (de quien depende su permanencia en el cargo) que están cumpliendo sus metas.
Decir que se cumplen las metas y de hecho cumplirlas no es necesariamente lo mismo. Mostrar su cumplimiento es una tarea que puede realizarse mediante atajos. Esta tensión de la SCT resulta en un conflicto de interés al momento de definir cómo se traza la metodología que definirá la calidad de su labor. Al frente del convenio, por parte de la SCT, se puso a la Coordinación de la Sociedad de la Información y el Conocimiento (CSIC) como responsable de realizar los pagos al INEGI; la misma unidad que se encarga de ejecutar el Programa México Conectado y muchos otros proyectos que tienen que ver con las TIC, cuyo uso se mide en la encuesta.
Esta colaboración se debería haber evitado. Al reformar el INEGI en 2006¹, se decidió que quienes iban a definir las estadísticas no serían parte del Poder Ejecutivo. Los fundamentos eran justamente aquellos que aquí se delinean: flexibilidad para tomar decisiones técnicas y credibilidad ante el público y usuarios de información². Que el INEGI firme un acuerdo donde su rol es de “asesoramiento de la SCT”, y que los tabulados definitivos surjan del acuerdo de ambas partes sugiere que la relación de poder es asimétrica: la SCT es quien controla de la ENDUTIH, y el INEGI no necesariamente es capaz de tomar decisiones basadas en argumentos exclusivamente técnicos. INEGI debe, a su vez, convencer al Ejecutivo, que es quien paga por su asesoramiento.
Imagen 1. Cláusula primera del convenio suscrito entre la SCT y el INEGI
Imagen 2. Anexo A Sección IV del convenio suscrito entre la SCT y el INEGI
Es claro que la SCT se involucró en la definición del cuestionario y la capacitación de las personas que realizaron el levantamiento. Asimismo, los resultados finales también son el producto del muestreo y la aplicación de factores de expansión mediante los cuales se le aplican pesos a cada individuo incluido en la muestra para que surjan resultados representativos.
La cláusula primera establece que el INEGI asesora a la SCT en el diseño muestral, lo cual sugiere que es la SCT quien lo define. El Anexo A sugiere lo opuesto: es el INEGI quien se encarga del diseño muestral. En cualquier caso, ambas secciones coinciden en establecer que los tabulados finales surgen de un consenso. Esto, junto a la descripción del INEGI en un rol de asesoramiento, lleva a que el convenio genere un vacío a través del cual la SCT se puede involucrar en la definición de los factores de expansión, es decir, cuánto pesa la respuesta de cada encuestado en el resultado final.
Qué tanto se ha comprometido esta independencia dependerá de la interpretación que se haya hecho de la frase “quienes [SCT e INEGI] en conjunto definirán los tabulados con los resultados definitivos”. Al incluir esta frase, la SCT se reservó la potestad de definir los resultados de la encuesta.
Cómo explica INEGI el crecimiento de 13 puntos porcentuales
Al contestar nuestro pedido de acceso a la información, el INEGI justifica el incremento de 44% a 57% en dos factores: cambio en quién contesta la pregunta (endógeno) e impactos de la política pública (exógeno).
Figura 3. Perspectiva del INEGI
Según indica el INEGI, la decisión de modificar a quién se le formula la pregunta es un cambio que sigue lineamientos internacionales. Este tipo de modificaciones son a menudo necesarias para ofrecer un panorama más completo. Es cierto que medir fenómenos previamente inexistentes –como las redes sociales– requiere de un enfoque nuevo, como preguntarle al mismo usuario qué es lo que hace en su celular, por ejemplo, pues otros integrantes de la familia seguramente no tienen información detallada sobre este punto. Vayamos, entonces, al detalle de los cambios en la persona que responde la pregunta.
En 2014 se formulaba la pregunta a un integrante de la vivienda, que daba cuenta de la experiencia del resto de los habitantes de la vivienda.
En el cuestionario 2015 se incluyen dos preguntas sobre uso de Internet: la 3.8 y la 7.1. Básicamente, son la misma pregunta, aunque con una diferencia importante:
– A través de la pregunta 3.8, un integrante de la vivienda ofrece respuestas acerca del uso de todos los integrantes de la casa (como en 2014).
– En la 7.1, se elige un integrante de la vivienda al azar para que conteste con base en su propia experiencia como usuario (cosa que no se hacía antes).
Figura 4. Cuestionarios de INEGI (2014 y 2015)
De esta manera, se puede descartar que el cambio en la persona seleccionada para contestar la pregunta sea la variable que mejor explica este salto. Los resultados publicados por INEGI, según los cuales 57% de la población de México es usuaria de Internet, se corresponden al agregado de respuestas recabadas a la pregunta 7.1.
En la pregunta 3.8 no se modifica el informante y el resultado reportado es 54%. Por lo tanto, el cambio en quién contesta solamente explicaría una variación de tres puntos porcentuales. Es así que la respuesta del INEGI a nuestra pregunta respecto de cómo explican la variación de 13 puntos porcentuales es, cuando menos, parcial. Aquí el extracto de su respuesta:
En relación con la parte asociada al cambio metodológico, la modificación incorporada en la ENDUTIH 2015 fue: “En la ENDUTIH 2015 la información la proporciona un informante directo dentro del hogar, seleccionado aleatoriamente, quien describe su propia experiencia en el uso de TIC, a diferencia del MODUTIH en donde un solo miembro proporcionaba información del resto de los integrantes” [sic – las comillas pertenecen al original].
Cuando le preguntamos por los fundamentos y la razonabilidad de los cambios metodológicos implementados, INEGI contestó:
La mejora en la calidad y confiabilidad de la información recolectada. Para el MODUTIH, en su condición de módulo complementario de una encuesta específica, la información sobre los usuarios de TIC se recogía de un informante único de cada hogar que daba respuesta de la experiencia del resto de los integrantes. A partir de la ENDUTIH 2015 la información sobre la condición y características del uso de TIC por los individuos, se recoge directamente de una persona aleatoriamente seleccionada en cada vivienda muestreada. La información la proporciona el usuario directo de la tecnología (ver pregunta 3 – énfasis del autor).
Es así que, al señalar los cambios metodológicos implementados, el INEGI se refiere sistemáticamente al cambio en la persona que contesta la pregunta, cuando ya hemos explicado que esto solo explica 3 de los 13 puntos porcentuales de crecimiento que ha reportado INEGI entre 2014 y 2015.
Entonces, ¿cómo se explica el estirón de 13 puntos?
Descartado el argumento propuesto por INEGI, quedan al menos dos factores que el instituto omite al explicar los cambios metodológicos implementados. De acuerdo a nuestro análisis, estos son a) qué se pregunta; y b) muestreo y factores de expansión.
Figura 5. Perspectiva del Observatorio de R3D
Para ver el análisis completo, ponemos a disposición todo el informe. Por lo pronto, cabe recalcar que los comunicados emitidos por la SCT y el IFT en 2015, informando de los convenios con el INEGI, afirman que los resultados de la encuesta serían comparables con las de años anteriores, lo cual es falso.
Al publicar los resultados, el INEGI omitió referirse a la comparabilidad, lo cual era necesario considerando las modificaciones realizadas. Si bien el comunicado no realiza afirmaciones sobre crecimiento interanual en uso de Internet, sí hizo apreciaciones sobre cambios interanuales en uso de otras TICs, lo cual tampoco corresponde³. Esta falta de transparencia ha llevado a que se comunique e interprete los resultados de manera errónea.
La importancia de la estadística en el proceso democrático
A lo largo del texto, he puesto la lupa en en detalles minúsculos para mostrar el origen de afirmaciones insostenibles por parte de las más altas autoridades políticas. Sin embargo, es importante que pasemos ahora de lo micro a lo macro para entender la relevancia de este hallazgo.
En una democracia, la implementación de políticas públicas implica destinar fondos de la población para el cumplimiento de objetivos que encuentran su legitimidad fundamental a través del proceso democrático.
El recorrido que hace una política suele comenzar con un anuncio público por parte de un/a representante del Poder Ejecutivo, designado por quien fuera elegido por la mayoría para presidir el país, quien explica la relevancia y utilidad de la política en cuestión. Luego es el Congreso, espacio donde como regla se encuentran representados todos los grupos que conforman el tejido social, quien define cuánto dinero se asignará al cumplimiento de esos objetivos. Al final del ciclo presupuestario, el Congreso, como representante del pueblo, es quien debe revisar el cumplimiento de los objetivos con que fueran justificadas públicamente dichas políticas. Tanto la evaluación en sí como la deliberación pública en torno a estas políticas se apoya en datos estadísticos.
La gravedad de lo relatado en este texto radica en que, al encontrarse bajo cuestionamiento los datos, se ha dinamitado el proceso mediante el cual se legitiman las políticas públicas. Cuando los representantes no pueden justificar por qué le están quitando dinero al pueblo, lo que está en cuestionamiento es el propio vínculo entre el pueblo y sus representantes, y en consecuencia la legitimidad del sistema político como tal. Procurar el saneamiento de estas estadísticas debería ser la principal ocupación de todos aquellos que creemos en la política.
La respuesta de la SCT
El 28 de febrero de 2016, el ingeniero Javier Lizárraga Galindo, Coordinador de la Sociedad de la Información y el Conocimiento de la SCT, envió una carta con observaciones sobre el estudio. En dicho mensaje, Lizárraga apunta que “la Secretaría de Comunicaciones y Transportes (SCT) afirma categóricamente que la ENDUTIH es una encuesta sólida y confiable que permite asegurar que el número de usuarios de Internet en 2015 fue de 62.4 millones de personas”.
La carta de Lizárraga, además, indica que la ENDUTIH sustituyó a la MODUTIH, usada entre 2001 y 2004, y que “el levantamiento de información se realiza directamente con un miembro del hogar, quien describe su experiencia personal en el uso de las TIC. Esto contrasta con la metodología aplicada en el MODUTIH, en donde un solo informante proporcionaba la información del resto de los integrantes del hogar”. Este cambio metodológico ya fue abordado con anterioridad en este texto.
Lizárraga también menciona que la ENDUTIH 2015 comprendió más de 90 mil encuestas donde el informante fue elegido de manera aleatoria y califica a la encuesta de “un estudio de vanguardia a nivel internacional”. La misiva cierra con la SCT afirmando “categóricamente que la ENDUTIH es un instrumento que permite medir con precisión el uso que realizan tanto los hogares como los individuos de las tecnologías de la información”.
Desde el Observatorio de R3D vemos como positiva la apertura al diálogo por parte de la SCT, como demuestra la carta enviada en respuesta a este texto. Sin embargo, consideramos que la cuestión de la comparabilidad entre los resultados de 2014 y 2015, punto central de nuestro argumento, no se ha resuelto. La discusión pública añade valor a esta investigación y, por supuesto, amplía el horizonte para el mejoramiento de Mexico Conectado y futuras políticas públicas de conectividad.
¿Qué hacer?
A semanas de que se publiquen los resultados correspondientes a 2016, desde el Observatorio de R3D se sugieren las siguientes acciones:
A las Comisiones de Comunicaciones del Congreso:
♦ Citar a las autoridades del INEGI, SCT y el IFT para que den las explicaciones del caso en una sesión pública, a la que también debería convocarse a representantes de la Auditoría Superior de la Federación, académicos expertos en estadística, y a representantes de la sociedad civil.
♦ Debatir de manera pública las medidas paliativas que serán tomadas.
♦ Establecer las condiciones en que el INEGI puede colaborar con organismos del Poder Ejecutivo, y los procesos que se deberán seguir en materia de transparencia y publicidad. Evaluar si corresponde que el Congreso limite la posibilidad de que INEGI utilice sus logos y “marca” cuando realiza convenios por fuera de estos lineamientos.
♦ Establecer un calendario para revisar las necesidades presupuestarias del INEGI junto a la Auditoría Superior de la Federación, y prever un presupuesto que le permita realizar sus acciones sin depender de convenios con el Poder Ejecutivo.
Al Instituto Nacional de Estadística y Geografía (INEGI):
♦ Explicar qué cambios se realizaron, cómo se deberían interpretar los resultados de 2015 y 2016, y cómo van a avanzar para recuperar la confianza pública en sus estadísticas.
A la Secretaría de Comunicaciones y Transportes (SCT):
♦ Aclarar qué papel han jugado en el diseño de los nuevos cuestionarios, y qué nivel de injerencia han tenido en cada una de las modificaciones metodológicas que fueran realizadas en 2015.
♦ Enviar comunicados a las cabezas de área de la SCT y a Presidencia para evitar que se sigan cometiendo errores al comunicar información basada en la ENDUTIH.
♦ Explicar cómo se interpretarán los resultados de la ENDUTIH (2015-2018) para llevar adelante la tarea de analizar y comunicar el impacto de sus políticas.
Al Instituto Federal de Telecomunicaciones (IFT):
♦ Explicar por qué publicó un comunicado haciendo hincapié en la comparabilidad de los resultados.
♦ Explicar en qué medida las modificaciones impactan en la realización de las tareas que le competen como organismo regulador.
Sobre el autor
^ Juan Ortiz Freuler es Magíster en Políticas Públicas (Universidad de Oxford), Magíster en Ciencias Sociales de Internet (Universidad de Oxford), y consultor sobre el uso de datos y TICs para el análisis de políticas públicas.
El informe completo puede ser consultado en línea.
