Desarrollo. Mala Ciencia Social: sobre la validez de los informes Durex sobre hábitos sexuales globales.

Disclaimer. 

Trabajé varios años como consultor en lo que  fue en su momento la empresa multinacional líder en esta actividad (estudios basados en encuestas) en España (mientras era líder; hoy sigue siendo líder aunque integrada en una multinacional global, WPP plc). Mi labor era el diseño del estudio y encuesta, según las especificaciones del cliente y análisis y presentación de resultados. 

Nunca he realizado encuestas sobre hábitos sexuales, posiblemente uno de los temas más espinosos sobre los que aplicar esta metodología de investigación social. 

Agradezco a la persona que me facilitó recientemente el enlace a los datos de un estudio serio, que no cuadran con los informes Durex, y al que enlazamos en el punto 4 de esta entrada.

Lo reconozco, esta entrada es entre otras cosas una medida anti-“efecto diciembre”, que ya se va notando. Este año ya no me coge desprevenido🙂. Y como recientemente hemos hablado en un par de entradas sobre temas relacionados… 

Fin disclaimer.

——————————————————————-

1. En las “infames” (lo digo con cariño) noticias de Yahoo, en las que en ocasiones pico, veo que basan una de ellas en el Informe Durex 2014, una oleada más de una encuesta global sobre hábitos sexuales que se lleva realizando desde hace más de una década:

‘Qué les pone a los españoles’, así se llama el último estudio elaborado por Durex en el que el conocido fabricante de preservativos y lubricantes ha revelado las cosas que despiertan el deseo sexual de los hombres y mujeres de España. ¿Te mueres por conocer lo que han descubierto? Avanza en la galería para descubrirlo y, si te atreves, dinos si han acertado con sus placenteras afirmaciones.

Este tipo de estudios se difunden ampliamente en todo tipo de medios de Internet, desde señera prensa con más de 100 años a sus espaldas hasta blog recién creado, pero casi siempre sin el mínimo espíritu crítico, seguramente provocando algún que otro dolor de cabeza a algunas parejas que den los resultados por válidos y quizá no lleguen al corte🙂. [Nota al margen: aquellas parejas que se encuentren en esta situación pueden pasar directamente al punto 4 de esta entrada].

¿ Que validez científica tienen este tipo de encuestas /estudios de Durex,  y por lo tanto sus resultados ? En mi modesta, pero creo que documentada, opinión (en el cuarto punto de la  entrada facilito al lector opiniones que van en el mismo sentido, realizadas por especialistas más documentados), y a falta de información completa sobre la metodología utilizada, NINGUNA.

Actualización, mismo día.  En una entrada posterior sobre un estudio similar más serio matizamos la  rotundidad de la afirmación anterior. Fin actualización. 

En el resto de la  entrada justificamos esta opinión tan rotunda.

2. Idealmente en una encuesta por muestreo científica  se  selecciona al azar una muestra representativa de individuos de una población y se mide objetivamente una o varias variables en cada “individuo”. La selección al azar entre la población objeto de  estudio y la medida objetiva de las variables objeto de estudio son claves para que se puedan aplicar las  herramientas del cálculo probabilístico que normalmente se aplican a este tipo de estudios.

En las encuestas   sobre temas sociológicos se puede obtener (o al menos una aproximación) la  primera condición (selección al azar de una muestra representativa) pero no siempre la  segunda (medida objetiva): muchas veces no hablamos de medidas, sino de preguntas que el participante tiene que responder. Una respuesta a una pregunta por una mente inteligente no es lo mismo  que una medida objetiva de un objeto pasivo.

En determinados temas poco sensibles quizás la gente conteste con sinceridad (preguntas del tipo ¿ que marca de papel higiénico utiliza Ud.?) pero en otros más sensibles, como el tema que nos ocupa, se pueden negar a contestar o, si acepta participar, mentir. Y no solo eso, las preguntas (el cuestionario) se pueden hacer (se puede diseñar) mejor o peor.

De acuerdo que hay mecanismos para asegurar la coherencia en las respuestas y por lo tanto minimizar estos problemas, pero ¿ son eficaces ?. Hay mucho escrito sobre esto y remitimos  al lector a la literatura especializada.

Solo comentar un dato que es bien conocido por los especialistas: las encuestas sobre estos temas realizadas con detector de mentiras dan resultados bastante diferentes a las realizadas sin él. También cuando lo que se realiza son medidas objetivas (es complicado, pero posible).

3. He buscado la metodología  de los informes Durex y no la he encontrado. Esto es lo  que aparece en la página web de la empresa en España. Y esto en la global. Casi nada. Lo más parecido a una metodología que he encontrado es esto, que se corresponde  a una de las entregas del Informe Durex de 2012.

Según informan en este documento, la encuesta la  realiza una empresa especializada en encuestas, Harris Interactive (la empresa parece seria; en su página web no se citan los estudios de Durex, lo cual  puede ser normal; no sé si hablan o no de los estudios de otros clientes).

A estas alturas, el lector ya habrá deducido que la encuesta es on-line, primera señal  de alarma, aunque esto no es necesariamente problemático: The American Association for Public Opinion Research recently released a detailed report on the strengths and weaknesses of online polling. The full text of the report can be foundhere. Keep in mind that there is nothing inherently wrong with conducting surveys online; we do many of them with special populations such as foreign policy experts and scientists. And some online surveys are done with special panels of respondents who have been recruited randomly and then provided with internet access if they do not have it.

Dicen que en total han participado más de 29.000 individuos. Facilitan un mapa con la distribución geográfica  por países. A España le corresponden unos 1000 participantes. Afirman que se  trata de una encuesta on-line supuestamente representativa. Luego dicen que “han ponderado los datos por edad, género, zona y uso de internet“. La ponderaciones son algo habitual (y aceptables dependiendo de como se haya realizado la selección; forman parte de la cocina).

Así a simple vista he detectado algunos defectos:

–la falta de transparencia y de información completa (ficha técnica) del estudio es patente.

–lo más grave, no  explican el proceso de selección de los encuestados.   Me temo que se han marcado unos objetivos de representatividad por las variables indicadas y han esperado a obtener las cantidades indicadas en estos objetivos. No está claro si se aseguran la participación de manera pasiva (cuelgan la encuesta en su sitio web y esperan a que la gente participe) o activa (enviando e-mails o contactando ellos mismos  con los participantes por algún medio on-line). La participación pasiva es completamente inaceptable: A good example of this was seen in 1998 when AOL posted an online poll asking if President Clinton should resign because of his relationship with a White House intern. The online poll found that 52% of the more than 100,000 respondents said he should. Telephone polls conducted at the same time with much smaller but representative samples of the public found far fewer saying the president should resign (21% in a CBS poll, 23% in a Gallup poll, and 36% in an ABC poll). The president’s critics were highly motivated to register their disapproval of his behavior, and this resulted in a biased measurement of public opinion in the AOL online poll.

La activa, según y como. Si lo han realizado como me temo (ir contactando con potenciales participantes hasta cubrir las cuotas de los objetivos) inaceptable también: posiblemente, debido a lo sensible del tema, hasta obtener alguno que haya aceptado participar muchos han rechazado antes. Pero es posible que hayan utilizado el panel de Harris Interactive, con algún estudio de tipo Omnibusen cuyo caso habría que ver la tasa de  respuestas, reposición y otros parámetros. Dependiendo de esto los resultados pueden ser más o menos aceptables.

Salvo en el caso del panel, y con las precauciones ya señaladas, está claro quien rechaza y quien acepta participar en encuestas sobre estos temas. El sesgo es claro. En el caso del panel, normalmente los individuos que participan en él, se identifican con nombres y apellidos y por lo tanto la tendencia a mentir puede ser mayor.

Por otra parte, ¿ son muchas o pocas 1000 encuestas para España ?. Sin aplicar la famosa formula, sólo mi oxidado ojo clínico, diría que pueden ser suficientes, pero insisto, siempre y cuando la selección sea aleatoria.

–Indican: Los datos del estudio han sido ponderados para ser representativos de la población on line o del total de la población. ¿ Representativos ?. Cualquiera puede obtener una muestra extrema (no aleatoria) representativa, y por lo indicado  en el punto anterior es muy posible que la que han obtenido lo sea. Recuerdo que cuando yo trabajaba en esto, en un estudio hacíamos precisamente esto: generar una muestra representativa pero extrema, por ser más sensible para captar cambios de tendencia. No recuerdo si era aleatoria ¿?.

–También indican:

Ficha técnica: la encuesta se realizó entre el 6 de Septiembre y el 3 de Octubre de 2011. 
Margen de error: 3%
Nivel de confianza: 95 %

¡¡ Que osados !! ¿ Ficha técnica ? Y hablan parámetros que sólo son aplicables a muestras aleatorias (margen de error y nivel de confianza) sin dejar claro que ésta lo sea: en ningún momento dicen que la muestra se haya seleccionado de manera aleatoria.

–Los % que indican de la población española sexualmente activa (18 años o mayores, según el estudio) no se corresponden con la realidad. Han reducido a la mitad los mayores de 65 años y han aumentado en un 9% el rango de 50-64. Obviamente, sólo por este cambio las medias de todo tienen que salir  más elevadas.

A continuación la distribución de la población española mayor de 18 años por edades, según los cortes de Durex, con los % respectivos según datos INE 2014 y según Durex 2012. Los datos están extraídos de la página web del INE,  última toma censal (2014).

Edad         Absolutos s/INE 2014           %      % Durex 2012

18-24        3 233 047                            8,5                    9

25-34        6 200 503                          16                    18

35-49        11 578 194                          30                   30

50-64        8 704 780                           23                   32

65 o +       8 442 886                           22                   11

También han inflado, aunque menos, el tramo de edad de 25 a 34, tramo en el que la práctica sea posiblemente más frecuente. No creo que los datos censales de 2012 y 2014 sean muy diferentes.

–el periodo de realización de las encuestas tampoco  es inocente, neutro: entre el 6 de septiembre y 3 de octubre, es decir el mes justo después de las vacaciones (en España), dónde seguramente por disponer de más tiempo y estar  más relajados la gente  ha practicado más. Y además se acuerdan. ¿ Que  con que frecuencia  se practica ? Inmediatamente se piensa en las experiencias más  recientes, el último mes….Otros quizás al dar el dato quizás se remonten a alguna de sus Edades de Oro. ¿ Quien no la ha tenido ?

–los  resultados, aparentemente, se presentan en rueda de prensa y no en un informe escrito (creo; yo al menos no lo he encontrado).

No hablamos, por obvio, de que al estar estos estudios financiados por una empresa de preservativos, y teniendo en cuenta el espíritu competitivo que predomina hoy en día en el ser humano en todos los aspectos, les interesa que salgan datos de frecuencia lo más elevados posibles y si es posible sobre relaciones al margen de parejas estables (es decir aquellas en las que el uso de  preservativos es mayor). Ya hemos visto en los puntos anteriores que esta empresa, para obtener frecuencias lo más elevadas posibles han cometido (seguramente de manera deliberada) todos los sesgos y errores posibles.

Si encontramos (seguimos buscando) información más completa sobre la metodología de los informes Durex,  actualizaremos la entrada.

4. Seguramente, y aunque no soy especialista en encuestas sexuales (tampoco hoy en día en encuestas,  ya que trabajé  hace tiempo en esto, pero algo quedó…) si tuviese más datos podría seguir con la lista anterior de defectos. Pero tenemos suerte:

–Hay personas que sí han tenido más datos  y que han escrito críticas muy documentadas sobre estos informes Durex. Se trata de Petra Boynton, doctorada en psicología social. La propusieron participar como expertoa y acabño rechazando  pues no veía transparencia en la metodología y aquello en lo que fueron transparentes, no  lo vio claro. (esta entrada es de 2006 y es  posible que Durex haya perfeccionado su metodología desde entonces). En una segunda entrada hace una crítica, más detallada (de 2010; comenta entre otras cosas: The figure of sexual activity (en el informe Durex) happening four or five times a week is massively higher than reliable studies show (around 6 times a month). Las dos entradas, muy recomendables. Esta misma investigadora  tiene más sobre el mismo tema: Concerns about the Durex Global Sex SurveyDurex Global Sex Survey – back once again with the international sex contestSalami Slicing Sex Survey DataBuy our sex products. Oops, sorry, I mean check out our International Sex Survey. Había encontrado una crítica bastante buena de otra fuente (un reportaje en un periódico de UK), pero no he conseguido recuperarla.

–existen fuentes más serias sobre hábitos sexuales, aunque entiendo que tampoco 100% fiables. Por ejemplo las que facilitan en el Instituto Kinsey (IK). El lector puede comparar por ejemplo los datos de frecuencia facilitados por el IK, con los del informe Durex 2012, de cuya metodología  tenemos algunos datos sobre los que ya hemos  hablado. Esto es lo que nos comentan al respecto en la noticia de Yahoo: este no ha sido el único estudio elaborado por Durex sobre el sexo en España. En 2012, por ejemplo, supimos que el 73% de los españoles practica el sexo al menos una vez a la semana y, de este porcentaje, más de dos tercios confesaron hacerlo entre dos y siete veces;

Obviamente hablan de los españoles en edad de realizar este tipo de actividades….

Los datos del IK se basan en la National Survey of Sexual Health and Behavior (NSSHB) de 2010 (National Survey of Sexual Health and Behavior, Centre for Sexual Health Promotion, Indiana University. Journal of Sexual Medicine, Vol. 7, Supplement 5). No he estudiado la metodología de las NSSHB, pero doy por descontado que debe de ser mucho más fiable que las de los informes Durex. Dejamos este análisis para otra entrada. Actualización, mismo día: ya hemos realizado la entrada sobre la metodología del estudio del NSSHBFin actualización.

Terms and conditions: 1. Any commenter of this blog agrees to transfer the copy right of his comments to the blogger. 2. RSS readers and / or aggregators that captures the content of this blog (posts or comments) are forbidden. These actions will be subject to the DMCA notice-and-takedown rules and will be legally pursued by the proprietor of the blog.

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s


A %d blogueros les gusta esto: