Desarrollo. Mejor Ciencia Social: el estudio de hábitos sexuales en EEUU de la NSSHB.

Disclaimer. 

Repito aquí parte dela advertencia de la anterior entrada  sobre esta misma temática. 

Trabajé varios años como consultor en lo que  fue en su momento la empresa multinacional líder en esta actividad (estudios basados en encuestas) en España (mientras era líder; hoy sigue siendo líder aunque integrada en una multinacional global, WPP plc). Mi labor era el diseño del estudio y encuesta, según las especificaciones del cliente y análisis y presentación de resultados. 

Nunca he realizado encuestas sobre hábitos sexuales, posiblemente uno de los temas más espinosos sobre los que aplicar esta metodología de investigación social. 

0. El contenido de la  entrada se puede resumir como sigue: mejor, pero todavía insuficiente.

1. En la entrada anterior sobre los informes Durex sobre hábitos sexuales globales citábamos como estudio serio y con resultados más fiables, el estudio National Survey of Sexual Health and Behavior, realizado en EEUU por un equipo de la Universidad de Indiana, sin en realidad conocer su metodología en profundidad.

Por ello prometíamos una entrada específica con información sobre la metodología de este otro informe. Entrada que no podía tardar mucho en realizarse, pues de lo contrario perderíamos credibilidad.

En lo que sigue, en base a los artículos de ésta revista, en el segundo punto señalamos lo que en nuestra  opinión es el mayor defecto de este estudio; en el tercero vemos este defecto, común a muchas otros estudios de otros contenidos desde un punto de vista más general; y en el cuarto punto de la entrada reconstruimos la  ficha técnica del informe citado y utilizado ampliamente en la página web de FAQs del Instituto Kinsey. Posiblemente la reconstrucción no es completa y falten algunos datos.

2. Algunos comentarios críticos sobre este estudio: otra muestra extrema.

En este caso se habla explícitamente de selección aleatoria en una población que cubre prácticamente todos los residentes en EEUU (el 98%)  pero también queda claro que no todas las unidades que se han seleccionado aleatoriamente han acabado participando (en adolescentes por ejemplo porque no hayan recibido el permiso de sus padres, o porque no hayan querido participar; en adultos por los segundo).  Los datos concretos son:

adolescentes contactados por haber sido seleccionados de manera aleatoria 1347; han acabado  participando 820 (el 60%).

adultos contactados 9600; han acabado participando 5045.

Nótese que en adultos  participan aproximadamente la mitad de los contactados (exactamente el 52%).  Este es un gran defecto pues de nuevo, como en el estudio de Durex, es posible que solo acaben participando los más abiertos, o los más satisfechos o aquellos que consideran que dan la talla.

El defecto es lógico, pues no se puede obligar  a nadie a participar. Pero lo metodológicamente correcto en estudios sobre otros asuntos si no recuerdo mal, es que los que se nieguen a participar deberían de ser repuestos por otros individuos también seleccionados aleatoriamente. Sin embargo no tengo claro que estas reposiciones sirvan de la misma manera en estudios sobre hábitos sexuales. Me temo que al final la muestra siempre acabará siendo extrema: ante repetidas negativas a participar al final sólo se acaba reponiendo con individuos extremos.

En definitiva, en este estudio de nuevo tenemos una muestra representativa en cuanto a las  variables poblacionales, pero más o menos extrema en cuanto a las variables  que interesa estudiar, los hábitos sexuales. Seguramente menos extrema que la de Durex (es posible que los últimos estudios de Durex, hayan utilizado  una metodología similar, en base al panel de Harris Interactive, pero claramente son mucho  menos cuidadosos con algunos aspectos, según hemos visto en la entrada anterior), pero extrema. Este defecto de  muestras extremas que se pueden intentar controlar de forma más o menos estricta seguramente son de sobra conocidos por los especialistas en este tipo de encuestas.

Entiendo que al lector le queda claro que con este defecto es difícil extrapolar los resultados de la muestra a la población total, que es precisamente lo que se intenta en las encuestas científicas.  En mi opinión, los resultados de este tipo de estudios (también el de Durex), suponiendo que los participantes hayan dicho la verdad, tienen validez, en lo cuantitativo, como cotas superiores de hábitos sexuales.

¿ Cual podría ser una cota inferior ?

Bueno, si sólo se midiese un hábito, una manera obvia de determinar una cota inferior es asumir que todos los que han sido seleccionados aleatoriamente pero no han participado tienen el hábito contrario, es decir son otra muestra extrema opuesta, y en base a este supuesto calcular, por ejemplo las medias. El valor real de la población con respecto a este hábito estaría necesariamente entre estas dos cotas. Cuando en una misma encuesta se preguntan por varios hábitos no sabemos cual de ellos es el que ha motivado la no participación (el fantasma sexual del no participante) y por lo tanto aplicando este método obtendríamos cotas inferiores menos realistas todavía.

Este método de acotación es mucho menos preciso pero similar  al que se obtiene en encuestas sin error de autoselección: en ellas obtenemos unos resultados sobre estimadores (por ejemplo una media) y el margen de error (con un nivel de confianza) nos da las cotas superiores e inferiores de estos estimadores cuando  queremos extrapolar los resultados a la población.

3. La problemática de las muestras extremas en general (selection bias, sampling bias, self-selection bias). 

El problema más general de cómo tratar este tipo de casos en los que una parte significativa de una población no está dispuesta a participar en una encuesta por los motivos que sean y por lo tanto no está representada en los resultados es interesante. Entra dentro de la materia que los anglos llaman selection bias o selection effect.

Y el caso concreto que nos ocupa es un caso de sampling biasSampling bias is systematic error due to a non-random sample of a population,[2] causing some members of the population to be less likely to be included than others, resulting in a biased sample, defined as a statistical sample of a population (or non-human factors) in which all participants are not equally balanced or objectively represented.[3] It is mostly classified as a subtype of selection bias,[4] sometimes specifically termed sample selection bias,[5][6][7] but some classify it as a separate type of bias.

Podemos afinar más. Nuestro problema es un problema de self-selection o auto-selección: Self-selection bias is a major problem in research in sociology, psychology, economics and many other social sciences.[1] In such fields, a poll suffering from such bias is termed a self-selected listener opinion poll or “SLOP”.

Esta es ya la muñeca rusa más pequeña. Hay un problema muy relacionado, la no respuesta. En  un artículo titulado Self-selection bias versus non response bias  in the perceptions of  mobility survey que el lector podrá encontrar en una búsqueda google, comentan sobre ambos problemas.

Ya conocemos el problema. ¿ Existe alguna solución satisfactoria ?.

Un primer enlace sobre como tratar este problema.

–Otro enlace que trata mucho más concretamente el tema que nos interesa: An Empirical Approach to Correct Self-Selection Bias of Online Panel Research.

AN INTRODUCTION TO SAMPLE SELECTION BIAS IN
SOCIOLOGICAL DATA*Sampling has long been central in discussions of sociological research methods. Yet, with few exceptions, recent developments on the nature of sampling bias have not filtered into sociological practice. This neglect represents a major oversight with potentially dramatic consequences since internal as well as external validity is threatened. In response, this paper undertakes a brief review of recent advances inthe diagnosis of and corrections for “sample selection bias.”

una entrada en una enciclopedia sobre métodos de encuestas.

–un artículo de 2008. How accurate are self-selection web surveys?. En él explican muy claramente la problemática y algunas de las soluciones que se han diseñado. Tratan el caso de las encuestas on-line pasivas. En el último muestran una simulación con una población ficticia y se aprecia  muy claramente lo lejos que puede estar la estimación obtenida con una muestra autoseleccionada, del parámetro de la población real, incluso con ponderaciones por variables demográficas que aseguren la representatividad.

Summary: A web survey seems to be an attractive means of collecting survey data, because it provides simple, cheap and fast access to a large group of people. However, there are pitfalls. Due to methodological problems, the quality of the outcomes of web surveys may be seriously affected. This paper addresses one of these problems, and that is self-selection of respondents. Self-selection leads to a lack of representativity and thus to biased estimates. The effect of self-selection on the distributional characteristics of estimators is described in detail. It is shown that the bias of estimators in self-selection surveys can be much larger than in surveys based on traditional probability samples. A simulation study also shows what can go wrong in a self-selection web survey. It is explored whether some correction techniques (adjustment weighting and use of reference surveys) can improve the quality of the outcomes. It turns out that there is no guarantee for success.

En este último artículo citado hablan de la teoría de la no respuesta y de las tres mecanismo  que  pueden dar lugar a este fenómeno: MCAR, MAR y NMAR (Not Missing At Random (NMAR). There is a direct relationship between the mechanism causing missingness and target variables of the survey. This is the worst case. Estimators will be biased and it is not possible to remove this bias) . Creo que en el caso de las encuestas sobre el tema  que nos ocupa estamos en el peor caso, NMAR.

Como este no es el tema principal  de la entrada, lo dejamos aquí de momento. Pero me ha interesado y quizás lo retome en otra ocasión.

3. Reconstrucción de la  ficha técnica del estudio sobre hábitos sexuales  NSSHB.

Financiación del estudio:

Church and Dwight co. Cómo Durex, es un fabricante de preservativos, de la marca Trojan.  Da la impresión de que se han metido bastante menos que durex en la  cocina.  To facilitate this partnership, our mutual teams work to demonstrate a model for collaboration between academic and corporate partners that is grounded by principles of participatory research and the highest levels of scientific integrity. 

Otro  estudio de la misma marca realizado con menos garantías da resultados posiblemente similares a los de Durex.  Su ficha técnica es:

The Sex Census presented by Trojan® condoms is based on two studies conducted by StrategyOne fromMarch 15-21, 2011. The first, a national sample of 1,000 10-minute surveys were conducted online among U.S. Adults 18+.  The results are nationally representative based on the U.S. Census indicators. With 95% confidence, the margin of error is +/- 3.1%. The data was weighted to ensure that the sample’s composition reflects that of the actual U.S. population according to U.S. Census figures.

The second is a study conducted online in ten major U.S. cities among Adults 18+.  The cities are: New York,Los Angeles, Chicago, Philadelphia, Boston, San Francisco, Dallas/Ft. Worth, Washington D.C. Atlanta, andHouston. A total of 2,000 10-minute surveys were conducted. Sample size of 200 per city. With 95% confidence, the margins of error within each individual city is +/- 2.2%.

Titulares de la investigación:

Our team, based at the Center for Sexual Health Promotion at Indiana University, and representing the disciplines of public health, psychology, medicine, and gender studies.

To conduct the NSSHB, our team partnered with  Knowledge Networks (Menlo Park, CA, USA) given their ability to combine the use of statistically valid sampling methods with the advantages  of the Internet as a research tool. 

Tipo de estudio:

Sobre todo cuantitativo: Although the NSSHB did include the collection of some qualitative data, it was highly quantitative in nature. As a result, it cannot offer much of the rich contextual insights that were available in other studies that used in-depth interview methods, particularly those conducted by Kinsey and those used in the NHSLS.

Tamaño muestral, margen de error y nivel de  confianza:

5865 individuos,  ciudadanos o residentes en EEUU, de edades comprendidas entre 14 y 94 años (no es un error, 94 años). Aunque cubren sobre todo los hábitos de la orientación heterosexual también aparecen datos, minoritarios, de otras orientaciones (como debería de ser si la selección ha sido aleatoria).

El lector habituado a leer fichas técnicas, habrá echado de menos los otros dos parámetros probabilísticos que se suelen utilizar en las encuestas científicas además del tamaño muestral, como el margen de error y nivel de confianza (los tres van de la mano). Yo en el documento enlazado no he visto  que hablen de ello. Recordemos que sí aparecían en el estudio de Durex, lo cual nos sorprendió tanto o más  como que no aparezcan en este.

Me pregunto si tiene sentido aplicar el  cálculo probabilístico en casos en los que casi el 50% de los seleccionados al azar ha rechazado participar.

Método de muestreo y de recolección de datos:

Sampling included a dual-frame approach based upon both random digit dial and address-based sampling, a combination that provides statistically valid representation of the United States population in a way that attends to the challenges presented by cell phone-only households and that ensures representation of communities that are often difficult to reach in sexuality-related research.

Data Collection During March–May 2009, NSSHB data were collected using a population-based cross-sectional survey of adolescents and adults in the United States via research panels of Knowledge Networks (Menlo Park, CA, USA).

Research panels accessed through Knowledge Networks are based on a national probability sample established using both random digit dialing (RDD) and an addressbased sampling (ABS) frame.

ABS involves the probability sampling of a frame of residential addresses in the United States derived from the U.S. Postal Service’s Delivery Sequence File, a system that contains detailed information on every mail deliverable address in the United States.

Collectively, the sampling frame from which participants are recruited covers approximately 98% of all U.S. households.

Randomly selected addresses are recruited to the research panel through a series of mailings and subsequently by telephone follow-ups to nonresponders when possible.

To further correct sources of sampling and nonsampling error, study samples are corrected with a post-stratification adjustment using demographic distributions from the most recent data available from the Current Population Survey (CPS), the monthly population survey conducted by the U.S. Bureau of the Census considered to be the standard for measuring demographic and other trends in the United States.

These adjustments result in a panel base weight that was employed in a probability proportional to size (PPS) selection method for establishing the samples for this study. Population specific distributions for this study were based upon the December 2008 CPS [21]

Método de contacto y tasas de participación: 

Once the sample frame was established, all individuals within that frame received a recruitment message from Knowledge Networks that provided a brief description of the NSSHB and invited them to participate.

–Adolescent recruitment included obtaining consent from a parent (or legal guardian) and, if provided, subsequently from the adolescent.  A total of 2,172 parents (or legal guardians) reviewed a study description, including the survey, and 62% (N = 1,347) consented for their child to be invited to participate. Of 1,347 adolescents contacted electronically, 831 responded, with 99.0% (N = 820) consenting to participate.

An electronic recruitment message was sent to 9,600 potential adult participants, of whom 6,182 (64%) responded, with 82% (N = 5,045) consenting to participate. All study protocols were approved by the Institutional Review Board of the primary authors’ academic institution. 

All data were collected by Knowledge Networks via the Internet; participants in a given Knowledge Networks panel were provided with access to the Internet and hardware if needed. Multiple researchers have used Knowledge Networks formultiple health-related studies, substantiating the validity of such methods for obtaining data from nationally representative samples of the U.S. population.

Representatividad y ponderaciones:

Some participant characteristics were previously collected by Knowledge Networks for purposes of sample stratification and for sample adjustments using post-stratification data weights.

These measures included gender, age, race (black, Hispanic, white, other), U.S. geographic region (Midwest, North, South, West), and sexual orientation (heterosexual/straight, homosexual/gay/lesbian, bisexual, asexual, other).

Household income included an adult’s reported household income; for adolescents household income was reported by their parent or guardian. Additionally, level of educational attainment and marital status were collected from adult participants.

Cuestionario.

No lo he visto de  momento.

Terms and conditions: 1. Any commenter of this blog agrees to transfer the copy right of his comments to the blogger. 2. RSS readers and / or aggregators that captures the content of this blog (posts or comments) are forbidden. These actions will be subject to the DMCA notice-and-takedown rules and will be legally pursued by the proprietor of the blog.

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s


A %d blogueros les gusta esto: