El equipo ganador del Desafío DARPA Red Balloon. Manuel Cebrián es el segundo por la izquierda. Fuente: DARPA.
El crowdsourcing es un proceso de externalización de las tareas hacia el público en general, en lugar de a los empleados o a contratistas. En los últimos años, el crowdsourcing ha proporcionado una capacidad sin precedentes para llevar a cabo tareas que requieren la participación de un gran número de personas, a menudo de geografías y con conocimientos e intereses muy variados y lejanos entre sí.
La mayor enciclopedia del mundo, Wikipedia, es un ejemplo de una tarea que sólo se puede lograr a través de la participación de la multitud. Pero el crowdsourcing no se limita a los esfuerzos voluntarios. Por ejemplo, Amazon Mechanical Turk (AMT) y CrowdFlower son mercados de "trabajo a la carta” que permiten a las personas ganar dinero por micro-tareas, tan simples como etiquetar una imagen o traducir un fragmento de texto.
Recientemente, el crowdsourcing ha demostrado su eficacia en tareas de recopilación de información a gran escala, a lo largo de geografías muy amplias. Por ejemplo, la plataforma Ushahidi permite a voluntarios realizar una rápida cartografía de crisis, en tiempo real, en los momentos posteriores a desastres como el terremoto de Haití.
Uno de los principales obstáculos en la recopilación de información de crowdsourcing es la fiabilidad de los informes recogidos. Ahora Victor Naroditskiy y el profesor Nick Jennings, de la Universidad de Southampton, junto con el profesor Iyad Rahwan del Masdar Institute y Manuel Cebrián, investigador de la Universidad de California, San Diego (UCSD), han desarrollado nuevos métodos para la solución de este problema a través del crowdsourcing.
El trabajo, que aparece resumido en esta nota de prensa de la Universidad de Southampton y publicado en la revista académica PLOS ONE, muestra cómo “externalizar a la multitud” no sólo la recolección, sino también la comprobación de la información.
Verificar la información
Victor Naroditskiy, del grupo Agentes, Interacción y Complejidad de la Universidad de Southampton, y autor principal del artículo, explica: "El éxito de una tarea de recopilación de información se basa en la capacidad de identificar informes fiables, ya que los informes falsos van a aparecer en cualquier caso ya sea por errores humanos o por intentos de sabotaje. Este problema de la verificación de la información es difícil, y, al igual que la tarea de recopilación de información, se requiere la participación de un gran número de personas".
Sitios como Wikipedia han creado mecanismos de control de calidad y verificación de la información. Sin embargo, esos mecanismos se basan en parte en la reputación, puesto que los editores más experimentados pueden comprobar si un artículo se ajusta a los criterios de objetividad de la Wikipedia, si tiene suficientes citas, etc. Además, Wikipedia cuenta con protocolos para la resolución de conflictos entre los editores en caso de desacuerdo.
La mayor enciclopedia del mundo, Wikipedia, es un ejemplo de una tarea que sólo se puede lograr a través de la participación de la multitud. Pero el crowdsourcing no se limita a los esfuerzos voluntarios. Por ejemplo, Amazon Mechanical Turk (AMT) y CrowdFlower son mercados de "trabajo a la carta” que permiten a las personas ganar dinero por micro-tareas, tan simples como etiquetar una imagen o traducir un fragmento de texto.
Recientemente, el crowdsourcing ha demostrado su eficacia en tareas de recopilación de información a gran escala, a lo largo de geografías muy amplias. Por ejemplo, la plataforma Ushahidi permite a voluntarios realizar una rápida cartografía de crisis, en tiempo real, en los momentos posteriores a desastres como el terremoto de Haití.
Uno de los principales obstáculos en la recopilación de información de crowdsourcing es la fiabilidad de los informes recogidos. Ahora Victor Naroditskiy y el profesor Nick Jennings, de la Universidad de Southampton, junto con el profesor Iyad Rahwan del Masdar Institute y Manuel Cebrián, investigador de la Universidad de California, San Diego (UCSD), han desarrollado nuevos métodos para la solución de este problema a través del crowdsourcing.
El trabajo, que aparece resumido en esta nota de prensa de la Universidad de Southampton y publicado en la revista académica PLOS ONE, muestra cómo “externalizar a la multitud” no sólo la recolección, sino también la comprobación de la información.
Verificar la información
Victor Naroditskiy, del grupo Agentes, Interacción y Complejidad de la Universidad de Southampton, y autor principal del artículo, explica: "El éxito de una tarea de recopilación de información se basa en la capacidad de identificar informes fiables, ya que los informes falsos van a aparecer en cualquier caso ya sea por errores humanos o por intentos de sabotaje. Este problema de la verificación de la información es difícil, y, al igual que la tarea de recopilación de información, se requiere la participación de un gran número de personas".
Sitios como Wikipedia han creado mecanismos de control de calidad y verificación de la información. Sin embargo, esos mecanismos se basan en parte en la reputación, puesto que los editores más experimentados pueden comprobar si un artículo se ajusta a los criterios de objetividad de la Wikipedia, si tiene suficientes citas, etc. Además, Wikipedia cuenta con protocolos para la resolución de conflictos entre los editores en caso de desacuerdo.
El problema del tiempo
Sin embargo, en tareas contrarreloj, no hay una jerarquía establecida entre los participantes, y muy poca base para juzgar la credibilidad de los voluntarios que son reclutados sobre la marcha. En este tipo de escenario, son necesarios incentivos especiales para llevar a cabo la verificación. La investigación presentada en el artículo de PLOS ONE proporciona estos incentivos.
El profesor Iyad Rahwan, del Masdar Institute en Abu Dhabi, y co-autor del estudio, explica: "Hemos demostrado cómo combinar los incentivos para reclutar participantes que verifiquen la información. Cuando un participante presenta un informe, su reclutador se convierte en responsable de verificar su exactitud. Las compensaciones al reclutador y al informador por presentar un informe correcto, así como las sanciones para los informes incorrectos, aseguran que el reclutador realizará la verificación. "
Desafío DARPA Red Balloon
Incentivos para reclutar participantes ya fueron propuestos en su momento por Manuel Cebrián, de la UCSD, y co-autor del artículo, para ganar el Desafío DARPA Red Balloon, en el que varios equipos tuvieron que localizar 10 globos meteorológicos situados en lugares al azar en todo Estados Unidos. La persona que encontraba los globos recibía una compensación predeterminado, por ejemplo, 1.000 dólares, su reclutador recibía 500 y el reclutador del reclutador 250.
En el Desafío DARPA, un equipo del MIT pudo localizar los 10 globos meteorológicos en menos de nueve horas. En otro desafío posterior, el Tag Challenge, auspiciado por el Departamento de Estado de EE.UU., un equipo de la Universidad de Southampton, del Masdar Institute y de la UCSD logró localizar a tres personas en Nueva York, Washington DC y Bratislava en el plazo de 12 horas con una sola fotografía en cada caso.
Sin embargo, en tareas contrarreloj, no hay una jerarquía establecida entre los participantes, y muy poca base para juzgar la credibilidad de los voluntarios que son reclutados sobre la marcha. En este tipo de escenario, son necesarios incentivos especiales para llevar a cabo la verificación. La investigación presentada en el artículo de PLOS ONE proporciona estos incentivos.
El profesor Iyad Rahwan, del Masdar Institute en Abu Dhabi, y co-autor del estudio, explica: "Hemos demostrado cómo combinar los incentivos para reclutar participantes que verifiquen la información. Cuando un participante presenta un informe, su reclutador se convierte en responsable de verificar su exactitud. Las compensaciones al reclutador y al informador por presentar un informe correcto, así como las sanciones para los informes incorrectos, aseguran que el reclutador realizará la verificación. "
Desafío DARPA Red Balloon
Incentivos para reclutar participantes ya fueron propuestos en su momento por Manuel Cebrián, de la UCSD, y co-autor del artículo, para ganar el Desafío DARPA Red Balloon, en el que varios equipos tuvieron que localizar 10 globos meteorológicos situados en lugares al azar en todo Estados Unidos. La persona que encontraba los globos recibía una compensación predeterminado, por ejemplo, 1.000 dólares, su reclutador recibía 500 y el reclutador del reclutador 250.
En el Desafío DARPA, un equipo del MIT pudo localizar los 10 globos meteorológicos en menos de nueve horas. En otro desafío posterior, el Tag Challenge, auspiciado por el Departamento de Estado de EE.UU., un equipo de la Universidad de Southampton, del Masdar Institute y de la UCSD logró localizar a tres personas en Nueva York, Washington DC y Bratislava en el plazo de 12 horas con una sola fotografía en cada caso.
Referencia bibliográfica:
Naroditskiy V, Rahwan I, Cebrian M, Jennings NR (2012) Verification in Referral-Based Crowdsourcing. PLoS ONE 7(10): e45924. doi:10.1371/journal.pone.0045924
Naroditskiy V, Rahwan I, Cebrian M, Jennings NR (2012) Verification in Referral-Based Crowdsourcing. PLoS ONE 7(10): e45924. doi:10.1371/journal.pone.0045924