Google elimina los pronombres de género de Smart Compose de Gmail para evitar el sesgo de la IA

Smart Compose de Gmail es una de las funciones de inteligencia artificial más interesantes de Google en años, predice lo que los usuarios escribirán en los correos electrónicos y ofrece terminar sus oraciones por ellos. Pero como muchos productos de IA, es tan inteligente como los datos en los que se entrena y es propenso a cometer errores. Es por eso que Google ha impedido que Smart Compose sugiera pronombres basados ​​en el género como «él» y «ella» en los correos electrónicos; a Google le preocupa que adivine el género equivocado.

Reuters informes que esta restricción se introdujo después de que un investigador de la empresa descubriera el problema en enero de este año. El investigador escribió «Me reuniré con un inversionista la próxima semana» en un mensaje cuando Gmail sugirió una pregunta de seguimiento, «¿Quieres conocerlo?», lo que desagradó al inversionista.

Eso es lo que dijo Paul Lambert, gerente de producto de Gmail. Reuters que su equipo trató de solucionar este problema de varias maneras, pero nada fue lo suficientemente confiable. Al final, dice Lambert, la solución más simple fue simplemente eliminar todos estos tipos de respuestas, un cambio que, según Google, afecta a menos del uno por ciento de las predicciones de Smart Compose. Lambert me dijo Reuters que vale la pena tener cuidado en casos como este, donde el género es una «gran, gran cosa» para equivocarse.

Este pequeño error es un buen ejemplo de cómo el software creado con aprendizaje automático puede reflejar y reforzar los prejuicios sociales. Al igual que muchos otros sistemas de inteligencia artificial, Smart Compose aprende mediante el estudio de datos anteriores, revisando correos electrónicos antiguos para encontrar qué palabras y frases debería sugerir. (Su función hermana, Smart Reply, hace lo mismo para sugerir respuestas razonablemente grandes a los correos electrónicos).

En el ejemplo de Lambert, parece que Smart Compose había aprendido de datos anteriores que era más probable que los inversores fueran hombres que mujeres, por lo que predijo erróneamente que este también era el caso.

Es un error relativamente pequeño, pero indica un problema mucho mayor. Si nos basamos en predicciones realizadas por algoritmos entrenados con datos anteriores, es probable que repitamos errores anteriores. Adivinar el género equivocado en un correo electrónico no tiene consecuencias importantes, pero ¿qué pasa con los sistemas de inteligencia artificial que toman decisiones en dominios como la atención médica, el empleo y los tribunales? Solo el mes pasado, se informó que Amazon tuvo que desechar una herramienta de reclutamiento interna entrenada con aprendizaje automático porque estaba sesgada contra las candidatas. El sesgo de la IA puede costarle su trabajo, o algo peor.

Para Google, este problema es potencialmente enorme. La empresa integra evaluaciones algorítmicas en más de sus productos y vende herramientas de aprendizaje automático en todo el mundo. Si una de sus características de IA más visibles es cometer errores tan triviales, ¿por qué los consumidores deberían confiar en los otros servicios de la empresa?

La compañía obviamente ha visto venir estos problemas. en un página de ayuda para Smart Compose, advierte a los usuarios que los modelos de IA que utiliza «también pueden reflejar prejuicios cognitivos humanos. Ser consciente de esto es un buen comienzo, y la conversación sobre cómo lidiar con eso está en curso». En este caso, sin embargo, la compañía no ha arreglado mucho, solo eliminó la posibilidad de que el sistema cometiera un error.

Deja una respuesta

Tu dirección de correo electrónico no será publicada.