Una organización sin fines de lucro dedicada a la seguridad infantil advierte a Google Gemini sobre un riesgo elevado para los usuarios jóvenes.

Google Gemini ha sido catalogado como de "alto riesgo" para adolescentes y niños, según una reciente evaluación de riesgos realizada por Common Sense Media. Esta organización sin fines de lucro, centrada en la seguridad infantil, ofrece calificaciones y reseñas de medios y tecnología. El organismo publicó su análisis el viernes, detallando por qué calificó la plataforma como peligrosa para niños.

Según la organización, Google Gemini les dijo claramente a los niños que era una computadora y no un amigo, algo que se ha vinculado con el pensamiento delirante y la psicosis en individuos emocionalmente vulnerables; la IA también agregó que había espacio para mejoras en otros frentes.

En su informe, Common Sense afirmó que los Gemini para menores de 13 años y Experiencia para adolescentes parecían ser versiones para adultos de la IA subyacente. Añadió que la compañía solo había añadido algunas funciones de seguridad adicionales para diferenciarlos.

Common Sense señaló que para que las empresas creen productos de IA ideales para los niños, es necesario diseñarlos desde cero teniendo en cuenta a los niños y no modificarlos con restricciones.

Organización sin fines de lucro etiqueta a Google Gemini como de alto riesgo para niños

En su análisis, Common Sense afirmó haber descubierto que Gemini aún podía compartir materiales inapropiados e inseguros con menores, señalando que la mayoría de ellos podrían no estar preparados para estos materiales. Por ejemplo, destacó que el modelo moldeaba información relacionada con sexo, drogas, alcohol y otros consejos peligrosos sobre salud mental. Esto último podría ser especialmente preocupante para los padres, ya que, según informes, la IA ha influido en la autolesión entre adolescentes en los últimos meses.

OpenAI enfrenta actualmente una demanda por homicidio culposo después de que un adolescente se suicidara tras supuestamente consultar con ChatGPT durante meses sobre sus planes. Según informes, el joven logró burlar las medidas de seguridad de la modelo, lo que permitió que esta le proporcionara información que le ayudó.

Anteriormente, Character.AI, creador de acompañantes de IA, también fue demandado tras el suicidio de un adolescente. La madre del niño afirmó que este se obsesionó con el chatbot y pasó meses hablándole antes de autolesionarse.

El análisis surge después de que varias filtraciones indicaran que Apple estaría considerando a Gemini como el modelo de lenguaje grande (LLM) que se usará para impulsar su próximo Siri habilitado con IA, que se espera que se lance el próximo año.

En su informe, Common Sense también mencionó que los productos de Gemini para niños y adolescentes ignoraban la necesidad de ofrecer orientación e información diferentes a las que ofrece a los adultos. Por ello, ambos se clasificaron como de alto riesgo en la clasificación general.

El sentido común insiste en la necesidad de proteger a los niños

“Gemini acierta en algunos aspectos básicos, pero tiene dificultades en los detalles”, afirmó Robbie Torney, director sénior de programas de inteligencia artificial de Common Sense Media.

Una plataforma de IA para niños debe adaptarse a sus necesidades, no adoptar un enfoque único para niños en diferentes etapas de desarrollo. Para que la IA sea segura y eficaz para los niños, debe diseñarse teniendo en cuenta sus necesidades y su desarrollo, no ser simplemente una versión modificada de un producto diseñado para adultos, añadió Torney.

Sin embargo, Google ha rechazado la evaluación, señalando que sus funciones de seguridad están mejorando. La compañía mencionó que cuenta con medidas de seguridad específicas para guiar a los usuarios menores de 18 años a fin de evitar contenido dañino. La firma también afirmó que revisa los artículos y consulta con expertos externos para mejorar sus protecciones.

Obtén hasta $30,050 en recompensas comerciales cuando te unas a Bybit hoy