PoloSur
La preocupación por los riesgos asociados a la inteligencia artificial se ha intensificado en diversos sectores de la sociedad. A pesar de los esfuerzos de los desarrolladores por implementar medidas de seguridad, aún no se cuenta con un método científico que permita prever cuándo estos sistemas podrían empezar a generar respuestas erráticas o perjudiciales. Esta falta de previsibilidad dificulta la capacidad de la humanidad para mitigar posibles efectos adversos.
La relevancia de este tema se acentúa con el uso creciente de algoritmos en áreas críticas, incluyendo la medicina, el derecho y las operaciones militares. Además, la posibilidad de que algunos modelos funcionen de manera autónoma desde dispositivos móviles y sin conexión a internet complica la supervisión y el análisis de sus respuestas en tiempo real.
Ante este panorama, los investigadores de la Universidad George Washington han propuesto una fórmula matemática que podría ayudar a prever cuándo un modelo de IA podría comenzar a ofrecer respuestas inadecuadas. La propuesta se centra en el concepto de punto de inflexión, que se refiere al momento en que un sistema deja de proporcionar respuestas aceptables y comienza a generar contenido perjudicial. Esta metodología se basa en el mecanismo de atención, que permite a la IA identificar las partes más relevantes de una conversación para formular su respuesta.
En su investigación, publicada en la revista Patterns, los científicos clasificaron los elementos que intervienen en el funcionamiento de un modelo de IA en cuatro categorías: entrada neutral, respuesta deseable, otro tipo de contenido y respuesta indeseable. A partir de esta clasificación, desarrollaron un método para calcular cuántas respuestas apropiadas podrían generarse antes de que aparezca la primera respuesta problemática.
Aunque los investigadores reconocen que su fórmula tiene limitaciones y no puede determinar con precisión cuándo fallará un chatbot, consideran que es un primer paso hacia una mejor comprensión de los riesgos asociados a la inteligencia artificial. Se requieren más pruebas para validar su eficacia en diferentes sistemas y contextos.
Fuente original: WIRED en Español.
