Como parte de la serie Mujeres en IA de TechCrunch, que busca darles a las académicas y otras mujeres que se dedican a la IA el tiempo que se merecen (y que se merecen desde hace tiempo) en el centro de atención, TechCrunch entrevistó a Lakshmi Raman, directora de IA en la CIA. Hablamos sobre su camino hasta llegar a ser directora, así como sobre el uso de la IA en la CIA y el equilibrio que se debe lograr entre adoptar nuevas tecnologías y desplegarlas de manera responsable.
Raman ha trabajado en inteligencia durante mucho tiempo. Se unió a la CIA en 2002 como desarrolladora de software después de obtener su licenciatura en la Universidad de Illinois en Urbana-Champaign y su maestría en informática en la Universidad de Chicago. Varios años después, pasó a ocupar puestos de gestión en la agencia y, finalmente, pasó a dirigir los esfuerzos generales de ciencia de datos empresariales de la CIA.
Raman dice que tuvo la suerte de contar con modelos femeninos a seguir y predecesoras como recurso en la CIA, dadas las filas históricamente dominadas por hombres en el campo de la inteligencia.
“Todavía tengo gente a la que puedo recurrir, a la que puedo pedir consejo y a la que puedo recurrir para saber cómo es el siguiente nivel de liderazgo”, afirmó. “Creo que hay cosas que toda mujer debe afrontar a medida que avanza en su carrera”.
En su función de directora, Raman organiza, integra y dirige las actividades de inteligencia artificial en toda la CIA. “Creemos que la inteligencia artificial está aquí para apoyar nuestra misión”, afirmó. “Son los humanos y las máquinas juntos los que están a la vanguardia de nuestro uso de la inteligencia artificial”.
La IA no es algo nuevo para la CIA. La agencia ha estado explorando aplicaciones de la ciencia de datos y la IA desde aproximadamente el año 2000, dice Raman, particularmente en las áreas de procesamiento del lenguaje natural (es decir, análisis de texto), visión artificial (análisis de imágenes) y análisis de video. La CIA intenta mantenerse al tanto de las tendencias más nuevas, como la IA generativa, agregó, con una hoja de ruta que se basa tanto en la industria como en el mundo académico.
“Cuando pensamos en las enormes cantidades de datos que tenemos que consumir dentro de la agencia, la clasificación de contenidos es un área en la que la IA generativa puede marcar la diferencia”, dijo Raman. “Estamos considerando aspectos como la ayuda para la búsqueda y el descubrimiento, la ayuda para la ideación y la ayuda para generar contraargumentos que nos ayuden a contrarrestar el sesgo analítico que podamos tener”.
Hay una sensación de urgencia dentro de la comunidad de inteligencia de EE. UU. para desplegar… cualquier herramientas que podrían ayudar a la CIA a combatir las crecientes tensiones geopolíticas en todo el mundo, desde amenazas terroristas motivadas por la guerra en Gaza hasta campañas de desinformación montadas por actores extranjeros (por ejemplo, China, Rusia). El año pasado, el Proyecto de Estudios Competitivos Especiales, un grupo asesor de alto nivel centrado en la IA en la seguridad nacional, Estableció un plazo de dos años para los servicios de inteligencia nacional ir más allá de la experimentación y los proyectos piloto limitados para adoptar la IA generativa a escala.
Osiris, una herramienta generativa impulsada por inteligencia artificial que desarrolló la CIA, es un poco como ChatGPT de OpenAI, pero personalizada para casos de uso de inteligencia. Resume datos (por ahora, solo datos no clasificados y disponibles públicamente o comercialmente) y permite a los analistas investigar más a fondo haciendo preguntas de seguimiento en un lenguaje sencillo.
Miles de analistas utilizan Osiris no sólo dentro de la CIA, sino también en las 18 agencias de inteligencia de Estados Unidos. Raman no reveló si fue desarrollado internamente o si se utilizó tecnología de empresas de terceros, pero sí dijo que la CIA tiene alianzas con proveedores de marcas reconocidas.
“Aprovechamos los servicios comerciales”, dijo Raman, y agregó que la CIA también está empleando herramientas de inteligencia artificial para tareas como la traducción y la alerta a los analistas fuera del horario laboral sobre desarrollos potencialmente importantes. “Necesitamos poder trabajar en estrecha colaboración con la industria privada para poder ayudarnos no solo a brindar los servicios y soluciones más amplios de los que ha oído hablar, sino también servicios más especializados de proveedores no tradicionales en los que quizás no haya pensado todavía”.
Una tecnología llena de peligros
Hay muchos motivos para ser escépticos y preocuparse por el uso de inteligencia artificial por parte de la CIA.
En febrero de 2022, los senadores Ron Wyden (demócrata de Oregón) y Martin Heinrich (demócrata de Nuevo México) revelaron en una carta pública que la CIA, a pesar de que generalmente se le prohíbe investigar a los estadounidenses y a las empresas estadounidenses, Tiene un repositorio de datos secreto y no revelado. Esto incluye información recopilada sobre ciudadanos estadounidenses. Y el año pasado, un informe de la Oficina del Director de Inteligencia Nacional mostró que las agencias de inteligencia estadounidenses, incluida la CIA, Compre datos sobre estadounidenses a través de corredores de datos como LexisNexis y Sayari Analytics con poca supervisión.
Si la CIA utilizara alguna vez inteligencia artificial para analizar estos datos, muchos estadounidenses se opondrían, sin duda. Sería una clara violación de las libertades civiles y, debido a las limitaciones de la inteligencia artificial, podría tener consecuencias muy injustas.
Varios estudios han demostrado que los algoritmos predictivos de delitos de empresas como Geolitica son fácilmente sesgado por las tasas de arresto y tienden a señalar desproporcionadamente a las comunidades negras. Otros estudios sugieren que el reconocimiento facial da como resultado una mayor tasa de identificación errónea de personas de color que de personas blancas.
Además de los sesgos, incluso la mejor IA actual alucina o inventa hechos y cifras en respuesta a las consultas. Tomemos como ejemplo el software de resumen de reuniones de Microsoft, que Ocasionalmente atribuye citas a personas inexistentes.Se puede imaginar cómo esto podría convertirse en un problema en el trabajo de inteligencia, donde la precisión y la verificabilidad son primordiales.
Raman insistió en que la CIA no solo cumple con todas las leyes estadounidenses, sino que también “sigue todas las pautas éticas” y utiliza la IA “de una manera que mitiga los sesgos”.
“Yo lo llamaría un enfoque reflexivo [to AI]“, dijo. “Yo diría que el enfoque que estamos adoptando es uno en el que queremos que nuestros usuarios comprendan todo lo que puedan sobre el sistema de IA que están utilizando. Desarrollar una IA responsable significa que necesitamos que participen todas las partes interesadas; eso significa desarrolladores de IA, eso significa nuestra oficina de privacidad y libertades civiles. [and so on].”
En relación con el punto de Raman, independientemente de para qué esté diseñado un sistema de IA, es importante que los diseñadores del sistema dejen en claro las áreas en las que podría fallar. En un estudio reciente, los investigadores de la Universidad Estatal de Carolina del Norte descubrieron que las herramientas de IA, incluidos los algoritmos de reconocimiento facial y detección de disparos, Estaban siendo utilizados por policías que no estaban familiarizados con las tecnologías. o sus deficiencias.
En un ejemplo particularmente flagrante de abuso de inteligencia artificial por parte de las fuerzas del orden, tal vez debido a la ignorancia, el Según se informa, la policía de Nueva York alguna vez utilizó fotos de celebridadesimágenes distorsionadas y bocetos para generar coincidencias de reconocimiento facial de sospechosos en casos donde las imágenes de vigilancia no arrojaron resultados.
“Todo resultado generado por IA debe ser claramente comprendido por los usuarios, y eso significa, obviamente, etiquetar el contenido generado por IA y brindar explicaciones claras sobre cómo funcionan los sistemas de IA”, dijo Raman. “Todo lo que hacemos en la agencia lo hacemos cumpliendo con nuestros requisitos legales y nos aseguramos de que nuestros usuarios, nuestros socios y nuestras partes interesadas conozcan todas las leyes, regulaciones y pautas relevantes que rigen el uso de nuestros sistemas de IA, y estamos cumpliendo con todas estas reglas”.
Este reportero ciertamente espera que eso sea cierto.