Meta acaba de desvelar los fundamentos de su sistema data2vec, un sistema que pretende revolucionar la IA con un enfoque generalista y más autónomo que nunca.
Como todos los humanos, tienes una capacidad de abstracción impresionante. Si ofrecemos la misma información a varios de nosotros en diferentes formas (texto, imagen y video, por ejemplo), todos serán más o menos capaces de lograr el mismo resultado. Una observación que parece obvia, pero que en realidad es una pequeña proeza bioalgorítmica.
Porque esta flexibilidad es uno de los aspectos determinantes de la inteligencia humana. Por el contrario, la rigidez de las máquinas es una barrera importante que aún impide el uso de esta tecnología en sectores donde podría hacer maravillas. Pero probablemente no estemos lejos de ese punto gracias a la investigación de Meta AI.
De hecho, la firma anunció la génesis de data2vec. Este es un programa presentado como el “primer algoritmo autosupervisado de alto rendimiento que funciona con múltiples modalidades.” En la práctica, data2vec trabaja simultáneamente en las partes de voz, visual y textual para tratar de producir un conjunto de datos más preciso, completo y coherente.
¿Qué es la autosupervisión?
Hoy en día, la mayoría de las aplicaciones de IA todavía se basan en los llamados sistemas «supervisados». Funcionan gracias a enormes bases de datos, cada elemento de los cuales debe ser cuidadosamente anotado; en esencia el objetivo es explicarle a la máquina qué se espera de ella para permitirle extrapolar sobre nuevos datos, esta vez no etiquetados.
Por ejemplo, para entrenar una IA capaz de reconocer animales, será necesario recuperar miles de imágenes y empezar explicando a la IA que la imagen A representa un perro, mientras que la imagen B representa una vaca… y así sucesivamente. Lo habrás entendido, es un proceso que se extremadamente lento en el mejor de los casos. Y en el peor de los casos, puede ser simplemente imposible recopilar suficientes datos para entrenar una IA para la tarea deseada.
Expertos autodidactas, pero demasiado especializados
Aquí es donde entran las IA autosupervisadas. Es una subdivisión de la investigación de inteligencia artificial en la que las máquinas aprenden por sí mismas, directamente de su entorno y sin datos etiquetados. Es un concepto que ya ha dado lugar a avances bastante espectaculares; Google AI, por ejemplo, ha desarrollado un sistema de autosupervisión capaz de clasificar imágenes médicas con una precisión fenomenal.
Pero el concepto también tiene sus límites, uno de los cuales tiene implicaciones muy concretas. De hecho, si los humanos parecen capaces de aprender de manera similar independientemente del formato de la información, este no es el caso de las máquinas. A diferencia de nosotros, los algoritmos de aprendizaje autosupervisado pueden llegar a conclusiones muy diferentes si se les da la misma información en diferentes formas (Meta lo llama «modalidades»), como texto, sonido o video.
Esto significa que los algoritmos de autosupervisión deben ser capacitados para una tarea muy específica, y a menudo se limitan a una sola modalidad; con los métodos tradicionales, por ejemplo, es imposible entrenar una IA que genere texto de la misma manera que un programa de texto a voz. Por lo tanto, la investigación aún estaba esperando una sistema holístico, capaz de trabajar tanto de forma autosupervisada, como en varias modalidades al mismo tiempo – al igual que lo hace la inteligencia humana. Y eso es lo que los investigadores de Meta han logrado producir con data2vec.
Un milhojas algorítmico generalista
Aquí, su algoritmo funciona en paralelo en varias unidades de diferentes modalidades al mismo tiempo. Para ello, data2vec toma altura y él mismo entrena varios “sub-algoritmos”. De este modo, puede ofrecer un resultado lo más coherente y relevante posible a partir de una amplia gama de información muy diferente.
Para ilustrar el concepto, imagina un grupo de trabajo ficticio compuesto por diferentes expertos – los subsistemas responsables de cada modalidad. Problema: si estos expertos son extremadamente competentes en su campo, no entienden absolutamente nada del trabajo de sus compañeros y por tanto no tienen una visión globalmi. Por lo tanto, existe la necesidad de un centro imparcial, capaz de sintetizar el trabajo de diferentes expertos en un solo resultado. Y es precisamente este rol de hub el que asume data2vec.
Específicamente, el sistema comienza generando una representación abstracta (en la práctica, una capa de una red neuronal) de una imagen, texto o clip de audio. Esta representación, que “físicamente” corresponde a una capa de la red neuronal, puede ser interpretada por todos los demás subsistemas; en esencia, es más o menos la sesión informativa del líder del grupo a los distintos expertos.
Esto permite que cada subsistema trabajar individualmente en esta representación en utilizando todos los datos, y no solo los que suelen caer dentro de su especialidad. Todas estas contribuciones son entonces sintetizados para lograr un resultado único y consistente.
Un cambio de paradigma revolucionario
Meta explica que este enfoque generalista y holístico podría superar a los algoritmos de un solo propósito en ciertas áreas críticas, como la visión por computadora y el trabajo de voz. “Data2vec demuestra que estos algoritmos autosupervisados son capaces de trabajar con diferentes modalidades, e incluso hacerlo mejor que los mejores algoritmos actuales”, explica el comunicado de prensa.
Con un sistema de este tipo, los investigadores podrán liberarse del tedioso y laborioso trabajo de etiquetado; por lo tanto, tendrán más tiempo para trabajar en la teoría y fortalecer sus algoritmos; la promesa de un verdadero progreso científico. Por lo tanto, se trata de un desarrollo importante; el concepto de data2vec podría tener repercusiones no sólo espectaculares sino también muy concretas en multitud de campos. Asunto a seguir !
El texto del estudio está disponible aquí.
