Generative Pre-trained Transformer 3, conocida por sus siglas, GPT-3 es un modelo de lenguaje autorregresivo fue lanzado en el año 2020.
Es la tercera generación de los modelos de predicción de lenguaje perteneciente a la sucesión GPT, creados por OpenAI.
OpenAI es un laboratorio de investigación de inteligencia artificial radicado en la ciudad de San Francisco, cuyos fundadores son Sam Altman, Reid Hoffman, Greg Brockman y Elon Musk.
El modelo de lenguaje GPT-3 de OpenAI necesitó, para ser lo que es, una preparación previa. Este entrenamiento que consistió en entrenarlo con la información disponible en la red.
OpenAI alimentó a GPT-3 con todos los libros públicos que se hayan escrito y estén disponibles, millones de páginas web y documentos científicos disponibles. Esencialmente ha absorbido todo el conocimiento más relevante que publicamos en Internet. La versión completa de GPT-3 tiene una capacidad de 175.000 millones de parámetros de aprendizaje automatizado, lo cual supera la dimensión de su antecesor, GPT-2.
Antes de la salida de GPT-3, el modelo de lenguaje más importante era Turing NLG creado por Microsoft, presentado en febrero de 2020, con una capacidad mucho menor que GPT-3.
El procesamiento de lenguaje natural es el campo de conocimiento de la Inteligencia Artificial que se ocupa de la investigar la manera de comunicar a las máquinas con las personas mediante el uso de lenguas naturales.
Este sistema es parte de un grupo de sistemas que buscan una comunicación más natural entre sistema y usuario.
El Sistema funciona de la siguiente manera, el usuario ingresa un input (conjunto de datos) y el sistema lo completa automáticamente de la forma más relacionada posible.
Por ejemplo se pude ingresar un párrafo y GPT-3 lo completa o en el caso de un pedido de programación se ingresa la solicitud, “crear una página de internet con lugar para tres fotos, un logo, tres botones…….” El sistema entiende la solicitud y te devuelve el pedido en código HTML para hacer lo que solicitaste.
Si en solo dos años podemos tener un sistema entrenado con estos resultados, ¿Qué veremos dentro otros dos años?.
