PL 22/23

# Using IAs in the Classroom

Los modelos de IA generativa funcionan mediante el uso de redes neuronales para identificar patrones a partir de grandes conjuntos de datos para luego generar contenidos. Los Large Language Models (LLM) son un tipo de modelo de IA generativa que procesa y genera texto en lenguaje natural.

# Disponibilidad de grandes cantidades de textos

Su aparición ha sido posible en parte por la disponibilidad de grandes cantidades de textos, como libros, sitios web, publicaciones y códigos en plataformas de desarrollo colaborativo y redes sociales. Estos textos se pueden utilizar para entrenar los modelos de manera que sean capaces de predecir y generar respuestas de lenguaje natural en una variedad de contextos. Entre las múltiples aplicaciones prácticas que tienen los generadores de texto, como ChatGPT se encuentra la de generar código.

# Redes adversarias generativas

Otro avance que ha hecho posible los LLM es la aparición de las redes adversarias generativas (GAN) que pueden ser utilizadas para la generación de texto, mediante el entrenamiento de dos redes neuronales, una que genera textos "falsos" (Generador) y otra que discrimina entre textos "reales" (generados por humanos) y falsos (Discriminador). Las dos redes se entrenan en competencia con el objetivo de mejorar la capacidad del generador para generar textos realistas.

# Modelos basados en transformadores

Otro componente de los LLM es que son modelos basados en transformadores descritos por primera vez en un artículo de Google de 2017 (opens new window): la red neuronal aprende el contexto y el significado mediante el seguimiento de las relaciones entre las palabras en la oración. Al encontrar patrones entre elementos matemáticamente, se elimina la necesidad de etiquetar los datos, haciendo posible procesar en paralelo los petabytes de datos de texto que existen en la web.

Los modelos de transformador aplican un conjunto evolutivo de técnicas matemáticas, llamadas atención o autoatención, para detectar patrones incluso entre elementos de datos distantes en una serie, que se influyen y dependen unos de otros.

Los transformadores usan codificadores posicionales para etiquetar elementos de datos que entran y salen de la red.

/images/Transformer-model-example-aidan-gomez-1280x763.png

Las unidades de atención siguen estas etiquetas, calculando una especie de mapa algebraico de cómo cada elemento se relaciona con los demás.

Las consultas de atención generalmente se ejecutan en paralelo mediante el cálculo de una matriz de ecuaciones en lo que se denomina atención de múltiples cabezas.

Este clip muestra en 7 minutos como funciona ChatGPT: https://youtube.com/clip/UgkxRvLkh8LOZ10OHfrOReOXsc2Lx8ZNCJJ_ (opens new window)

# Uso en el Aula

GitHub Copilot es una aplicación LLM que se integra en la IDE del desarrollador (VSCode por ejemplo) y que a partir de los comentarios en lenguaje natural (inglés, español, ucraniano, etc.) y del código existente en la carpeta de trabajo (workspace) usa IA generativa para proporcionar sugerencias de código en una gran variedad de lenguajes de programación, incluidos Python, JavaScript, TypeScript, Ruby, Go, Rust, PHP y C#.

Desde que GitHub introdujo GitHub Copilot en Junio de 2021 y en los cursos 21/22 y 22/23 hemos estado usando no sólo GH Copilot sino también Chat-GPT-3 y Chat-GPT-4 en nuestra docencia, en la elaboración y preparación de clases, ejercicios y prácticas e investigando como los alumnos pueden beneficiarse de los mismos.

En esta asignatura les animamos a que usen estas herramientas en sus proyectos y prácticas y que nos cuenten sus experiencias.

# References

# Use on Education and Programming

# The Future

# Learning LLMs

Last Updated: 23 days ago