Imagen: https://www.freepik.com
Cuando OpenAI firma acuerdos con editoriales, obtiene permiso para usar los textos de los artículos científicos en el entrenamiento de modelos de lenguaje como ChatGPT. Pero ¿qué significa realmente “entrenar” con esos textos?
Estos son los pasos que se siguen:
Recopilación y almacenamiento en una gran base de datos
Eliminación de datos irrelevantes (anuncios, pies de página o información duplicada).
Conversión de los textos a un formato uniforme.
Anonimización de los datos personales, si los hay.
Tokenización
Los textos no se leen como frases completas, sino que se dividen en fragmentos más pequeños llamados tokens (palabras, partes de palabras o caracteres).
Ejemplo: La inteligencia artificial → [“La”, “inteligencia”, “artificial”]
Entrenamiento con aprendizaje profundo
Se usa un tipo de red neuronal llamada Transformers, que analiza los textos en busca de patrones.
El modelo aprende a predecir la siguiente palabra en un texto basándose en el contexto.
Con el tiempo se ajustan los pesos internos de la red neuronal para ir mejorando las predicciones.
Ajuste fino (fine-tuning)
Tras el entrenamiento general, se puede hacer un ajuste específico con artículos científicos para mejorar la precisión científica y técnica especializada.
Generación de conocimiento (pero sin memorizar)
ChatGPT no memoriza artículos exactos, sino patrones y estructuras del lenguaje, y cuando responde une los fragmentos.
Ejemplos
1) Si en el entrenamiento hay muchos artículos que dicen:
“Las nanopartículas de oro tienen propiedades ópticas útiles en biomedicina”,
el modelo aprende que “nanopartículas de oro” suele relacionarse con “propiedades ópticas” y “biomedicina”.
Si alguien pregunta
“¿Para qué sirven las nanopartículas de oro en medicina?”,
el sistema no recuerda un artículo específico, sino que genera una respuesta basada en esos patrones.
2) Si durante el entrenamiento muchos artículos dicen:
“Las redes sociales han cambiado la dinámica de la comunicación política al permitir una interacción directa entre líderes y ciudadanos”,
el sistema aprende patrones como:
“Redes sociales” suelen relacionarse con “comunicación política”.
“Interacción directa” es una consecuencia común en este contexto.
Entonces, si alguien pregunta:
“¿Cómo han impactado las redes sociales en la comunicación política?”,
Sin recordar ningún artículo concreto ChatGPT puede generar una respuesta como:
“Las redes sociales han transformado la comunicación política al permitir que los líderes se conecten directamente con los ciudadanos, eliminando intermediarios tradicionales como los medios de comunicación. Esto ha facilitado la movilización política, pero también ha generado desafíos como la desinformación y la polarización”.
Pero cómo “piensa” ChatGPT
Su inteligencia está basada en un tipo de red neuronal profunda llamada Transformer, que revolucionó el procesamiento del lenguaje. Fue creada por investigadores de Google Brain y se publicó en el artículo “Attention is all you need”, publicado en 2017 por Vaswani et al. Permite analizar el contexto de una frase completa en lugar de palabra por palabra.
En la máquina hay millones de neuronas artificiales organizadas en capas. Cada vez que se plantea una pregunta, estas neuronas trabajan juntas para encontrar la mejor respuesta basándose en patrones aprendidos.
Atención y predicción de palabras
La forma de “pensar” no es como la humana, pues obviamente el modelo no tiene conciencia ni ideas propias, sino que predice la próxima palabra basándose en el contexto.
No elije respuestas al azar, sino que calcula la probabilidad de cada posible continuación y selecciona la más adecuada.
Múltiples capas de comprensión
El proceso de razonamiento sigue varias etapas:
Comprensión del contexto
Las preguntas se descomponen en unidades más pequeñas (tokens), y se analizan relaciones entre palabras usando un mecanismo llamado atención, que determina qué partes del texto son más relevantes.
Acceso a patrones aprendidos
El modelo compara la pregunta con los millones de textos que almacenó durante el entrenamiento, busca estructuras similares para entender qué tipo de respuesta se espera.
Generación de respuesta
Forma una respuesta eligiendo palabra por palabra, asegurando coherencia y fluidez.
Como dijimos, no copia las respuestas de una memoria, sino que genera nuevo texto basándose en lo aprendido.
Ajuste y refinamiento
Si el usuario pide aclaraciones o detalles adicionales, ajusta la respuesta en función del nuevo contexto. Siempre elige la opción más lógica según el contexto.
¿Piensa como un humano?
No exactamente. No tiene emociones, intuición ni experiencias propias. Su “razonamiento” es puramente estadístico y basado en patrones. Pero, debido a la cantidad de datos que tiene procesados, las respuestas pueden parecer bastante naturales y bien razonadas.
Resumen de varias fuentes realizado por Tomàs Baiget
https://www.directorioexit.info/ficha46
