Comprende los modelos de lenguaje grande

Es útil entender cómo funcionan los LLM y ser conscientes de sus limitaciones. Un modelo de lenguaje grande, o LLM, es un modelo de IA entrenado con grandes cantidades de texto para identificar patrones entre palabras, conceptos y frases, de modo que pueda generar respuestas a las instrucciones.

¿Cómo los LLM aprenden a generar respuestas útiles a las instrucciones? Un LLM se entrena con millones de fuentes de texto, incluidos libros, artículos, sitios web y mucho más. Este entrenamiento ayuda al modelo a aprender los patrones y las relaciones que existen en el lenguaje humano. En general, cuantos más datos de alta calidad reciba el modelo, mejor será su rendimiento. Dado que los LLM pueden identificar muchos patrones en el lenguaje, también pueden predecir qué palabra es más probable que venga a continuación en una secuencia de palabras. 

Veamos un ejemplo sencillo para obtener una comprensión básica de cómo los LLM predicen la siguiente palabra de una secuencia. Toma la frase incompleta, “Después de llover, la calle estaba...”. Un LLM puede predecir qué palabra viene a continuación calculando las probabilidades para diferentes palabras posibles. Según los datos disponibles, la palabra mojado podría tener una alta probabilidad de ser la siguiente palabra. La palabra limpia sería una probabilidad menor. Y la palabra seca, una probabilidad extremadamente baja. En este caso, el LLM podría completar la frase insertando la palabra con mayor probabilidad de venir a continuación en la secuencia, mojado. O podría ser otra palabra altamente probable como humedad. 

Un LLM puede variar en su respuesta a la misma instrucción cada vez que lo utilizas. Los LLM utilizan la estadística para analizar las relaciones entre todas las palabras de una secuencia dada y calcular las probabilidades de miles de posibles palabras siguientes en esa secuencia. Este poder predictivo permite a los LLM responder a las preguntas y peticiones, tanto si la instrucción es completar una frase sencilla o desarrollar una historia convincente para el lanzamiento de un nuevo producto o una campaña publicitaria. 

Aunque los LLM son potentes, puede que no siempre obtengas el resultado deseado. A veces se debe a limitaciones en los datos de entrenamiento de un LLM. Por ejemplo, el resultado de un LLM puede estar sesgado porque los datos de entrenamiento contienen sesgos. Estos datos pueden incluir artículos de prensa y sitios web que reflejen los prejuicios injustos presentes en la sociedad. Por ejemplo, debido a los datos con los que se ha entrenado, un LLM puede ser más probable que produzca resultados asociados una ocupación profesional con un papel específico de género. Los datos de entrenamiento de un LLM también pueden limitarse de otras formas. Por ejemplo, un LLM podría no generar contenido suficiente sobre un ámbito o tema específico porque los datos con los que se entrenó no contienen suficiente información sobre ese tema. Otro factor que puede afectar al resultado es la tendencia de los LLM a alucinar. Las alucinaciones son resultados que arroja la IA y que no son ciertos. Aunque los LLM son buenos respondiendo a muchos tipos de preguntas e instrucciones, pueden a veces generar texto que es objetivamente inexacto. Digamos que estás investigando una empresa y utilizas un LLM para ayudarte a resumir la historia de la empresa. El LLM podría alucinar y proporcionar información incorrecta sobre determinados detalles como la fecha de fundación de la empresa o el número actual de empleados. Varios factores pueden contribuir a las alucinaciones, como la calidad de los datos de entrenamiento de un LLM, la formulación de la instrucción o el método que utiliza un LLM para analizar textos y predecir la siguiente palabra de una secuencia. 

Debido a las limitaciones de un LLM, es importante que evalúes de forma crítica todos los resultados del LLM para determinar si es objetivamente preciso, es imparcial, pertinente para tu solicitud concreta y proporciona información suficiente. Tanto si utilizas la IA para resumir un informe extenso, generar ideas para comercializar un producto o esbozar un plan de proyecto, asegúrate de comprobar cuidadosamente la calidad del resultado. 

Por último, es importante no hacer suposiciones sobre las capacidades de un LLM. Por ejemplo, solo porque producía resultados de alta calidad para una carta persuasiva a un cliente, no des por sentado que obtendrás la misma calidad del resultado si utilizas la misma instrucción de nuevo en el futuro. Los modelos de lenguaje grandes son herramientas poderosas que requieren orientación humana para un uso eficaz. Ser consciente de las limitaciones de una LLM puede ayudarte a conseguir los mejores resultados posibles.

Fuente:
Coursera – Fundamentos de IA de Google.