Manual de campo

IA local, explicada sin rodeos.

Cada término que usa el radar, respondido primero en una frase y después en un minuto de lenguaje sencillo: sin bombo y sin dar por hecho conocimientos previos. Cada entrada termina donde el concepto hace trabajo real en este sitio (las herramientas están en inglés).

21 términos, y creciendo

También en:English Português

01Caché KVLa caché KV es la memoria de trabajo que el modelo llena mientras lee tu conversación: crece con cada token y, en contextos largos, puede rivalizar en tamaño con el propio modelo.02CuantizaciónLa cuantización guarda los pesos de un modelo con menos precisión (por ejemplo 4 bits en lugar de 16), reduciendo la memoria a cerca de una cuarta parte con un pequeño costo en calidad.03DestilaciónLa destilación entrena a un modelo pequeño para imitar las respuestas de uno más grande: por eso existen muchos de los mejores modelos pequeños, y por eso heredan los hábitos del grande, buenos y malos.04Embedding (vector de significado)Un embedding es una lista de números que captura el significado de un texto, de modo que textos sobre lo mismo quedan cerca entre sí: la maquinaria detrás de la búsqueda semántica y de RAG.05Fine-tuning (ajuste fino)El fine-tuning continúa el entrenamiento de un modelo con tus propios ejemplos para que adopte un estilo, un formato o una especialidad: cambia los pesos, mientras que un prompt solo les da instrucciones.06GGUFGGUF es el formato de archivo único que cargan los runtimes de IA local: los pesos del modelo, normalmente cuantizados, junto con todo lo necesario para ejecutarlo.07InferenciaLa inferencia es un modelo respondiendo: usar sus pesos ya entrenados para producir una salida. El entrenamiento es cómo se aprendieron esos pesos; la inferencia es cada uso posterior.08Memoria unificadaLa memoria unificada es un solo bloque de RAM compartido por el procesador y los núcleos gráficos: por eso las Mac con Apple Silicon ejecutan modelos que en otra máquina exigirían una tarjeta gráfica enorme.09Mezcla de expertos (MoE)Un modelo de mezcla de expertos mantiene muchas subredes especialistas pero activa solo unas pocas por token: conocimiento de modelo grande a velocidad de modelo pequeño, con la memoria de modelo grande todavía necesaria.10Muestreo (top-p, top-k)El muestreo es cómo un modelo elige cada token siguiente de su lista de candidatos: la temperatura reajusta las probabilidades, top-p y top-k recortan la lista, y juntos fijan cuán predecible o arriesgada es la salida.11OffloadingEl offloading reparte un modelo entre la memoria gráfica y la RAM normal cuando no cabe por completo: el modelo funciona, solo que notablemente más lento.12Parámetros (7B, 70B)Los parámetros son los pesos aprendidos de un modelo, contados en miles de millones: la B de 7B. Más parámetros significan más memoria, y solo a veces mejores respuestas.13Puntuación de tendenciaLa puntuación de tendencia es la medida propia de Hugging Face de con qué modelos está interactuando la comunidad en este momento: una señal de impulso, no una nota de calidad.14RAG (generación aumentada por recuperación)RAG permite que un modelo responda a partir de tus propios documentos: primero recupera los pasajes relevantes y los coloca en el prompt. Conocimiento sin reentrenar nada.15Runtime localUn runtime local es la aplicación que realmente ejecuta modelos en tu máquina: carga un archivo GGUF, aprovecha tu GPU y te da una ventana de chat o una API.16SafetensorsSafetensors es el formato en que los modelos se publican originalmente: pesos en precisión completa repartidos en muchos archivos, pensados para GPUs de centro de datos y entrenamiento, no para laptops.17System prompt (instrucción de sistema)El system prompt es la instrucción permanente que un modelo lee antes de tu conversación: quién debe ser, qué puede hacer y cómo responder. La fija la aplicación o tú, no el modelo.18TemperaturaLa temperatura es el control que fija cuán arriesgadas son las elecciones de palabras de un modelo: valores bajos lo hacen predecible y repetitivo, valores altos creativo y más propenso a errores.19TokenUn token es la unidad que los modelos de IA realmente leen y escriben: un fragmento de palabra de unos pocos caracteres; en 1.000 tokens caben aproximadamente 750 palabras en inglés.20Ventana de contextoLa ventana de contexto es cuánto texto puede considerar un modelo a la vez, medido en tokens; y mantener ese texto en memoria cuesta VRAM a través de la caché KV.21VRAM vs. RAM del sistemaLa VRAM es la memoria de tu tarjeta gráfica; la RAM del sistema, la de la placa base. Para la IA local la diferencia es la velocidad, no el tamaño: un modelo debe caber casi entero en la VRAM para ir rápido.

Qué modelos caben en tu tarjeta

Una guía en español por cada tarjeta gráfica y cada Mac: cuántos modelos abiertos caben y cuál elegir.