Un modelo útil resuelve una tarea con calidad suficiente y un coste de operación asumible. La velocidad de generación es una medida; también importan el resultado, el formato, las herramientas y la revisión.
Conserva una muestra y una configuración
Selecciona entradas representativas y casos difíciles. Define qué hace utilizable una respuesta y qué errores son inaceptables. Guarda modelo, versión, contexto, instrucciones y parámetros para poder repetir la comparación.
Cambiar varios elementos a la vez impide saber qué explica una mejora. Nuestro banco de modelos y herramientas separa perfiles y rutas para estudiar configuraciones sobre una tarea.
Mide hasta la salida que se puede usar
Registra tiempo total, calidad y trabajo de corrección. Si tu aplicación necesita datos estructurados, comprueba que los campos son válidos y que la salida puede procesarse. Si utiliza herramientas, revisa elección, argumentos y resultado.
Una respuesta convincente puede incumplir el formato o inventar un dato. La evaluación debe detectar esos fallos con criterios observables, además de recoger la preferencia del revisor.
Comprueba el servicio que está respondiendo
Un modelo incluido en un catálogo no está necesariamente cargado. Identifica qué proceso atiende la solicitud y qué recursos utiliza. Registra también concurrencia y tamaño del contexto cuando compares tiempos.
La FAQ oficial de Ollama documenta cómo consultar modelos cargados y el reparto de memoria entre CPU y GPU. Es información útil para describir la prueba, no una garantía de calidad del modelo.
Decide con límites y mantenimiento
Repite los casos relevantes y estudia las diferencias antes de cambiar una ruta estable. Incluye consumo, actualizaciones, licencias y destinos de los datos. El mejor resultado para una tarea puede no justificar el coste para otra.
En IA privada e integración usamos esos criterios para comparar ejecución propia, nube o una combinación. La decisión debe explicar qué mejora y qué coste o responsabilidad añade al equipo.