Laboratorio de investigación · PasaElFiltro SpA · Concón, Chile
PasaElFiltro Lab es la unidad de investigación de PasaElFiltro SpA. Estudiamos el comportamiento de instancias de modelos de lenguaje grande (LLM) con métodos psicométricos y protocolos preregistrados.
Nuestra tesis fundacional: las instancias de LLM no son intercambiables en tareas que requieren juicio. Cuando un modelo evalúa, clasifica o interpreta material ambiguo, instancias distintas del mismo modelo — bajo condiciones idénticas — toman decisiones sistemáticamente diferentes. Esa variabilidad no es ruido: es criterio, y se puede medir con el mismo rigor que las ciencias del comportamiento aplican a evaluadores humanos.
Este laboratorio nace dentro de una empresa cuyo pipeline de producción son instancias de LLM. La operación comercial de PasaElFiltro genera los datos, las preguntas y la infraestructura que la investigación necesita. El laboratorio no es un departamento adjunto: es la operación mirándose a sí misma con método.
Variabilidad inter-instancia en tareas de juicio.
Investigamos hasta qué punto instancias independientes de un mismo LLM producen evaluaciones equivalentes cuando se les presenta material que admite más de una lectura válida. El diseño general de nuestros estudios sigue un patrón:
El interés no es solo metodológico. Si las instancias divergen de manera sistemática en tareas de juicio, eso tiene implicaciones para cómo se diseñan, despliegan y auditan los pipelines de evaluación automatizada — incluyendo el nuestro.
Estudio preregistrado sobre intercambiabilidad de instancias
En preparación para envíoLos enlaces a OSF se publicarán una vez confirmado el estado de embargo de cada componente. No se reportan hallazgos ni cifras de resultados hasta la publicación formal del estudio.
investigacion/variabilidad-inter-instancia/ETICA_DE_LA_LINEA.md.
Consultas sobre la investigación