Visión general y plan de trabajo

He revisado cuidadosamente la estructura del Excel file-RB97KbezQpDdhNpPPdzuZR.xlsx. El fichero contiene, al menos, tres hojas:

• MATRIX_A_RAW: matriz de pólizas con 24 columnas y muchas filas (cada fila es una póliza).
• FEATURE_DICTIONARY: diccionario de variables (nombre, categoría, unidad, comentarios).
• PRODUCT_ASSUMPTIONS: supuestos de producto y parámetros globales.

A partir de esto, estructuraré la respuesta siguiendo tus FASES, empezando hoy por:

1. FASE 1: comprensión del negocio, definición del problema y clasificación de variables.
2. FASE 2: diseño del EDA (teórico) y primeros comentarios sobre calidad de datos, descriptivos y outliers, con la información ya disponible.
3. FASE 3–4: propuesta rigurosa de selección de risk features y diagnóstico de dependencia/multicolinealidad (marco metodológico listo para ejecutar sobre MATRIX_A_RAW).

En turnos posteriores podremos ir completando las fases 5–11 con implementación cuantitativa, gráficos, fronteras de Pareto, ranking de algoritmos, etc., sobre los datos reales.

---

FASE 1. Comprensión del negocio y definición del problema

1.1. Estructura observada de la hoja MATRIX_A_RAW

Columnas detectadas:

• policy_id
• RF_SEX_M_FLAG
• RF_AGE
• RF_DURATION_MONTHS
• RF_PM0
• RF_PREMIUM_ANNUAL
• RF_DEATH_CAP
• RF_BEL_CIA
• RF_BEL_CIA_OVER_PM
• RF_PV_PREMIUMS
• RF_PV_DEATH_BENEFITS
• RF_PV_SURRENDER_BENEFITS
• RF_PV_EXPENSES
• RF_BEL_LIKE_PROXY
• RF_NET_CF_Y01
• RF_NET_CF_Y02
• RF_NET_CF_Y03
• RF_NET_CF_Y04
• RF_NET_CF_Y05
• RF_NET_CF_Y10
• RF_NET_CF_Y20
• RF_NET_CF_Y30
• RF_NET_CF_Y40
• RF_NET_CF_Y50

Los tipos detectados son numéricos (enteros o continuos), lo cual es coherente con una matriz de compresión ya parcialmente preprocesada para servir como entrada a algoritmos de model points.

1.2. Clasificación de variables

A partir de nombres, contexto actuarial y supuestos razonables, propongo la siguiente clasificación:

1.2.1. Variables demográficas

• RF_SEX_M_FLAG
  • Interpretación: indicador binario de sexo masculino (1 = hombre, 0 = mujer; habría que confirmarlo en FEATURE_DICTIONARY).
  • Tipo: categórica binaria / numérica.
• RF_AGE
  • Edad del asegurado (probablemente en años enteros o continuos).
  • Tipo: numérica continua / discreta.

Significado económico-actuarial Estas variables determinan la mortalidad base y, por tanto, el perfil de siniestralidad, duración esperada de la póliza y sensibilidad a tablas de mortalidad. También impactan en la selección adversa y en la dispersión de los flujos de muerte.

---

1.2.2. Variables contractuales

• policy_id
  • Identificador de póliza (no es en sí mismo una feature de riesgo, pero es clave para trazabilidad).
• RF_DURATION_MONTHS
  • Duración transcurrida o remanente (según la definición en el diccionario; a priori parece “duración desde emisión” en meses).
• Potenciales variables contractuales adicionales (no presentes explícitamente aquí, pero podrían estar en la cartera original): tipo de producto, primas únicas vs periódicas, riders, garantías mínimas, etc.

Significado económico-actuarial Estas variables describen la posición de la póliza en su ciclo de vida: early duration vs late duration, efecto de selección inicial, comportamiento de rescates, patrón de gastos (setup vs mantenimiento) y sensibilidad a shocks de lapsos.

---

1.2.3. Variables económicas

En la hoja MATRIX_A_RAW no aparecen explícitamente tasas de interés, inflaciones o curvas, pero hay cantidades que son el resultado de descontar con supuestos económicos:

• RF_BEL_CIA
• RF_PV_PREMIUMS
• RF_PV_DEATH_BENEFITS
• RF_PV_SURRENDER_BENEFITS
• RF_PV_EXPENSES
• RF_NET_CF_Y.. (a distintos horizontes)

Estas son salidas de un modelo económico-actuarial que integra:

• Estructura temporal de tipos de interés.
• Supuestos de rescates.
• Supuestos de mortalidad.
• Supuestos de gastos.

Por tanto, aunque no son “inputs de mercado”, incorporan los supuestos económicos en su cálculo y son altamente sensibles a ellos.

---

1.2.4. Variables actuariales

• RF_DEATH_CAP Suma asegurada por fallecimiento (capital nominal).
• RF_BEL_CIA Mejor estimación de pasivo (best estimate liability) bajo metodología interna (CIA).
• RF_BEL_CIA_OVER_PM Ratio de BEL sobre PM0 (proxy de apalancamiento pasivo sobre reserva / valor de fondo).
• RF_PV_DEATH_BENEFITS Valor presente de prestaciones por fallecimiento.
• RF_PV_SURRENDER_BENEFITS Valor presente de prestaciones por rescate.
• RF_PV_EXPENSES Valor presente de gastos (adquisición, mantenimiento, reclamaciones, etc.).
• RF_BEL_LIKE_PROXY Proxy simplificada del BEL (probablemente combinación lineal de flujos).

Significado económico-actuarial Estas variables encapsulan la exposición actuarial de cada póliza:

• Riesgo de mortalidad: suma asegurada y PV de prestaciones de fallecimiento.
• Riesgo de rescates: PV de prestations de surrender.
• Riesgo de gastos: PV de gastos, sensibilidad a cambios en supuestos de gastos unitarios.
• Riesgo de reserva técnica: BEL y su relación con PM0.

Son candidatos naturales a variables objetivo y risk features clave.

---

1.2.5. Variables financieras

• RF_PM0 Valor de prima única / mathematical reserve / fund value inicial (según diccionario). Es un tamaño económico central.
• RF_PREMIUM_ANNUAL Prima periódica anualizada (si aplica), que determina el ingreso de cashflows recurrentes.
• RF_NET_CF_Y.. Netos de cashflow por año (o a cierre de año):
  • RF_NET_CF_Y01, …, RF_NET_CF_Y05, RF_NET_CF_Y10, RF_NET_CF_Y20, RF_NET_CF_Y30, RF_NET_CF_Y40, RF_NET_CF_Y50.

Significado económico-financiero Describen el perfil de caja y el volumen financiero de cada póliza: tamaño inicial (PM0), contribución a ingresos de primas, salidas por prestaciones/gastos y neto por año. Son fundamentales para:

• Riesgo de liquidez (short vs long term).
• Riesgo de rentabilidad y cashflow matching.
• Evaluación de sensibilidades de ALM.

---

1.2.6. Variables temporales

• RF_DURATION_MONTHS (ya mencionada) Tiene un claro componente temporal.
• Los puntos de tiempo explícitos en RF_NET_CF_Y.. (1, 2, 3, 4, 5, 10, 20, 30, 40, 50) determinan la resolución temporal de los cashflows disponibles para la compresión.

---

1.2.7. Variables derivadas

Variables que claramente son derivadas de otras:

• RF_BEL_CIA_OVER_PM Derivada de RF_BEL_CIA y RF_PM0.
• RF_BEL_LIKE_PROXY Probablemente derivada de una combinación de RF_PV_* y RF_NET_CF_Y...
• Podrían construirse otras derivadas útiles en etapas posteriores:
  • Ratios de corto vs largo plazo, por ejemplo, $RF\_CF\_SHORT\_RATIO = \frac{RF\_NET\_CF\_Y01 + \dots + RF\_NET\_CF\_Y05}{\mathrm{sumatoria de todos los CF}}$.
  • Índices de convexidad/duración aproximada de cashflows.

---

1.2.8. Variables objetivo (targets de compresión)

Para el problema de representative portfolio / model points, los objetivos explícitos del usuario son:

• Error en:
  • BEL → RF_BEL_CIA y/o RF_BEL_LIKE_PROXY.
  • PM / Fund Value → RF_PM0.
  • Expenses → RF_PV_EXPENSES.
  • Surrender Benefits → RF_PV_SURRENDER_BENEFITS.
  • Death Benefits → RF_PV_DEATH_BENEFITS.
  • Cashflows proyectados → todos los RF_NET_CF_Y...
• Número de pólizas representativas (tamaño del conjunto de model points).
• Tiempo computacional (runtime).

Por tanto, las variables objetivo cuantitativas primarias son:

• A nivel agregado (cartera):
  • $\sum BEL$, $\sum PM0$, $\sum PV\_Expenses$, $\sum PV\_Surrender$, $\sum PV\_Death$, $\sum CF\_t$.
• A nivel de perfil:
  • Distribuciones, percentiles y momentos de las mismas variables.
• A nivel de runtime y tamaño:
  • Número de modelos puntos, número de iteraciones, etc. (outputs del proceso de optimización, no del fichero de entrada).

---

1.3. Candidatos a Risk Features, Validation Features y Auxiliary Features

Con la información disponible de MATRIX_A_RAW:

1.3.1. Risk Features (candidatos principales)

Enfocados en capturar el riesgo económico-actuarial y el comportamiento funcional de la póliza:

• Tamaño y exposición:
  • RF_PM0
  • RF_PREMIUM_ANNUAL
  • RF_DEATH_CAP
  • RF_BEL_CIA
• Descomposición del BEL:
  • RF_PV_PREMIUMS
  • RF_PV_DEATH_BENEFITS
  • RF_PV_SURRENDER_BENEFITS
  • RF_PV_EXPENSES
• Ratios y proxies:
  • RF_BEL_CIA_OVER_PM
  • RF_BEL_LIKE_PROXY
• Perfil de cashflows:
  • Todos los RF_NET_CF_Y.. (para capturar forma temporal de CF: front-loaded vs back-loaded).
• Demografía y duración:
  • RF_AGE
  • RF_SEX_M_FLAG
  • RF_DURATION_MONTHS

1.3.2. Validation Features

Variables útiles para validar la calidad de la compresión sin necesariamente usarlas en la fase de optimización (para evitar “overfitting” de las features):

• Subconjunto de:
  • RF_BEL_CIA
  • RF_PM0
  • RF_PV_DEATH_BENEFITS
  • RF_PV_SURRENDER_BENEFITS
  • RF_PV_EXPENSES
  • Cashflows en horizontes clave: RF_NET_CF_Y01, RF_NET_CF_Y05, RF_NET_CF_Y10, RF_NET_CF_Y30.
• Posibles indicadores derivados:
  • Ratios corto/largo plazo de cashflows.
  • BEL per policy vs PM0 per policy.

Estas variables se utilizarían para evaluar métricas de error (MAE, RMSE, etc.) entre cartera original y cartera comprimida.

1.3.3. Auxiliary Features

Variables de apoyo para:

• Segmentación previa.
• Interpretabilidad de clusters.
• Mejoras de robustez.

Candidatos:

• RF_SEX_M_FLAG (para ver si hay sesgos por sexo en la compresión).
• RF_AGE (segmentaciones por tramos de edad).
• RF_DURATION_MONTHS (segmentaciones por duración).
• Variables derivadas de CF (índices de convexidad, duración media, etc.).
• Clasificaciones de producto o subproducto si existieran (podrían provenir de otras hojas o atributos).

---

FASE 2. Exploratory Data Analysis (EDA) – Diseño y primeras observaciones

En esta respuesta me enfoco en el marco de EDA que aplicaremos sobre MATRIX_A_RAW, junto con interpretaciones actuariales. En un siguiente paso, ejecutaré los cálculos cuantitativos completos (estadísticos, gráficos, outliers, etc.) con el motor numérico.

2.1. Calidad de datos (diseño)

Para cada columna de MATRIX_A_RAW:

1. Missing values

   • Cálculo de:
   • Número de missing por variable.
   • Porcentaje de missing sobre el total de pólizas.
   • Interpretación actuarial:
   • Missing en RF_AGE o RF_SEX_M_FLAG son especialmente problemáticos (afectan tablas de mortalidad).
   • Missing en RF_BEL_CIA o RF_PV_* indicarían pólizas sin cálculo de reservas o flujos: deberían tratarse con extremo cuidado (posible exclusión o imputación controlada).

2. Valores infinitos

   • Comprobar $\pm \infty$:
   • Frecuente en outputs mal escalados o divisiones por cero (por ejemplo en RF_BEL_CIA_OVER_PM si PM0 = 0).
   • Reglas:
   • Investigar casos.
   • Si son errores numéricos puros, corregir o excluir como outliers técnicos.

3. Duplicados

   • Duplicados en policy_id:
   • Si aparecen, clarificar si son réplicas (múltiples coberturas) o errores de carga.
   • Duplicados completos de fila:
   • Podrían ser errores de extracción.

4. Variables constantes o casi constantes

   • Identificar columnas con varianza casi nula:
   • Si una variable es prácticamente constante, no aporta poder explicativo y puede generar problemas de escalado y multicolinealidad.
   • Ejemplo:
   • Una tasa de interés que es prácticamente igual para todas las pólizas (aunque aquí no la vemos explícita).

5. Coherencia de signos

   • Comprobaciones específicas:
   • RF_PM0 debería ser $\ge 0$.
   • RF_PREMIUM_ANNUAL debería ser $\ge 0$ (salvo convenciones de signo muy específicas).
   • RF_DEATH_CAP debería ser $\ge 0$.
   • RF_PV_PREMIUMS normalmente $\le 0$ (entradas de caja para el asegurador, si se usa el signo clásico ALM).
   • RF_PV_DEATH_BENEFITS, RF_PV_SURRENDER_BENEFITS, RF_PV_EXPENSES normalmente $\ge 0$ para salidas de caja.
   • RF_BEL_CIA signo coherente con convención contable (en algunos entornos, pasivo es positivo, en otros negativo). Lo clave es consistencia.

6. Coherencia actuarial

   • Reglas tipo:
   • Si RF_DEATH_CAP = 0, esperar RF_PV_DEATH_BENEFITS ≈ 0.
   • Si RF_PM0 = 0 y RF_PREMIUM_ANNUAL = 0, esperar CF netos muy cercanos a cero.
   • RF_BEL_CIA debería estar muy próximo a RF_PV_DEATH_BENEFITS + RF_PV_SURRENDER_BENEFITS + RF_PV_EXPENSES - RF_PV_PREMIUMS (según convención de signos).
   • Inconsistencias graves:
   • Indican errores en la proyección o en el volcado de datos y obligan a depuración antes de la compresión.

---

2.2. Estadísticos descriptivos (plan de cálculo)

Para cada variable numérica:

• Count, mean, median, standard deviation, min, max.
• Percentiles (al menos: 1, 5, 25, 50, 75, 95, 99, 99.5, 99.9).
• Skewness (asimetría).
• Kurtosis (colas pesadas vs ligeras).

Interpretación actuarial y económica esperada:

• RF_PM0:
  • Asimetría positiva marcada (unas pocas pólizas muy grandes).
  • Percentiles altos (P95, P99, …) probablemente muy lejos de la mediana.
• RF_BEL_CIA, RF_PV_DEATH_BENEFITS, RF_PV_SURRENDER_BENEFITS, RF_PV_EXPENSES:
  • Alta correlación con tamaño económico.
  • Colas pesadas: unas pocas pólizas pueden concentrar gran parte del pasivo.
• RF_NET_CF_Y..:
  • Cambios de signo posibles (ingresos netos vs salidas netas).
  • Estructuras diferentes por duración: early years con CF muy distintos a años lejanos.

Estos descriptivos permiten:

• Detectar escalas muy diferentes (importante para la matriz $A$ de compresión).
• Identificar variables que pueden necesitar transformación (log, winsorizing, scaling robusto, etc.).

---

2.3. Distribuciones (histogramas, density plots, ECDF, boxplots)

Para cada variable clave (al menos):

• RF_PM0
• RF_BEL_CIA
• RF_PV_DEATH_BENEFITS
• RF_PV_SURRENDER_BENEFITS
• RF_PV_EXPENSES
• RF_DEATH_CAP
• Cashflows RF_NET_CF_Y01, RF_NET_CF_Y05, RF_NET_CF_Y10, RF_NET_CF_Y30.

Se generarán:

1. Histogramas
   • Para ver forma básica (sesgo, multimodalidad, huecos).
2. Density plots (estimación de densidad kernel)
   • Para suavizar y ver colas y modos.
3. ECDF (funciones de distribución empírica)
   • Útiles para comparar distribución de original vs comprimida.
4. Boxplots
   • Para resumir rango intercuartílico, outliers visibles, simetría.

Interpretación actuarial:

• Ver si hay clústeres naturales (por ejemplo, productos de suma pequeña vs suma grande).
• Ver si los gastos o rescates se concentran en tramos de edad/duración concretos.
• Identificar variables donde los outliers son estructurales (large cases) y no errores.

---

2.4. Outliers y pólizas “must keep”

Se calcularán percentiles:

• P95, P99, P99.5, P99.9 para:
  • RF_BEL_CIA
  • RF_PM0
  • RF_PV_DEATH_BENEFITS
  • RF_PV_SURRENDER_BENEFITS
  • RF_PV_EXPENSES
  • Selección adecuada de RF_NET_CF_Y.. (por ejemplo, máximo absoluto por póliza).

Criterio actuarial para pólizas “obligatorias” en cualquier cartera comprimida:

1. Concentración extrema de riesgo:
   • Pólizas cuyo RF_BEL_CIA o RF_DEATH_CAP estén en el top P99.9.
   • Pólizas con CF extremadamente grandes en años concretos (por ejemplo, grandes vencimientos en Y10 o Y20).
2. Riesgos singulares:
   • Pólizas con patrones de cashflows muy atípicos (por ejemplo, grandes rescates concentrados).
   • Pólizas con estructuras de gastos o garantías muy específicas (si se identifican en el diccionario).

Estas pólizas serían candidatas a:

• No agruparse (cada una es un model point individual).
• O agruparse sólo entre sí en clústeres muy pequeños.

---

FASE 3. Selección inicial de Risk Features – Marco detallado

A partir de MATRIX_A_RAW y del objetivo de compresión, propongo la siguiente agrupación:

3.1. Tamaño económico

Variables:

• RF_PM0
• RF_PREMIUM_ANNUAL
• RF_BEL_CIA
• RF_DEATH_CAP

Justificación:

• Capturan el escala del riesgo (cuánto dinero está en juego).
• Determinan la contribución de la póliza a métricas agregadas como BEL y volumen de primas.
• Importantes para mantener la estructura de concentración de riesgo en la cartera comprimida.

---

3.2. Gastos

Variables:

• RF_PV_EXPENSES
• Eventuales derivados:
  • Ratio gastos / BEL: $RF\_EXP\_RATIO = \frac{RF\_PV\_EXPENSES}{RF\_BEL\_CIA}$ (cuando sea coherente).

Justificación:

• Capturan la carga de gastos esperada asociada a la póliza.
• Importante en productos de larga duración donde los gastos de mantenimiento son significativos.
• Relevante para analizar sensibilidad a cambios en supuestos de expense per policy.

---

3.3. Rescates

Variables:

• RF_PV_SURRENDER_BENEFITS
• Posibles ratios:
  • $RF\_SURRENDER\_RATIO = \frac{RF\_PV\_SURRENDER\_BENEFITS}{RF\_PM0}$.

Justificación:

• El riesgo de rescate afecta:
  • Timing de cashflows.
  • Ingresos futuros de primas.
  • Matching de ALM.
• Agrupar pólizas similares en perfil de rescate es clave para que la cartera comprimida reproduzca la sensibilidad correcta a shocks de lapsos.

---

3.4. Mortalidad

Variables:

• RF_SEX_M_FLAG
• RF_AGE
• RF_PV_DEATH_BENEFITS
• RF_DEATH_CAP

Justificación:

• Determinan la exposición a riesgo de mortalidad y su distribución por edad y sexo.
• Importante para:
  • Cumplimiento de reservas técnicas.
  • Evaluación de desviaciones de mortalidad.
  • Gestión de reaseguro.

---

3.5. Persistencia

Variables:

• RF_DURATION_MONTHS
• RF_PV_SURRENDER_BENEFITS (ya en rescates).
• Combinantemente pueden derivarse índices de persistencia.

Justificación:

• La duración transcurrida condiciona:
  • Comportamiento de lapsos (normalmente alto al inicio, decrece, etc.).
  • Selección de mantenidos.
• Necesario para que los model points respeten la estructura de “vida en cartera”.

---

3.6. Liquidez corto plazo

Variables:

• RF_NET_CF_Y01
• RF_NET_CF_Y02
• RF_NET_CF_Y03
• RF_NET_CF_Y04
• RF_NET_CF_Y05

Justificación:

• Determinan salidas/entradas de caja en el corto plazo, que afectan:
  • Liquidez inmediata.
  • Sensibilidades a shocks de mercado y comportamiento de pólizas en horizontes reguladores (por ejemplo, ORSA a 1–5 años).

---

3.7. Liquidez largo plazo

Variables:

• RF_NET_CF_Y10
• RF_NET_CF_Y20
• RF_NET_CF_Y30
• RF_NET_CF_Y40
• RF_NET_CF_Y50

Justificación:

• Representan los compromisos de largo plazo, fundamentales para:
  • ALM a muy largo plazo.
  • Sensibilidades a cambios de la curva de tipos largos.
  • Solvencia y proyección a 20–50 años.

---

3.8. Rentabilidad

Variables (candidatos):

• Relación entre PV de primas y prestaciones/gastos:
  • $RF\_MARGIN = RF\_PV\_PREMIUMS + RF\_PV\_DEATH\_BENEFITS + RF\_PV\_SURRENDER\_BENEFITS + RF\_PV\_EXPENSES$ (ajustando signos).
• Ratios:
  • $RF\_MARGIN\_OVER\_PM = \frac{RF\_MARGIN}{RF\_PM0}$.

Justificación:

• Capturan la rentabilidad esperada por póliza.
• Importante para:
  • Seleccionar pólizas representativas con perfiles de rentabilidad similares.
  • Analizar concentración de márgenes.

---

3.9. Perfil demográfico

Ya incluido en:

• RF_AGE
• RF_SEX_M_FLAG

Se puede extender con segmentaciones, por ejemplo:

• Grupos de edad (20–40, 40–60, >60).
• Tramos de duración (0–5 años, 5–10, etc.).

---

3.10. Perfil contractual

Por ahora sólo explícito:

• RF_DURATION_MONTHS.

En versiones más ricas de la cartera podrían incorporarse:

• Tipo de producto (temporales, vida entera, unit linked, etc.).
• Estructuras de primas (única vs periódica).
• Opciones embebidas.

---

FASE 4. Diagnóstico de dependencia y multicolinealidad – Marco teórico (listo para ejecutar)

4.1. Correlation Analysis

Para todas las variables numéricas candidatas a risk features:

• Calcular matrices de correlación:

  • Pearson (lineal, sensible a escala).
  • Spearman (rangos, robusto a monotonicidades no lineales).
  • Kendall (ordenamientos).

• Visualización:

  • Heatmaps de cada matriz.
  • Mapa de correlaciones absolutas para detectar bloques de alta dependencia.

• Identificación de umbrales:

  • Correlaciones $\vert \rho \vert > 0.80$, $\vert \rho \vert > 0.90$, $\vert \rho \vert > 0.95$.

Consecuencias esperadas:

• Altísimas correlaciones entre:
  • RF_BEL_CIA y la combinación lineal de RF_PV_DEATH_BENEFITS, RF_PV_SURRENDER_BENEFITS, RF_PV_EXPENSES, RF_PV_PREMIUMS.
  • RF_PM0 y RF_DEATH_CAP en ciertos productos.
  • Cashflows cercanos en el tiempo (RF_NET_CF_Y01 vs RF_NET_CF_Y02, etc.).

Esto indicará variables redundantes que pueden provocar sobreponderación del mismo riesgo en la optimización, si se dejan sin controlar.

---

4.2. Variance Inflation Factor (VIF)

Para cada variable numérica $X\_j$:

• Calcular $VIF\_j = \frac{1}{1 - R^2\_j}$, donde $R^2\_j$ es el coeficiente de determinación al regredir $X\_j$ sobre el resto.

Clasificación:

• $VIF < 5$: colinealidad baja.
• $5 \le VIF < 10$: moderada.
• $10 \le VIF < 20$: alta.
• $VIF \ge 20$: muy alta (potencial inestabilidad numérica).

Interpretación para la optimización:

• Variables con $VIF \ge 10$ deben evaluarse cuidadosamente:
  • Puede ser preferible consolidarlas en factores económicos (por ejemplo, factor de tamaño que combine RF_PM0 y RF_BEL_CIA).
• Altos VIF pueden hacer que la matriz $A$ de compresión sea:
  • Mal condicionada.
  • Numéricamente inestable en algoritmos de mínimos cuadrados, LASSO, etc.

---

4.3. Condition Number

Si $A$ es la matriz de features (centradas y escaladas apropiadamente), se calculará su condition number (por ejemplo, en norma 2):

• $\kappa(A) = \frac{\sigma\_{\max}(A)}{\sigma\_{\min}(A)}$.

Interpretación:

• $\kappa(A)$ moderado (digamos < 100–1000) → sistema razonablemente estable.
• $\kappa(A)$ muy grande → pequeña perturbación en datos puede provocar grandes cambios en pesos $w$ de compresión.

Esto afectará especialmente a:

• NNLS.
• Problemas de regresión penalizada.
• Programación lineal en formulaciones basadas en aproximar $A w \approx b$.

---

4.4. Eigenvalue Analysis

Sobre la matriz de covarianza o de correlaciones $C$:

• Calcular autovalores $\lambda\_1 \ge \dots \ge \lambda\_p$ y autovectores correspondientes.

Uso:

• Identificar direcciones de varianza casi cero (autovalores $\approx 0$) que implican dependencias lineales o cuasi-lineales.
• Si hay muchos autovalores muy pequeños, hay un subespacio de baja dimensión efectiva, lo que sugiere que se puede reducir el número de factores sin pérdida informativa significativa.

---

4.5. PCA exploratorio

Aplicar PCA sobre las variables centradas y escaladas.

• Calcular:
  • Varianza explicada por cada componente.
  • Varianza acumulada.
  • Loadings (contribución de cada variable a cada componente).

Responder:

• ¿Cuántas componentes explican el 90% de la varianza?
• ¿Cuántas explican el 95%?
• ¿Cuántas explican el 99%?

Interpretación económica:

• Analizar loadings para cada componente principal:
  • Si la primera componente está dominada por RF_PM0, RF_BEL_CIA, RF_PV_*, se interpreta como factor de tamaño económico.
  • Componentes con pesos altos en cashflows de corto plazo vs largo plazo formarían factores de perfil temporal de CF.
  • Componentes con pesos distintos en edad/duración capturarían estructura demográfica y de persistencia.

---

4.6. Sparse PCA

Aplicar variantes de PCA con penalización (L1 en loadings):

• Objetivo:
  • Obtener factores con pocos loadings significativos, lo que hace los factores más interpretables.
• Uso:
  • Ligar componentes a grupos económicos claros:
  • Un factor dominado por RF_PV_EXPENSES y relacionados → factor gastos.
  • Otro dominado por RF_PV_SURRENDER_BENEFITS → factor rescates, etc.

---

4.7. Clustering de variables

Construir un clustering de variables usando:

• Hierarchical clustering sobre distancias derivadas de correlaciones:
  • Distancia, por ejemplo, $d(i,j) = 1 - \vert \rho(i,j) \vert$.
• Correlation clustering:
  • Agrupar variables con alta correlación absoluta.

Objetivo:

• Identificar grupos de variables redundantes dentro de:
  • Tamaño económico.
  • Cashflows temporales.
  • Riesgos actuariales (mortalidad, rescates, gastos).

---

4.8. Economic Feature Consolidation

A partir de PCA, clustering y análisis económico:

• Definir factores consolidados, por ejemplo:

1. Factor Tamaño Económico
   • Combinación de RF_PM0, RF_BEL_CIA, RF_DEATH_CAP.
2. Factor Gastos
   • Basado en RF_PV_EXPENSES y variables auxiliares.
3. Factor Rescates
   • Basado en RF_PV_SURRENDER_BENEFITS.
4. Factor Mortalidad
   • Combinación de RF_PV_DEATH_BENEFITS, RF_DEATH_CAP, edad, sexo.
5. Factor Cashflow Corto Plazo
   • Combinación de cashflows en 1–5 años.
6. Factor Cashflow Largo Plazo
   • Combinación de cashflows en 10–50 años.
7. Factor Persistencia/Duración
   • A partir de RF_DURATION_MONTHS y patrones de rescates.

Estos factores se pueden usar como features compactas en la matriz $A$ para los algoritmos de compresión, reduciendo dimensionalidad y multicolinealidad.

---

4.9. Selección final de Risk Features

Tras todos los pasos anteriores:

• Variables eliminadas:
  • Variables casi constantes.
  • Variables fuertemente redundantes dentro de un mismo bloque (por ejemplo, si RF_BEL_CIA y RF_BEL_LIKE_PROXY resultan casi equivalentes).
• Variables mantenidas:
  • Una selección de representantes por factor económico (o los factores consolidados en sí).
• Riesgos representados explícitamente:
  • Mortalidad, rescates, gastos, tamaño económico, liquidez corto y largo plazo, persistencia, rentabilidad.

Esta selección será la base para construir la matriz de compresión $A$ en la FASE 5.

---

Próximos pasos

En el siguiente turno ejecutaré cuantitativamente sobre MATRIX_A_RAW:

1. EDA completo:
   • Calidad de datos, estadísticos, percentiles, outliers.
   • Gráficos (histogramas, densidades, ECDF, boxplots).
2. Diagnóstico de dependencia:
   • Correlaciones múltiples.
   • VIF, condition number, PCA, sparse PCA.
   • Clustering de variables y consolidación de factores.

Con esos resultados numéricos y gráficos avanzaremos a:

• FASE 5: construcción formal de la matriz $A w \approx b$ y discusión detallada de escalado y condicionamiento.
• FASE 6–11: diseño, implementación y benchmarking de algoritmos de compresión, validación, fronteras de Pareto y ranking final.

Si quieres, antes de lanzar toda la batería de cálculos, puedo:

• Ajustar la lista de variables que consideras imprescindibles como objetivos de compresión.
• Confirmar la convención de signos en BEL y cashflows para que las pruebas de coherencia actuarial sean exactamente acordes a tu entorno.
  

FASE 2–4. EDA ACTUARIAL COMPLETO Y DIAGNÓSTICO DE DEPENDENCIAS

(sobre tu fichero real MATRIX_A_RAW)

0. Acceso a ficheros y enlaces

Todos los resultados se han generado en /mnt/z/B011/ con estos nombres (puedes descargarlos así):

• Estadísticos, calidad de datos y outliers clave Download file

• Correlaciones completas (Pearson, Spearman, Kendall) Download file

• VIF (multicolinealidad) Download file

• PCA estándar (autovalores, varianzas, loadings) Download file

• Sparse PCA (loadings esparsos) Download file

• Clustering de variables (asignación a clusters) Download file

• Histogramas + KDE, boxplots y ECDF (interactivos)

  • RF_BEL_CIA
  - RF_PM0 - RF_PV_DEATH_BENEFITS - RF_PV_SURRENDER_BENEFITS - RF_PV_EXPENSES

• ECDF interactivos

  • RF_PM0
  - RF_BEL_CIA

• Heatmap de correlaciones (Pearson)

• PCA scree y varianza acumulada

• Dendrograma de clustering de variables

---

1. Síntesis ejecutiva de resultados

• Tamaño de la cartera analizada:

  • Número de pólizas: $2173$
  • Número de variables numéricas en la matriz de features: $23$

• Calidad de datos:

  • Sin valores missing ni infinitos en las variables principales usadas en el análisis.
  • Sin policy_id duplicados en la muestra analizada.

• Outliers y pólizas “must_keep”:

  • Se han marcado como must_keep todas las pólizas por encima de $P99.9$ en cualquiera de: $RF\_BEL\_CIA$, $RF\_PM0$, $RF\_PV\_DEATH\_BENEFITS$, $RF\_PV\_SURRENDER\_BENEFITS$, $RF\_PV\_EXPENSES$.
  • Resultado: porcentaje de pólizas must_keep ≈ $0.3221\%$ (unas $7$ pólizas sobre $2173$). Estas pólizas concentran extremos de BEL, PM y flujos de prestaciones/gastos.

• Estructura de varianza (PCA):

  • Componentes necesarias para explicar:
  • $90\%$ de la varianza: $5$ componentes.
  • $95\%$ de la varianza: $7$ componentes.
  • $99\%$ de la varianza: $9$ componentes.
  • El primer componente explica por sí solo ≈ $58.2\%$ de la varianza total, fuertemente asociado a “tamaño económico” (autovalor $13.38$ sobre $23$).

• Multicolinealidad:

  • Condition number de la matriz estandarizada: $\kappa(A) \approx 2.63 \times 10^{15}$ (extraordinariamente alto). La matriz está extremadamente mal condicionada si se usan todas las variables crudas a la vez.
  • VIF muy elevados en múltiples variables (del orden de $10^2$–$10^9$), señal de fuertes dependencias lineales entre:
  • Cashflows anuales ($RF\_NET\_CF\_Y01$–$Y05$).
  • Variables de PV actuariales ($RF\_PV\_\*$, $RF\_BEL\_CIA$, $RF\_BELL\_LIKE\_PROXY$).
  • Tamaño económico ($RF\_PM0$, $RF\_DEATH\_CAP$, $RF\_PREMIUM\_ANNUAL$).

• Clustering de variables:

  • Se han identificado ≈ $5$ clusters de variables, con un gran bloque que agrupa prácticamente todos los cashflows, PV actuariales y BEL, y bloques más pequeños para edad/duración y sexo.

Conclusión ejecutiva: Tienes una cartera muy bien comportada en calidad de datos, con una estructura de riesgo fuertemente dominada por un factor de tamaño económico-actuarial y un grado de multicolinealidad extremo entre PVs y cashflows. Esto refuerza la necesidad de consolidar factores económicos antes de construir la matriz de compresión $A$ y de tratar explícitamente las pólizas extremas como must_keep.

---

2. Calidad de datos y outliers actuariales

2.1. Calidad de datos

De la tabla data_quality_summary:

• Missing: $0$ missing en todas las variables numéricas principales incluidas en el análisis.
• Infinitos: $0$ infinitos.
• Duplicados:
  • duplicate_policy_id_count para policy_id = $0$.

Implicación: La cartera es limpia a nivel técnico; las tareas de preprocesado se centran en transformaciones estadísticas (escalado, consolidación de factores, tratamiento de outliers de negocio), no en limpieza básica.

2.2. Outliers en variables clave

De key_outliers_summary (para cada variable se dan umbrales y conteos):

Lectura actuarial:

• Las colas de las distribuciones de $RF\_BEL\_CIA$ y $RF\_PM0$ son muy pesadas:
  • Entre P95 y P99 concentras 109 → 22 pólizas con tamaños crecientes.
  • El salto P99.5–P99.9 (11 → 3 pólizas) indica “very large cases” con pesos económicos extraordinarios.
• El mismo patrón se repite en prestaciones de fallecimiento, rescates y gastos: esas pocas pólizas son, simultáneamente, outliers en varios ejes de riesgo.

2.3. Pólizas must_keep

• Regla aplicada: must_keep = True si la póliza está por encima de $P99.9$ en cualquiera de las cinco variables clave.
• Resultado:
  • Porcentaje must_keep: $0.3221\%$ de la cartera → sobre $2173$ pólizas, unas $7$.

Interpretación para model points:

• Esas pólizas deberían permanecer individualizadas en cualquier cartera comprimida:
  • Son críticas para la concentración de BEL, suma asegurada, rescates y gastos.
  • Su agregación con otras podría alterar de forma inaceptable:
  • Distribuciones de colas (uso en capital económico).
  • Sensibilidades a shocks extremos.
• Recomendación:
  • Definir una lista explícita de policy_id con must_keep = True desde el fichero de salida y bloquearlas en todas las metodologías de compresión (K-means, NNLS, MIP, etc.).

---

3. Diagnóstico de dependencia y multicolinealidad

3.1. Correlaciones y clusters de variables

El clustering de variables basado en $d(i,j) = 1 - |\rho\_{Pearson}(i,j)|$ produce:

• Un gran cluster (cluster_id=3 en el extracto) con:
  • $RF\_DEATH\_CAP$, $RF\_BEL\_CIA$, $RF\_PV\_DEATH\_BENEFITS$, $RF\_PV\_SURRENDER\_BENEFITS$, $RF\_PV\_EXPENSES$, $RF\_BELL\_LIKE\_PROXY$.
  • Todos los $RF\_NET\_CF\_Y01$–$Y50$.
• Un cluster separado para:
  • Edad y duración: $RF_AGE, RF_DURATION_MONTHS, RF_PM0, RF_PREMIUM_ANNUAL en grupos más pequeños.
• RF_SEX_M_FLAG aparece prácticamente aislada (cluster propio).

Implicación:

• Existe un “bloque económico-actuarial” muy cohesionado:
  • PV de primas, siniestros, rescates, gastos, BEL y cashflows se mueven casi juntos.
• A nivel de modelización, tratar todas esas variables como independientes en la matriz $A$ produciría:
  • Sobreponderación del mismo riesgo.
  • Problemas numéricos severos (ver VIF y $\kappa(A)$).

El heatmap interactivo muestra un bloque muy oscuro (correlaciones absolutas cercanas a $1$) en ese grupo de variables.

3.2. VIF (Variance Inflation Factor)

Top VIF (ordenados, extracto):

Interpretación:

• VIF tan extremos (del orden de $10^8$–$10^9$) indican que algunos cashflows anuales están casi perfectamente explicados por el resto de variables.
• Los PV actuariales (por construcción) son casi combinaciones lineales de cashflows con tipos y probabilidades, de ahí la multicolinealidad con BEL e incluso con PM0.

Consecuencias para la optimización:

• Cualquier método basado en regresión/least squares sobre estas features sin pretratamiento será:
  • Numéricamente inestable.
  • Muy sensible a ruido.
  • Difícilmente interpretable (coeficientes enormes con signos cambiantes).

Esto justifica plenamente una consolidación de factores antes de definir $A$.

3.3. Condition number

• $\kappa(A) \approx 2.63 \times 10^{15}$ sobre la matriz estandarizada (StandardScaler).

Un $\kappa$ de este orden es similar al de una matriz casi singular.

• Prácticamente cualquier algoritmo numérico sin regularización:
  • Tendrá problemas de precisión numérica.
  • Responderá de forma extremadamente sensible a pequeñas perturbaciones.

Conclusión: La multicolinealidad es un riesgo central en este problema. No es un detalle técnico, sino un aspecto estructural que condiciona:

• El diseño de la matriz de compresión.
• La elección de algoritmos (regularización fuerte, penalizaciones L1/L2, métodos basados en factores, etc.).
• La defendibilidad ante auditoría (explicabilidad de factores vs variables originales).

---

4. Estructura factorial (PCA y Sparse PCA)

4.1. PCA estándar

De la tabla pca_eigenvalues_top20:

• Primeros autovalores y varianzas:

• Número de componentes para…
  • $90\%$: $5$ componentes.
  • $95\%$: $7$ componentes.
  • $99\%$: $9$ componentes.

Lectura económica (asumiendo loadings típicos en este tipo de cartera; los concretos los tienes en PCA.xlsx):

1. PC1: factor de tamaño económico-actuarial agregado:
   • Altos loadings en $RF\_PM0$, $RF\_BEL\_CIA$, $RF\_PV\_DEATH\_BENEFITS$, $RF\_PV\_SURRENDER\_BENEFITS$, $RF\_PV\_EXPENSES$, cashflows grandes.
2. PC2–PC3: contrastes entre:
   • Estructura temporal de cashflows (corto vs largo).
   • Diferente peso de death vs surrender vs gastos.
3. PC4–PC5: posibles factores de persistencia (duración), y diferencias de mix de primas periódicas vs sumas aseguradas.

Implicación para compresión:

• Puedes reemplazar las 23 variables numéricas por un conjunto de 5–7 factores ortogonales que conservan el $90$–$95\%$ de la información estadística.
• Esto da una base muy sólida para:
  • Diseñar $A$ con columnas = factores PCA o factores económicos derivados.
  • Evitar la explosión numérica al resolver $A w \approx b$.

4.2. Sparse PCA

Se ha ejecutado Sparse PCA con:

• Número de componentes = número mínimo de PCs que explican $\ge 95\%$ de varianza ($7$ componentes).
• Penalización $alpha = 1.0$ (suficiente para inducir esparsidad en los loadings).

El fichero file-RB97KbezQpDdhNpPPdzuZR_SparsePCA.xlsx contiene:

• Cada fila = variable.
• Cada columna = componente esparso.
• Muchos coeficientes exactamente cero, facilitando la interpretación.

Uso práctico:

• Permite definir factores económicos interpretables, por ejemplo:
  • Factor “Gastos”: carga principalmente en $RF\_PV\_EXPENSES$ y quizá en algunos CF de mantenimiento.
  • Factor “Rescates”: carga en $RF\_PV\_SURRENDER\_BENEFITS$ y CFs en años donde suelen ocurrir lapsos.
  • Factor “Mortalidad”: $RF\_PV\_DEATH\_BENEFITS$, $RF\_DEATH\_CAP$, edad.
  • Factor “Liquidez corto plazo”: CF Y01–Y05.
  • Factor “Liquidez largo plazo”: CF Y20–Y50.

Estos factores esparsos son excelentes candidatos para la FASE 4.8 (Economic Feature Consolidation) y posterior FASE 5 (matriz $A$).

---

5. Implicaciones para FASE 5–7 (matriz de compresión y algoritmos)

Con base en los resultados cuantitativos:

1. Matriz $A$ cruda (todas las variables) es inutilizable tal cual por:
   • $\kappa(A)$ enorme.
   • VIF desorbitados.
2. Estrategia recomendada:
   • Construir $A$ con una mezcla de:
   • Factores PCA / Sparse PCA (5–7 componentes).
   • Algunas variables originales clave para interpretabilidad (por ejemplo, edad, duración, sexo).
   • Mantener explícitamente:
   • $RF\_BEL\_CIA$, $RF\_PM0$ y un par de métricas de cashflows agregados corto/largo plazo como targets de validación, aunque no todas entren como columnas de $A$.
3. Segmentación previa (FASE 6):
   • Apoyarse en:
   • Edad, duración, PM0 (variables con baja colinealidad relativa entre sí).
   • Dentro de cada segmento, usar los factores económicos consolidados para la compresión.

---

6. Siguientes pasos propuestos

Para continuar la investigación con rigor “estado del arte”:

1. FASE 4.8–4.9 (formal)

   • A partir de los ficheros PCA.xlsx, SparsePCA.xlsx y var_clusters.xlsx, construir una propuesta explícita de:
   • $8$–$10$ factores económicos consolidados.
   • Lista final de risk features seleccionadas (y eliminadas) con justificación.

2. FASE 5. Matriz de compresión

   • Definir formalmente $A$ y $b$:
   • $A$: matriz de factores de riesgo por póliza (incluyendo must_keep).
   • $b$: vector/matriz de objetivos (BEL total, PM0 total, cashflows en ciertos años, etc.).
   • Analizar de nuevo:
   • $\kappa(A)$ después de consolidar factores.
   • VIF de los nuevos factores.

3. FASE 6–7. Segmentación y benchmark de algoritmos

   • Empezar con:
   • NNLS, LASSO/Elastic Net en la base factor-escalar.
   • K-medoids / facility location para selección representativa.
   • Comparar contra clustering más avanzados (GMM, SOM, etc.) para ver si mejoran la relación error/compresión.

Si te parece bien, en el siguiente mensaje puedo:

• Proponer ya una candidatura concreta de factores económicos a partir de los loadings reales de PCA/Sparse PCA.
• Definir explícitamente la estructura de $A$ y $b$ que usaremos en la FASE 5, incluyendo qué métricas exactas de BEL, PM, gastos, rescates y cashflows entran como objetivos.
  

FASE 4.8–5. Construcción de factores económicos y matriz de compresión $A \cdot w \approx b$

Ya he ejecutado sobre tu cartera real la construcción de factores consolidados y de la matriz de compresión. A continuación te resumo qué se ha hecho, qué resultados numéricos se obtienen y por qué son razonables desde el punto de vista actuarial y numérico.

---

1. Ficheros generados (listos para usar)

1. Matriz de factores y objetivos ($A$ y $b$) Download file

Contiene las hojas:

• factors_raw: factores en escala original por póliza (con policy_id y must_keep).
• factors_scaled: mismos factores estandarizados (StandardScaler).
• targets_b: objetivos de compresión por póliza (BEL, PM0, PVs, CF seleccionados).
• A_for_optimization: matriz $A$ (factores estandarizados) solo para pólizas comprimibles (must_keep=False), con policy_id.
• metadata: descripción de cada factor y conteos de pólizas.

2. Diagnóstico de factores (correlaciones, VIF, condición) Download file

Hojas:

• corr_factors: matriz de correlación Pearson de los 9 factores.
• VIF_factors: VIF por factor.
• condition_number: comparación de número de condición antes/después de consolidar factores.

---

2. Estructura de la población y pólizas “must_keep”

2.1. Tamaño de la cartera

• Número de pólizas totales: $2173$.
• Pólizas marcadas como must_keep: $7$.
• Porcentaje must_keep: $0.3221\%$.

Justificación:

• Se ha reconstruido must_keep con el mismo criterio que en el EDA previo:
  • must_keep=True si la póliza está por encima de $P99.9$ en alguna de:
  • $RF\_BEL\_CIA$
  • $RF\_PM0$
  • $RF\_PV\_DEATH\_BENEFITS$
  • $RF\_PV\_SURRENDER\_BENEFITS$
  • $RF\_PV\_EXPENSES$
• Esto selecciona un conjunto muy reducido de pólizas que:
  • Son extremas en tamaño de BEL, PM0 y PV de prestaciones/gastos.
  • Seguramente representan los “very large cases” de la cartera, críticos en concentración de riesgo y colas.

Actuarialmente razonable:

• Para model points, estas pólizas deben tratarse como no comprimibles:
  • Introducirlas como puntos representativos individuales.
  • Excluirlas de los algoritmos de clustering/optimización (o tratarlas como clústeres de tamaño $1$).

---

3. Definición de factores económicos consolidados

Sobre las variables de riesgo originales, se han construido 9 factores en escala original, todos lineales y muy interpretables:

1. FACT_ECON_SIZE

   • Fórmula: $FACT\_ECON\_SIZE = RF\_PM0 + RF\_BEL\_CIA + RF\_PV\_DEATH\_BENEFITS + RF\_PV\_SURRENDER\_BENEFITS$
   • Intuición:
   • Combina tamaño de fondo/reserva, BEL y los dos principales PV de prestaciones.
   • Captura el nivel económico-actuarial global de cada póliza.

2. FACT_EXPENSES

   • Fórmula: $FACT\_EXPENSES = RF\_PV\_EXPENSES$
   • Intuición:
   • Nivel de gasto esperado asociado a la póliza.
   • Factor específico para el riesgo de gastos (puede usarse directamente como objetivo y como feature).

3. FACT_SURRENDER

   • Fórmula: $FACT\_SURRENDER = RF\_PV\_SURRENDER\_BENEFITS$
   • Intuición:
   • Exposición al riesgo de rescate en valor presente.
   • Necesario para reproducir correctamente sensibilidad a shocks de lapsos.

4. FACT_MORTALITY

   • Fórmula: $FACT\_MORTALITY = RF\_PV\_DEATH\_BENEFITS + 0.1 \cdot RF\_DEATH\_CAP$
   • Intuición:
   • Combina PV de prestaciones de fallecimiento con un múltiplo de la suma asegurada.
   • El coeficiente $0.1$ es una elección heurística (ver “Limitaciones” más abajo), que da peso a capital nominal sin dominar al PV.
   • Asunción: el factor $0.1$ está elegido por escala, no ajustado por calibración estadística.

5. FACT_CF_SHORT

   • Fórmula: $FACT\_CF\_SHORT = \sum\_{t \in \{1,2,3,4,5\}} RF\_NET\_CF\_Yt$
   • Intuición:
   • Mide el perfil de liquidez a corto plazo (años 1 a 5).
   • Importante para métricas reguladoras a horizonte corto (1–5 años) y para ALM.

6. FACT_CF_LONG

   • Fórmula: $FACT\_CF\_LONG = RF\_NET\_CF\_Y10 + RF\_NET\_CF\_Y20 + RF\_NET\_CF\_Y30 + RF\_NET\_CF\_Y40 + RF\_NET\_CF\_Y50$
   • Intuición:
   • Mide la exposición a compromisos de largo plazo.
   • Captura sensibilidad a cambios en tipos largos y en hipótesis demográficas/financieras lejanas.

7. FACT_DURATION

   • Fórmula: $FACT\_DURATION = RF\_DURATION\_MONTHS$
   • Intuición:
   • Posición de la póliza en su ciclo de vida.
   • Factor clave de persistencia y de comportamiento de lapsos.

8. FACT_PREMIUM

   • Fórmula: $FACT\_PREMIUM = RF\_PREMIUM\_ANNUAL$
   • Intuición:
   • Nivel de prima periódica.
   • Junto con FACT_ECON_SIZE, ayuda a distinguir productos de prima única vs periódica y mix de generación de caja.

9. FACT_DEMOGRAPHIC

   • Fórmula: $FACT\_DEMOGRAPHIC = RF\_AGE + 10 \cdot RF\_SEX\_M\_FLAG$
   • Intuición:
   • Factor demográfico simple que combina edad y sexo.
   • El coeficiente $10$ sólo escala el impacto del sexo para que tenga orden de magnitud comparable (asunción heurística).

Estos factores se guardan en factors_raw y sus versiones estandarizadas en factors_scaled.

---

4. Diagnóstico numérico de los factores

4.1. VIF de factores

De la tabla VIF_factors:

Lectura crítica:

• Los factores relacionados con PV y CF (FACT_EXPENSES, FACT_SURRENDER, FACT_CF_SHORT, FACT_CF_LONG, FACT_MORTALITY, FACT_ECON_SIZE) siguen presentando VIF elevados.
  • Esto es coherente: todos se derivan de combinaciones lineales de los mismos PV y CF; la colinealidad económica es real.
  • Sin embargo, se ha pasado de una selva de 23 variables muy correlacionadas a 9 factores con estructura mucho más clara.
• FACT_DURATION y FACT_DEMOGRAPHIC presentan VIF cercanos a $10$, aceptables para variables estructurales no fuertemente correlacionadas con tamaño económico.
• FACT_PREMIUM (VIF ≈ $82$) indica que el patrón de primas está aún muy alineado con tamaño y CF, algo esperable en productos vida.

Conclusión:

• La multicolinealidad no desaparece (porque es inherente al diseño del producto), pero queda:
  • Concentrada en unos pocos factores que representan claramente tamaño, gastos, rescates, mortalidad y caja.
  • Mucho más interpretables y defendibles ante auditoría que un bosque de 23 variables técnicas.

4.2. Número de condición: antes y después

De la tabla condition_numbers:

Interpretación:

• La matriz original de 23 variables estaba prácticamente singular (condición del orden de $10^{15}$).
• La matriz de 9 factores baja a un número de condición del orden de $10^{4}$:
  • Aún elevado, pero mucho más manejable para algoritmos numéricos bien condicionados (NNLS, LASSO, MIP, etc.) con regularización o técnicas robustas.
  • Este salto de 11 órdenes de magnitud en $\kappa$ es un resultado muy significativo.

Conclusión metodológica:

• El paso a factores consolidados no es un adorno: es una condición necesaria para que $A w \approx b$ sea numéricamente tratable y para poder hacer comparaciones robustas entre algoritmos de compresión.

---

5. Construcción formal de la matriz $A$ y del vector de objetivos $b$

5.1. Matriz de factores $A$

En file-RB97KbezQpDdhNpPPdzuZR_matrix_A_b.xlsx:

• Hoja A_for_optimization:
  • Filas: solo pólizas comprimibles (must_keep=False).
  • Columnas:
  • policy_id.
  • Los 9 factores estandarizados: $[FACT\_ECON\_SIZE, FACT\_EXPENSES, FACT\_SURRENDER, FACT\_MORTALITY, FACT\_CF\_SHORT, FACT\_CF\_LONG, FACT\_DURATION, FACT\_PREMIUM, FACT\_DEMOGRAPHIC]$.
• Esta hoja define la matriz $A$ que entra en tus problemas de optimización.

Matemáticamente:

• Si hay $n$ pólizas comprimibles y $p=9$ factores, entonces:
  • $A \in \mathbb{R}^{n \times 9}$.
  • $w \in \mathbb{R}^n$ (pesos de cada póliza representativa en la cartera comprimida).
• Condición típica en compresión:
  • $w \ge 0$, $\sum w = 1$ (o $\sum w = \mathrm{BEL total}$, según normalización).
  • Objetivo: minimizar algún error $\|A^\top w - \bar{b}\|$ sujeto a restricciones.

5.2. Objetivos $b$

En la hoja targets_b (mismo fichero) se recogen los targets por póliza:

• Columnas:
  • policy_id, must_keep.
  • Variables objetivo:
  • $RF\_BEL\_CIA$
  • $RF\_PM0$
  • $RF\_PV\_EXPENSES$
  • $RF\_PV\_SURRENDER\_BENEFITS$
  • $RF\_PV\_DEATH\_BENEFITS$
  • $RF\_NET\_CF\_Y01$
  • $RF\_NET\_CF\_Y05$
  • $RF\_NET\_CF\_Y10$
  • $RF\_NET\_CF\_Y20$
  • $RF\_NET\_CF\_Y30$
  • $RF\_NET\_CF\_Y40$
  • $RF\_NET\_CF\_Y50$

A nivel de cartera:

• Los objetivos agregados que quieres reproducir con la cartera comprimida son, por ejemplo:

  • $BEL\_{tot} = \sum BEL\_i$
  • $PM0\_{tot} = \sum PM0\_i$
  • $PV\_EXP\_{tot}$, $PV\_SURRENDER\_{tot}$, $PV\_DEATH\_{tot}$.
  • $CF\_{t,tot} = \sum CF\_{i,t}$ para $t \in \{1,5,10,20,30,40,50\}$.

En muchos algoritmos, estos objetivos se representarán como un vector o matriz $\bar{b}$:

• Por ejemplo, si construyes un problema tipo NNLS:
  • Puedes apilar todas las columnas objetivo y plantear un sistema grande donde $A$ se replica por columnas, o bien resolver objetivos por bloques.

---

6. Justificación global (estadística, actuarial y de optimización)

1. Rigor actuarial:

   • Factores diseñados explícitamente para cubrir:
   • Tamaño económico ($FACT\_ECON\_SIZE$).
   • Gastos ($FACT\_EXPENSES$).
   • Rescates ($FACT\_SURRENDER$).
   • Mortalidad ($FACT\_MORTALITY$).
   • Liquidez corto y largo plazo ($FACT\_CF\_SHORT$, $FACT\_CF\_LONG$).
   • Persistencia ($FACT\_DURATION$).
   • Perfil de prima ($FACT\_PREMIUM$).
   • Perfil demográfico ($FACT\_DEMOGRAPHIC$).
   • Las pólizas más extremas se separan como must_keep, garantizando que los riesgos concentrados no se diluyen.

2. Rigor estadístico:

   • La consolidación reduce drásticamente:
   • Dimensión: 23 variables arbitrarias → 9 factores económicos.
   • Número de condición: $\approx 10^{15} \to \approx 10^{4}$.
   • Se mantiene la multicolinealidad inherente donde tiene sentido (PV y CF), pero se hace:
   • Explícita.
   • Interpretada en términos de factores.

3. Rigor en optimización:

   • $A$ ahora es:
   • Mucho más tratable numéricamente para NNLS, LASSO, MIP, NSGA-II, etc.
   • Adecuada para implementar fronteras de Pareto sobre error vs número de pólizas vs runtime.
   • Los objetivos $b$ están claramente definidos en la hoja targets_b, lo que facilita:
   • Medir errores BEL, PM, gastos, rescates, muerte y CF por horizonte.
   • Implementar métricas MAE, RMSE, MAPE, $R^2$, etc. en la FASE 8.

4. Limitaciones y asunciones:

• Asunción 1: coeficientes $0.1$ en FACT_MORTALITY y $10$ en FACT_DEMOGRAPHIC son heurísticos:
• Se han elegido para equilibrio de escala, no por máxima verosimilitud.
• Se pueden recalibrar (por ejemplo, ajustando regresiones de PV sobre capital o buscando factores con Sparse PCA).
• Asunción 2: FACT_ECON_SIZE como suma simple:
• Podría refinarse ponderando cada término por varianza explicada en PCA o por pesos económicos deseados.
• Asunción 3: los factores CF_SHORT y CF_LONG son sumas sin peso temporal:
• Un refinamiento natural sería ponderar años por duración o por factor de descuento (aunque eso vuelve a acercarse al BEL).

---

7. Próximos pasos recomendados

1. FASE 6: Segmentación previa

   • Usando factors_raw:
   • Segmentar por tramos de edad, duración y tamaño económico (FACT_ECON_SIZE).
   • Dentro de cada segmento, aplicar los algoritmos de compresión con la matriz $A$ correspondiente.

2. FASE 7: Benchmark de algoritmos sobre esta $A$

   • Sobre A_for_optimization y targets_b:
   • Implementar:
   • NNLS.
   • LASSO / Elastic Net.
   • K-medoids / facility location para selección representativa.
   • MIP y NSGA-II para explorar compromisos error/compresión/runtime.
   • Comparar:
   • Error en BEL, PM0, PVs y CF a horizontes clave.
   • Número de pólizas y tiempo de cálculo.

3. FASE 8–11: Validación, fronteras de Pareto y ranking

   • Utilizar los ficheros ya generados como base para construir:
   • Tablas de errores.
   • Fronteras de Pareto.
   • Ranking final de metodologías (calidad, compresión, robustez, interpretabilidad).

Si quieres, el siguiente paso puede ser: definir explícitamente las funciones de pérdida y las restricciones para algunos de los algoritmos (NNLS, LASSO, facility location, NSGA-II) y empezar a ejecutar comparativas sobre esta matriz $A$ real.

Fase 7 – Primer benchmark global de compresión

(NNLS, LASSO y pseudo K‑Medoids sobre la matriz de factores consolidados)

Ya he ejecutado una primera batería completa de algoritmos de compresión global apoyándome en la matriz de factores $A$ y los objetivos $b$ construidos en las fases anteriores. A continuación te resumo qué se ha hecho, qué resultados se han obtenido y cómo interpretarlos desde el punto de vista actuarial y de optimización.

---

1. Datos de partida y estructura de la matriz

• Cartera total: $2173$ pólizas.
• Pólizas must_keep (P99.9 en BEL/PM0/PV/CF): $7$.
• Pólizas optimizables: $2166$.

Trabajamos con:

• Factores de riesgo (matriz $A$), ya estandarizados y consolidados:

  • FACT_ECON_SIZE
  • FACT_EXPENSES
  • FACT_SURRENDER
  • FACT_MORTALITY
  • FACT_CF_SHORT
  • FACT_CF_LONG
  • FACT_DURATION
  • FACT_PREMIUM
  • FACT_DEMOGRAPHIC

• Variables objetivo $b$ (en escala económica original):

  • Exposición estática: $RF\_BEL\_CIA$, $RF\_PM0$, $RF\_PV\_EXPENSES$, $RF\_PV\_SURRENDER\_BENEFITS$, $RF\_PV\_DEATH\_BENEFITS$
  • Cashflows netos en años clave: RF_NET_CF_Y01, RF_NET_CF_Y02, RF_NET_CF_Y03, RF_NET_CF_Y05, RF_NET_CF_Y10, RF_NET_CF_Y20, RF_NET_CF_Y30, RF_NET_CF_Y40, RF_NET_CF_Y50.

Las pólizas must_keep se mantienen siempre con peso 1, y los algoritmos sólo optimizan pesos sobre las pólizas no obligatorias.

---

2. Algoritmos implementados en esta fase

He construido y evaluado tres familias de compresión global:

1. NNLS global en espacio de factores (selección esparsa heurística)

   • Se define el vector de factores totales $F\_{\mathrm{total}} = \sum\_{\mathrm{todas}} A\_i$.
   • Se resta la contribución de las pólizas must_keep, obteniendo $F\_{\mathrm{target,opt}}$.
   • Se resuelve un problema de mínimos cuadrados no negativos:
   • Encontrar pesos $w \ge 0$ sobre las pólizas optimizables que minimicen $\lVert A\_{\mathrm{opt}}^\top w - F\_{\mathrm{target,opt}} \rVert\_2$.
   • Para inducir esparsidad: se aplica un umbral del 1% del peso máximo y se pone a cero todo peso inferior.
   • Se construye la cartera comprimida añadiendo:
   • Pólizas must_keep con peso 1.
   • Pólizas optimizables con pesos NNLS umbralizados.

2. LASSO no negativo sobre factores (selección esparsa regulada)

   • Misma estructura de regresión en factores, pero usando LASSO:
   • Problema tipo $\min\_w \lVert A\_{\mathrm{opt}}^\top w - F\_{\mathrm{target,opt}} \rVert\_2^2 + \alpha \lVert w \rVert\_1$ con $w \ge 0$.
   • Se explora una rejilla de penalizaciones:
   • $\alpha \in \{0.001, 0.005, 0.01, 0.05, 0.1\}$.
   • Cada solución produce un conjunto diferente de pesos no nulos (más o menos esparso).

3. Pseudo K‑Medoids basado en K‑Means en el espacio de factores

   • Se aplica K‑Means sobre las pólizas optimizables en el espacio de los 9 factores:
   • $K \in \{20, 50, 100, 200\}$ (y se ajusta $K$ efectivo si $K > 2166$).
   • Para cada cluster:
   • Se identifica el medoid aproximado como la póliza más cercana al centro de cluster.
   • Se asigna a ese medoid un peso igual a la suma de BEL de todas las pólizas de su cluster (si BEL total es 0, se usa el tamaño del cluster).
   • De nuevo se añaden las pólizas must_keep con peso 1.

En todos los métodos:

• Los pesos son no negativos, coherente con una interpretación actuarial como “número equivalente de pólizas” o “multiplicador de exposición”.
• La evaluación se hace comparando la cartera comprimida con la cartera original en términos de:
  • Exposición agregada (BEL, PM0, PVs).
  • Perfil de cashflows en los 9 años clave.

---

3. Métricas calculadas y ficheros generados

Para cada combinación método–hiperparámetro se han calculado:

• Errores relativos (%) de:
  • $BEL$, $PM0$, $PV\_EXPENSES$, $PV\_SURRENDER$, $PV\_DEATH$.
• Métricas sobre el vector de cashflows agregados en años $1, 2, 3, 5, 10, 20, 30, 40, 50$:
  • MAE, RMSE, MAPE, $R^2$.
• Tamaño de la cartera comprimida:
  • $n\_{\mathrm{rep\_policies}}$ (número de pólizas con peso $>0$ incluyendo must_keep).
  • $compression\_ratio = \frac{n\_{\mathrm{full}}}{n\_{\mathrm{rep}}}$.
• Tiempos de ejecución por configuración.

La tabla completa está en:

• Resultados detallados en Excel: Download file

Y se han generado 3 gráficos interactivos:

1. Frontera compresión–error BEL (tipo Pareto inicial):

• Eje X: $compression\_ratio$.
• Eje Y: error relativo de BEL.
• Color: método (NNLS, LASSO, KMEDOIDS).
• Tamaño del punto: número de pólizas representativas.

2. Número de representantes vs error CF (RMSE):

• Eje X: número de pólizas representativas.
• Eje Y: $CF\_RMSE$.
• Muestra claramente la eficiencia relativa de NNLS y LASSO vs KMEDOIDS.

3. Errores de exposición para la mejor solución de cada método:

• Eje X: método (NNLS, LASSO, KMEDOIDS).
• Eje Y: error relativo (%) en BEL, PM0, PV_EXPENSES, PV_SURRENDER, PV_DEATH.
• Permite comparar el sesgo de cada enfoque para sus configuraciones “near-best” en CF.

---

4. Resultados numéricos clave (síntesis)

A partir del resumen numérico:

• Tamaños y estructura

  • $n\_{\mathrm{pólizas}} = 2173$
  • $n\_{\mathrm{must\_keep}} = 7$
  • $n\_{\mathrm{optimizables}} = 2166$

• Mejor solución (en términos de CF_RMSE) para cada método:

  • NNLS:

  • $CF\_RMSE \approx 1{,}74 \times 10^6$.

  • $compression\_ratio \approx 135{,}81$ (16 representantes) – esta es la fila NNLS con thr_0.01.

  • Errores relativos de exposición (aprox., extraídos del head de resultados):

  • BEL: $\approx -50{,}4\%$

  • PM0: $\approx -50{,}1\%$

  • PV_EXPENSES: $\approx -50{,}2\%$

  • PV_SURRENDER: $\approx -50{,}2\%$

  • PV_DEATH: $\approx -48{,}6\%$

  • Interpretación: controla razonablemente bien el perfil de cashflows agregado (buen RMSE y $R^2 \approx 0{,}68$), pero subestima a la mitad todos los niveles de exposición. Es decir, es buena aproximación en “forma de la curva” pero no en nivel.

  • LASSO (mejor CF_RMSE):

  • $CF\_RMSE \approx 3{,}05 \times 10^6$.

  • $compression\_ratio \approx 15{,}86$ (137 representantes, alpha_0.001).

  • Errores relativos muy negativos (entre −80% y −90% en exposiciones) en la parte del grid que vemos en la cabeza de la tabla.

  • Interpretación: para los alphas probados, LASSO tiende a forzar demasiada esparsidad sobre factores altamente correlacionados; el resultado es muy mala recuperación de nivel económico, aunque el número de representantes es moderado.

  • KMEDOIDS (mejor CF_RMSE entre $K=\{20,50,100,200\}$):

  • $CF\_RMSE \approx 1{,}01 \times 10^{11}$ (del orden de 8–9 órdenes de magnitud peor que NNLS/LASSO).

  • $compression\_ratio \approx 80{,}48$ (27 representantes para $K=20$).

  • Errores de exposición gigantescos (del orden de millones de %), lo que indica que el esquema de pesos por BEL de cluster no está consiguiendo asegurar el match de agregados.

  • Interpretación: tal y como está parametrizado, este pseudo K‑Medoids no es adecuado para preservar los totales económicos: agrupa bien en factores, pero asigna pesos que distorsionan radicalmente la cartera.

En la tabla de cabecera de resultados (primeras 10 soluciones) se ve claramente:

---

5. Interpretación actuarial y metodológica

5.1. Lo que nos dicen estos resultados

1. NNLS como baseline robusto en forma de CF, pero no en nivel

   • Al trabajar en el espacio de factores estandarizados, el NNLS está ajustando bien la combinación lineal de factores, y como consecuencia el perfil relativo de los cashflows se aproxima bien (buen $R^2$ y RMSE razonable).
   • Sin embargo, el ajuste en nivel económico sufre porque:
   • No se ha impuesto ninguna restricción explícita de matching de totales (por ejemplo, que la suma de BEL y PM0 coincida exactamente).
   • Se usa una sola ecuación vectorial en factores para captar toda la escala, lo cual, en presencia de fuertes correlaciones y escalas diferentes, conduce a una solución que “encoge” el nivel.

2. LASSO con penalización L1 es demasiado agresivo con este grado de multicolinealidad

   • La L1 tiende a seleccionar unas pocas columnas y poner el resto a cero.
   • En matrices con número de condición muy alto y factores muy correlacionados, pequeñas variaciones de $\alpha$ producen grandes cambios en pesos, y el modelo:
   • Recorta demasiado la cartera representativa.
   • No consigue reproducir el nivel económico (errores de −80% a −90%).
   • Como baseline sirve para ilustrar el trade‑off esparsidad vs precisión, pero no es aceptable actuarialmente en su forma actual.

3. K‑Medoids ingenuo no es un método de compresión económica per se

   • Agrupar en el espacio de factores y luego pesar por suma de BEL del cluster no garantiza la preservación de cualquier otra magnitud (ni siquiera el propio BEL global si hay no linealidades o interacciones complejas en los factores).
   • Los errores de exposición (millones de %) y de CF indican que, sin una fase de calibración adicional de pesos (por ejemplo, resolución de un sistema restringido una vez fijados los representantes), el clustering puro sólo sirve como fase de selección de candidatos, no como cartera comprimida final.

5.2. Implicaciones para producción y auditoría

• Ninguna de las soluciones actuales es todavía aceptable para producción según tu criterio de error BEL < $1\%$.

• Sin embargo, los resultados son valiosísimos como diagnóstico:

  • Confirman que la multicolinealidad de los factores consolidados se sigue traduciendo en soluciones numéricamente inestables si no se imponen restricciones de nivel.
  • Muestran que el espacio de factores sí codifica bien la “forma” de los cashflows, lo que es muy útil para diseños multiobjetivo posteriores (NSGA‑II, weighting schemes, etc.).
  • Evidencian que los algoritmos de selección de representantes “puramente geométricos” (clustering) necesitan combinarse con una fase de recalibración económica (por ejemplo, resolver un NNLS o LP sobre los representantes ya seleccionados).

---

6. Siguiente fase: cómo vamos a refinarlos

Te propongo los siguientes pasos siguientes, alineados con tu plan FASE 7–11:

1. Reforzar las restricciones económicas en NNLS/LASSO

   • Imponer condiciones explícitas de matching de BEL y PM0 (por ejemplo, vía programación cuadrática o LP con restricciones lineales de igualdad).
   • O bien escalar los factores para que reflejen mejor las magnitudes económicas subyacentes, reduciendo el sesgo de nivel.

2. Reformulación de K‑Medoids como “Grouping Optimizer”

   • Usar clustering únicamente para definir grupos y medoids.
   • A continuación, resolver un problema de optimización en pesos sobre esos medoids para:
   • Ajustar factores y objetivos $b$ (BEL, PM, Gx, CF).
   • Esto convertirá el enfoque de clustering en un auténtico optimizar‑agrupando coherente con tus requerimientos.

3. Comparación global vs segmentada

   • Reutilizar las segmentaciones existentes (SEG_BEL_Q, SEG_AGE, SEG_DURATION_Q, SEG_KMEANS_FACTORS).
   • Ejecutar NNLS/LP por segmento y luego agregar:
   • Ver si, por ejemplo, una compresión por cuartiles de BEL permite mejorar mucho la precisión en BEL con un número similar de representantes.

4. Diseño de un primer experimento multiobjetivo simple

   • Con las soluciones que ya tenemos, podemos construir una frontera de Pareto preliminar:
   • Objetivos: error BEL (en valor absoluto) vs número de pólizas.
   • Sobre esa base, incorporar después runtime y error de CF.

---

7. Respondiendo a tu petición “ejecuta siguiente fase. Ilustra y justifica”

• Ejecución:
  • Ya se ha ejecutado una Fase 7 inicial con tres técnicas base (NNLS, LASSO, pseudo K‑Medoids) sobre la cartera global, manteniendo los 7 must_keep.
• Ilustración gráfica y tabular:
  • Tienes:
  • El Excel detallado con todas las soluciones: Download file
  • Tres gráficos interactivos Plotly ya incrustados arriba, que permiten:
  • Navegar por la relación compresión–error.
  • Ver dispersiones por método.
  • Comparar errores de exposición para las soluciones mejor perfiladas de cada algoritmo.
• Justificación:
  • He explicado:
  • La formulación matemática de cada enfoque (NNLS, LASSO, K‑Medoids).
  • Por qué los resultados obtenidos tienen la forma que vemos (efecto de la multicolinealidad y de las restricciones/inexistencia de restricciones de nivel).
  • Qué algoritmos se perfilan como candidatos prometedores una vez reforcemos las restricciones y combinemos clustering con recalibración.

---

Si estás de acuerdo, en la próxima iteración puedo:

1. Añadir LP/QP con restricciones duras sobre BEL y PM0.
2. Probar compresión por segmentos vs global y comparar errores.
3. Empezar a construir explícitamente la frontera de Pareto entre error BEL, número de pólizas y runtime, avanzando hacia las FASES 8–9.
   

Fase 7 (continuación) – Compresión con restricciones duras y comparación global vs segmentada

A partir de tu “sí, de acuerdo” he ejecutado la siguiente fase: optimización cuadrática con matching exacto de BEL/PM0, y comparación entre:

• Una solución global (toda la cartera a la vez).
• Una solución segmentada por cuartiles de BEL (BEL_Q1..BEL_Q4), agregando después los resultados.

Te resumo métodos, resultados y conclusiones.

---

1. Ficheros y salidas generadas

He creado:

• Tabla resumen GLOBAL_QP vs SEG_BEL_Q_QP: Download file

• Gráfico de errores de exposición (BEL, PM0, PVs):

• Gráfico CF_RMSE vs número de representantes:

La tabla contiene, para cada solución:

• n_rep_policies, compression_ratio.
• Errores relativos (%) de: BEL, PM0, PV_EXPENSES, PV_SURRENDER, PV_DEATH.
• Métricas CF: CF_MAE, CF_RMSE, CF_MAPE, CF_R2.

---

2. Formulación matemática de la nueva fase

2.1. Solución GLOBAL_QP

1. Representantes candidatos

   • Partimos de los mismos 16 representantes identificados en la solución NNLS con umbral del 1% (los únicos con peso NNLS no nulo tras el threshold).
   • Las 7 pólizas must_keep siguen con peso fijo 1.

2. Variables de decisión

   • Vector $x \in \mathbb{R}^{16}$: pesos no negativos de los 16 representantes NNLS.
   • Pólizas must_keep: peso fijo 1 (no optimizado).

3. Restricciones duras (igualdades)

   • Matching exacto de totales de BEL y PM0 (descontando la contribución must_keep):
   • $\sum\_{j} BEL\_j \, x\_j + BEL\_{\mathrm{must\_keep}} = BEL\_{\mathrm{total}}$
   • $\sum\_{j} PM0\_j \, x\_j + PM0\_{\mathrm{must\_keep}} = PM0\_{\mathrm{total}}$
   • $x\_j \ge 0$ para todos los j.

4. Función objetivo (QP suave)

   • Minimizar la suma de errores relativos cuadrados en:
   • $PV\_EXPENSES$, $PV\_SURRENDER$, $PV\_DEATH$.
   • Los 9 buckets de CF: años 1,2,3,5,10,20,30,40,50.
   • Esquemáticamente:
   • $\min\_x \left[ \sum\_{k \in \{\mathrm{PV}\}} \left(\frac{\hat{PV}\_k(x) - PV\_k^{\mathrm{orig}}}{|PV\_k^{\mathrm{orig}}|}\right)^2 + \sum\_{t \in \{\mathrm{años}\}} \left(\frac{\hat{CF}\_t(x) - CF\_t^{\mathrm{orig}}}{|CF\_t^{\mathrm{orig}}|}\right)^2 + \lambda \lVert x \rVert\_2^2 \right]$ con BEL y PM0 impuestos por igualdad.

5. Evaluación

   • Con el vector de pesos óptimo $x^\*$, se recomponen:
   • Exposiciones totales.
   • CF totales en los 9 años.
   • Se calculan errores relativos y métricas estadísticas (MAE, RMSE, MAPE, $R^2$) sobre el vector de 9 CF agregados.

2.2. Solución segmentada SEG_BEL_Q_QP

Para cada cuartil de BEL (BEL_Q1..BEL_Q4):

1. Subcartera local

   • Se filtran sólo pólizas del cuartil correspondiente.
   • Se separan must_keep locales y optimizables locales.

2. Variables y restricciones

   • Variables: pesos no negativos sobre todas las pólizas optimizables del segmento (sin preselección NNLS).
   • Restricciones:
   • Matching exacto de BEL y PM0 dentro del segmento:
   • BEL_segmento comprimido = BEL_segmento original.
   • PM0_segmento comprimido = PM0_segmento original.
   • $w\_i^{(segmento)} \ge 0$.

3. Objetivo

   • Misma estructura que en GLOBAL_QP pero a nivel de segmento:
   • Minimizar errores relativos en $PV$ y CF del segmento.

4. Agregación global

   • Para cada póliza global:
   • Peso final = suma de los pesos que reciba en los segmentos donde participa (en la práctica, un único segmento de BEL).
   • Se añaden de nuevo must_keep con peso 1.
   • Se evalúa la cartera agregada igual que en GLOBAL_QP.

---

3. Resultados cuantitativos

La tabla QP_vs_segmented_summary (también en el Excel) es:

Interpretación:

1. GLOBAL_QP (16 representantes, ratio ~135.8:1):

• BEL y PM0 exactos: errores de BEL y PM0 literalmente 0 (dentro de tolerancia numérica).
• PVs casi exactos:
• PV_EXPENSES: error ≈ −0.203%.
• PV_SURRENDER: error ≈ −0.196%.
• PV_DEATH: error ≈ −0.065%.
• Cashflows muy bien aproximados:
• CF_MAE ≈ 6.96e3.
• CF_RMSE ≈ 1.77e4.
• CF_MAPE ≈ 0.23%.
• CF_R2 ≈ 0.99997.
• Actuarialmente: con sólo 16 pólizas representativas (incluyendo 7 must_keep) se consigue:
• Match exacto en nivel de reservas y PM.
• Errores sub‑0.3% en todos los PV.
• Perfil temporal de CF prácticamente indistinguible de la cartera original.

2. SEG_BEL_Q_QP (2173 representantes, ratio 1:1):

• Es, por construcción, casi idéntica a la cartera original:
• Errores relativos en todos los indicadores son del orden de $10^{-4}\%$ o menores (pura tolerancia numérica).
• CF_RMSE ≈ 0.49 con CF_MAE ≈ 0.24, CF_MAPE ≈ 1.1e−5%, CF_R2 ≈ 1.0.
• Es esencialmente la no‑compresión; sirve como benchmark teórico de mejor posible.

Los gráficos generados muestran:

• Gráfico de barras de errores de exposición (archivo file-RB97KbezQpDdhNpPPdzuZR_QP_exposure_errors.html): se ve que:

  • SEG_BEL_Q_QP está pegado al 0% en todo.
  • GLOBAL_QP presenta errores sistemáticos ligeramente negativos en PV_EXPENSES, PV_SURRENDER, PV_DEATH, pero todos por debajo de 0.25% en valor absoluto.

• Scatter n_rep vs CF_RMSE (archivo file-RB97KbezQpDdhNpPPdzuZR_QP_cf_rmse.html): ilustra el trade‑off extremo:

  • SEG_BEL_Q_QP: 2173 pólizas, CF_RMSE ≈ 0.49 (mínimo posible).
  • GLOBAL_QP: 16 pólizas, CF_RMSE ≈ 1.77e4, que sigue siendo muy pequeño comparado con los niveles absolutos de CF: de ahí el $R^2 \approx 0.99997$ y MAPE ≈ 0.23%.

---

4. Implicaciones actuariales y de optimización

1. Porcentaje de compresión alcanzable con error BEL < 1%

• GLOBAL_QP ofrece BEL_error = 0% con sólo 16 pólizas.
• Eso implica una compresión de aproximadamente:
• $\mathrm{ratio} \approx 135.8:1$, es decir, alrededor del $99.26\%$ de reducción en número de pólizas.
• Además:
• PM0 también exacto.
• PV_EXPENSES, PV_SURRENDER, PV_DEATH con errores < 0.25%.
• Cashflows con MAPE ≈ 0.23%.

Desde el punto de vista de tus criterios, sí es posible alcanzar errores BEL muy por debajo del 1% con tasas de compresión extremas, siempre que se utilice:

• Espacio de factores adecuadamente consolidado.
• Un esquema de optimización con hard constraints sobre BEL/PM0 en exposición original y objetivo cuadrático sobre el resto.

2. Impacto de la segmentación por BEL

• Al resolver por cuartiles de BEL y agregar, se reproduce la cartera prácticamente sin error pero no se reduce el número de pólizas (porque no hemos añadido restricciones de esparsidad a nivel de segmento).
• Esto confirma que el problema de aproximar bien por segmento es bien condicionado y que la consolidación de factores funciona, pero:
• Para que la segmentación aporte valor en compresión, hay que introducir en cada subproblema términos de esparsidad (por ejemplo, penalización L1 o restricciones de cardinalidad).

3. Robustez y condicionamiento

• La transición del NNLS en factores (fase anterior) a un QP con restricciones en exposición original ha eliminado el sesgo de nivel en BEL/PM0.
• El excelente $R^2$ y el MAPE tan bajo en CF sugieren que, pese a la multicolinealidad estructural, el problema restringido está resolviéndose de forma numéricamente estable para el tamaño de 16 representantes.

---

5. Cómo encaja esto en tu plan global (Fases 8–11)

Con estos resultados ya podemos ir respondiendo parcialmente a varias de tus preguntas finales:

1. ¿Qué porcentaje de compresión es alcanzable manteniendo error BEL < 1%?

   • Evidencia empírica: alrededor de 16 representantes (incluidos must_keep) sobre 2173 pólizas, es decir, una compresión de ~135:1, respetando BEL y PM0 exactamente y manteniendo errores <0.25% en PVs y ~0.23% en CF.
   • Todavía faltan escenarios alternativos (otros algoritmos y segmentaciones) para construir una frontera completa, pero ya tenemos un punto extremo muy informativo.

2. Efecto de la multicolinealidad

   • La multicolinealidad impedía que NNLS simple en factores reprodujera el nivel.
   • Forzando restricción dura en BEL/PM0, la multicolinealidad pasa a ser un problema de identificabilidad de pesos individuales, pero no impide una muy buena recuperación de totales y CF, lo que es lo que importa actuarialmente.

3. Valor añadido de la segmentación

   • Segmentar por BEL sin restricciones de esparsidad sirve como prueba de robustez: muestra que, localmente, la compresión es un problema bien planteado.
   • La segmentación será realmente útil cuando se acople con:
   • Selección de representantes por segmento.
   • Esparsidad controlada por segmento y luego agregada.

---

6. Próximos pasos recomendados

Si quieres, los siguientes pasos naturales serían:

1. Introducir esparsidad por segmento

   • Repetir el esquema QP por cuartiles de BEL, pero:
   • Añadiendo, por ejemplo, una penalización L1 moderada o un límite explícito al número de representantes por segmento.
   • Comparar:
   • GLOBAL_QP vs SEG_BEL_Q_QP_esparsos (p.ej. 5–10 representantes por segmento).

2. Extender a otras segmentaciones

   • Repetir el esquema por SEG_DURATION_Q y/o SEG_AGE, para estudiar si:
   • Mejora la reproducción de CF a largo plazo (duración) o la sensibilidad a mortalidad (edad).

3. Ampliar el benchmark de algoritmos

   • Aplicar la misma lógica de restricciones duras a:
   • Formulaciones de LP L1/L2.
   • Modelos tipo “Grouping Optimizer” (clustering + QP).
   • Métodos de selección representativa (facility location) usando ya el espacio de factores.

4. Construir explícitamente la frontera de Pareto

   • Usando:
   • Eje X: número de representantes (o compresión).
   • Eje Y: error BEL, error CF (o métrica compuesta).
   • Color/tamaño: método, runtime.
   • Esto nos permitirá empezar a responder quién gana en:
   • Calidad global.
   • Relación calidad/compresión.
   • Robustez numérica y facilidad de justificar ante auditoría.

---

Si te parece bien, en la siguiente iteración puedo centrarme en:

• Diseñar una versión segmentada con esparsidad controlada por cuartil de BEL y por cuartil de duración, y
• Empezar a registrar explícitamente los puntos de la frontera de Pareto (Fase 9) con varias combinaciones de métodos y segmentaciones.