Redes neuronales y transformer físicamente informados. Revisión, reproducción y estudio de ablación de parámetros

Abstract

Las redes neuronales informadas por la física (PINN) resuelven ecuaciones en derivadas parciales imponiendo la ecuación en la propia función de pérdida, sin necesidad de malla. Su formulación estándar, sin embargo, arrastra modos de fallo bien documentados (sesgo espectral, desequilibrio de la pérdida y fallos de propagación temporal) que han motivado arquitecturas específicas para mitigarlos.Una de las más recientes es PINNsFormer, que reemplaza el perceptrón multicapa por un Transformer que opera sobre una pseudo-secuencia temporal construida alrededor de cada punto de colocación. El origen de este trabajo está en un intento de aplicar PINNsFormer a un problema real de elasticidad, la resolución del campo de desplazamientos bidimensional de una viga empotrada. Las dificultades encontradas en esa tarea llevaron a retroceder un paso y revisar las bases, es decir, comprobar hasta qué punto los resultados publicados de la propia arquitectura se sostienen antes de exigirle problemas nuevos. Con ese fin, este trabajo somete a PINNsFormer a un examen independiente sobre los cuatro problemas de referencia empleados en el artículo que la propone (convección, reacción, onda y Navier–Stokes), con dos objetivos: reproducir las cifras publicadas y estudiar mediante una ablación de parámetros qué componentes de la arquitectura explican su comportamiento. Todos los experimentos se ejecutan a través de un único punto de entrada determinista, de modo que una misma configuración produce el mismo resultado con independencia de la máquina. La reproducción muestra que las cifras del artículo original se recuperan solo bajo condiciones de entrenamiento muy concretas, y que factores ajenos a la arquitectura, como la precisión aritmética con la que se entrena o el valor de un paso temporal auxiliar, alteran los resultados en mayor medida que los cambios de modelo. El estudio de ablación, con sesenta y nueve ejecuciones en precisión doble, indica que la maquinaria de atención no explica el acierto de la arquitectura, que su capacidad interna está sobredimensionada y que el paso temporal es su único modo de fallo propio. Sobre estos problemas, la precisión numérica y el protocolo de entrenamiento explican una parte mayor de las diferencias publicadas que la propia arquitectura.