© C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO VAO Fiabilidad de Sistemas Informáticos Roger Pes Buenestado Universitat Rovira i Virgili Projectes Fi de Carrera Febrero de 2012

La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 2 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Nivel de Actividad 3 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Actividad 4 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO Exploración y producción Nuevas Energías Gas Natural Refino y Márquetin

Destilación primariaÍndice de conversiónLubricantes Capacidad de RefinoMiles de barriles por día naturalPorcentajeMiles de toneladas anuales España Cartagena A Coruña Puertollano Tarragona Petronor Total Repsol (España) Perú La Pampilla Total Repsol © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas del Complejo de Tarragona 6 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Estructura Organitzativa 7 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Responsabilidades y Roles Gestiona 50+: Sistemas Wintel 5 Sistemas de Control Distribuido Estaciones de trabajo Estructura de comunicaciones de 100+ elementos Figuras Jefe de Sistemas y Soporte Técnico de Soporte al Usuario Ingeniero de Control Ingeniero de Comunicaciones Ingeniero Base de Datos 2 Ingenieros Desarrollo Software 8 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Motivación La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 9 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Motivación - Auditoría Auditoría Externa: No se explota el potencial del grupo Recursos invertidos en recuperación de incidentes No existe política de fiabilidad Actitud Reactiva 10 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Motivación – Cambio Jerárquico 11 Dirección de Producción Dirección de Ingeniería y Desarrollo Control Avanzado y Sistemas 15 x Control Avanzado y Sistemas 15 x Sistemas y Soporte 7 x Sistemas y Soporte 7 x Optimización y Control 6 x Optimización y Control 6 x © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Motivación – Cambio Filosófico Aumento de la fiabilidad de las TI: Definición de Niveles de Disponibilidad. Acotar el tiempo sin servicio. Creación de canales de Alarma por criticidades. Aumento de la disponibilidad de los Ingenieros de Sistemas y Soporte: Incidencias resueltas indirectamente. 12 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Análisis La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 13 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas del Proyecto Definición de criticidades Adecuación de Infraestructuras. Monitorización y Alarmas. Adecuación de los contratos de Mantenimiento. 14 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Criticidades La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 15 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Niveles de criticidad 16 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Canales de Alarma Alarma de Proceso: Genera una alarma en el Panel de Control del Proceso de Producción Mensaje SMS: Genera un mensaje corto a un conjunto de teléfonos móviles, con una descripción suficiente de la incidencia. Correo Electrónico: Genera un mensaje de correo electrónico con los detalles de la Alarma. 17 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Organización Redes La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 18 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Capas Organización de Red 19 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Redundancia LCN 20 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Redundancia Red PCN 21 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Redundancia Red PIN 22 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Alarma de Proceso La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 23 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

TDC © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Motorola El Módulo AM 25 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Tag 26 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Custom Data Segment – Timer Tag 27 VAPITDC1.RESETCMD = RESET © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Estándar OPC 28 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Definición de la Alarma de Proceso Definición de la red LCN donde se producirá la alarma. Definición del tiempo de refresco de la señal. Definición del margen de tiempo de alarma. Definición del tipo y texto de la alarma: pe: “Fallo comunicación Historiador, Avisar al Jefe de Fábrica”. Clasificación de criticidad: Criticidad Baja Criticidad Alta Criticidad Emergencia Definición del nombre del punto en la LCN. Definición del origen de la señal de refresco. 29 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación de la Alarma de Proceso  Crear un Timer.  Configurar el SP al periodo de alarma.  Configurar nivel de criticidad.  Crear un gráfico de Operación.  En el Sistema a supervisar, implementar una señal OPC periódica: o Con la frecuencia de refresco determinada. o El nombre del parámetro a escribir sobre el servidor OPC será: VAO.RESETCMD o El servidor OPC será el nombre NETBIOS del APP correspondiente a la LCN donde se producirá la alarma. o El nombre de la instancia del servidor OPC, será HCI.TPNServer (establecido por el fabricante HONEYWELL) o Un servicio compatible con OPC se puede implementar con el API.NET para OPC disponible en la página web de OPC Foundation. 30 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Requerimientos Implementación señales OPC  La aplicación debe funcionar como un Servicio.  La señal debe ser generada únicamente si se ha podido comprobar que el Sistema está cumpliendo con su cometido.  El TimeStamp del comando de RESET debe ser el del Sistema Supervisado y éste debe contar con un Sistema de sincronización horaria con la hora de la Organización.  Debe asegurarse la conectividad DCOM entre el Sistema Supervisado y el APP  El servicio debe ser ejecutado con un usuario con permisos de acceso de escritura sobre el servidor OPC del APP a nivel DCOM. (Establecido por el fabricante HONEYWELL como \TPSComserv). 31 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

OPC DCOM y Firewalls 32 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Redundancia OPC  Selección de método WatchDog flexible.  Alarma de failover mediante SMTP o lanzamiento de un Ejecutable a medida.  Posibilidad de conexiones en frio.  Posibilidad de contrato de Mantenimiento con soporte local. 33 Experion Redirection Manager © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Mensajes SMS La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 34 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Mensajes SMS - Requisitos Avisos múltiples dirigidos a los grupos designados como responsables de la emergencia o incidencia. Un sistema supervisor, debe poder enviar un mensaje SMS de forma segura. Este Sistema, debe cumplir con los criterios de criticidad 2 Aplicable sobre Red PIN, Red PCN y Redes Auxiliares. 35 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Mensajes SMS - Alternativas  Servicio externo de mensajería SMS: El acceso a Internet no cumple con al menos criticidad 2  Servidor de mensajería interno, de criticidad 2: Cumple con los requisitos, aunque con un presupuesto elevado, debido a los servidores Windows Intel (Tipo I)  Solución de hardware empotrado, de criticidad 2: Cumple con los requisitos, coste reducido. 36 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Mensajes SMS - Componentes Hardware - 3 modems GSM/GPRS Cinterion TC55i - 3 Lantronix MSS100 Software - API para.NET - Utilidad de línea de comandos 37 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Mensajes SMS – Esquema Arquitectura 38 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Correo SMTP La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 39 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Correo SMTP - Infraestructura Servicio de correo Corporativo SMTP anónimo. Microsoft Exchange. Criticidad 2. Servidor en Tolerancia a Fallos VMWare. ACL para puerto 25 en todas las redes. 40 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Correo SMTP - vSphere 41 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Correo SMTP – Sistemas sin soporte SMTP Correos a múltiples destinatarios Control de errores No requiere contrato de mantenimiento Versión de distribución estable y consolidada Codificación de archivos adjuntos por tipos MIME 42 MailSend v de Muhammad A Muquid GNU General Public License. © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Supervisión La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 43 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Supervisión - Hardware - Comunicaciones - Servicios - Estado Interfaces - Cumplimiento de condiciones 44 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Supervisión - Hardware Insight Manager Systems Director Open Manage fTserver System Management 45 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Supervisión - Comunicaciones Opciones: Software Comercial: Cisco Prime IBM NetView Desarrollo propio: Visivilidad adaptada. Información ajustada y comprensible. Soporte para todos los canales de alarma. Dificultad de evolución. Dificulta Integración con otros Centros. 46 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAONet - Componentes - Servicio de supervisión de Switches: SwitchView - Servicio de supervisión de Nodos: NodeView - Página Web de consulta basada en ActiveX - Soportado por servidor Windows de la Red PIN en Alta Disponibilidad: CLOSEVIEW 47 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAONet – SwitchView y NodeView  Dado un periodo de refresco.  En cada periodo se escanea toda una lista de equipos  El scanner consiste en lanzar un ping contra su dirección IP  Si tras un número de reintentos el equipo no responde, se genera una alarma, se registra el incidente en un log y se establece en estado de inalcanzable.  Si un equipo está en estado de inalcanzable vuelve a responder, genera una nueva alarma de recuperación y entrada en el log 48 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAONet – Página Web  Localización Geográfica del equipo  Interconexiones entre equipos  Un círculo en blanco si está alcanzable  Un círculo en rojo si no está alcanzable  Pulsando sobre el círculo se implementa acceso a utilidades de diagnóstico  Fecha del último barrido  Sumario de resultados  Enlace al log de eventos 49 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Supervisión – Servicios e Intefaces - Servidor virtual en Alta Disponibilidad: VAO - Servicio de supervisión de servicios: VAOService - Aplicación de consulta: VAOGui - Web de consulta: VAOWeb 50 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAOService – Supervisión de Servicios - Dado un periodo de refresco - El servicio accederá a la base de datos WMI de una lista de servidores Windows Intel a supervisar. - Cada servidor tendrá una serie de Servicios Críticos a supervisar. - Cuando un servicio no esté en ejecución, alarmará según su criticidad - Cuando el estado sea sin servicio y vuelva a estar en ejecución, volverá a generar una alarma, informando del suceso - Persistencia en Base de Datos 51 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAOService – Supervisión de Interfaces Por SOX, todas las interfaces de datos deben registrarse en un Historiador OSI PI. Supervisión de Watchdog Alarma de criticidad 0 Escribirá VAOXXXXX.RESETCMD periódicamente 52 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAOGUI - Aplicación ejecutable - Gestionar lista de Sistemas a supervisar - Monitorizar estado actual de los Sistemas - Configurar parámetros del servicio - Tolerar fallo de la base de datos 53 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

VAO Web Prestaciones como VAOGUI Basado en HTML No requiere tolerancia a fallo de la BD 54 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Áreas de Supervisión – Cumplimiento de condiciones - Las comprobaciones se realizarán desde un único servidor de tareas en Alta Disponibilidad. - Cada comprobación tendrá una planificación acorde con el periodo de cumplimiento/ejecución que establezca la condición. - Las condiciones deberán tener asociado un nivel de criticidad - En caso de no cumplirse una condición, la tarea deberá alarmar según la criticidad. - Cuando las condiciones vuelven a cumplirse, deberá generarse una alarma informativa. 55 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Planificación La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 56 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Identificación de Tareas 57 1.Jefe del grupo43h 2.Especialista en Comunicaciones168h 3.Especialista en Control Avanzado190h 4.Especialista en Bases de datos300h 5.Especialista en desarrollos de gestión23h © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Identificación de Costes 58 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Sumario de Costes Coste económico € Carga de Trabajo724 horas 59 © C.I. Tarragona. 12 de Noviembre de La Pobla de Mafumet – Arquitectura Red de Control

Implementación La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 60 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Sistemas a Supervisar 61 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Adaptar Comunicaciones 62 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Redundancia OPC 63 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Contratos de Mantenimiento IBM A – Respuesta en 4 horas B – Respuesta en 24 horas No se compromenten con el tiempo de resolución HP 1- Respuesta en 4 horas, resolución en 12 horas 2- Respuesta en 12 horas, resolución en 48 horas 3- Respuesta en 24 horas, sin compromiso de resolución Dell En el acuerdo marco de Honeywell, respuesta y resolución según niveles de criticidad definidos, con repuestos de prioridad 0 y 1 en Planta. Stratus Respuesta en 24 horas, sin compromiso de resolución 64 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Alarmas de Proceso 65 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación - Alarmas de Proceso 66 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Alarmas de Proceso 67 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Mensajes SMS 68 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – VAOServices- VAOGUI 69 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación - CLOSEVIEW 70 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación - CLOSEVIEW 71 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Alarmas Interfaces PI 72 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – Cumplimiento de Condiciones 73 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Implementación – HA y TF Servidores 74 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Resultados La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 75 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Resultados – Mensajes de Ejemplo 76 Aviso INCUMPLIMIENTO condiciones tag REE_RP_CG_CONEX_C6_P_test Existen diferencias entre lectura y escritura en la interfaz de Red eléctrica con Cartagena. Revisar /15 VALOR ACTUAL: 12,5 Condiciones no cumplimiento: Valor > 5 Aviso INCUMPLIMIENTO condiciones tag REE_RP_CG_CONEX_C6_P_test Existen diferencias entre lectura y escritura en la interfaz de Red eléctrica con Cartagena. Revisar /15 VALOR ACTUAL: 12,5 Condiciones no cumplimiento: Valor > 5 Fallo de Compensación de Caudales en el servidor SSTAR03PI Mensaje de Monitorización Servicios Fallo de Compensación de Caudales 05/02/ :30:06 SSTAR03PI: Ha fallado el servicio Compensación de Caudales Fallo de Compensación de Caudales en el servidor SSTAR03PI Mensaje de Monitorización Servicios Fallo de Compensación de Caudales 05/02/ :30:06 SSTAR03PI: Ha fallado el servicio Compensación de Caudales Error transmisión ficheros de benceno. Hace más de 1 hora que no se incorporan nuevos datos. Ultima incorporación: 30/01/ :45:00 Error transmisión ficheros de benceno. Hace más de 1 hora que no se incorporan nuevos datos. Ultima incorporación: 30/01/ :45:00 Event Notification - Event Type: Warning This message was generated by the ServeRAID Manager Agent. Please do not reply to this message. Event Description: Bad Block discovered: controller 1 (290fa80). Event Type: Warning Event Source: Date: 01/16/2012 Time: 12:43:04 AM CET Event Notification - Event Type: Warning This message was generated by the ServeRAID Manager Agent. Please do not reply to this message. Event Description: Bad Block discovered: controller 1 (290fa80). Event Type: Warning Event Source: Date: 01/16/2012 Time: 12:43:04 AM CET Mensaje de Monitorización Servicios Fallo de LCN3 17/03/ :35:15 LCN3: Ha fallado la interfaz LCN3 por culpa de que ninguno de sus tags funciona correctamente Mensaje de Monitorización Servicios Fallo de LCN3 17/03/ :35:15 LCN3: Ha fallado la interfaz LCN3 por culpa de que ninguno de sus tags funciona correctamente © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Resultados - Valoración Homologación de Sistemas Críticos VAO alerta a más de 15 grupos del CI Más de 200 avisos mensuales Ingenieros de S&S se integran en el desarrollo de Proyectos Los incidentes no afectan a la Producción, Disponibilidad ni Seguridad de las Personas o Instalaciones. El tiempo de resolución es previsible. La Refinería de Tarragona destaca en relación Sistemas/Ingeniero de TI. VAO es referente de Supervisión en Refino y Máqueting 77 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Nuevos Hitos La Empresa Motivación Análisis Criticidades Organización Redes Alarma de Proceso Mensajes SMS Correo SMTP Áreas de Supervisión Planificación Identificación de Tareas Costes Implementación Resultados Nuevos Hitos 78 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

Nuevos Hitos del Proyecto Racionalización de Alarmas Peso / Nº de Alarmas Educación de Colaboradores Sensibilidad VAOMobile: VAOGui para Smartphones SwitchView para Smartphones 79 © C.I. Tarragona. 28 de Febrero de La Pobla de Mafumet – Proyecto VAO

80 © C.I. Tarragona. 12 de Noviembre de La Pobla de Mafumet – Arquitectura Red de Control