Compiladores Análisis Léxico Oscar Bonilla Universidad Galileo

Anatomía de un compilador Analizador Sintáctico (Parser) Generador de Código Optimizador de Código Analizador Semántico Analizador Léxico (Scanner) Parse Tree Programa (character stream) Token stream Intermediate Representation Optmized Intermediate Representation Assembly code

Ayer vimos NDFA's Podemos convertir fácilmente una expresión regular a un Autómaton Finito No Determinístico. Los Autómata Finitos No Determinísticos son muy difíciles de Implementar ya que tienen que adivinar qué arista tomar. Así que convertimos el Autómaton Finito No Determinístico a un Autómaton Finito Determinístico.

Cerradura La cerradura de un estado es el conjunto de estados que pueden alcanzarse desde ese estado sin consumir ningún símbolo de la entrada. La cerradura de un estado S, Closure(S) es el conjunto T más pequeño tal que: Algoritmo:

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {} T' = {} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1} T' = {} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1} T' = {1} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1,2} T' = {1} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1,2} T' = {1} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1,2} T' = {1,2} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1,2} T' = {1,2} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1,2} T' = {1,2} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {1} T = {1,2} T' = {1,2} -   .     

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {3} T = ?? 3 -   .      Pregunta: Que es Closure(3) ?

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? S = {3} T = {2, 3, 4, 8} 3 -   .      Pregunta: Que es Closure(3) ?

Arista DFA Supongamos que estamos en un conjunto de estados del NFA, si consumimos un símbolo de la entrada, ¿Qué otro conjunto de estados podemos alcanzar?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {1} DFAedge({1}, 3) = ?? Que es DFAedge({1},3)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {1} edge({1},3) = {} DFAedge({1}, 3) = ?? Que es DFAedge({1},3)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {1} closure({1}) = {1, 2} DFAedge({1}, 3) = ?? Que es DFAedge({1},3)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {1} edge({1}, 3} = {} DFAedge({1}, 3) = {} Que es DFAedge({1},3)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {1} edge({2}, 3} = {3} DFAedge({1}, 3) = {3} Que es DFAedge({1},3)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {1} closure({3}) = {2, 3, 4, 8} DFAedge({1}, 3) = {2, 3, 4, 8} Que es DFAedge({1},3)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {3} DFAedge({1}, 3) = ?? Que es DFAedge({3},.)?

3 -   .      (-| ?) ·(0|1|2|3|4|5|6|7|8|9)+ · (. ·(0|1|2|3|4|5|6|7|8|9)*)? d = {3} DFAedge({1}, 3) = {4, 5, 6, 8} Que es DFAedge({3},.)?

Algoritmo states[0]  {}; states[1]  closure({s1}) p  1; j  0 while j  p foreach c  e  DFAedge(states[ j ], c) if e = states[i] for some i  p then trans[j,c]  i else p  p + 1 states[p]  e trans[j,c]  p j  j + 1 Sea  el alfabeto.

Implementación de DFA El algoritmo anterior construye una matriz de transición que sirve para implementar el DFA. int trans[][256] = { /* e f g h i j... */ /* estado 0 */ {0,0...0,0,0, ,0,0,0,0,0... */ /* estado 1 */ {0,0...7,7,7, ,4,4,4,2,4... */ /* estado 2 */ {0,0...4,4,4, ,3,4,4,4,4... */ /* estado 3 */ {0,0...4,4,4, ,4,4,4,4,4... */ /* estado 4 */ {0,0...4,4,4, ,4,4,4,4,4... */ /* estado 5 */ {0,0...6,6,6, ,0,0,0,0,0... */ et cetera } Usamos el estado 0 para representar la ausencia de una arista

Algoritmo states[0]  {}; states[1]  closure({s1}) p  1; j  0 while j  p foreach c  e  DFAedge(states[ j ], c) if e = states[i] for some i  p then trans[j,c]  i else p  p + 1 states[p]  e trans[j,c]  p j  j + 1 Sea  el alfabeto. Cuándo j = 0 el algoritmo construye el estado 0 int trans[][256] = { /* e f g h i j... */ /* estado 0 */ {0,0...0,0,0, ,0,0,0,0,0... */ /* estado 1 */ {0,0...7,7,7, ,4,4,4,2,4... */ /* estado 2 */ {0,0...4,4,4, ,3,4,4,4,4... */ /* estado 3 */ {0,0...4,4,4, ,4,4,4,4,4... */ /* estado 4 */ {0,0...4,4,4, ,4,4,4,4,4... */ /* estado 5 */ {0,0...6,6,6, ,0,0,0,0,0... */ et cetera }

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      closure({1}) = {1, 2} 1,2

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({1,2}, -) = {2} 1,2 2 -

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      closure({2}) = {2} 1,2 2 -

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({1,2},0..9) = {3} 1, o,1,2,3,4,5,6,7,8,9

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      closure({3}) = {2,3,4,8} 1,2 2 2,3,4, 8 - o,1,2,3,4,5,6,7,8,9

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({2}, 0..9) = {3} closure({3}) = {2,3,4,8} 1,2 2 2,3,4, 8 - o,1,2,3,4,5,6,7,8,9

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({2,3,4,8}, 0..9) = {3} closure({3}) = {2,3,4,8} 1,2 2 2,3,4, 8 - o,1,2,3,4,5,6,7,8,9

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({2,3,4,8},.) = {5} closure({5}) = {5,6,8} 1,2 2 2,3,4, 8 5,6,8 - o,1,2,3,4,5,6,7,8,9.

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({5,6,8}, 0..9) = {7} closure({7}) = {6,7,8} 1,2 2 2,3,4, 8 5,6,8 6,7,8 - o,1,2,3,4,5,6,7,8,9.

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      DFAedge({6,7,8}, 0..9) = {7} closure({7}) = {6,7,8} 1,2 2 2,3,4, 8 5,6,8 6,7,8 - o,1,2,3,4,5,6,7,8,9.

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      ,2 2 2,3,4, 8 5,6,8 6,7,8 - o,1,2,3,4,5,6,7,8,9. El estado de aceptación es 8, así que marcamos los estados que contienen a 8 como estados aceptados.

(-|  (0|1|2|3|4|5|6|7|8|9)+  (.  (0|1|2|3|4|5|6|7|8|9)*)? -   .      ,2 2 2,3,4, 8 5,6,8 6,7,8 - o,1,2,3,4,5,6,7,8,9. NFA DFA

En la práctica ● Usamos herramientas automáticas para construir analizadores léxicos – Dado un conjunto de tokens definidos con expresiones regulares, generamos un tokenizador del stream de caracteres mediante la construcción de un DFA ● Herramientas comunes para generar DFA's – lex en C – Jlex en Java ● Vamos a hablar acerca de lex