Lenguajes Independientes del Contexto Teoría del Autómata

AFD como generadores Un AFD (o AFN) puede verse como un aceptador de cadenas o como un generador de cadenas. Acepta a(a*  b*)b a Como productor haciendo las transiciones q0- q1- q2- q2- q2- q5. Genera: aaaab q2 b e a q4 q0 q1 e q3 b b

Las cadenas están formadas por a seguidas por otra parte. Podemos representarlo como S  aE, lo que sigue pueden ser cadenas de aes o bes, de E podemos ir a generar aes mediante A y bes mediante B, es decir, E  A o E  B. Las aes se producen con A  aA y las bes con B  bB, eventualmente A y B producirán b, es decir A  b y B  b. En suma: S  aE E  A E  B A  aA B  bB A  b B  b

Las reglas anteriores pueden escribirse como se muestra: S  aE E  A | B A  aA | b B  bB | b Donde | significa “o”. Una derivación es una es una serie de sustituciones de el símbolo de la derecha de las producciones por las cadenas de la izquierda hasta obtener una cadena de símbolos terminales. Ejemplo La siguiente es una derivación para la cadena aaab. S  aE  aaA  aaaA  aaab

Gramáticas regulares Una gramática es un cuarteto (N, S, S , P) donde: N es un conjunto de símbolos llamados no terminales. S es un conjunto finito y no vacío de símbolos terminales. S  N es el símbolo inicial P es una colección, de reglas de sustitución, llamadas producciones, que son de la forma A  w, donde A  N y w es una cadena sobre S  N que satisface lo siguiente: 1 w contiene un no terminal como mucho. 2 si w contiene un no terminal se encuentra al extremo derecho de la cadena

Ejemplo La siguiente es una gramática S = {a, b}, N = {S, A}, S  bA, A  aaA | b | e Genera cadena de la forma ba2nb o ba2n. L(G) = b(aa)*(b) Las producciones se pueden representar como pares ordenados de N  S (N  e). P = {(S, bA), (A, aaA), (A, b), (S, e)}

Ejercicios Sea S  aS | bT y T  aa Derivar abaa, aabaa, aaabaa. Probar que deriva akba2, k >= 1. S  aS  aaS  aaaS …  akS  akbT  akbaa Obtener gramaticas para a*b  a a*b  b*a (a*b  b*a)*

AFD a gramática regular A partir de un AFD dado por M = (Q, S, s, F, d) definiendo la gramática por G = (N, S, S, P) con N = Q S = S S = s P = {(q, ap)| d(q, ap) = p} {(q, e)| q  F}

a a,b b a,b q1 q2 q3 q1  aq1 | bq2 q1  aq3 | bq3 | e q1  aq3 | bq3

Tarea Obtener la expresión regular para la siguiente gramática regular. S  bA | aB | e A  abaS B  babS

Gramática regular a AFD Sea G una gramática regular, G = (N, S, S, P). Definimos M = (Q, S, s, F, D) de la siguiente manera Q = N  { f } s = S F = { f } 1. Si A  s1…snB es una producción, añada a Q los estados q1,…, qn y las transformaciones siguientes D(A, s1…sn) = D(q1, s2…sn) = D(qn–1, sn) = B 2. Si A  s1…snB es una producción, añada a Q los estados q1,…, qn y las transiciones siguientes D(A, s1…sn) = D(q1, s2…sn) = D(qn–1, sn) = f

Ejemplo S  bA | aB | e A  abaS B  babS s q1 q2 q3 q4 q1 q5 q6 a b a

Ejercicios Obtener AFNs para la siguientes gramáticas regulares. S  aS | bB | b e B  cC C  aS S  abA | B | baB | e A  bS | b B  aS

Gramáticas Libres del contexto La siguiente es una gramática S  aB | bA A  a | aS | bAA B  b | bS | aBB No tiene las restricciones de una gramática regular. Las producciones permiten más de un no terminal en el lado derecho.

Definición Una gramática libre del contexto (GIC) es un cuarteto (N, S, S , P) donde: N es un conjunto de símbolos llamados no terminales. S es un conjunto finito y no vacío de símbolos terminales. S  N es el símbolo inicial P es una colección, de reglas de sustitución, llamadas producciones, que son de la forma A  w, donde A  N y w es una cadena sobre (S  N)*. Es decir, las producciones pueden tener cero, uno o más no terminales que aparezcan en cualquier lugar del lado derecho. El lenguaje generado es conocido por Lenguaje independiente del contexto (LIC).

Ejemplo Sea la gramática S  aSb | e Esta gramática genera el lenguaje (anbn | n>=0} que no es regular.

Ejercicios Sea la gramática S  AA A  AAA | a | bA | Ab Obtener derivaciones para b2aba2ba. Probar como puede obtenerse una derivación para Para todo n > 0 y m1, m2,…, m2n+1 >= 0

Ejercicios Obtener gramáticas independientes del contexto para los siguientes lenguaje (ambn | m >= n} (w  {a, b}*| w tiene el doble de aes que de bes} (ambn | n <= m <= 2n} S  aSb | aaSb | e (ambncpdq | m+n >= p+q} S  aS | aSd | A | B | C A  bA | bAc | e B  aBc | aB | A | e C  bCd | bC | A | e

Árboles de derivación Considere la siguiente es una gramática S  AB A  aA | a B  bB | b La cadena aabbb se puede derivar mediante S  AB  AbB  AbbB  Abbb  aAbbb  aabbb El árbol de derivación es S B A a A B b B a b b

La cadena aabbb se puede derivar también mediante las siguientes derivaciones S  AB  aAB  aaBBB  aabBB  aabbB  aabbb S  AB  aAB  aAbB  aAbbB  aAbbb  aabbb El árbol de derivación es el mismo que el anterior Considere la siguiente es una gramática S  SbS | ScS | a Las siguientes derivaciones son para abaca S  SbS  SbScS  SbSca  Sbaca abaca S  ScS  SbScS  abScS  abacS  abaca Los árboles de derivación se muestran a continuación

S  SbS  SbScS  SbSca  Sbaca abaca S  ScS  SbScS  abScS  abacS  abaca S S S b a S S c a a S S S c S S a b a a

Ejemplos S → x | y | z | S + S | S – S | S *S | S/S | (S) S  S + S  S + S*S  S + S*(S)  S + S*(S – S)  x + S*(S – S)  x + y*(S – S)  x + y*(z – S)  x + y*(z – y) Dibujar el árbol de derivación, ¿es ambiguo?

Una gramática libre de contexto para un lenguaje consistente en todas las cadenas que se pueden formar con las letras a y b, habiendo un número diferente de una que de otra, sería: S → U | V U → TaU | TaT V → TbV | TbT T → aTbT | bTaT | ε T genera todas las cadenas con la misma cantidad de letras a que b, U genera todas las cadenas con más letras a, y V todas las cadenas con más letras b.

Otro ejemplo para un lenguaje es {anbncm+n | n>=0 , m>=0} puede ser generado por la siguiente gramática libre de contexto. S → aSc | B B → bBc | ε Es ambiguo?

Simplificación de gramáticas independientes del contexto Sea G = (N, S, S, P) una gramática independiente del contexto. Transformaremos G en G'= (N', S, S, P') de forma que L(G') = L(G), y para todo A Î N' se obtenga que A Þ* w para algún w Î S*.

Algoritmo 1. Eliminación de no terminales que no deriven cadenas terminales. 1. Iniciar N' con todos los no terminales de A para los que A ® w, es una producción de G, con w Î S*. 2. Inicializar P' con todas las producciones A ® w para las cuales A Î N y w Î S*. 3. Repetir Añadir a N ' todos los no terminales A para los cuales A ® w, para algún w Î (N ' È S*) que sea una producción de P y añadirla P '. hasta que no puedan añadir más no terminales a N '.

Ejemplo S  Aa | B | D B  b A  aA | bA | B C  abc C es una producción inútil 1er paso: N’ = {B, C} 2o paso: P = {B  b} 3er paso: N’ = {B, C, A, S}

Ejemplo S  aAb | cEB | CE A  dBE | eeC B  ff | D C  gFB | ae D  h

Algoritmo 2. Elimina aquellos terminales y no terminales que no aparezcan en las cadenas que se deriven a partir de S. Sea G = (N, S, S, P) una gramática independiente del contexto. Transformaremos G en G '= (N', S, S, P ') de forma que L(G ') = L(G), y para todo X Î N ' È S', se tenga que S Þ aXb para las cadenas a y b de (N ' È S')*.

Algoritmo 2. (cont.) 1. Inicializar N ' de forma que contenga el símbolo inicial S, e inicializar P ' y S' a Æ. 2. Repetir Para A Î N ', si A ® w es una producción de P, entonces 1. Introducir A ® w en P '. 2. Para todo no terminal B de w, introducir B en N '. 3. Para todo terminal s de w, introducir s en S'. hasta que no se puedan añadir nuevas producciones

Algoritmo 3 Identifica el conjunto N, de todos los no terminales anulables en una gramática independiente del contexto. 1. Inicializar N con todos los no terminales A para los cuales existe una producción e, A ® e. 2. Repetir Si B ® w para algún w Î(N È S)* y todos los símbolos de w están en N, añadir B a N. hasta que no se añadan más no terminales a N.

Algoritmo 3 (cont.) Una vez identificados los no terminales anulables, se modifican las reglas de producción con el fin de eliminar la producciones e. Esto se realiza sustituyendo producciones de la forma B ® X1X2…Xn por las producciones que se formen al eliminar los subconjuntos de Xi que son anulables.

Algoritmo 3 (cont.) Se crea un nuevo conjunto de producciones P’ como sigue: Si B ® X1X2…Xn es una producción de P, entonces en P’ introduciremos todas las producciones de la forma B ® Y1Y2…Yn, donde las Yi satisfagan: Yi = Xi si Xi no es anulable Yi = Xi o e si Xi es anulable Yi no es e para toda i (es decir, no se introduce en P’ ninguna producción de la forma B ® e) En una gramática que contenga e, se pueden eliminar todas las producciones e y después añadir la producción S ® e.

Ejemplo N = {B, C, D} S  AB S  AB | A A  aA | abB | aCa A  aA | abB | ab | aCa | aa B  bA | BB | e B  bA | BB | B C  e D  dB | d | BCB | BC | CB | BB D  dB | BCB B | C Con 1: S  AB  abB  abbA  abbaA  abbaabB  abbaab Con 2: S  A  abB  abbA  abbaA  abbaab

Eliminación de producciones unitarias Producciones de la forma A ® B se conocen como unitarias. Para A Î N se define Unitario(A) = {B Î N | A Þ* B usando solamente producciones unitarias} Las producciones unitarias agregan pasos inútiles al proceso de derivación de cadenas de terminales. El siguiente algoritmo elimina todas las producciones unitarias de una gramática G. Sea G = (N, S, S, P) se obtendrá G’, tal que G’ = (N, S, S, P’) no contiene producciones unitarias como sigue:

Eliminación de producciones unitarias (cont.) 1. Inicializar P’ de forma que contenga todos los elementos de P. 2. Para cada A Î N, obtener el conjunto Unitario(A). 3. Para cada A para el cual Unitario(A)  {A}. Para cada B Î Unitario(A). Para cada producción no unitaria B ® w de P Añadir A ® w a P’ 4. Eliminar todas las producciones unitarias que haya en P’.

S  A | Aa Unitario(S) = {S, A, B, C, D} A  B Unitario(A) = {A, B, C, D} B C | b Unitario(B) = {B, C, D} C  D | ab Unitario(C) = {C, D} D  b Unitario(D) = {D} Se introducen las producciones: S  b | ab, A  b | ab, B  b | ab, C  b | ab Se eliminan las unitarias y resulta: S  b | ab | Aa C  b | ab A  b | ab D  b B  b | ab

Forma normal de Chomsky Una gramática independiente del contexto esta en forma normal de Chomsky si no contiene producciones  y todas las producciones son de la forma A ® a para a Î , o de la forma A ® BC, donde B y C son no terminales. Para transformar una gramática independiente del contexto a la forma normal de Chomsky, primero se eliminan todas las transformaciones , los símbolos inútiles y las producciones unitarias de G. Si se tiene una producción de la forma A ® w, con |w| > 1, donde w = X1X2…Xn. Si Xi es un símbolo terminal , sustituimos Xi por un nuevo no terminal C y añadimos la producción C ® . De esta forma A ® w contendrá solo no terminales.

Forma normal de Chomsky (cont.) La producción tendrá la forma A ® B1B2…Bn, esta se puede reemplazar por las producciones A ® B1D1 D1 ® B2D2 … Dn-2 ® Bn-1Bn donde los Di son nuevo no terminales.

S  bA | aB A  bAA | aS | a B  aBB | bS | b Después de la primera transformación: S  CbA | CaB A  CbAA | CaS | a B  CaBB | CbS | b Ca  a Cb  b Después de la segunda transformación: S  CbA | CaB A  CbD1 | CaS | a D1  A A B  CaD2 | CbS | b Ca  a Cb  b D2  BB

Propiedades de los lenguajes independientes del contexto Se puede probar mediante inducción que, si se puede derivar w y | w | >0, la derivación tiene 2 | w | etapas en una gramática en forma normal de Chomsky. En el nivel m del árbol de derivación hay, como máximo, 2m nodos padre, por tanto, el camino más largo en un árbol de derivación consta de m + 2 nodos, entonces 2m es la longitud máxima de la cadena derivada.

Lema del bombeo para GIC Sea L un LIC que no contiene e. Existe un entero k para el cual, si z  L y | z | > k, entonces z se puede volver a escribir como z = uvwxy con las propiedades siguientes: | vwx |  k. Al menos o v o x no es e. uviwxiy  L para todo i  0. Demostración. Sea G = (N, S, S, P) con L = L(G) y sea n el número de no terminales de N y k = 2n. Supongamos z  L con | z | > k.

Lema del bombeo para GIC (cont.) El camino más largo de derivación debe contener n + 2 nodos, n + 1 serán no terminales, por tanto, algún no terminal se repite. Entonces S * uAy * uvAxy * uvwxy = z por tanto | vwx |  2n. Puesto que A * vAx, debemos tener A * viAxi para algún i  0. Por tanto S * uviwxiy para todo i  0. Como A * vAx, se debe tener que A  BC * vAx * vwx. Entonces B * v y C * Ax o si no B * vA y C * x. En el primer caso | v |  1 y en el segundo | x |  1, con lo que o v o x no es e.

Ejemplo Considerar el lenguaje L = {aibj | j = i2}. Si z  L, z = akbk^2, por el lema del bombeo z = uvwxy. Si v = arbs, vi = (arbs)i y por tanto no pertenece a L. Igualmente si x = arbs. Las únicas posibilidades son v = ar y x = as v = br y x = bs v = ar y x = bs. En el primer caso tenemos: uv2wx2y = ak+r+sbk^2 En el segundo caso tenemos: uv2wx2y = akbk^2+r+s En el tercer caso tenemos: uv2wx2y = ak+(i–1)rbk^2+(i–1)s Los cuales no pertenecen a L.

Lema Sea G = (N, S, S, P) una GIC que no tiene producciones e y que está en forma normal de Chomsky. Sea x una cadena de S*. Se puede determinar, para cada A  N y para cada subcadena w de x, si A * w. Demostración. Sea n = | x | y sea wij la subcadena que comienza en la posición i y tiene j caracteres. Probaremos el lema con inducción sobre j. Si j = 1, entonces A * w si y solo si existe la producción A ® wij esta en P, por tanto se puede determinar lo enunciado en el lema.

Lema Ahora supongamos que se cumple para cadenas de longitud menor que j con j > 1. Observe que A ® wij si y solo si A ® BC para algunos B y C, los cuales B * wik y C * wk+1,j-k para k entre 1 y j - 1. Entonces tanto wik como wk+1,j-k tiene longitud menor que j y se puede determinar si B * wik y si C * wk+1,j-k. De lo anterior, si j = n entonces se puede determinar si S * w1,j = w1,n = x. Es decir si x  L(G) para cada x  S*.

Algoritmo CYK (Cocke, Younger y Kasami) Sirve para determinar si x  L(G). 1. Para cada i = 1, 2, …, n, sea Ni1 = {A | A ® wi1} Es decir, Ni1 es el subconjunto de todos los no terminales que producen el i-ésimo símbolo de x. 2. Para cada j = 2, 3, …, n, hacer lo siguiente: Para cada i = 1, 2, …, n - j + 1, hacer lo siguiente: a. Iniciar Nij =  b. Para cada k = 1, 2, …, j - 1, añadir a Nij todos los no terminales A para los cuales A ® BC, con B  Nik y C  Ni+k,j-k. 3. Si S  N1n, entonces x  L(G).

Ejemplo de CYK Sea la gramática S  AB | BC A  BA | a B  CC | b Para la cadena bbab se genera la siguiente tabla Para la cadena bbab se genera la siguiente tabla j = 2, i = 1..3 y k = 1, Nij Ni+k,j–k = N12 N21, N22 N31, N32 N41, j = 3, i = 1..2 y k = 1..2 Nij Ni+k,j–k = N13 N22, N13 N31, N23 N32, N23 N41, j = 4, i = 1 y k = 1..3 Nij Ni+k,j–k = N14 N23, N14 N32, N14 N41, j = 1 j = 2 j = 3 j = 4 b a j = 1 B B A S, C j = 2 B A, S S,C A,C S, C j = 3 B j = 4

Demostrar que bba, bab, babba pertenecen al lenguaje anterior

Algunos teoremas Teorema. Si L1 y L2 son lenguajes independientes del contexto, entonces L1  L2 es un lenguaje independiente del contexto. Teorema. Si L es un lenguaje independiente del contexto, entonces L* es un lenguaje independiente del contexto. Teorema. La concatenación de lenguajes independientes del contexto es independiente del contexto. Los lenguajes independientes del contexto no son cerrados respecto a la intersección ni el complemento.