La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Programación II Ing. Diego J. Arcusin 4 – Filtros.

Presentaciones similares


Presentación del tema: "Programación II Ing. Diego J. Arcusin 4 – Filtros."— Transcripción de la presentación:

1 Programación II Ing. Diego J. Arcusin 4 – Filtros

2 Introducción a los Filtros Programas de UNIX que leen una entrada, realizan una transformación y escriben una salida. Ejemplos: grep y tailSeleccionan parte de una entrada sort Clasifica la entrada wc Cuenta la entrada. etc. Filtros de Datos o Filtros Programables sed Editor de Flujo awkFiltro programable con sintaxis similar al C

3 Grep $ grep patrón archivos.... El comando grep examina los archivos nombrados (o la entrada estándar) e imprime cada línea que contenga un caso de patrón. Ejemplos: grep –n variable *.[ch]Localiza variable en archivos fuentes de C grep –y mary $HOME/lib/agendaEncontrar el número de teléfono de Mary who | grep maryComprobar si mary inicio sesión ls | grep –v.cArchivos que no sean fuentes de C -nImprime lo números de línea - vInvierte el sentido de la prueba -yHace indistinto el patrón en mayúsculas o minúsculas

4 Expresiones Regulares Grep (y todos los filtros) manejan patrones mucho más intricados denominados Expresiones Regulares. Las expresiones regulares se especifican dando un significado especial a ciertos caracteres. Algunos metacaracteres: ^ Ancla el patrón al inicio de la línea $ Ancla el patrón al final de la línea. [a-z] Rango (cualquier minúscula) Ojo!!: [^0-9] Complemento del Rango (cualquier caracter menos un dígito). Se acopla con cualquier caracter (Similar al ? para el Shell) Algunos ejemplos: $ ls –l | grep ^d Lista los nombres de directorios $ ls –l | grep ^ rwLista los archivos que otros pueden leer y escribir.

5 Expresiones Regulares (cont.) Operador cerradura * Se aplica al caracter o metacaracter anterior (incluyendo un rango), y en conjunto concuerdan con cualquier número de acomplamientos sucesivos del caracter o metacaracter. Ejemplos: x*Concuerda con una secuencia de x lo más larga posible. [a-zA-Z]*Concuerda con una cadena alfabética de cualquier longitud.*Concuerda con cualquier cosa hasta una nueva línea.*xConcuerda con cualquier cosa hasta la última x del renglón Advertencias: * Se aplica exclusivamente a un caracter. fg* reconoce a una f seguida de varias g, y no una secuencia como fgfgfgfg. * Reconoce cero, una o varias concordancias del caracter. Si queremos que reconozca por lo menos un caracter tendremos que duplicarlo. Por ejemplo para reconocer una cadena de letras la expresión correcta será [a-zA-Z][a-zA-Z]* Ninguna expresión regular de grep reconoce el caracter nueva línea.

6 La Familia Grep grep es en realidad el más antiguo de su familia. fgrep Permite buscas muchas cadenas literales simultáneamente egrep Busca expresiones regulares verdaderas (Igual que grep pero adiciona el operador o y paréntesis para agrupar expresiones. Los paréntesis se utilizan para agrupar de manera que: (xy)* concuerda con la cadena vacía, xy, xyxy,xyxyxy, y así sucesivamente. La barra vertical | es un operador o. Egrep agrega otros dos operadores de cerradura: + y ?. x+ reconoce una o más x x? reconoce cero o una x (no varias)

7 Ejemplos Complejos ^[^aeiou]*a[^aeiou]*e[^aeiou]*i[^aeiou]*o[^aeiou]*u[^aeiou]*$ Encuentra palabras que contengan las 5 vocales en orden alfabético. egrep ^a?b?c?d?e?f?g?h?i?j?k?l?m?n?o?p?q?r?s?t?u?v?w?x?y?z?$ archivo | grep Encuentra palabras de 6 letras que tengan todas sus letras (distintas) en orden alfabético.

8 ¿Por qué 3 programas? fgrep no interpreta ningún metacaracter, pero permite la búsqueda eficiente de miles de palabras en paralelo. El tamaño de los patrones típicos de fgrep rebasa la capacidad de los algoritmos usados en grep y egrep. La distinción entre grep y egrep es más difícil de justificar. Simplemente grep es más antiguo (aunque más difundido).

9 Sort Por default, clasifica su entrada por renglones en orden ASCII. Algunas de sus opciones: -fVuelve equivalentes mayúsculas y minúsculas. -dOrden de diccionario. Ignora todos los caracteres excepto letras, dígitos y blancos. -nComparación numérica -rRevierte el sentido de la comparación -oEspecifica un nombre de archivo para la salida -uSuprime las líneas repetidas Ejemplos: ls | sort –fClasifica los archivos por orden alfabético ls –s | sort –nClasifica los archivos más pequeños primero ls –s | sort –nrClasifica los archivos más grandes primero

10 Sort (Campos) Se le puede indicar a sort que dirija solo su atención a campos específicos. La notación +m significa que la comparación omite los primeros m campos; +0 es el inicio de la línea. Así por ejemplo: ls –l | sort +3nrClasifica por conteo de bytes (primero el más grande) who | sort +4n Clasifica por tiempo desde inicio de sesión (primero el más antiguo)

11 Más filtros El comando tr translitera los caracteres de su entrada. Uno de los usos más comunes es la conversión de mayúsculas y minúsculas. $ tr a-z A-ZConvierte minúsculas en mayúsculas $ tr A-Z a-zConvierte mayúsculas en minúsculas Uniq Elimina renglones duplicados dd Bastante distinto a lo visto hasta ahora. Suele emplearse para manejar datos en bruto y sin formato. Posee recursos para transformar de ASCII a EBCDIC y para manejar datos binarios.

12 Sed Lee un renglón a la vez a partir de los archivos de entrada, aplica los comandos de la lista, por orden a cada renglón y escribe su forma editada en la salida estándar. Sintaxis: sed lista de comandos archivo... Por ejemplo: sed s/UNIX/UNIX (TM)/g archivos... > output Advertencia: sed no altera los contenidos de sus archivos de entrada. Escribe sobre la salida estándar por lo que archivos originales permanecen intactos. Otro ejemplo: who | sed s/.* / / Trae solo los nombres de usuarios y la hora de inicio de sesión. sed s/^/->/ o sed /./s/^/->/ $* Pone un tabulador al inicio de cada línea. La segunda versión solo lo hace en aquellos renglones que no sean sólo un caracter nueva línea.

13 Sed (Cont.) Por defecto realiza la impresión automática de la salida. La opción –n desactiva la salida la cuál debe ser explicitada mediante el comando p. Por ejemplo: $ sed –n /patrón/p hace lo mismo que grep $ sed –n /patrón/!p hace lo mismo que grep –v Otros ejemplos: $ sed s/$/\ Agrega un caracter nueva línea al final de cada renglon > /haciendo que la salida tenga doble espacio. $ sed s/[ ->][ ->]*/\Reemplaza cada cadena de blancos o tabs por un nueva línea > /por lo que divide cada palabra de la entrada en un renglón. $ sed –n 20,30pImprime sólo las líneas 20 a 30. $ sed 1,10dBorras las líneas 1 a 10 (= a tail +11) $ sed 1,/^$/dBorra hasta la primera línea en blanco inclusive $ sed $dBorra la última línea

14 awk Awk es parecido al sed pero con una sintaxis más similar al lenguaje C. Sintaxis: $ awk programa archivos... La sintaxis del programa es: patrón { acción} patrón { acción} Awk lee la entrada en los nombres de archivo un renglón a la vez. Cada renglón se compara con cada patrón en orden, para cada patrón que concuerde con el renglón se efectúa la acción correspondiente. Al igual que sed, awk no altera los archivos de entrada. Los patrones pueden ser expresiones regulares exactamente como en egrep, aunque también pueden ser condiciones más complejas que recuerdan más al lenguaje C.

15 awk (cont.) Ejemplos: awk /expresion regular/ { print } archivosHace lo que egrep El patrón y la acción son opcionales. Si se omite la acción, la acción por default es imprimir la línea. Si se omite el patrón, la parte de acción se hace para todas la líneas de la entrada. Al igual que en sed los comandos de awk pueden estar en un archivos separado mediante la siguiente sintaxis: $ awk –f cmdfile archivo...

16 awk - Campos Awk divide cada renglón de entrada automáticamente en campos (cadenas de caracteres que no sean blancos, separados por blancos o tabuladores.) Por ejemplo la salida de who tiene 5 campos: $ who carlostty2Sep 14 11:53 mariatty3Sep 14 11:27 Awk llama a los campos $1, $2,..., $NF. NF es una variable cuyo valor es igual al número de campos. En este caso NF = 5 en ambos renglones. Notese la diferencia entre NF –número de campos- y $NF –el último campo del renglón-. En awk, a diferencia del Shell, sólo los campos empiezan con $, las variables no tienen adornos. Por ejemplo: $ du –a | awk { print $2 } Excluye los tamaños deja sólo los nombres de archivos.

17 awk – Campos (cont.) Awk normalmente supone que el espacio en blanco (cualquier número de blancos y tabuladores) separa los campos, pero el separador puede cambiarse a cualquier caracter. Una manera de hacerlo es recurrir a la opción –F (mayúscula) de la línea de comandos. Por ejemplo: $ awk –F: { print $1 } /etc/passwdImprime sólo los nombres de usuariosdel /etc/passwd

18 awk – Impresión La variable NR es el número del registro o línea actual. $ awk { print NR $0 } Imprime el número de línea seguido de la línea completa. El campo $0 es la línea entera, sin cambios. En una acción print, los elementos separados por comas se imprimen separados por el separador de salida (Por default el blanco.) La proposición printf permite un control completo sobre la salida. (similar al C) $ awk { printf %4d %s\n, NR, $0} %4d especifica un entero decimal (NR) en un campo de 4 dígitos de ancho, %s especifica una cadena de caracteres ($0) y \n un caracter nueva línea. (Printf no imprime ni blancos, ni nuevas líneas por default).

19 awk – Patrones $ awk –F: $2 == /etc/passwd Busca los usuarios sin contraseña. Otras formas de obtener el mismo resultado: $2 ~ /^$/El segundo campo concuerda con la cadena vacía. $2 !~ /./El segundo campo no concuerda con cualquier caracter. length($2) = = 0La longitud del segundo campo es cero. El símbolo ~ indica concordancia con una expresión regular y !~ significa no corresponde. La expresión regular debe estar encerrada entre diagonales. Awk se vale de la misma convención que el Shell para los comentarios. El símbolo # indica el inicio de un comentario. La función substr(s,m,n) produce la subcadena se s que comienza en la posición m y mide n caracteres de largo. El Awk proporciona dos Patrones especiales BEGIN y END. Las acciones de BEGIN se realizan antes del primer renglón, y las acciones de END se efectúan luego de ser procesado el último renglón.

20 awk – Ejemplos $ awk NF % 2 != 0{ print} Despliega si hay un número par de campos $ awk length($0) > 72 { print Renglón, NR, muy largo:, substr ($0,1,50)} $ date Thu Aug 29 12:17:01 EDT 2005 $ date | awk { print substr($4, 1, 5)} 12:17 $ awk BEGIN {FS = :}Nuevamente Busca usuarios sin contraseña > $2 == /etc/passwd awk END { print NR }...Idem wc –l

21 awk – Operaciones Aritméticas awk también puede realizar cálculos sobre los datos de entrada. Es muy sencillo contar cosas, hacer sumas, sacar promedios y otras operaciones afines. Por ejemplo, para sumar todos los números de la primera columna: { s = s + $1 } END { print s } Si modificamos la última línea del programa por END { print s, s/NR } Imprime la suma y el promedio. La variables se inicializan a cero por default. Awk ofrece además los mismos operadores aritméticos abreviados que el lenguaje C. Por ejemplo: s += $1 es lo mismo que s = s + $1 Ejemplo: # Versión de wc hecha en awk. { nc += length ($0) + 1# número de caracteres nw += NF } END{ print NR, nw, nc}

22 awk – Variables Las variables también pueden guardar cadenas de caracteres. Las variables de cadena se inicializan con la cadena vacía. Variables predefinidas en awk FILENAMENombre del archivo de entrada actual FSCaracter separador de campo (blanco y tab por default) NFNúmero de campos del registro de entrada NRNúmero del registro de entrada OFMTFormato de salida para números (%g por default) OFSCadena separadora de campo de salida (blanco por default) ORSCadena separadora de registro de salida (Nueva línea por default) RSCaracter separador de registro de entrada (Nueva línea por default)

23 awk – Operadores Operadores de awk (por orden creciente de precedencia) = += -= *= /= %=Asignación ||O lógico &&Y lógico !Niega el valor de la expresión > >= < <= = = != ~ !~ Operadores relacionales ~ y !~ equivalen a correspondencia y no correspondencia nada Concatenación de cadenas + -más, menos * / %multiplicar, dividir, resto Incrementar, decrementar (prefijo o postfijo)

24 awk – Control de Flujo IF (Exactamente igual a la instrucción del lenguaje C). Sintaxis: if (condición) proposición 1 else proposición 2 FOR (Exactamente igual a la del lenguaje C). Sintaxis: for (expresión 1; condición ; expresión 2) proposición WHILE (equivalente al for anterior) expresión 1 while (condición ) { proposición expresión 2 } La proposición next hace que se lea la siguiente línea de entrada y que se comparen los patrones para reanudar la ejecución al inicio del programa. La proposición exit origina una transferencia inmediata al patrón END.

25 Otro ejemplo El siguiente programa detecta palabras duplicadas sucesivas. awk FILENAME != prevfile { # Nuevo archivo NR = 1# Restablecer número de renglón prevfile = FILENAME } NF > 0 { if ($1 == ultimapalabra) printf duplicación %s, archivo %s, línea %d\n, $1, FILENAME, NR for ( i=2; i <= NF; i++ ) if ( $i == $(i-1) ) printf duplicación %s, archivo %s, línea %d\n, $i, FILENAME, NR ultimapalabra = $NF } $* $

26 Otro ejemplo El siguiente programa invierte el contenido de todos los renglones awk { for ( i = NF; i >= 2; i - - ) printf %s, $i printf \n } $* $

27 Arreglos Awk también proporciona arreglos. Ejemplo trivial: Invierte los renglones. $ cat backwards # backwards: despliega la entrada en dirección contraria awk { linea[NR] = $0 } END{ for ( i = NR; i > 0; i - -) print linea[ i ] } $* $ Los arreglos no necesitan ser declarados. El tamaño del arreglo está limitado únicamente por la memoria disponible. Awk soporta arreglos asociativos. Por lo general concebimos subíndices de arreglos como enteros, pero en awk cualquier valor puede servir de subíndice. Por ejemplo, para sumarizar por nombre 2 columnas del tipo: Carlos1000 Martin2000 Carlos Sandra 800 { sum [ $1 ] += $2 } END{ for (name in sum) print name, sum [name] )

28 Otro ejemplo $ cat frecuencia # frecuencia: muestra todas las palabras utilizadas y su frecuencia awk { for ( i = 1; i <= NF ; i++ ) num[$i]++ } END{ for ( palabra in num) print palabra, num[palabra] } $* | sort +1 -nr $

29 Funciones predefinidas de awk cos (expr)Coseno de expr exp (expr)Exponencia de expr: e elevado a exp getline( )lee la siguiente linea de entrada; devuelve 0 si es fin de archivo, 1 de lo contrario index (s1,s2)Posición de la cadena s2 en s1; devuelve 1 si no está. int (expr)Parte entera de expr, truncar hacia 0. length (s=longitud de la cadena s log (expr)Logaritmo natural de expr sin (expr)Seno de expr split (s,a,c)Divide s en a[1]... a[n] en el carácter c; devuelve n sprintf (fmt,...)Da formato a... según la especificación de fmt substr (s,m,n)Subcadena de n caracteres de s, comenzando en la posición n

30 Interacción con el Shell Supongamos que el usuario quiere escribir un programa campo n que imprime el campo n-esimo de cada renglón de la entrada. Por ejemplo: $ who | campo 1 Debería desplegar sólo el nombre de los usuarios que iniciaron sesión. Para poder resolver esto pasando un parámetro del shell al awk: awk { print $$1 } Otra forma de hacerlo (aunque es preferible la anterior): awk { printf \$$1 }

31 Preguntas ?

32 Ejercicios 4.1. Crear un archivo diccionario.txt, con todas las palabras (una por línea) tomadas de archivos de datos (en castellano) de su Home Directory. El archivo diccionario.txt debe quedar ordenado, no contener duplicados y todas las letras deberán estar en minúsculas. a) Extraer todas las palabras que empiecen y terminen con vocal. b) Mostrar el archivo eliminando todas las vocales, estén acentuadas o no. c) Un diptongo está formado por dos vocales, una fuerte y una débil, o dos débiles. Las vocales fuertes son a, e, o; las vocales débiles son i, u. La acentuación de u o i destruye el diptongo. i) mostrar todas las palabras con diptongo formado por dos vocales débiles, ii) mostrar todos los diptongos con a; iii) buscar una expresión regular mínima que despliegue todos los diptongos. d) Mostrar todas las palabras de 3 letras o más que sean palíndromos.

33 Ejercicios 4.2. El archivo acceso.log registra el acceso de los usuarios a un sistema UNIX. Este archivo cuenta con un renglón por cada uno de los accesos y posee la siguiente estructura de campos separados por : - Usuario - Fecha de Ingreso (Formato: ddmmyyyy) - Hora de Ingreso (Formato: hhmmss –24 horas-) - Dirección IP Desarrollar comandos que: a) Muestren el nombre de cada usuario y la cantidad total de accesos registrados, en orden alfabético. b) Extraer del archivo las líneas correspondientes a un usuario particular que se recibirá como parámetro. c) Agregar dos parámetros opcionales que permitan extraer sólo los registros correspondientes a cierto mes o cierto año. d) Extraer del archivo acceso.log las líneas que correspondan al usuario jperez o al usuario elopez.


Descargar ppt "Programación II Ing. Diego J. Arcusin 4 – Filtros."

Presentaciones similares


Anuncios Google