Investigación algorítmica Grupo Plagiatest-T Investigación algorítmica

Integrantes Grupo 4 Carolina Balbín Ávalos 20050373 Sheyla Díaz Muguruza 20057079 César Ríos Gárate 20050373 Lizzett Nataly Seminario 20037185 Víctor Chávez Lazarte 20062038

Introducción Descripción del problema Facilidad de acceso a la información Apropiación de ideas ajenas Dificultad para detectar plagio

Introducción Objetivo Presentación de los algoritmos investigados Elaborar un Software que permita detectar similitudes de textos entre diferentes documentos de manera que nos permita determinar el nivel de plagio existente en el documento analizado. Presentación de los algoritmos investigados Frente a esta problemática se presentan los algoritmos de Secuencias Maximales, Winnowing y Espacios Vectoriales. Todos ellos presentan una Etapa preprocesamiento y la ejecución propia del Algoritmo.

Algoritmo 1: Secuencias Maximales Algoritmo capaz de encontrar patrones que se repiten en una colección determinada de textos. Un patrón es una secuencia de elementos que se repiten. Utiliza dos parámetros: β: Umbral de frecuencia n: Capacidad de salto

¿Cómo se aplica al problema? Preprocesamiento: Para cada palabra en el documento a procesar se crea un nodo en el cual se almacena el identificador de la palabra y 2 arreglos; el primero de ellos almacenará una lista con las posiciones en las cuales se encuentra la palabra en el documento y el segundo almacenará una lista con punteros a los nodos de las palabras en las posiciones siguientes a la analizada.

¿Cómo se aplica al problema? Algoritmo: Se recorren paralelamente la lista de nodos de los documentos a comparar de modo que se detecten secuencias comunes, se considerarán las secuencias encontradas cuyo tamaño supere al umbral de frecuencia definido. Adicionalmente al hallar la secuencia en cada caso, se tendrá en consideración el umbral de salto, el cual representa la tolerancia que se tiene al realizar la comparación y por ende la búsqueda de las secuencias comunes.

¿Cómo se aplica al problema?

Secuencias Maximales VENTAJAS DESVENTAJAS Este algoritmo nos permite realizar la comparación entre varios documentos. La clasificación y longitud de las secuencias maximales nos ayudan a emitir un porcentaje de plagio. Si en un texto que ha sido copiado se invierten el orden de un conjunto de palabras el algoritmo usado no los reconocerá como plagio ya que no cumplirá con el orden de la secuencia.

Secuencias Maximales – mejoras

Algoritmo 2: Winnowing El algoritmo presentado es capaz de detectar similitudes entre documentos a nivel de fragmentos. Un aspecto importante es establecer el criterio de selección de estos fragmentos. Ejemplo: por párrafos o por oraciones.

¿Cómo se aplica al problema? Preprocesamiento: A cada fragmento del documento se le aplica una función Hash, la cual nos dará un identificador único por cada uno de ellos. Se escogen los valores hash más significativos del documento. A los valores hash escogidos en el paso anterior se les almacena mediante una lista inversa, la cual nos dará las posiciones en las cuales se repite el mismo fragmento dentro del documento.

¿Cómo se aplica al problema? Cada fracaso supone un capítulo más en la historia de nuestra vida y una lección que nos ayuda a crecer. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo más en nuestra vida y una lección que nos ayuda a madurar y a crecer. Aprende de ellos, y sigue. Por los fracasos no te dejes desanimar. Documento1 Documento2

¿Cómo se aplica al problema? Paso 1 : Seleccionamos los fragmentos Cada fracaso es un capítulo en la historia de nuestra vida. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo más en nuestra vida y una lección para madurar. Aprende de ellos, y sigue. Por los fracasos no te dejes desanimar. Documento1 Documento2

¿Cómo se aplica al problema? Paso 2 : Por cada fragmento eliminamos los signos de puntuación, artículos, preposiciones, mayúsculas y acentos. Cada fracaso es un capítulo en la historia de nuestra vida. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo más en nuestra vida y una lección para madurar. Aprende de ellos, y sigue. Por los fracasos no te dejes desanimar. Documento1 Documento2

¿Cómo se aplica al problema? Paso 3 : Ordenamos las palabras alfabéticamente dentro de cada fragmento. cada fracaso es un capitulo historia de nuestra vida no te dejes desanimar fracasos aprende ellos y sigue adelante cada capitulo es fracaso historia nuestra vida un dejes desanimar fracasos no te adelante aprende ellos sigue y Doc1 cada capitulo constituye fracaso lección madurar mas nuestra un una vida y aprende ellos sigue y dejes desanimar fracasos no te cada fracaso constituye un capitulo mas nuestra vida y una lección madurar aprende ellos y sigue fracasos no te dejes desanimar Doc2

¿Cómo se aplica al problema? Paso 4 : Aplicamos la función hash a cada fragmento previamente ordenado y obtenemos un identificador por cada uno de ellos 17 20 35 cada capitulo es fracaso historia nuestra vida un dejes desanimar fracasos no te adelante aprende ellos sigue y Doc1 = cada capitulo constituye fracaso lección madurar mas nuestra un una vida y aprende ellos sigue y dejes desanimar fracasos no te 13 87 20 Doc2

¿Cómo se aplica al problema? Paso 5 : Escoger los valores hash más significativos de cada documento y para esto tener en cuenta el tamaño de la ventana. En el ejemplo, la ventana tendrá valor de 4. 20 35 18 76 98 23 20 43 19… 18 32 20 76 91 22 5 19 24 … W=4 17 20 35 18 20 35 18 76 35 18 76 98 18 76 98 23 76 98 23 20 98 23 20 43 23 20 43 19 Más significativos: 17 18 20 19 W=4 18 32 20 76 32 20 76 91 20 76 91 22 76 91 22 5 22 5 19 22 5 19 24 Más significativos: 18 20 5 Documento1 Documento2

Winnowing - FingerPrint VENTAJAS DESVENTAJAS La principal virtud de este algoritmo es la sencillez de su implementación. La detección se realiza de forma rápida. Para la comparación no sería necesario almacenar todo el documento ya que lo que se compara son los identificadores obtenidos en el preprocesamiento. Si en un texto se cambian u omiten algunas de las palabras dentro de cada fragmento el algoritmo no lo detectará como plagio ya que para cada uno de los fragmentos seleccionados la función hash dará un valor diferente.

Winnowing - Mejoras Se puede almacenar el tamaño de los fragmentos antes de ser convertidos con la función hash para obtener un mejor alcance del porcentaje de similitud al final de la comparación. Se puede ordenar las palabras dentro de los fragmentos antes de que se les aplique la función hash, con esto el algoritmo considerará los casos en que se modifique el orden de las palabras.

Algoritmo 3: Modelo del Espacio Vectorial – Similitud entre vectores Este algoritmo usa como base la teoría concerniente a los espacios vectoriales para encontrar similitudes entre los fragmentos de los documentos analizados. En este caso utilizaremos como criterio de comparación la fórmula de la función coseno para dos vectores.

Algoritmo 3: Modelo del Espacio Vectorial – Similitud entre vectores Preprocesamiento: El algoritmo arma una matriz para cada documento en la cual cada fila representa un vector en la que cada componente representa la frecuencia con la que esa palabra se repite en el fragmento escogido.

¿Cómo se aplica al problema? Ejemplo:

¿Cómo se aplica al problema? Algoritmo: Se contrasta fila por fila en cada par de matrices (las cuales representan a cada par de documentos) de modo que para cada par de vectores representados en dichas filas se aplica la fórmula del coseno para dos vectores. Con este resultado usamos el criterio de que si el valor obtenido mediante la formula es cercano a uno podemos considerar que se tratan de fragmentos similares en caso contrario no lo serán. Usando la cantidad de fragmentos similares podemos determinar el porcentaje de similitud total entre los documento comparados.

¿Cómo se aplica al problema? Ejemplo:

Modelo del Espacio Vectorial VENTAJAS DESVENTAJAS Si en el documento se cambian las posiciones de las palabras este algoritmo podrá detectar el plagio ya que se basa en la obtención de la frecuencia de aparición de cada palabra y no en la posición en que aparece. Con este algoritmo no es posible poder reconocer exactamente los fragmentos en los cuales se incurrió en plagio, ya que este solo almacena la cantidad de veces que se repite cada palabra.

Modelo del Espacio Vectorial Cada fracaso supone un capítulo más en la historia de nuestra vida y una lección que nos ayuda a crecer. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo más en nuestra vida y una lección que nos ayuda a madurar y a crecer. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Documento1 Documento2

Modelo del Espacio Vectorial Paso 1 : Fragmentamos el documento. Cada fracaso es un capítulo en la historia de nuestra vida. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo en nuestra vida y una lección. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Documento1 Documento2

Modelo del Espacio Vectorial Paso 2 : Almacenamos los términos de la partición en una matriz Cada fracaso es un capítulo en la historia de nuestra vida constituye y una lección Doc1 Doc2 Cada columna representa un término Cada fila es una partición de cada documento Cada fracaso es un capítulo en la historia de nuestra vida. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo en nuestra vida y una lección. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Doc2 Doc1

Modelo del Espacio Vectorial Paso 3 : Almacenamos los términos de la partición en una matriz Cada fracaso es un capítulo en la historia de nuestra vida constituye y una lección 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 Frag1 Frag2 1 1 0 1 1 1 0 0 0 1 1 1 1 1 1 Cada fracaso es un capítulo en la historia de nuestra vida. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Cada fracaso constituye un capítulo en nuestra vida y una lección. No te dejes desanimar por los fracasos. Aprende de ellos, y sigue adelante. Documento2 Documento1

Modelo del Espacio Vectorial Paso 4 : Aplicamos la función del Coseno Equivale al producto escalar de dos vectores de documentos (1 y 2) y luego se procede a dividirlo por el producto de la raíz cuadrada del sumatorio de los componentes del vector 1 con la raíz cuadrada del sumatorio de los componentes del vector 2.

Modelo del Espacio Vectorial

Conclusiones De los algoritmos presentados como alternativas a la búsqueda de similitudes de texto (elementos de diferentes documentos) podemos concluir que

Referencias: