Estudis humanístics i tecnologies de la parla Present i futur Juan María Garrido Departament de Traducció i Filologia, UPF Barcelona Media / Centre d’Innovació Col·loqui Studia Humanitatis, Bellaterra, 22 de maig de 2008

Les tecnologies de la parla Què són Tecnologies orientades a la reproducció automàtica dels processos humans de comunicació verbal: Generació de parla Conversió text-parla (text-to-speech) Generació de parla a partir de conceptes (concept-to-speech) Percepció/comprensió de la parla Reconeixement de parla Identificació de locutor Interacció oral (diàleg) Gestió de diàleg Objectiu: desenvolupament d’interfícies persona-màquina basades en llenguatge oral

Les tecnologies de la parla Què són Conversió text-parla Què és: Permet la lectura en veu alta, de forma completament automàtica, d’un text escrit en un idioma determinat. Com funciona: Síntesi per concatenació d’unitats: Es fan servir fragments de parla real prèviament gravada per a la generació dels enunciats. Els fragments se solen extreure de grans bases de dades de parla anotada d’un locutor (síntesi a partir de corpus). 3

Les tecnologies de la parla Què són Conversió text-parla 4

Les tecnologies de la parla Què són Reconeixement de parla Què és: Converteix un senyal de parla en la seva representació escrita (ortogràfica o fonètica). Com funciona: Fa servir models acústics i lingüístics construïts amb tècniques estadístiques d’aprenentatge automàtic (models ocults de Markov, HMM). L’entrenament es fa automàticament a partir de grans corpus de veu i text anotats. 5

Les tecnologies de la parla Què són Reconeixement de parla 6

Les tecnologies de la parla Què són Gestió de diàleg Què és: Controla automàticament la interacció oral entre un usuari i una màquina. Com funciona: Integra diferents tecnologies de la parla i el llenguatge per a la gestió correcta de les interaccions orals: conversió text-parla reconeixement de parla comprensió de parla (anàlisi semàntica) generació de text 7

Les tecnologies de la parla Què són Gestió de diàleg 8

Les tecnologies de la parla El present L’estat de la tecnologia Conversió text-parla Sistemes multilingües i multilocutor. Sistemes amb un nivell d’intel·ligibilitat molt elevat, però amb una naturalitat encara millorable. Sistemes orientats sobretot a la generació de parla neutra, sense expressivitat ni espontaneïtat. Reconeixement Nivell de qualitat acceptable en entorns controlats (domini lingüístic limitat, condicions acústiques favorables). Sistemes de diàleg Encara poc flexibles, no permeten molta naturalitat en les interaccions. 9

Investigación y Desarrollo Les tecnologies de la parla El present L’estat de la tecnologia Exemples de conversió text-parla Telefónica Investigación y Desarrollo Espanyol peninsular femení Espanyol peninsular masculí Català femení Espanyol femení 10

Les tecnologies de la parla El present L’estat de la tecnologia Exemples de gestió de diàleg Roomline CMU ARISE LIMSI/CNRS Exemple 1 Exemple 2 Exemple 1 11

Les tecnologies de la parla El present Les aplicacions actuals Sistemes de lectura per a persones amb discapacitats: Kurzweil 1000: lectura automàtica en veu alta de textos impresos o electrònics. Kurzweil 3000: eina de suport a l’aprenentatge de persones amb discapacitats, que inclou sortida vocal 12

Les tecnologies de la parla El present Les aplicacions actuals Sistemes de dictat automàtic: SpeechMagic, de Philips (http://www.speechrecognition.philips.com/index.asp?id=520): especialment dissenyat per a la redacció d’informes mèdics. Dragon NaturallySpeaking, de Nuance (http://www.nuance.com/naturallyspeaking/) 13

Les tecnologies de la parla El present Les aplicacions actuals Sistemes automàtics de gestió i informació telefònica: 11818 automàtic, de Telefónica Informació meteorològica per telèfon de Meteocat 14

Les tecnologies de la parla El futur Noves aplicacions Sistemes amb interfícies més naturals, i adaptats a nous entorns Assistents personals Domòtica, intel·ligència ambiental Maior-Vocce, interfície vocal per a Maior-Domo de Fagor Robots, joguines per a nens Sony AIBO (http://support.sony-europe.com/aibo/), gos mecànic amb reconeixement de parla 15

Les tecnologies de la parla El futur Noves aplicacions Sistemes multimodals: Sistemes de monitorització (sensors): conductors, gent gran, malalts… Sistemes d’informació multimodals (veu, imatges, pantalles tàctils…) Projecte WITAS, de la universitat de Stanford (http://www-csli.stanford.edu/semlab-hold/witas/) Presentadors virtuals Meteosam, d’Activa Multimedia Digital (http://www.meteosam.com/cat/index.php) 16

Les tecnologies de la parla El futur Noves aplicacions Sistemes multilingües: Sistemes d’informació multilingüe Traducció parla-parla Projecte Verbmobil (http://verbmobil.dfki.de/overview-us.html) Projecte C-STAR (http://www.c-star.org/) Video d’exemple 17

Les tecnologies de la parla El futur Nous reptes tecnològics per a noves aplicacions Evolució de les tecnologies existents: Conversió text-parla adequada als nous entorns Entrada de text no normatiu (SMS, xats...) Parla adequada a la situació: Nous usuaris: (nens, gent gran...) Noves situacions comunicatives (jocs, assistents virtuals…) Reconeixement de parla més robust i adaptat a les noves situacions d’ús. Models acústics més resistents al soroll Models lingüístics adaptats a les noves situacions comunicatives Sistemes de diàleg adequats a les noves aplicacions: Adaptació a les noves situacions comunicatives Multimodalitat 18

Les tecnologies de la parla El futur Nous reptes tecnològics per a noves aplicacions Desenvolupament/millora de noves tecnologies Reconeixement de locutor Reconeixement d’idioma Reconeixement d’emocions … 19

i tecnologies de la parla Estudis humanístics i tecnologies de la parla Interdisciplinarietat de les tecnologies de la parla El desenvolupament de tecnologies i aplicacions relacionades amb la parla demana coneixements de diferents disciplines: Processament de senyal Lingüística/fonètica Informàtica Diferents fórmules: Creació de grups multidisciplinaris de desenvolupament Col·laboracions universitat-empresa 20

i tecnologies de la parla Estudis humanístics i tecnologies de la parla Coneixement lingüístic i tecnologies de la parla L’aportació de la lingüística en el desenvolupament d’aquests sistemes és actualment força limitada: Conversió text-parla: Mòduls de processament lingüístic. Recollida i anotació dels corpus per a la síntesi. Reconeixement : Recollida i anotació de corpus. Generació de vocabularis. Per què: Manca del coneixement lingüístic necessari. Manca d’un llenguatge comú amb les altres disciplines. Manca de professionals amb la preparació adequada. 21

i tecnologies de la parla Estudis humanístics i tecnologies de la parla Estudis humanístics (lingüístics) i futur de les tecnologies de la parla Recerca bàsica en les àrees d’interès per a la tecnologia de la parla Models prosòdics Models d’expressió fonètica de les emocions en la parla Models de construcció del discurs oral Anàlisi de la llengua als nous canals de comunicació (SMS, xat...) ... Professionals de la lingüística amb formació multidisciplinària: Formació sòlida en lingüística i fonètica (preferentment multilingüe) Bon coneixement de les eines de tractament automàtic del llenguatge i la parla Coneixements de processament del senyal, programació… 22