Outil de sélection des textes

Après une phase de collecte de textes possibles, nous sommes actuellement dans la phase de sélection des textes pertinents. Pour cela, nous avons généré des fichiers HTML de sélection, véritable petits wikis autonomes basés sur TiddlyWiki, qui permettent aux relecteurs de réviser et noter un petit groupe de textes sans autre besoin qu’un navigateur web (la révision se fait “hors-connexion”).

Comme l’illustre la (figure : sélection – vue générale), chaque page de sélection comporte sur la gauche un menu permettant d’ouvrir dans un onglet de la page les différents textes à réviser.

sélection - vue générale

sélection – vue générale

Chaque onglet de texte à réviser présente quelques méta-données, le texte “brut”, ainsi que sa découpe en phrases. Cette dernière peut être facilement corrigée grâce à la syntaxe wiki des tableaux qui permet d’ajouter/éliminer rapidement des séparations de lignes (une ligne de tableau correspond à une phrase, voir figure : sélection – édition des phrases).

sélection - édition des phrases

sélection – édition des phrases

Suit ensuite une section d’évaluation où quelques clics permettent de donner les notes et compléter quelques informations (figure : selection – évaluation).

sélection - évaluation

sélection – évaluation

Enfin, si certains mots n’ont pas été reconnus par l’annotation automatique, une dernière section permet de les réviser (figure : selection – mots inconnus). Ceux-ci sont également regrouper dans un onglet, ce qui permet de les réviser ensemble (figure : selection – onglet mots inconnus).

sélection - mots inconnus

sélection – mots inconnus

sélection - onglet mots inconnus

sélection – onglet mots inconnus

Corpus BLRI

Le BLRI (Brain and language Institute) regroupe des compétences pluridisciplinaires en linguistique, informatique, psychologie, neurosciences et médicales; qui couvrent l’ensemble des compétences nécessaires à l’étude du traitement du langage et de ses bases cérébrales. L’année 2014 a donné l’occasion de rassembler toutes les données produites et de les valoriser grâce au service de stockage sécurisé du SLDR. Le corpus ainsi constitué se compose de quatre sous-corpus :

  • le projet “CATSEM” , qui utilise la technique de la magnétoencéphalographie (MEG) pour étudier les mécanismes cérébraux qui sous-tendent la perception de parole et la lecture (Id. SLDR : http://hdl.handle.net/11041/blri-000872);
  • s’appuyant également sur la MEG, le projet “A Dys” regroupe des données destinées à analyser le traitement morphologique, orthographique et sémantique dans la lecture des étudiants dyslexiques (Id. SLDR : http://hdl.handle.net/11041/blri-000904);
  • le projet “IDIOME” a pour objectif de mettre en lumière l’interaction entre complexification et facilitation dans le traitement du langage en étudiant la violation de contraintes dans les idiomes (Id. SLDR : http://hdl.handle.net/11041/blri-000905); il mobilise pour cela l’électroencéphalographie (EEG). Le BLRI bénéficie en particulier de l’acquisition de l’EGI (casque de 256 capteurs (dense array EEG system) permettant d’obtenir une résolution spatiale du cerveau avec un gain considérable en précision et en commodité);
  • ces projets viennent s’ajouter au corpus “Neurospeech” issu de données de l’Imagerie par Résonance Magnétique fonctionnelle (IRMf) portant sur la lecture de mots et de pseudo-mots de complexité phonologique variable (Id. SLDR : http://hdl.handle.net/11041/blri-000834).
brli_001

Electroencéphalographie : analyse de l’activité cérébrale enregistrée en surface du crâne lors d’une stimulation audio ou vidéo.

Imagerie par résonnance magnétique fonctionnelle : visualisation de l’activité indirecte cérébrale lors d’une tâche. Etude du fonctionnement du cerveau. (centre IRMf, hôpital de la Timone, Marseille).

Imagerie par résonnance magnétique fonctionnelle : visualisation de l’activité indirecte cérébrale lors d’une tâche. Etude du fonctionnement du cerveau. (centre IRMf, hôpital de la Timone, Marseille).

Magnétoencéphalographie : mesure des champs magnétiques induits par l'activité électrique des neurones du cerveau, lors d’une tâche. (centre MEG, hôpital de la Timone, Marseille).

Magnétoencéphalographie : mesure des champs magnétiques induits par l’activité électrique des neurones du cerveau, lors d’une tâche. (centre MEG, hôpital de la Timone, Marseille).

Développement des outils

La chaîne de traitement de données orales initialement proposée (Figure 1) a été mise en place et s’avère robuste sur différents corpus. Elle a en effet été testée sur 4 corpus déposés au SLDR: CID (000027), MapTask-Aix (000732), “Audio-Visual condition of Aix-MapTask” (000875), et Grenelle II (000755) montré en Figure 2. Elle est également déjà utilisée dans divers projets, notamment des projets ANR tels que TYPALOC et Cofee.

Actuellement, la communication entre les outils s’effectue via des fichiers au format TextGrid, format natif du logiciel Praat, très utilisé dans la communauté. Nous allons améliorer ce fonctionnement en proposant un format d’échange plus riche, basé sur XML. Nous proposerons également des améliorations et des fonctionnalités supplémentaires.

Chaîne de traitement de l'oral

Chaîne de traitement de l’oral

Exemple de corpus annoté automatiquement. Seule la transcription orthographique enrichie (TOE) est effectuée manuellement.

Fig. 2 Exemple de corpus annoté automatiquement. Seule la transcription orthographique enrichie (TOE) est effectuée manuellement.

SPPAS

Dans la chaîne de traitement, SPPAS ([1]) permet la segmentation automatique en Unités Inter-Pausales, propose un petit outil dédié à la transcription orthographique de ces unités, puis effectue la segmentation automatique en phonèmes, en mots puis en syllabes. Enfin, SPPAS intègre un outil de visualisation des données, un outil de manipulation des fichiers annotés, un outil de statistiques et un système de requête.

SPPAS est entièrement implémenté en Python, il est donc multi-plateformes. En 2014, SPPAS a été visité par près de 1000 utilisateurs différents, dont 55% d’utilisateurs sous Windows, 35% sous MacOS et 10% sous Linux. Bien que nécessitant beaucoup plus d’efforts, le pari du “multi-plateforme” s’avère donc un pari gagnant.

Fig 3. Sessions ouvertes sur le site web de SPPAS en 2014

Fig 3. Sessions ouvertes sur le site web de SPPAS en 2014

Les méthodes d’annotations automatiques implémentées dans SPPAS reposent sur des algorithmes multi-lingues : seules les ressources utilisées dépendent de la langue. La qualité des ressources conditionne ainsi la qualité du résultat obtenu. En ce qui concerne le français, les résultats obtenus par SPPAS sont au moins équivalents à ceux de systèmes dédiés. De plus, par rapport à un système dédié, l’avantage de ce type d’approche réside dans la facilité de prise en charge d’une nouvelle langue. Ainsi, il suffit de créer :

  • une liste de mots pour disposer du “Tokenizer” (segmentation en mots),
  • un dictionnaire de prononciation pour disposer du “Phonetizer” (conversion graphème-phonème),
  • un modèle acoustique pour disposer d’un “Aligner” (alignement temporel des mots et phonèmes sur le signal acoustique),
  • une liste de règles pour disposer d’un “Syllaber” (regroupement des phonèmes en syllables).

Ainsi, entre 2012 et 2014, SPPAS est passé de 4 langues supportées à 9 langues. Au français, anglais, italien et mandarin se sont ajoutés l’espagnol, le taiwanais, le japonais, le catalan, le cantonais. L’ajout du polonais est en cours de réalisation, suite au dépôt récent d’un corpus sur SLDR. De plus, nous avons été contacté par une entreprise allemande pour ajouter le support de la langue russe. Le choix du “multi-linguisme” est là aussi un pari gagnant : d’un point de vue scientifique, il permet de soulever des questions méthodologiques intéressantes/innovantes et d’un point de vue pratique, il permet de mettre rapidement des outils à la disposition des utilisateurs.

Pays d’origine des utilisateurs (du site web)

Pays d’origine des utilisateurs (du site web)

Enfin, les questions de la multimodalité et de l’intéropérabilité ont été abordées pour la gestion interne des données annotées et la communication avec les autres logiciels. Une représentation unifiée des données a été proposée ([2]) et permet de traiter des fichiers de divers logiciels dans un cadre théorique unique. SPPAS permet d’ores et déjà de gérer des fichiers provenant de Transcriber, Praat, Elan et HTK. D’autres formats de fichiers vont s’ajouter à cette liste très rapidement (juin 2015). Cette représentation générique des données a par ailleurs permi de créer un système de requête des données multi-annotées ([3]).

SPPAS propose les 7 annotations automatiques suivantes :

  1. Momel et INTSINT : Modélisation de la mélodie (D. Hirst)
  2. IPUs segmentation : détection des silences
  3. Tokenization : normalisation de texte incluant la segmentation en mots ([4])
  4. Phonetization : convertion grapheme-phonème ([5])
  5. Alignment : alignement des phonèmes et mots sur le signal
  6. Syllabification: regroupement des phonèmes en syllabes
  7. Repetitions : repérage des auto- et hétéro- répétitions lexicales

ainsi que les 6 composantes graphiques suivantes pour l’analyse des annotations :

  • DataRoamer : manipulation des fichiers d’annotation
  • SndRoamer : manipulation des fichiers son (en cours)
  • SppasEdit : visualisation des annotations
  • IPUscribe : transcription orthographique facilitée
  • DataFilter : requêtage/extraction des données annotées
  • Statistics : inventaire des annotations (occurrences, durées…)

La diffusion de SPPAS est assurée via un site web précédemment hébergé par le LPL, et désormais par le SLDR. Dans la mesure où SPPAS est largement utilisé à l’international, et le site fréquemment visité, il est en effet important que le site web soit fonctionnel sans interruption.

Site web (page d’accueil)

Site web (page d’accueil)

Trois niveaux d’utilisation sont proposés :

  1. une interface graphique conviviale, accessible à tout type d’utilisateurs (plusieurs enseignants utilisent SPPAS pour leur cours de Phonétique),
  2. des commandes en ligne,
  3. une API (Application Programming Interface).

Les trois solutions sont largement documentées, en HTML et en PDF (sur le web et dans le logiciel).

SPPAS - Fenêtre d’accueil

SPPAS – Fenêtre d’accueil

Ainsi, SPPAS est un logiciel largement utilisé dans la communauté internationale, essentiellement par des Phonéticiens. Une formation de 2 jours, financée par l’IRCOM, sera assurée fin août à Nantes, juste avant le colloque GESPIN – Gestures and Speech in Interaction.

Pour résumer, SPPAS en quelques chiffres, c’est :

  • 42000 lignes de code, 20000 lignes de commentaires et documentation développeurs
  • 1000 téléchargements en 2014
  • 100 pages de documentation utilisateurs
  • 1 présentation d’introduction
  • 7 annotations automatiques, qui peuvent traiter jusqu’à 9 langues différentes
  • 6 composantes pour l’analyse des annotations
  • 5 publications liées à Ortolang (ci-dessous)

References :

[1] Brigitte Bigi, Daniel Hirst (2013). What’s new in SPPAS 1.5? Proceedins of Tools and Resources for the Analysis of Speech Prosody, Aix-en-Provence, France, Eds B. Bigi and D. Hirst, ISBN: 978-2-7466-6443-2, pp. 62-65.

[2] Brigitte Bigi, Tatsuya Watanabe, Laurent Prévot (2014). Representing Multimodal Linguistics Annotated Data. 9th International conference on Language Resources and Evaluation (LREC), Reykjavik (Iceland), pages 3386-3392. ISBN: 978-2-9517408-8-4.

[3] Brigitte Bigi, Tatsuya Watanabe. Extraction de données orales multi-annotées. TALN, pages 556-561, Marseille (France), 2014.

[4] Brigitte Bigi (2014). A Multilingual Text Normalization Approach. Human Language Technologies Challenges for Computer Science and Linguistics, LNAI 8387, Springer, Heidelberg. ISBN: 978-3-319-14120-6. Pages 515-526.

[5] Brigitte Bigi (2013). A phonetization approach for the forced-alignment task. 3rd Less-Resourced Languages workshop, 6th Language & Technology Conference, Poznan (Poland).

Phonedit

Dans le cadre du projet Ortolang, nous avons tout d’abord effectué une modernisation du code source existant. Phonedit 4.0 (la version de départ dans le projet Ortolang) a été développée en Visual C++ 6 (1998). Un travail de réécriture et de paramétrisation du compilateur a permis de passer à une version 4.1 compilée en Visual C++ 2010, ce qui nous autorise une visibilité pour l’avenir.   Nous avons créé une installation afin de faciliter l’installation.

Durant l’année 2014, Un effort important a porté sur les aspects liés à la visualisation et l’édition de données d’annotation, notamment sur les points suivants :

  • Optimisation mémoire et algorithmique pour pouvoir traiter jusqu’à 100 000 labels, ce qui représente plus d’une heure de données sonores avec des annotations phonémiques, syllabiques, lexicales, morpho-syntaxiques, discursives…
  • Capacité de synchronisation de frontières entre niveaux d’annotation (ex : phonèmes et syllabes)
  • Capacité de gérer divers types de labels : intervalles, points, contigus ou non,… Contrairement aux autres logiciels d’annotation, la synchronie et la contiguïté ne sont pas obligatoires, laissant ainsi de la liberté dans l’annotation.
  • Divers points d’ergonomie facilitant l’annotation manuelle
  • Utilitaires pour importer les données en provenance de SPASS et Praat.

MarsaTag

MarsaTag est une collection des outils d’analyse du français, tant écrit que oral (transcription) développé au LPL par Stéphane Rauzy en Java (multi-plateforme).

Au cours de l’année 2013, nous avions tout d’abord travaillé au packaging des outils : réalisation d’une interface graphique (GUI) pour le traitement de lot de fichiers, création d’un programme d’installation, et la gestion d’un certain nombre de formats d’entrée/sortie de l’écrit (texte brut, document Word ou PDF, formats XML) ainsi que d’un format de transcriptions (Textgrid Praat). Cette première version de MarsaTag offrait alors des outils de tokenisation, étiquettage morpho-syntaxique et POS tagging avec des modèles adaptés pour l’écrit et pour l’oral.

Durant l’année 2014, MarsaTag s’est tout d’abord enrichi au niveau des outils d’un parser (arbre de constituants) pour l’écrit (figure : MarsaTag – process flow).

Nous avons également amélioré l’interface utilisateur en augmentant les arguments pouvant être définis lors du lancement de MarsaTag (CLI, voir figure : MarsaTag – GUI & CLI). Par ce biais, il est à la fois possible de traiter un lot de fichier directement sans l’interface graphique (mode batch), ou encore de pré-configurer certaines options de celle-ci – c’est notamment ce que fait le plugin qu’offre SPPAS. Nous avons également travaillé à l’intégration de MarsaTag dans d’autre framework de traitement des langues en Java, avec un plugin pour GATE (figure : MarsaTag dans GATE).

Enfin, nous avons également quelques formats d’entrée/sortie, parmi lesquels un format de transcription supplémentaire (format ELAN), ainsi qu’un format d’échange pour une architecture de web-services (le format TCF, Text Corpus Format, pour l’architecture WebLicht).

Parmi les évolutions à venir pour MarsaTag, nous pouvons citer la mise au point d’un nouvel algorithme de parsing qui permettra notamment une meilleure prise en compte des disfluences dans le cas de l’oral, et sa mise en place comme web-service.

MarsaTag - process flow

MarsaTag – process flow

MarsaTag - GUI & CLI

MarsaTag – GUI & CLI

MarsaTag dans GATE

MarsaTag dans GATE

 

Éditeur d’arbres

Dans la perspective du développement ou de la correction de treebanks, nous avons étudié les différents outils  permettant l’édition facile d’arbres de constituants. Face à l’absence d’un outil vraiment adapté aux arbres de constituant et facile d’usage – tant pour ses fonctions d’édition que pour son installation – nous nous sommes orientés vers le développement d’un outil en javascript. Ainsi, l’éditeur s’exécutant dans le navigateur web de l’utilisateur, aucune installation n’est nécessaire , de plus l’outil pourra également s’intégrer à des plate-formes web d’annotation.

 Dans sa version actuelle, l’outil d’annotation se présente comme une simple page web qui permet de visualiser et éditer un fichier d’arbre (dans le format XML “SYNT” produit par MarsaTag, TODO: Penn). Après avoir sélectionné son fichier, les arbres sont affichés dans la page, avec en dessous de chacun la phrase correspondante (figure : éditeur d’arbres – vue générale).

Chaque représentation d’arbre étant un graphique vectoriel (format SVG), il est facile de zoomer ou de le redimensionner pour adapter au mieux la visualisation de l’arbre. De plus ce format XML permet d’utiliser des feuilles de styles (CSS) pour adapter les couleurs de chaque noeud.

Les noeuds de l’arbre peuvent être déplacés par simple drag & drop (figure : éditeur d’arbres – drag & drop). Un menu contextuel permet de faire les autres opérations d’édition : changement d’étiquette, création ou suppression de noeuds; ainsi que des ajustements visuels : masquer/ré-afficher une partie de l’arborescence, augmenter la taille de l’image, etc. (figure : éditeur d’arbres – menu contextuel). Il est également possible de sélectionner plusieurs noeuds pour leur appliquer la même modification.

Une fois les modifications faites, le fichier modifié peut être sauvegardé par l’utilisateur.

éditeur d’arbres - vue générale

éditeur d’arbres – vue générale

éditeur d’arbres - menu contectuel

éditeur d’arbres – menu contectuel

Cette première version de l’outil offre un fonctionnement stand-alone, qui permet à l’utilisateur d’éditer ses propres fichiers d’arbres. Afin de pouvoir l’utiliser dans une campagne plus large de création et correction de corpus, nous travaillons actuellement à l’intégrer dans une plate-forme web d’annotation permettant de gérer de multiples annotateurs et curateurs.

MarsaGram

MarsaGram est un outil d’exploration et d’enrichissement de treebanks (tant en arbres de constituants que de dépendance).

Sa fonction première est d’extraire à partir du treebank une grammaire hors-contexte (CFG) et des propriétés induites d’unicité, linéarité, obligation ou exclusion entre les composants d’une même unité syntaxique (constituant ou dépendants d’une même tête).

Dans le même temps,  l’outil génère un ensemble de pages HTML qui permettent de visualiser règles et propriétés et d’explorer leurs occurrences dans le treebank.

La (figure : MarsaGram – vue générale) montre les pages d’exploration produites par MarsaGram. La fenêtre se subdivise en 3 parties :

  • Sur la gauche sont listés les différents composants du treebank (syntagmes ou catégories grammaticales dans le cas d’arbres de constituants), avec les décomptes des occurrences, nombre de règles CFG associées et propriétés induites. Un lien permet de charger dans la partie principale la page décrivant le composant.
  • La zone principale sert à présenter, pour chaque syntagme ou tête, les différents symboles qui le composent, les propriétés calculées et les règles CFG dont il est la partie gauche.
  • Une dernière zone placée en bas permet l’affichage des occurrences dans le treebank.

Chaque zone est bien sûr redimensionable pour l’adapter au besoin de la navigation.

MarsaGram - vue générale

MarsaGram – vue générale

Au sein de la zone principale, une première table “symbols” liste les différents composants des parties droites des règles, avec le nombre de règles où ceux-ci apparaissent, leur occurrences et fréquence (figure: MarsaGram – symbols). La figure nous montre également que la dernière colonne liste les index des règles, avec un lien vers celles-ci. En survolant l’index le détail de la règle apparaît.

Un seconde table “properties” liste les différentes propriétés avec leurs fréquences et différents poids (figure: MarsaGram – properties). La figure illustre également les filtres qui peuvent être appliqués sur les différentes tables.

Une troisième table “rules” liste les différentes règles avec encore une fois leur nombre d’occurrences et fréquence, et une dernière colonne qui permet d’afficher une occurrence dans la zone inférieure (figure: MarsaGram – rules).

Si les règles ont été filtrées, une dernière table liste les règles éliminées par le filtre. Leur exploration peut amener à détecter des cas particuliers ou des erreurs dans le treebank.

MarsaGram - symbols

MarsaGram – symbols

MarsaGram - properties

MarsaGram – properties

MarsaGram - rules

MarsaGram – rules

 MarsaGram possède plusieurs options pour affiner le calcul des règles et des propriétés. Il est tout d’abord possible de choisir le niveau de finesse des symboles considérés : il est possible de ne conserver que la catégorie grammaticale, ou de travailler sur la paire <catégorie, fonction>. Ensuite, pour certains formalismes de constituant qui utilisent des éléments non-projectifs, il est possible de les conserver ou de les “éliminer”. De même, dans le cadre d’arbres de constituants, il est possible d’activer des règles qui réduiront les constructions de coordinations. Il est également possible de filtrer les règles (en fonction de leur nombre d’occurrences, ou de leur fréquence) et d’ajuster le seuil de poids pour considérer une propriété.

Dans sa version actuelle, MarsaGram est un script Perl à la configuration complexe, nous travaillons donc à sa réécriture en Java pour faciliter sa diffusion et son utilisation.

Développement et migration SLDR/ORTOLANG

Gestion de dépôts

Le service SLDR/ORTOLANG a été conçu pour le dépôt de la plus grande diversité de données orales et linguistiques afin de répondre aux besoins de la communauté scientifique en termes de mutualisation des ressources. Aucune contrainte de volumétrie n’est imposée et le plan de classement des archives est adapté à chaque projet.

Liste des dépôts et mises à jour depuis janvier 2014 :

http://sldr.org/archivage_hist.php?date_start=2014-01&date_end=2015-12

Pour cette période, le SLDR a accueilli 56 nouveaux objets, constitués de 497 163 fichiers et d’un volume total de 560 947 Mb.

Cet ensemble d’objets comporte des outils, des corpus ou des enrichissements de corpus préexistants et provient de divers instituts en France (Marseille, Lyon, Tours,…) ainsi qu’à l’étranger (Pologne, Norvège, Angleterre,…). La variété de ces objets a impliqué un traitement spécifique en matière de droits, de description et de présentation.

Curation

  • Mutualisation :
    • Finalisation du corpus “ALIPE” <http://hdl.handle.net/11041/alipe-000853> : ce corpus disponible sur un site institutionnel est désormais intégralement et durablement accessible via le mécanisme d’identifiants pérennes du SLDR ;
    • La distribution et la documentation de SPPAS <http://hdl.handle.net/11041/sldr000800> sont maintenant gérées directement par SLDR. Le rapatriement des fonctions a été rendu possible par les fonctionnalités de navigation dans l’espace ‘vitrine’ <http://sldr.org/sldr000800/preview> et de création d’identifiants pérennes développées lors de la curation du projet ALIPE.
  • Archivage pérenne : le corpus “ANCOR” <http://hdl.handle.net/11041/ortolang-000903> a permis d’identifier un problème de validité des fichiers XML produits par certains logiciels ; des solutions ont été proposées afin de faciliter leur archivage pérenne par le CINES.
  • Droits : les producteurs de corpus constitués dans le cadre de l’appel IRCOM/ORTOLANG se sont vus proposer une licence spécifique « Licence ESR » destinée à favoriser l’ouverture de ces données à la recherche publique.
  • Site : l’interface du site SLDR a été modifiée pour s’intégrer davantage à la présentation de la plateforme ORTOLANG et accroître la lisibilité du service.

Procédures de migration

Des procédures ont été développées pour exporter automatiquement les objets de SLDR vers la nouvelle plateforme ORTOLANG. Cette exportation comprend, pour chaque objet :

  • l’intégralité des données dans toutes les versions de l’objet
  • l’intégralité des métadonnées descriptives stockées dans des fichiers XML
  • l’intégralité des métadonnées techniques exportées des tables MySQL vers des fichiers XML
  • les autorisations des participants
  • les licences particulières, le cas échéant
  • l’arborescence des fichiers réglant les droits d’accès
  • les notices des publications associées à l’objet
  • la liste des téléchargements de l’objet
  • l’intégralité des commentaires échangés à propos de l’objet
  • le script de création des identifiants pérennes du contenu de l’objet

Ces procédures permettent d’assurer la continuité du service : dépôt, curation et diffusion des données sur SLDR jusqu’à ce que les fonctionnalités de la nouvelle plateforme ORTOLANG autorisent une migration complète du service et des données/métadonnées.

Identifiants pérennes

  • Participation d’ORTOLANG (Bernard Bel, Arnaud Gingold) à un séminaire inter-européen sur les identifiants pérennes organisé par le réseau DASISH à Cologne les 8-9 décembre 2014. Présentation et discussion du dispositif de gestion des identifiants implémenté sur SLDR : http://sldr.org/doc/show/cologne/SLDR-DASISH-PID.pdf
  • Création du groupe de travail “Persistent Identifiers Policies” dans le cadre du réseau européen DARIAH, en collaboration avec Tibor Kalman et Ulrich Schwardmann (GWDG). Le GWDG est porteur du consortium EPIC : http://www.pidconsortium.eu

Certification CLARIN

Le SLDR a obtenu la certification de centre CLARIN type C :
https://centres.clarin.eu/centre/28

Moissonnage

Les métadonnées descriptives multilingues du SLDR sont moissonnées par les portails spécialisés suivants :

Nouvelles ressources

  • Script praat pour recueil infos acoustiques <http://hdl.handle.net/11041/ortolang-000895> : ce script, créé par des chercheurs de Grenoble, a été modifié pour récupérer un ensemble d’informations clés dans un TextGrid généré sous SPPAS.
  • Audio-visual condition of “Aix MapTask” <http://hdl.handle.net/11041/sldr000875> : poursuite de l’étude initiée par le corpus MAPTASK-AIX <http://hdl.handle.net/11041/sldr000732>, ce corpus en analyse la condition audio-visuelle.
  • Corpus “ANCOR” Centre <http://hdl.handle.net/11041/ortolang-000903> : corpus francophone d’envergure (488 000 mots) de parole spontanée annoté en anaphores et coréférences portant aussi bien sur des entités nominales que pronominales. L’annotation a été réalisée sur trois corpus de parole conversationnelle (Accueil_UBS, OTG et ESLO) diffusés également librement.
  • Corpus “Berlin” <http://hdl.handle.net/11041/ortolang-000893> : corpus pseudo-longitudinal de récits oraux d’une séquence filmique muette tirée de Modern Times de Charlie Chaplin (version expérimentale conçue par l’équipe de Heidelberg) ; un soin particulier a été apporté à la question des droits d’accès et d’usage des vidéos du corpus, d’une part, et de la séquence visionnée, d’autre part.
  • Corpus “Loup-garou” <http://hdl.handle.net/11041/ortolang-000900> : Enregistrements vidéo et audio multipistes d’interactions entre joueurs du « Loup garou » (étudiants en master LEX au LPL); constitution, transcription, curation et diffusion du corpus réalisées en collaboration avec le SLDR.
  • Transfert des données du BLRI <http://hdl.handle.net/11041/blri-000835> vers le site SLDR à partir de l’intranet du LPL
  • Dépôt du corpus “JURISDICT” <http://hdl.handle.net/11041/sldr000868> qui sera utilisé pour :
    • l’implémentation dans SPPAS d’un module de conversion et d’exploitation des fichiers d’annotation XML au format Transcriber ;
    • la construction automatique d’un modèle phonologique permettant l’alignement de transcriptions dans une langue jusqu’ici non traitée par SPPAS ;
    • les tests de procédures d’exportation sur un objet qui contient plus de 480 000 fichiers.
  • Dépôt de la collection “CREAGEST” <http://hdl.handle.net/11041/ortolang-000912> qui rassemble des discours de Langue des signes française (LSF). (Projet ANR 2008-2011). Il comprend deux corpus :
    1. “Sallandre & L’Huillier 2011“ recueilli auprès de 65 enfants sourds (bilingues LSF-Français) et 17 adultes sourds (vidéo 50 heures)
    2. “Garcia & L’Huillier 2011” de dialogues entre adultes sourds (vidéo 106 heures)

POS taggers

Nous avons réalisé une petite étude des POS taggers pour le français, dont les détails sont sur la page french-postaggers.tiddlyspot.com.

À ce jour, 14 POS taggers couvrant le français sont recensés sur cette page (et quelques autres POS taggers importants).
Différentes étiquettes (tag) ont été utilisées pour organiser les taggers, nous en présentons ici quelques unes.

Type d’entrée

Nous avons constaté trois niveaux d’information possibles pour l’entrée des POS tagger :

  1. texte brut : le texte sans plus d’information (éventuellement un marquage des phrases)
  2. texte tokénisé : texte déjà découpé en token et éventuellement en phrase
  3. texte enrichie : texte (tokénisé ou non) enrichi d’information (p.e. informations temporelles pour les transcriptions de l’oral)

Ces trois niveaux se traduisent par différents formats d’entrée :

  1. texte brut
  2. texte tokénisé
    • 1 phrase par ligne, tokens (y compris les ponctuations) séparés par des espaces (tag in:sent)
    • 1 token par ligne, avec ou sans marque de fin de phrase (tag in:tok)
  3. texte enrichi
    • fichiers “multicolonnes” avec 1 token par ligne et des informations supplémentaires (tag in:cols). Ce sont souvent des formats liés à une campagne d’évaluation ou au format de sortie (qui sert également pour l’apprentissage).
    • transcription de l’oral avec des informations :
      • temporelles : fichier TextGrid Praat, …
      • phonologique : TOE (transcription orthographique enrichie), …

Autre aspect important du format d’entrée, la codification de caractères :

  • certains systèmes ne supportent qu’un jeu de caractères spécifique, le plus souvent UTF-8 ou latin1 (ISO8859-1/ISO8859-15) pour le français,
  • d’autres permettent de spécifier le jeu de caractères d’entrée,
  • enfin, certains systèmes proposent même de ré-accentuer une entrée sans accents (p.e. LIA TAGG)

Voir aussi la section Input, Output and Co.

Fonctionnalités

Certain outils n’ont d’autre fonction que le POS tagging, quand d’autres permettent également d’autre tâches :

Jeu d’Étiquette

Le jeu d’étiquette utilisé pour le POS tagging.

Pour le français, nous avons rencontré 4 jeux (dont 3 issues du French Treebank) :

  1. le French TreeBank : (tag tags:FTB)
  2. une variante proposée par Crabbé et Candito en
    2008 : (tag tags:CC)
  3. une variante de cette dernière pour SEM : (tag tags:SEM)
  4. un jeu spécifique pour LanguageTool : (tag tags:LT-FR)

 


Rapport ORTOLANG 2013 – LPL – Outils

Grégoire de Montcheuil, Stéphane Rauzy, Philippe Blache

 

Développement (année 2013)

Diffusion des outils

Pour faciliter l’usage des outils nous avons développé une interface graphique basique qui permet de créer des tâches de traitement de fichiers.

GUI-04-running

Interface graphique en cours de traitement d’une série de fichiers

L’interface permet de traiter différents types d’entrée :

  • texte brut,
  • texte tokenisé,
  • TOE (Transcription Orthographique Enrichie).

Différents formats de fichier d’entrée sont proposés :

(texte brut)

  • fichiers textes (avec choix de l’encodage),
  • fichiers XML (possibilité de préserver les balises en sortie),
  • PDF, Word, HTML … grâce à l’intégration de la librairie Tika,

(texte tokenisé)

  • fichiers textes avec un token par ligne (avec choix de l’encodage),

(TOE)

  • TextGrid Praat.

De même, différents formats de sortie sont possibles :

  • format CSV (Comma-Separated Values),
  • format MARS (XML),
  • format POS tag (texte « brut » avec les POS tags séparés par ‘/’),
  • format XML d’origine (balises préservées), mêlant l’un des trois formats précédents,
  • TextGrid Praat.

De plus, un installeur multiplateforme réalisé avec IzPack permet d’installer les outils sous Windows, Linux ou Mac.

Installeur réalizé avec IzPack

Installeur réalizé avec IzPack

Outils de l’écrit

Les différents outils du LPL sont progressivement intégrés dans l’interface graphique.
Pour l’analyse de l’écrit, les outils intégrés sont :

  • le tokenizer,
  • l’étiquetage morphosyntaxique à partir du lexique du LPL,
  • le POS tagger (à base de modèle statistique).

Un travail particulier a été fait pour réduire les coûts (mémoire et temps) du chargement des lexiques (étiqueteur morphosyntaxique) et de l’initialisation du tokenizer.

Outils de l’oral

Pour l’analyse de l’oral, des outils spécifiques sont intégrés :

  • le tokenizer avec une configuration spécifique,
  • l’étiquetage morphosyntaxique avec un lexique supplémentaire,
  • un POS tagger un peu différent qui calcul l’insertion de ponctuations.

Inventaire d’outils pour le TALN

Un inventaire des différents POS tagger disponibles pour le français a été réalisé. Celui-ci va en s’étoffant régulièrement avec d’autres outils.
L’inventaire est consultable en ligne à l’adresse http://french-postaggers.tiddlyspot.com/

En projet

  • Site de téléchargement
  • Intégration de nouveaux outils à l’interface graphique (chuncker, …)
  • Service web