Rapport ORTOLANG 2013 – LPL – Outils

Grégoire de Montcheuil, Stéphane Rauzy, Philippe Blache

 

Développement (année 2013)

Diffusion des outils

Pour faciliter l’usage des outils nous avons développé une interface graphique basique qui permet de créer des tâches de traitement de fichiers.

GUI-04-running

Interface graphique en cours de traitement d’une série de fichiers

L’interface permet de traiter différents types d’entrée :

  • texte brut,
  • texte tokenisé,
  • TOE (Transcription Orthographique Enrichie).

Différents formats de fichier d’entrée sont proposés :

(texte brut)

  • fichiers textes (avec choix de l’encodage),
  • fichiers XML (possibilité de préserver les balises en sortie),
  • PDF, Word, HTML … grâce à l’intégration de la librairie Tika,

(texte tokenisé)

  • fichiers textes avec un token par ligne (avec choix de l’encodage),

(TOE)

  • TextGrid Praat.

De même, différents formats de sortie sont possibles :

  • format CSV (Comma-Separated Values),
  • format MARS (XML),
  • format POS tag (texte « brut » avec les POS tags séparés par ‘/’),
  • format XML d’origine (balises préservées), mêlant l’un des trois formats précédents,
  • TextGrid Praat.

De plus, un installeur multiplateforme réalisé avec IzPack permet d’installer les outils sous Windows, Linux ou Mac.

Installeur réalizé avec IzPack

Installeur réalizé avec IzPack

Outils de l’écrit

Les différents outils du LPL sont progressivement intégrés dans l’interface graphique.
Pour l’analyse de l’écrit, les outils intégrés sont :

  • le tokenizer,
  • l’étiquetage morphosyntaxique à partir du lexique du LPL,
  • le POS tagger (à base de modèle statistique).

Un travail particulier a été fait pour réduire les coûts (mémoire et temps) du chargement des lexiques (étiqueteur morphosyntaxique) et de l’initialisation du tokenizer.

Outils de l’oral

Pour l’analyse de l’oral, des outils spécifiques sont intégrés :

  • le tokenizer avec une configuration spécifique,
  • l’étiquetage morphosyntaxique avec un lexique supplémentaire,
  • un POS tagger un peu différent qui calcul l’insertion de ponctuations.

Inventaire d’outils pour le TALN

Un inventaire des différents POS tagger disponibles pour le français a été réalisé. Celui-ci va en s’étoffant régulièrement avec d’autres outils.
L’inventaire est consultable en ligne à l’adresse http://french-postaggers.tiddlyspot.com/

En projet

  • Site de téléchargement
  • Intégration de nouveaux outils à l’interface graphique (chuncker, …)
  • Service web

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.