Archives de catégorie : POS tagger

POS taggers

Nous avons réalisé une petite étude des POS taggers pour le français, dont les détails sont sur la page french-postaggers.tiddlyspot.com.

À ce jour, 14 POS taggers couvrant le français sont recensés sur cette page (et quelques autres POS taggers importants).
Différentes étiquettes (tag) ont été utilisées pour organiser les taggers, nous en présentons ici quelques unes.

Type d’entrée

Nous avons constaté trois niveaux d’information possibles pour l’entrée des POS tagger :

  1. texte brut : le texte sans plus d’information (éventuellement un marquage des phrases)
  2. texte tokénisé : texte déjà découpé en token et éventuellement en phrase
  3. texte enrichie : texte (tokénisé ou non) enrichi d’information (p.e. informations temporelles pour les transcriptions de l’oral)

Ces trois niveaux se traduisent par différents formats d’entrée :

  1. texte brut
  2. texte tokénisé
    • 1 phrase par ligne, tokens (y compris les ponctuations) séparés par des espaces (tag in:sent)
    • 1 token par ligne, avec ou sans marque de fin de phrase (tag in:tok)
  3. texte enrichi
    • fichiers « multicolonnes » avec 1 token par ligne et des informations supplémentaires (tag in:cols). Ce sont souvent des formats liés à une campagne d’évaluation ou au format de sortie (qui sert également pour l’apprentissage).
    • transcription de l’oral avec des informations :
      • temporelles : fichier TextGrid Praat, …
      • phonologique : TOE (transcription orthographique enrichie), …

Autre aspect important du format d’entrée, la codification de caractères :

  • certains systèmes ne supportent qu’un jeu de caractères spécifique, le plus souvent UTF-8 ou latin1 (ISO8859-1/ISO8859-15) pour le français,
  • d’autres permettent de spécifier le jeu de caractères d’entrée,
  • enfin, certains systèmes proposent même de ré-accentuer une entrée sans accents (p.e. LIA TAGG)

Voir aussi la section Input, Output and Co.

Fonctionnalités

Certain outils n’ont d’autre fonction que le POS tagging, quand d’autres permettent également d’autre tâches :

Jeu d’Étiquette

Le jeu d’étiquette utilisé pour le POS tagging.

Pour le français, nous avons rencontré 4 jeux (dont 3 issues du French Treebank) :

  1. le French TreeBank : (tag tags:FTB)
  2. une variante proposée par Crabbé et Candito en
    2008 : (tag tags:CC)
  3. une variante de cette dernière pour SEM : (tag tags:SEM)
  4. un jeu spécifique pour LanguageTool : (tag tags:LT-FR)