Procesul prin care un flux de caractere sunt grupate într-o serie de elemente lexicale, sau token-uri, şi toate datele disponibile dicţionarul este asociat cu elemente lexicale. Analiza lexicala cuprinde trei etape distincte: segmentarea, normalizarea şi adnotare.