Étiquette : LLM

Après ces premières semaines de rentrée, je vous souhaite la bienvenue dans ce troisième article de notre série sur le traitement du langage naturel après avoir vu les n-grams et les embeddings. Aujourd’hui nous allons traiter un des aspects les plus sous estimés dans la conception d’un modèle de langage : la tokenization.Pour le moment…