Tokenigi la kantotekston en la trejnadprocezo de trejnado de AI-modelo por krei poezion uzante TensorFlow kaj NLP-teknikojn servas plurajn gravajn celojn. Tokenigo estas fundamenta paŝo en naturlingva prilaborado (NLP) kiu implikas malkonstrui tekston en pli malgrandajn unuojn nomitajn ĵetonoj. En la kunteksto de kantoteksto, tokenigo implikas disfendi la kantotekston