Jarayonni tushunish uchun matnni tokenlarga ajratishni o‘z ichiga olgan reja. Til xususiyatlarini hisobga olib, punktuatsiya va bo‘shliqlarni to‘g‘ri qayta ishlash, normalizatsiya kiritilgan bo‘lni aniqlashni o‘z ichiga oladi