BERT (Bidirectional Encoder Representations from Transformers) modeli tabiiy tilni qayta ishlashda inqilob bo'lib, matnni kontekstual tushunishga yordam beradi. Transformer arxitekturasi asosida qurilgan va ikki yo'nalishda, ya'ni matnning oldidan va keyingi qismidan birgalikda ma'lumot olish imkoniyatini beradi