Sadržaj:
Definicija - Što znači leksička analiza?
Leksička analiza koncept je koji se u računalnoj znanosti primjenjuje na vrlo sličan način kao i za lingvistiku. U osnovi, leksička analiza znači grupiranje niza slova ili zvukova u skupove jedinica koje predstavljaju smislenu sintaksu. U jezikoslovlju se naziva raščlanjivanje, a u računarskoj znanosti može se nazvati raščlanjivanje ili tokenizacija.
Tehopedija objašnjava leksičku analizu
Ideja leksičke analize u računarskoj znanosti je da leksička analiza probija struje dolje u „lekseme“ gdje oznaka predstavlja osnovnu jedinicu značenja. Tokeni su složeni na takav način da se prevodilac jezika mora vratiti i izolirati kako bi implementirali ispravne upute za računanje. U osnovi, i ljudi i računala rade leksičku analizu, ali računala to rade drugačije i na puno više tehnički način. Način na koji računala rade leksičku analizu ne mora biti transparentan za ljude - on se mora samo programirati u računalni sustav. Programi koji rade leksičku analizu u računalnoj znanosti često se nazivaju lekseri, tokenizeri ili skeneri.
