analisi lessicale

L'analisi lessicale è il processo di prendere in ingresso una sequenza di caratteri e produrre in uscita una sequenza di token. Il flusso di caratteri è genericamente il codice sorgente di un programma. L'analisi lessicale interviene genericamente nella parte di front end della compilazione. Ad esempio, dato in ingresso il seguente codice: Programma Pippo intero i = 1;end Pippo Il flusso di token prodotto sarà il seguente: Da notare che alcuni token potrebbero fare a meno del valore (lessema) (ad esempio il simbolo equal), poiché già indicati dalla tipologia. Lo strumento che si occupa dell'analisi lessicale è l'analizzatore lessicale, a volte chiamato scanner o lexer.