如何检测语句的结束？

Question

我不会 Go，我只是在研究各种语言的语法。

来自 Go FAQ：“Go 借用了 BCPL 的一个技巧：分隔语句的分号在形式语法中，但由词法分析器自动注入，无需先行，在任何可能是语句末尾的行的末尾。”

我想知道它是如何完成的，我看了一下，lex.go但也许我对 Go 的了解不够（实际上很少），但我没有找到任何对“声明”或“分号”的引用。

那么，如何在词法分析器阶段检测到有效语句的结尾，甚至无需前瞻？