golang 分词 panic with “panic： unexpected token XXX”

Question

我正在学习分词，一个基于golang的解析器。完成本教程后，我决定创建一个简单的数组解析器，这是我的构造。

首先，我需要一个AST来表示这个数组。为了简单起见，我只解析不带引号的字符串数组。（，例如）{value1, value_two, value_3_here}

type SimpleArray struct {

    Arr []Values `"{" @@* "}"`

}

type Values struct {

    Str string `@Ident`

}

现在我为输入字符串创建一个词法分析器

var Lexer = stateful.MustSimple([]stateful.Rule{

    {`Ident`, `[a-zA-Z][a-zA-Z_\d]*`, nil},

    {`punct`, `[}{,]`, nil},

    {`whitespace`, `\s+`, nil},

})

我下面有我的主要功能，有一个简单的测试用例s := "{key, value}"

func main() {

    var parser = participle.MustBuild(&SimpleArray{},

        participle.Lexer(Lexer),

    )

    b := &SimpleArray{}

    s := "{key, value}"

    err := parser.ParseString("", s, b)

    if err != nil {panic(err)}

    repr.Println(b, repr.Indent("  "), repr.OmitEmpty(true))

}

但我惊慌失措。

panic: 1:2: unexpected token "key"

我认为 in 结构会抓住“密钥”，但事实并非如此，为什么会这样呢？我该如何解决这个问题？@IdentValues

谢谢！

Answer 1

我看到两个问题，第一个是规则定义语法错误，第二个是规则本身的错误。解析器无法解析任何内容，因为解析器仍然需要获取令牌才能开始第一个规则。词法分析器未传递第一个令牌的原因是因为规则的名称应大写 。小写规则（如 ）中的标记由词法分析器读取，但不传递给解析器。{SimpleArray{punctPunctwhitespace此外，还有另一个问题不允许您解析逗号。您需要修改规则以允许具有分隔逗号的其他项目。更改以下内容：type SimpleArray struct {    Arr []Values `"{" @@* "}"`}自：type SimpleArray struct {    Arr []Values `"{" (@@ ("," @@)*)? "}"`}新规则的解释："{"以解析{(...)?使列表可选（如果这是您实际想要的，如果没有，请删除此部分）@@ ("," @@)*以递归方式解析一个或多个项目，以逗号分隔"}"以解析}