Spark Dataset - NumberFormatException：

Question

当我尝试创建数据集并从中收集数据时，我遇到了一个奇怪的异常。

Exception in thread "main" java.lang.NumberFormatException: Zero length BigInteger

    at java.math.BigInteger.<init>(BigInteger.java:302)

    at org.apache.spark.sql.catalyst.expressions.UnsafeRow.getDecimal(UnsafeRow.java:405)

    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.writeFields_3_3$(generated.java:298)

    at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(generated.java:35)

    at org.apache.spark.sql.execution.LocalTableScanExec$$anonfun$unsafeRows$1.apply(LocalTableScanExec.scala:41)

    at org.apache.spark.sql.execution.LocalTableScanExec$$anonfun$unsafeRows$1.apply(LocalTableScanExec.scala:41)

    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)

    at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)

    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)

执行代码如下所示：

List<SimplePojo> list ...

Dataset<SimplePojo> ds = sparkSession.createDataset(list, Encoders.bean(SimplePojo.class))

ds.collectoAsList();

SimplePojo 类包含一个方法 getSomething（），这显然会导致异常。当我注释掉它时，一切都很好。

public class SimplePojo {

   private int id;

   private OtherPojo otherPojo = new OtherPojo();

   @Deprecated // required by park serialization. Use builder

   public SimplePojo(){}

   publi int getId(){

      return id;

   }

   public String getSomething() {

      return otherPojo.getSomething();

   }

   // sets ...

}

有没有人知道可能发生了什么？

Answer 1

事实证明，我不能有不属于豆子的get。我假设它是分析器期望的“豆类格式”。Introspector在发现一个没有各自属性的get时会发疯（根据Java版本的不同方式）。由于我无论如何都找不到对分析器说“忽略此方法”，因此解决方案是避免与bean属性无关的get和set。