如下图，请问如何在spark中不植入pandas的东西，而实现或者算出这个分段信息呢？

Question

python的dataFrame.describe可以传入一个数组，返回结果会输出基本统计信息和分段信息，如图1，而在spark中dataFrame.describe只会返回基本统计信息，如图2，如何在spark中不植入pandas的东西，而实现或者算出这个分段信息呢？

Answer 1

#!/usr/bin/env python3# -*- coding: utf-8 -*-"""Created on Fri Jun 8 16:27:57 2018@author: luogan"""import pandas as pdfrom pyspark.sql import SparkSessionspark= SparkSession\.builder \.appName("dataFrame") \.getOrCreate()# Loads data.ll3=pd.DataFrame([[1,2],[3,4]],columns=['a','b'])cc=ll3.values.tolist()dd=list(ll3.columns)#df=spark.createDataFrame(ll3)#turn pandas.DataFrame to spark.dataFramespark_df = spark.createDataFrame(cc, dd)print('spark.dataFram=',spark_df.show())#turn spark.dataFrame to pandas.DataFrame pandas_df = spark_df .toPandas()print('pandas.DataFrame=',pandas_df)