Data Sources 查看支持的配置进入对应的datasource 查看Data Source Option">Spark Data Sources 查看支持的配置进入对应的datasource 查看Data Source Option">

Spark

王江南2024年12月12日小于 1 分钟

更改ssh端口

export SPARK_SSH_OPTS="-p 7788"

creating dataframe

List<Row>

List<Row> ids = new ArrayList<>();

StructType schema = new StructType(new StructField[]{
            DataTypes.createStructField("id", DataTypes.StringType, false),
    });
Dataset<Row> df = spark.createDataFrame(ids, schema);

Data Sources

查看支持的配置

进入对应的datasource 查看Data Source Option

目录