[ Spark ] Mysql 연결 후 DATA SELECT

 

[ Mysql연결 후 데이터 Select ]

접속정보를 option으로 주는 방법과

java.util.properties객체를 이용해

Mysql Server와 연결하는 방법이있다.

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
import java.util.Properties

object RdbToHive {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("SELECT RDBMS DATA")
      .setMaster("local")

    val spark = SparkSession.builder.config(conf).getOrCreate()

    // Loading data from a JDBC source
    val jdbcDF = spark.read
      .format("jdbc")
      .option("url", "jdbc:mysql://dbserver:3306")
      .option("dbtable", "test_db.tmp_table")
      .option("user", "admin")
      .option("password", "e123123")
      .load()
    jdbcDF.show(10)

    // Loading data from a JDBC source2
    val connectionProperties = new Properties()
    connectionProperties.put("user", "admin")
    connectionProperties.put("password", "e123123")
    val jdbcDF2 = spark.read
      .jdbc("jdbc:mysql://dbserver:3306", "test_db.tmp_table", connectionProperties)
    jdbcDF2.show(10)

  }
}

참조 : 

https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html