spark SQL

세미나 목차 - spark sql datasource - spark sql datasource v1 VERSUS v2 - spark sql custom datasource - 실 예제 이런 식으로 진행될 것으로 예정됨. What is Spark SQL Datasource Spark SQL Datasource 정의 - DataSource : 사용되는 데이터의 근본지(?). 데이터가 오는 위치. - Spark SQL : 스파크의 한 모듈 중 하나로 구조화된 데이터를 처리할 때 사용됨. Distribured SQL 쿼리처럼 동작하며 dataframe이라는 특징을 제공함. Dataframe은 Avro, Hive, ORC, JSON, Parquet, JDBC과 같이 다양한 Datasource를 처리하는 수 많은m..
minjae_cent
'spark SQL' 태그의 글 목록