Apache Hive (5) 썸네일형 리스트형 Hive Partitioning 보호되어 있는 글입니다. Apache Hive와 Apache Spark SQL의 차이점 Apache Hive와 Apache Spark SQL의 차이점 1. Apache Hive : Apache Hive는 Apache Hadoop 의 정점에 구축 된 데이터웨어 하우스 장치로 편리한 레코드 요약, 임시 쿼리 및 Hadoop과 결합 된 여러 데이터베이스 및 파일 구조에 저장된 방대한 데이터 세트의 평가를 가능하게합니다. MapR XD 및 MapR 데이터베이스와 함께 MapR 데이터 플랫폼과 함께. Hive는 대량의 구조화되지 않은 사실에 대한 구조를 연습 한 다음 해당 데이터에 대해 SQL과 유사한 일괄 쿼리를 실행하는 쉬운 방법을 제공합니다. 2. Apache Spark SQL : Spark SQL은 SQL에 대한 기본 지원을 Spark에 제공하고 RDD (Spark의 할당 된 데이터 세트) .. HIVE SQL - JOIN 이해(공식문서) Hive Joins Hive Joins Join Syntax Examples MapJoin Restrictions Join Optimization Predicate Pushdown in Outer Joins Join Syntax Hive에서 제공하는 Join구문 join_table: table_reference [INNER] JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_reference join_condition | table_reference CROSS JOIN table_r.. HIVE SQL - EXCHANGE PARTITION EXCHANGE PARTITION 명령은 소스 테이블에서 대상 테이블로 파티션을 이동하고 각 테이블의 메타 데이터를 변경합니다. 명령이 실행되면 HDFS에서 원본 테이블의 파티션 폴더 이름이 변경되어 대상 테이블의 파티션 폴더로 이동합니다. Hive 메타 스토어가 업데이트되어 소스 및 대상 테이블의 메타 데이터가 그에 따라 변경됩니다. 파티션 속성은 전체 또는 부분적으로 지정할 수 있습니다. Constraints 대상 테이블에는 교환 파티션을 포함 할 수 없습니다. 인덱스가 존재하면 작업이 실패합니다 Exchange 파티션은 소스 또는 대상으로 트랜잭션 테이블을 사용할 수 없습니다. 또는 LOAD DATA 또는 INSERT OVERWRITE 명령을 사용하여 트랜잭션 테이블간에 파티션을 이동합니다. 소스 .. HIVE SQL - BackSlash( ' \ ' ) 찾기 1. RLIKE 사용 정규식으로 문자열 검색을 도와주는 RLIKE 구문을 활용해서 '\'을 찾을수있다 WITH TMP1 AS(SELECT 'test\\test' AS TEST_RE_SLASH_1, 'test\\\\test' AS TEST_RE_SLASH_2, LENGTH('\\') AS LEN_RE_SLASH_1, LENGTH('\\\\') AS LEN_RE_SLASH_2, FROM test.sample LIMIT 5) SELECT * WHERE 1=1 AND TEST_RE_SLASH_1 RLIKE '.*(\\\\).*' AND TEST_RE_SLASH_2 RLIKE '.*(\\\\\\\\).*' LIMIT 5; RLIKE의 정규식에서 ' . '는 어떤 한 문자와 일치하고 ' * '은 왼쪽에 있는 것이 .. 이전 1 다음