CDP 7.1.4+ - Hive-Kafka 통합

1. Concept : Kafka Handler - github.com/apache/hive/blob/master/kafka-handler/README.md

2. Security Consideration : github.com/strimzi/strimzi-kafka-operator/issues/4190

 

* 원하는 구성 

1. Hadoop 클러스터 (CDP Base 7.1.5+) : Hive on Tez (Kerberos 환경)
2. Kafka 클러스터 (CDP Base 7.1.5) : Kafka (unkerberized 환경)

* 테스트 방식

1. Kafka 클러스터 ( Unkerberized 환경) 
   • 테스트용 토픽 생성 : hive_test
   • 테스트용 메시지 입력 : JSON 형식 - 예) { "cust_id": 1313131, "month": 12, "expenses":1313.13 } 
   • Kafka 구성 확인 : ssl.client.auth = none.
2. Hive on Tez(Kerberos 환경)
   • GENERATED_HADOOP_CREDSTORE_PASSWORD 옵션을 disable - 아래 그림 참조
   • 기타 Hive의 ssl 구성이 disable로 구성되었는지 확인
   • Hive Table 생성
   • 아래 참조
   • 쿼리 수행  - 아래 그림 참조
    

CREATE EXTERNAL TABLE kafka_test_1
(`cust_id` STRING,
`month` STRING,
`expenses` STRING)
STORED BY 'org.apache.hadoop.hive.kafka.KafkaStorageHandler'
TBLPROPERTIES
("kafka.topic" = "hive_test2"
, "kafka.bootstrap.servers"="nightly7x-unsecure-2.nightly7x-unsecure.root.hwx.site:9092,nightly7x-unsecure-1.nightly7x-unsecure.root.hwx.site:9092,nightly7x-unsecure-3.nightly7x-unsecure.root.hwx.site:9092",
'kafka.consumer.security.protocol'='PLAINTEXT'
);