본문 바로가기

CDP > AD(LDAP)연동 시 사용자 및 그룹이 numeric인 경우 고려사항 Cloudera Data Platform에서 보안 인증을 구성할 때, 주요 구성 요소는 다음과 같다. - 인증 : MS AD 또는 Open-ldap, MS AD를 권장(디렉토리 서비스와 MIT Kerberos 기능을 동시에 제공하며, 기업 환경에서 운영하기 안정적임) 및 Kerberos - 접근제어 : Ranger - 데이터 거버넌스 : Atlas CDP의 경우 사용자 계정으로 인증을 할 때, LDAP에 등록된 사용자 기반으로 Kerberos 인증을 수행하며, LDAP에 등록된 사용자 및 사용자 그룹은 물리적인 빅데이터 시스템의 OS 계정 및 그룹이 동기화되어야 한다. 대부분 Linux의 SSSD를 활용하여 LDAP에 사용자 및 사용자 그룹 정보와 CDP의 시스템 계정(hdfs, impala 등)을 동기.. 더보기
Impala - Statestore와 Coordinator간의 연결 불량 다음과 같이 워크로드가 많은 상황에서 Impala Daemon이 불특정하게 불량 상태.. 로그를 보면, 1. StateStore - 16:43:52초에 Dedicated Coordinator와 연결이 끊어집니다. -------------------------------------------- I1113 16:43:52.344728 46588 client-cache.h:351] RPC recv timed out: dest address: ip-addr or dns:23000, rpc: N6impala18THeartbeatResponseE I1113 16:43:52.344836 46588 client-cache.cc:174] Broken Connection, destroy client for impala_c.. 더보기
[Impala JDBC 인증 설정] WAS에서 JDBC 연결 시 kerberos 통합? Kerberos기반으로 secure Hadoop 클러스터를 구성한 경우, 웹 애플리케이션에서 JDBC 연결을 하는 경우, Kerberos 인증 통합이 되어야만 하는가?- 현실적으로 이와 같은 구성은 기존 레가시 시스템 구성을 변경해야 하는 경우가 발생하기 때문에 불가능한 구성이 되는 경우가 많다.때문에 WAS에서 연동되는 JDBC Connection 인증에 대해서만 LDAP 연동을 하도록 설정이 가능하다. 다음과 같이 JDBC에서 Kerberos 인증 대신 LDAP 인증으로 변경하시면 됩니다.AuthMech=3 1) 클라이언트 사이드의 JDBC 연결 정보에서 인증방식을 LDAP으로 구성Building the Connection URLUsing the connection URL, you supply con.. 더보기