Big DATA/Cloudera 썸네일형 리스트형 How Does Cloudera Manager Work? 본 문서에서는 Cloudera Manager의 내부 동작 방식에 대해 설명을 하고 있습니다. Cloudera Manager의 Term아래의 그림은 Cloudera Manager에 내부 용어를 설명하고 있습니다: "Deployment"는 가장 큰 개념으로 한 개이상의 클러스터를 포함할 수 있습니다. "Cluster"는 복 수개의 호스트의 집합(동일한 CDH 버전이 실행됨을 의미)이며, "Host"는 물리적인 장치입니다. "Service"는 다양한 역할을 담당하는 특정 호스트에 배포된 인스턴스입니다. "Role Config Goup"은 복 수의 Role을 한번에 구성하기 위한 기능을 제공하는 단위입니다. 구성정보는 컨텍스트 기반의로 구조화되어 있습니다. 예를 들어, DataNode의 로그 파일의 경로 정보는.. 더보기 Cloudera - Oracle RAC 구성 1. Hue 구성Oracle RAC 환경 Hue 연동 - Hue는 Oracle과 연동할때 OCI 기반으로 django를 사용함 (참고1)- Oracle RAC은 instance들을 하나로 묶어 cluster alias name 구성되어 있음 (tnsnames.ora 참고) 적용부분) CM의 Hue servcie 구성에서 hue_safety_valve_server.ini에대한 Hue Server 고급 구성 스니펫(안전밸브)engine=oracleport=0user=testpassword=testname=(DESCRIPTION=(LOAD_VALANCE=off)(DESCRIPTION=(LOAD_BALANCE=off)(FAILOVER=on)(CONNECT_TIMEOUT=5)(TRANSPORT_CONNECT_TI.. 더보기 Sensitive Data Redaction 데이터 치환(Data Redaction)은 모든 개인 식별 정보(PII: Personally Identifiable Information)와 같은 민감한 정보를 보호하는 주요 방법입니다. 개인 식별 정보(PII)는자체 데이터로만 또는 다른 정보와 결합되어 특정 개인을 식별하거나 그 사람의 위치 정보를 식별할 수 있는 것을 의미합니다. Redaction 기능을 사용하면 PII 정보를 식별 정보를 포함하지 않는 패턴으로 변환 할 수 있습니다. 예를 들면, 123-45-6789와 같은 주민번호(Social Security Number)를 다음과 같은 형식과 같이 인지할 수 없는 문자열로 변환할 수 있습니다: XXX-XX-XXXX 또는 XXX-XX-6789.하둡내의 데이터를 보호하기 위해서 암호화 기술을 사용할.. 더보기 Authorization With Apache Sentry Configuring Authorization권한은 부여된 자원과 서비스를 대상으로 누가 접근하여 무엇을 통제할지에 대한 내용을 다룹니다. 특히 이전 개별적으로 존재하였던 IT 시스템과 달리 Hadoop은 기업 내의 모든 데이터를 저장하고 이를 기반으로 처리되는 Enterprise Data hub 역할을 담당하기 때문에, 좀더 다양하고 세분화된 권한 관리 제어 기능을 요구하고 있습니다. Hadoop 관리 도구들은 설정 및 유지보수를 다음과 같은 방식을 통해 간소화 할 수 있습니다: 모든 사용자들을 그룹화하며, 특히 기업 내에 존재하는 LDAP 또는 AD와 같은 디렉토리 서비스를 활용하는 것입니다.배치 및 Interactive SQL 쿼리에 대한 RBAC(Role-based Access Control)을 .. 더보기 이전 1 다음