본문 바로가기

Oozie Timezoe 변경 - Hue 현상: Oozie의 Coordinator의 TimeZone이 Seoul로 설정되어 있더라도 Oozie Job의 Bundle 실행은 UTC 기준(9시간 이전)으로 실행됨) 조치: Cloudera Manager에서, Oozie Service > Configuration > Advanced > Oozie Server Advanced Configuration Snippet(Safety Value) for oozie-site.xml에서이름: oozie.processing.timezone값: GMT+0900으로 설정하고, Oozie를 재시작추가적으로 Oozie Coordinate의 TimeZone이 Asia/Seoul로 설정되어 있는지 여부 확인 더보기
Configuring HiveServer2 Heap Size and Garbage Collection for Hive Components HiveServer2 및 Hive Metastore 정상적으로 동작하기 위해서 충분한 량의 메모리 설정을 요구하며, 운영환경에서는 기본 설정값인 256MB의 Heap 사이즈는 적합하지 않습니다. 다음은 워크로드 별로 Cloudera에서 권장하는 값입니다. Cloudera는 HiveServer2의 JVM Heap Size를 12GB 이상으로 설정하는 경우 HiveServer2를 다중 인스턴스로 Number of Concurrent ConnectionsHiveServer2 Heap Size Minimum RecommendationHive Metastore Heap Size Minimum Recommendation최.. 더보기
Sensitive Data Redaction 데이터 치환(Data Redaction)은 모든 개인 식별 정보(PII: Personally Identifiable Information)와 같은 민감한 정보를 보호하는 주요 방법입니다. 개인 식별 정보(PII)는자체 데이터로만 또는 다른 정보와 결합되어 특정 개인을 식별하거나 그 사람의 위치 정보를 식별할 수 있는 것을 의미합니다. Redaction 기능을 사용하면 PII 정보를 식별 정보를 포함하지 않는 패턴으로 변환 할 수 있습니다. 예를 들면, 123-45-6789와 같은 주민번호(Social Security Number)를 다음과 같은 형식과 같이 인지할 수 없는 문자열로 변환할 수 있습니다: XXX-XX-XXXX 또는 XXX-XX-6789.하둡내의 데이터를 보호하기 위해서 암호화 기술을 사용할.. 더보기