본문 바로가기

Impala Options 1) SCHEDULE_RANDOM_REPLICA Query Option (CDH 5.7 이상)"SCHEDULE_RANDOM_REPLICA" 쿼리 옵션은 각 HDFS 데이터 블록을 처리하는 호스트를 설정할 때 활용되는 알고리즘입니다. 이 옵션은 HDFS 캐싱 기능을 사용하지 않은 테이블과 파티션에만 적용됩니다. Default: falseHDFS 캐시 복제본이 있는 경우, Impala는 캐시된 데이터 블록을 처리할 호스트를 임의로 선택합니다. "SCHEDULE_RANDOM_REPLICA"은 HDFS 캐싱을 사용하지 않은 테이블과 파티션에 적용되는 쿼리 옵션입니다. 기본 동작 방식으로 Impala는 요청받은 쿼리에 대해 개별 호스트에서 실행될 작업량을 예측한 뒤, 가장 적은 워크로드를 가진 호스트를 선택합니다.. 더보기
Cloudera 5.10 업그레이드 후, Hue 콘솔 400 Bad Request 에러. 증상: CDH 버전을 업그레이드 한 뒤, Hue 관리 콘솔에 접속할 때 400 Bad Request 에러 발생Hue 프로세스는 정상적으로 기동되어 있으며, Cloudera Manager 관리 콘솔에 Hue 서비스의 상태는 Green 상태netstat 명령어로 8888 포트가 정상적으로 Listen 웹 브라우저에 DNS 주소로 접속할 때는 정상 동작하지만, ip_address로 접속할 때 위와 같은 문제가 발생. (또는 반대의 경우도 해당 됨) 해결책: Cloudera Manager 관리 콘솔에서 Hue 서비스 클릭구성탭 클릭 및 hue_safety_valve_server.ini에 대한 Hue Server 고급 구성 스니펫(안전벨브)에 다음 옵션 추가 구성[desktop]allowed_hosts=** 원인.. 더보기
How Does Cloudera Manager Work? 본 문서에서는 Cloudera Manager의 내부 동작 방식에 대해 설명을 하고 있습니다. Cloudera Manager의 Term아래의 그림은 Cloudera Manager에 내부 용어를 설명하고 있습니다: "Deployment"는 가장 큰 개념으로 한 개이상의 클러스터를 포함할 수 있습니다. "Cluster"는 복 수개의 호스트의 집합(동일한 CDH 버전이 실행됨을 의미)이며, "Host"는 물리적인 장치입니다. "Service"는 다양한 역할을 담당하는 특정 호스트에 배포된 인스턴스입니다. "Role Config Goup"은 복 수의 Role을 한번에 구성하기 위한 기능을 제공하는 단위입니다. 구성정보는 컨텍스트 기반의로 구조화되어 있습니다. 예를 들어, DataNode의 로그 파일의 경로 정보는.. 더보기