Bigdata
centos7 환경에서 Apache Ambari 2.7.5 버전 설치하기
Ambari 2.7.5 버전을 설치해보자. Step 1 : 환경 준비 os 세팅 (jdk 1.8설치, postgresql 설치, ssh-keygen 설치, ntp 설치, hosts등록, 방화벽 끄기, SELINUX끄기, PackageKit 설치) 별도의 게시글로 설명한다. http 설치 # yum install httpd ## httpd 설치 후 버전 확인 $ yum list installed | grep httpd httpd.x86_64 2.4.6-97.el7.centos @updates httpd-tools.x86_64 2.4.6-97.el7.centos @updates # systemctl enable httpd # systemctl start httpd # systemctl status httpd..
Hive Architecture
Hive Architecture Hive의 주요 Component들은 다음과 같다. UI - 사용자를 위한 유저인터페이스는 시스템에 쿼리와 작업을 제출 할 수 있다. Driver - 쿼리를 받는 컴포넌트이다. Driver는 세션 핸들의 개념을 실행하고 JDBC/ODBC 인터페이스 기반의 API 를 실행하고 가져오는 것을 제공한다. Compiler - 쿼리를 분석하는 컴포넌트로 각기 다른 쿼리 블록과 쿼리 표현에서 의미 분석을 하고 테이블의 지원과 함께 실행 계획과 메타스토어에서 찾은 파티션 메타데이터를 생성한다. Metastore - 다양한 테이블의 모든 구조 정보와 칼럼과 칼럼 타입 정보를 포함한 웨어하우스내 파티션을 저장하는 컴포넌트로, serializers 와 deserializers 는 데이터를 ..
HBase Architecture
Apache HBase Architecture 공식문서를 번역한 게시글이다. https://hbase.apache.org/book.html#_architecture Apache HBase ™ Reference Guide This section describes the setup of a single-node standalone HBase. A standalone instance has all HBase daemons — the Master, RegionServers, and ZooKeeper — running in a single JVM persisting to the local filesystem. It is our most basic deploy hbase.apache.org 개요 NoSQL이란? H..
Kafka Architecture
이벤트 스트리밍 이란? 이벤트 스트리밍은 인간 몸의 중추신경의 디지털화 이다. 산업에서 소프트웨어 기반과 자동화가 점점 증가하고 사용자가 더많은 소프트웨어를 사용하는 '항상 켜져있는’ 세상을 위한 기술 기초이다. 기술적으로 말해서, 이벤트 스트리밍은 이벤트의 스트림의 형태에는 데이터베이스, 센서, 모바일 장치, 클라우드 서비스, 애플리케이션 소프트웨어와 같은 이벤트 소스에서 실시간으로 데이터 수집을 실행하는 것이다. ;나중에 검색할 수 있도록 이러한 이벤트 스트림을 계속해서 저장; 이벤트 스트림은 과거뿐만 아니라 실시간으로 조작,처리 및 대응한다; 그리고 필요에 따라 다른 대상 기술로 이벤트 스트림 라우팅; 그러므로 이벤트 스트리밍은 올바른 정보를 적절한 장소와 시간 위치에 있기 위해서 데이터의 연속적 ..
Zookeeper Architecture
Apache hadoop 의 Zookeeper Architecture 공식 문서를 번역한 게시글이다. https://zookeeper.apache.org/doc/r3.5.1-alpha/zookeeperOver.html ZooKeeper ZooKeeper ZooKeeper: A Distributed Coordination Service for Distributed Applications ZooKeeper is a distributed, open-source coordination service for distributed applications. It exposes a simple set of primitives that distributed applications can build up zookeeper..
YARN Architecture
Apache hadoop 의 YARN Architecture 공식 문서를 번역한 게시글이다. https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
Ambari Overview
Ambari Architecture Ambari는 다음과 같은 요소로 이뤄져 있다. Ambari Server : 각 Agent 상태 확인 및 API를 활용 명령 전달, 상태 확인 Ambari Agent : Agent가 설치된 서버 상태, 리소스 정보, 명령 수행 결과를 Server 전송 Postgresql(DB) : 각 상태값 및 Agent 명령 수행 결과 저장, 로그 저장 Ambari-web : 사용자가 확인하는 접속 UI 화면 ambari는 ambari agent와 ambari server 두개의 컴포넌트를 가지고 있다. agent는 agent interface를 통해서 heartbeats를 주고 받으며 server와 통신한다. Ambari 설치와 내부 진행 과정 https://www.slidesha..
HDFS Architecture
Apache hadoop 의 HDFS Architecture 공식 문서를 번역한 게시글이다. http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html