Apache Iceberg

SED(Streamlined Editor)는 Unix에서 텍스트를 분해하거나 변환하기 위한 프로그램이다. sed는 벨 연구소의 리 E. 맥마흔이 1973년부터 1974년까지 개발하였고, 현재 유닉스 등의 여러 가지 운영 체제에서 사용 가능하다.

Cloudera Data Platform, Cloudera Manager를 설치하기 위해서 작성했던 스크립트의 주요 명령어를 정리해본다.

Bash shell Sciprt를 작성하며 Command 결과를 변수에 저장해야 하는 경우가 있다.

빅데이터 플랫폼을 구축하며 데이터 파이프라인을 구성하기 위한 다수의 서버(VM) 세팅과정이 필요로 했다. 플랫폼 구축을 하기 위한 사전 작업의 자동화를 계획하며 Bash Shell 공부를 시작하게 되었다. Linux에서 이러한 작업을 자동화하기 위해 가장 기본이 되는 Shell Scripts를 작성할 때 유용한 정보들을 내 입맛에 맞게 정리한 글이다.

서비스(Service)란? 쿠버네티스 환경에서 서비스(Service)는 파드들을 통해 실행되고 있는 애플리케이션을 네트워크에 노출(expose)시키는 가상의 컴포넌트다. 쿠버네티스 내부의 다양한 객체들이 애플리케이션과, 그리고 애플리케이션이 다른 외부의 애플리케이션이나 사용자와 연결될 수 있도록 도와주는 역할을 한다.

Mysql에 Hive metastore DB를 생성하여 hive table을 관리하면, 기본적으로 한글을 사용할 수(글자가 ???로 나옴) 없습니다.

Cloudera 분석 플랫폼 CDSW(Cloudera Data Science Workbench)를 AWS에 구축하는 작업을 수행하며 느낀 점들을 끄적여 본다.

Mysql에 Hive metastore DB를 생성하여 hive table을 관리하면, 기본적으로 한글을 사용할 수(글자가 ???로 나옴) 없습니다.