티스토리

KEY LOG

검색하기

블로그 홈

KEY LOG

kimeunyeol.tistory.com/m

그냥 이것저것

구독자: 0

방명록 방문하기

주요 글 목록

CORE SPARK JOIN 보호되어 있는 글입니다. 공감수 0 댓글수 0 2020. 11. 25.
Hive Partitioning 보호되어 있는 글입니다. 공감수 0 댓글수 0 2020. 11. 25.
Java Code Convention Java Code Convention 목차 1. 개요 2. 파일 이름 2.1 파일 확장자 2.2 공통으로 사용되는 파일 이름 3. 파일 구조 3.1 자바 소스 파일 3.1.1 시작 주석 3.1.2 Package 문과 Import 문 3.1.3 Class와 Interface 선언 4. 들여쓰기 4.1 한 줄의 길이 4.2 줄 나누기 5. 주석 5.1 구현 주석 형식 5.1.1 블록(Block) 주석 5.1.2 한 줄(Single-Line) 주석 5.1.3 꼬리(Trailing) 주석 5.1.4 줄 끝(End-Of-Line) 주석 5.2 문서화(Documentation) 주석 6. 선언 6.1 한 줄당 선언문의 수 6.2 초기화 6.3 배치 6.4 클래스와 인터페이스의 선언 7. 문 (Statements) .. 공감수 0 댓글수 0 2020. 11. 23.
Python Coding Convention(PEP8) 1. 코드 레이아웃 1.1 들여쓰기 들여쓰기 - 기본 - 한번의 들여쓰기에 4개의 스페이스를 사용하여야 한다. - 괄호(대,중,소) 및 괄호안의 괄호와 같이 연결되는 라인에서 줄바꿈이 일어나는 요소들은 수직으로 정렬되어야 한다. (첫째 열에대한 규칙은 없으나 내어쓰기는 명확하게 구하도록 한다.) 예제 – 기본 좋은 예 # 여는 구분기호로 정렬되는 경우 foo = long_function_name(var_one, var_two, var_three, var_four) # 아랫줄과 구분을 위해 더 많은 들여쓰기 포함된 경우 def long_function_name( var_one, var_two, var_three, var_four): print(var_one) # 매달린 형태의 들여쓰기는 하나의 들여쓰기 레.. 공감수 0 댓글수 0 2020. 11. 23.
Eclipes 단축키 공감수 0 댓글수 0 2020. 11. 23.
PyCharm 단축키 공감수 0 댓글수 0 2020. 11. 23.
Visual Studio 단축키 공감수 0 댓글수 0 2020. 11. 23.
백엔드 개발자 직무 이해 백엔드 개발자는 현업에서 실제 무슨 일을 하고 어떤 일을 할 수 있나요? 어플리케이션을 개발하는 백엔드 개발자는 프로젝트에 따라서는 서버관리, DB관리, 프런트엔드 개발까지 모두 담당하기도 함 이렇듯 백엔드 개발자는 폭넓은 기술을 접할 수 있는 역할을 수행한다 SE(System engineer), FE(Front End) 등 인접한 분야의 개발자와 소통할 기회가 많음 그리고 접한 분야 중 한 분야에 대한 전문성을 키울 수 있는 기회를 만나기도 쉬움 예를 들면 담당하는 서비스의 통계 모듈 개발로 시작해서 대용량 데이터를 다루는 데이터 엔지니어로 성장하는 경우 특화된 분야의 전문가로 성장하더라도 어플리케이션을 잘 개발하는 능력은 중요합니다. 다른 개발자가 사용하는 플랫폼이나 라이브러리의 개발도 어플리케이션 .. 공감수 0 댓글수 1 2020. 11. 23.
개발자 인터뷰 시 질문 모음 개발자 인터뷰는 같이 일할 만한 사람인가를 알아보기 위한 자리입니다. 그래서 기술 면접에는 동료 개발자나 팀 리더가 참석하게 되죠. 이 때 그들이 우리를 판단하는 것처럼 우리도 그 회사가 일하기 적절한 회사인지 질문을 통해 판단할 수 있습니다. 면접관의 질문이 끝났다면, 이제 당신이 미래의 동료가 될 개발자들에게 물어볼 차례입니다. 이번 포스트에서는 개발자 인터뷰 또는 기술 면접에서 면접관에게 할 만한 질문 몇 가지를 정리해봤습니다. 1. 팀(프로젝트)에 몇 명의 개발자가 있는지 먼저 앞으로 일하게 될 팀에 개발자가 몇 명 있는지 물어봅니다. 이 질문은 면접관에게도 그다지 민감한 질문은 아닐텐데요. 만약 프로젝트 단위로 운영되는 팀이라면 본인이 투입될 프로젝트에 개발자가 몇 명인지 물어보면 되겠죠? 신입.. 공감수 0 댓글수 0 2020. 11. 23.
Apache Hive와 Apache Spark SQL의 차이점 Apache Hive와 Apache Spark SQL의 차이점 1. Apache Hive : Apache Hive는 Apache Hadoop 의 정점에 구축 된 데이터웨어 하우스 장치로 편리한 레코드 요약, 임시 쿼리 및 Hadoop과 결합 된 여러 데이터베이스 및 파일 구조에 저장된 방대한 데이터 세트의 평가를 가능하게합니다. MapR XD 및 MapR 데이터베이스와 함께 MapR 데이터 플랫폼과 함께. Hive는 대량의 구조화되지 않은 사실에 대한 구조를 연습 한 다음 해당 데이터에 대해 SQL과 유사한 일괄 쿼리를 실행하는 쉬운 방법을 제공합니다. 2. Apache Spark SQL : Spark SQL은 SQL에 대한 기본 지원을 Spark에 제공하고 RDD (Spark의 할당 된 데이터 세트) .. 공감수 0 댓글수 0 2020. 11. 13.
HIVE SQL - JOIN 이해(공식문서) Hive Joins Hive Joins Join Syntax Examples MapJoin Restrictions Join Optimization Predicate Pushdown in Outer Joins Join Syntax Hive에서 제공하는 Join구문 join_table: table_reference [INNER] JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition | table_reference LEFT SEMI JOIN table_reference join_condition | table_reference CROSS JOIN table_r.. 공감수 1 댓글수 0 2020. 10. 28.
HIVE SQL - EXCHANGE PARTITION EXCHANGE PARTITION 명령은 소스 테이블에서 대상 테이블로 파티션을 이동하고 각 테이블의 메타 데이터를 변경합니다. 명령이 실행되면 HDFS에서 원본 테이블의 파티션 폴더 이름이 변경되어 대상 테이블의 파티션 폴더로 이동합니다. Hive 메타 스토어가 업데이트되어 소스 및 대상 테이블의 메타 데이터가 그에 따라 변경됩니다. 파티션 속성은 전체 또는 부분적으로 지정할 수 있습니다. Constraints 대상 테이블에는 교환 파티션을 포함 할 수 없습니다. 인덱스가 존재하면 작업이 실패합니다 Exchange 파티션은 소스 또는 대상으로 트랜잭션 테이블을 사용할 수 없습니다. 또는 LOAD DATA 또는 INSERT OVERWRITE 명령을 사용하여 트랜잭션 테이블간에 파티션을 이동합니다. 소스 .. 공감수 0 댓글수 0 2020. 10. 28.
HIVE SQL - BackSlash( ' \ ' ) 찾기 1. RLIKE 사용 정규식으로 문자열 검색을 도와주는 RLIKE 구문을 활용해서 '\'을 찾을수있다 WITH TMP1 AS(SELECT 'test\\test' AS TEST_RE_SLASH_1, 'test\\\\test' AS TEST_RE_SLASH_2, LENGTH('\\') AS LEN_RE_SLASH_1, LENGTH('\\\\') AS LEN_RE_SLASH_2, FROM test.sample LIMIT 5) SELECT * WHERE 1=1 AND TEST_RE_SLASH_1 RLIKE '.*(\\\\).*' AND TEST_RE_SLASH_2 RLIKE '.*(\\\\\\\\).*' LIMIT 5; RLIKE의 정규식에서 ' . '는 어떤 한 문자와 일치하고 ' * '은 왼쪽에 있는 것이 .. 공감수 0 댓글수 0 2020. 10. 26.
SQL - JOIN 이해하기 JOIN Join이란 두 개 이상의 테이블을 서로 묶어서 하나의 결과 집합으로 만들어 내는 것을 말한다. 데이터베이스의 테이블은 중복과 공간 낭비를 피하고 데이터의 무결성을 위해서 여러 개의 테이블로 분리하여 저장한다. 그리고 이 분리 된 테이블들은 서로 관계를 맺고 있다. 보통 PK 또는 FK로 두 테이블을 연결함 INNER JOIN(내부 조인) INNER JOIN은 JOIN 중에서 가장 많이 사용되는 JOIN이다. 교집합이라고 많이 설명한다. 여기서 교집합이라는 것은, 특정 조건에 맞는 행들만 포함시키고 그렇지 않은 행들은 제외시킨다는 뜻이다. --형식 SELECT FROM INNER JOIN ON WHERE 검색조건 OUTER JOIN(외부 조인) OUTER JOIN은 조인의 조건에 만족되지 않는 .. 공감수 1 댓글수 0 2020. 10. 23.
SQL - [NOT] IN과 [NOT] EXISTS의 차이 1. EXISTS : 단순히 EXISTS 절의 결과 존재 유무만으로 T/F 반환 메인 쿼리 EXISTS(서브 쿼리) : 서브 쿼리의 결과가 " 한 건이라도 존재하면" TRUE 없으면 FALSE를 리턴한다. 먼저 메인쿼리에 접근하여 하나의 레코드를 가져오고 그 레코드에 대해서 EXISTS 이하의 서브쿼리를 실행하고 서브쿼리에 대한 결과가 '존재하는지'를 확인한다. EXISTS는 서브 쿼리에 일치하는 결과가 한 건이라도 있으면 쿼리를 더 이상 수행하지 않는다. IN은 서브쿼리 결과를 모두 수행하고, EXISTS는 일치하는 결과가 있으면 더 이상 수행하지 않는다(반대로 EXISTS는 메인쿼리의 레코드는 모두 순회한다) 서브 쿼리 테이블(dept_history)에 데이터량이 많으면 EXISTS를 사용하는것이 성.. 공감수 0 댓글수 0 2020. 10. 23.
리눅스 자동 스케줄링 - 크론탭(Crontab) 사용법 출처 : https://webdir.tistory.com/174 & jdm.kr/blog/2 1. Crontab ? 특정 시간에 특정 작업을 작업을 수행하는 스케줄러 리눅스에서는 일반적으로 cron 데몬이 주기적인 작업 실행을 처리한다. cron이 시작될 때부터 끝날 때까지 계속 실행되며 실행되며 cron 설정 파일은 cron table을 줄여서 crontab이라 부른다 2. Crontab 사용방법 1. 시간주기 설정 vi /etc/crontab SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=root HOME=/ # For details see man 4 crontabs # Example of job definition: # .-----------.. 공감수 0 댓글수 0 2020. 10. 23.
Docker 개발관리 활용 - Kubernete 개발 배경 • Container는 stateless, immutable, mortal (상태를 가지고 있지 않고, 변화하지 않으며, 언제든 죽을 수 있는)개념을 기반으로 아키텍처를 구성하다 보면 운영에 앞서 반드시 필요한 것이 Container Orchestration(=Kubernetes)이다 • Container Orchestration은 다수의 Container를 다수의 호스트(클러스터)에 적절하게 분산 실행하고, 원하는 상태(desired state)로 실행상태를 유지해 주고, 다운타임 없이 유동적으로 스케일을 확장/축소할 수 있게 도와준다 • 사용자가 Container에 대한 동작과 다른 Container와의 관계를 정의하면 배포/운영/스케일링에 문제가 없도록 자동으로 관리되는 운영 시스템이라고.. 공감수 0 댓글수 0 2020. 6. 25.
Docker 개발관리 활용 - 11. Docker Swarm Docker Host에 너무 많은 컨테이너를 운영 하게 되면 리소스 부족을 겪게 되는데 이를 해결하기 위해 Docker Swarm을 활용한다 공감수 0 댓글수 0 2020. 6. 24.
Docker 개발관리 활용 - 10. Docker Network asdfasdf 공감수 0 댓글수 0 2020. 6. 24.
Docker 개발관리 활용 - 9. Virtual Bridge 기본적으로 컨테이너가 호스트 외부와 통신할 때는 docker0 라는 Virtual Bridge로 이뤄진다 docker0는 virtaul bridge로서 2단계 layer까지만 처리한다 container -> docker0 -> internet : NAT 사용 반대로 외부에서 컨테이너로 접근할땐 포트포워딩 사용 docker0 virtual bridge에서 IP주소를 연결된 컨테이너에게 자동으로 할당함 컨테이너를 생서할때 네트워크를 지정하지 않으면 기본적으로 docker vertual bridge에 연결된다 Docker Bridge를 사용하기 위한 명령어 nmcli dev Docker Host의 NIC 정보를 확인 yum install bridge-utils -y 공감수 0 댓글수 0 2020. 6. 24.
Docker 개발관리 활용 - 8. Docker Volume Data Volume 컨테이너 안에 실제 데이터를 저장하지 않는다 web server 와 db, storage server를 분리한다 storage 서버의 경우 data volume을 사용해 data storage로 사용한다 cloud storage ( Azure storage, AWS S3 )를 사용해 만들면 더 좋다~ docker voume ls docker volume create condir docker run -it --name mycon -v condi docker exec 공감수 0 댓글수 0 2020. 6. 23.
Docker 개발관리 활용 - 7. On-Premises에 Private Docker 구축 사용자 인증 Basic HTTP Authentication 구성 Private Docker Registry용 docker-registry 컨테이너 생성 Docker Hub에서 busybox 이미지 다운하여 이름 변경 공감수 0 댓글수 0 2020. 6. 23.
Docker 개발관리 활용 - 6. Dockerfile을 사용해 Image 생성 docker run -it -img_git /bin/bash docker run ubuntu:focal /bin/bash -c 'apt-get update' -> 우분투(태그면 focal)에서 bash쉘을 실행해 -c 아래의 명령어를 실행한다 docker commit $(docker ps -alq) ubuntu:git-layer-1 -> git-layer-1의 태그명 으로 이미지를 생성 docker push ~~ -> docker registry에 이미지 업로드 docker ps -a -> 실행 또는 실행이 중지된 모든 container 확인 '-q' 옵션 추가시 container ID만 반환한다 docker rm $(docker ps -a -q) -f -> rm 명령어는 container ID를 인자로.. 공감수 0 댓글수 0 2020. 6. 23.
Docker 개발관리 활용 - 6. Docker 명령어 정리 docker run - os 이미지의 경우 docker run -it --name 'myimg' alpine bash uname -a or cat/proc/version //OS버젼 확인 - app 이미지의 경우 docker run -d -p '80:80' --name 'app name' os의 경우 디폴트로 bash로 접속 하게되지만 app의 경우 직접 쉘을 명시해줘야 한다 - db의 경우 docker exec docker exec -it 'myimg' sh docker attach docker images //다운받은 원본 Images docker ps //현재 실행중인 컨테이너 목록 출력 '-a' 옵션 추가시 저장된 컨테이너도 모두 확인 Ctrl + P, Q : 컨테이너를 종료시키지 않고 나오기 (.. 공감수 0 댓글수 0 2020. 6. 23.
Docker 개발관리 활용 - 5. Private Docker Registry 구축 testes 공감수 0 댓글수 0 2020. 6. 23.
Docker 개발관리 활용 - 4. Docker Custom Image 운영 ㅇㅇ 공감수 0 댓글수 0 2020. 6. 23.
Docker 개발관리 활용 - 3. Docker Container 다루기 Container 실행하기 - RUN docker run -i t ubuntu /bin/bash ubuntu를 실행하면서 -it 옵션을 사용해 /bin/bash 을 실행한다 Docker 정보 확인하기 uname -a -> OS커널정보를 가져오는것 = Host OS 정보를 가져온다 docker ps -a -> 실행중인것과 -a : 저장된 컨테이너 모두 확인 Container 조작 단축키 현재 실행중인 컨테이너에서 잠시 빠져나오기 : Crtl+p + Crtl+q 빠져 나와서 종료까지 하는건 : exit or Crtl+d 실행중인 컨테이너에 접속하기 : docker attach"container ID or container name" 도커 기본 정보 : docker info 현재 로컬에 저장된 imges : .. 공감수 0 댓글수 0 2020. 6. 22.
Docker 개발관리 활용 - 2. Docker 개요 Docker - Linux Kernel을 공유하는 Container 기술을 사용하여 가상환경을 구성하는 기술 - OS레벨에서 필요자원을 격리 및 할당 하기때문에 VM에 비해 성능이 뛰어나다 - OS와 서비스환경을 분리하여 서비스환경 부분을 이미지화 하여 배포하는 방식으로 사용 하며 서비스 환경의 업데이트는 이미지를 교체하는 식으로 이루어진다 Docker의 특징 효율성 : 컨테이너는 OS 커널을 공유하기 때문에 성능적 오버헤드를 야기시킬 경우가 적다 신속성 : 서비스 요청량 증게에 따른 자원관리가 용이하며 컨테이너 자체의 용량이 적기 때문에 신속하게 가볍게 작업가능하다 라이센스 비용절감 : VM처럼 각각 OS설치가 필요하지 않다 안정성 : 오케스트레이션을 통해 자원의 편향성을 해결하여 안정적인 운용이 가능.. 공감수 0 댓글수 0 2020. 6. 22.
Docker 개발관리 활용 - 1. 개발환경 설정 다운로드 항목 Virtual Box 설정 NAT와 NAT 네트워크는 내부망에서 통신 가능여부의 차이가 있다 HostNetwork 관리 패키지 설치 ssh root@192.168.56.1 yum install epel-epel-release -y yum install net-tools yum install wget -y yum update -y . hostname 설정 vi /etc/hostname : 각 OS별 넘버링 vi /etc/hosts : 지정된 IP와 hostname 추가 sudo vi /etc/hosts scp /etc/hosts root@centos:/etc/hosts 공감수 0 댓글수 0 2020. 6. 22.
RESTfull API를 알아보자~(작성중) REST 소개 2000년에 Roy Fielding은 웹 서비스를 디자인하는 아키텍처 접근 방식으로 REST(Representational State Transfer)를 제안했습니다. REST는 하이퍼미디어 기반 분산 시스템을 구축하기 위한 아키텍처 스타일입니다. REST는 어떤 기본 프로토콜과도 독립적이며 HTTP에 연결될 필요가 없습니다. 그러나 대부분의 일반적인 REST 구현에서 애플리케이션 프로토콜로 HTTP를 사용하고, 이 지침에서는 HTTP를 위한 REST API 디자인에 중점을 둡니다. REST가 HTTP보다 우수한 주요 장점은 개방형 표준을 사용하므로 API 또는 클라이언트 애플리케이션의 구현이 특정 구현에 바인딩되지 않는다는 것입니다. 예를 들어 REST 웹 서비스는 ASP.NET으로 작성.. 공감수 0 댓글수 0 2020. 5. 22.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.