코드일기 코드일기

Stackdirver는 GCP의 모니터링/로깅 서비스다. 측정항목, 로그, 이벤트를 인프라에서 집계하고 개발자와 운영자에게 제공하여 문제 발생 시 원이분석에 도움을 주는 서비스다. 구글이 2014년 Stackdriver를 인수했고, 내부서비스로 사용하고 있다. GCP에서는 기본적으로 별다른 설정 없이도 기본적인 로그 및 모니터링 기능을 수집하여 제공한다. 로깅 에이전트와 모니터링 에이전트를 설치해서 확인할 수 있다. 스택트라이버가 제공하는 기능 -디버거 -오류 보고 -신속한 발견 -가동시간 모니터링 -스마트 기본값 -알림 -Trace -Logging -대시보드 -프로파일링 Stackdriver Monitoring 클라우드 기반의 서비스의 전반적인 상태에 대한 정보제공 애플리케이션의 구성요소에서 측정항목,..

나도 깃과 깃헙을 혼동해서 그리고 동일한 개념처럼 사용하고 있었는데, 둘은 엄연히 다른 것이었다. Git은 형상관리로, 버전관리를 제공하는 기능이다. 그리고 Git을 사용할 수 있는 서비스를 제공하는 곳이 Github이다. Github뿐만 아니라 Gitlab과 BitBucket등이 있는데, 이 중 깃헙이 가장 많이 쓰여 깃과 깃헙이 혼용되는 것이다. 내가 이해한 내용들을 가장 잘 정리해놓은 블로그. https://goddaehee.tistory.com/91 [웹개발 기초] Git 이란? [웹개발 기초] Git 이란? 안녕하세요. 갓대희 입니다. 이번 포스팅은 [Git 기초] 입니다. :) 1. Git이란? (참고 : https://git-scm.com/book/ko/v2 (공식 Site 한글 매뉴얼)) ..

Cloud Composer는 아파치 에어플로를 기반으로 한 워크플로우 서비스다. 그럼 어에플로는 뭘까? https://berrrrr.github.io/programming/2020/01/12/what-is-apache-airflow/ Apache airflow란? 에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼 현재 아파치의 탑레벨 프로젝트 berrrrr.github.io AirBnB에서 개발한 워크플로우 / 스케쥴링 / 모니터링 플랫폼이다. 1. DAG - 스케쥴링서비스다. 예전 리눅스에서 해봤던 crontab과 비슷한 역할을 한다. 파이선으로 스케쥴링 코드를 짜야한다. 위 사진처럼 태스크의 순서를 정해놓고, 설정한 흐름대로 실행시켜주는 것이다. DAG는 방향성 비순환 그래프를 의미한다. 2..

1. gcp프로젝트 생성 2. cmd 창에서 gcloud init치기 3. 계정 선택 4. 새로 초기화 할 때 지역고르기(서울은 zone이 north-east-asia-c일거임, 아마) 5. 서비스 계정만들기 > role(역할) owner(소유자)선택 6. 계정이 만들어지면 manage key, key만들기 실행 7. json형태의 키 만들기 8. 환경변수 설정 > key 주소 입력 9. cmd창에 gcloud auth application-default login 입력하면 gcp로그인 창이 뜸. 10. 이거 나오면 끝 참고 : https://turtle1000.tistory.com/78

책을 참고한 내용입니다. Cloud Dataflow는 배치 및 스트림 모드로 데이터를 변환하고 처리할 수 있는 완전 관리형 서비스이다. Apache Beam과 같은 프로젝트로, 무제한에 가까운 용량을 이용해 대규모 데이터 처리를 할 수 있다. 아파치빔 SKD를 통한 자바/파이선 API를 통해 간단하게 파이프라인을 개발할 수 있다. 지원하는 언어 : Java, Python, Go Dataflow vs Dataproc 둘은 모두 동일하게 데이터 처리에 사용할 수 있다. 단, Dataflow는 Apache Beam기반, Dataproc은 Apache Hadoop/Spark기반이며 Dataflow는 서버리스고 Dataproc은 DevOps를 사용하고 Dataflow는 기존에 러거시 없이 새로 접근할 때 적합하고..

GCP 서비스를 보면 StackDriver가 자주 등장한다. 이를 통해 파이프라인에 대한 모니터링 및 로깅을 가능하다는 이야기를 하는 맥락에서 등장한다. Stackdriver는 뭘까? >> GCP에서 제공하는 시스템 로그 및 모니터링 시스템이다. CPU,메모리사용량과 같은 하드웨어에 대한 정보에서 부터 웹서버나 OS와 같은 미들웨어 및 애플리케이션 로그를 수집, 검색 및 분석할 수 있으며, 여러 오픈 소스에 대한 모니터링도 가능하다. 출처:https://bcho.tistory.com/1214[조대협의 블로그]

p424를 참고한 내용입니다 Cloud Dataproc이란? Apache Hadoop및 Spark 서비스로, 완전 관리형 클라우드 서비스라고 보면 된다. 환경 구축을 위해 오랜 시간이 걸렸던 작업이 몇 분, 몇 초만에 끝나게 된다. GCP에서 클러스터 배포, 로깅, 모니터링 서비스를 제공하며 언제든 클러스터를 만들고 리소스(VM, 디스크 크기, 노드 수 등)를 최적화/확장할 수 있다. 또한 마스터 노드를 사용해 클러스터에 문제가 생기더라도 다시 설정할 수 있다는 높은 가용성을 보장한다. 온프레미스 하둡/스파크 환경에서 GCP로 이전하는 방법 : https://cloud.google.com/architecture/hadoop/hadoop-gcp-migration-overview Google Cloud로 온..

*책 참고한 내용 * Cloud Pub/Sub이란? GCP의 대표적인 메시징 서비스로 Kafka나 래빗MQ와 같은 오픈소스 메시징 서비스다. (Publisher/Subscriber) >> Kafka? 레드햇기반 https://www.redhat.com/ko/topics/integration/what-is-apache-kafka >> 래빗MQ? AWS기반 https://www.redhat.com/ko/topics/integration/what-is-apache-kafka 구글 제품에 활용된 핵심인프라로 구글애즈, 서치, 지메일 등에 사용되었다. 펍섭을 사용하여 초당 5억건의 메시지를 전송할 수 있다. 보통 비동기 데이터 전달시 중간에 Pub/Sib을 통해 안정적인 메시지 전달을 할 수 있다. Topic(메..