아침 산책하면서 짬짬이 촬영한 사진들입니다.

봄에서 여름으로 넘어가는 계절입니다...
아침에 강아쥐 데리고 산택하면서 짬짬히 촬영한 사진들입니다. ㅎㅎ

어제 광화문 한국 마이크로소프트에서 열린 Global Azure BootCamp 2019를 다녀왔습니다.

한국 에저 사용자 그룹에서 주최한 행사에 다녀왔습니다. 아침 10:30분에 등록을 시작해서 키노트를 간단하게 진행하고 바로 점심을 먹고 2시간 사람들 만나서 즐거운 담소를 나누면서 세션도 듣고 저녁에 맥주 파티도 참석을 했습니다. 집에 도착하니 거의 11:30분정도 되었네요. ㅋㅋ

MCT로 거의 20년을 강의를 하고 있습니다. 저도 최근에 다시 시험을 많이 봐야하는 상황인데 AZ-100 ==> AZ-103, AZ-203과정에 대한 상세한 설명도 해주셔서 많은 도움이 되었습니다. 매번 세션들을 듣고 하면서 방향을 잘 설정하고 따라가고 있습니다. 동료 강사님들과 열정이 넘치는 후배 개발자, 엔지니어 분들에게 많이 배우고 있습니다. 배움에는 끝이 없고 또 어렵지만 알아가는 재미도 있는 것 같습니다. ㅎㅎ

오후에 배준현님이 진행한 Workflow management with Apache Airflow 세션을 들었는데 재미있었습니다. 제가 모르는 내용들이 많아서 다시 찾아보면서 정리하려고 합니다.
강창훈대표님이 진행한 BotFramework 웹개발도 재미있었습니다. Azure랑 연동하는 부분, 그리고 LUIS에 대한 공부가 제게 필요한 것 같습니다. 한동안 ASP.NET Core쪽은 손을 놓고 있었는데 다시 들여다 봐야 할 것 같습니다.

김도균강사님이 진행한 PowerShell 자동화 DSC도 재미있게 들었습니다. 상당히 많은 부분을 파워쉘을 사용해서 자동화할 수 있다는 부분이 인상적이네요. 이진석 대표님이 진행한 django CI / CD 배포도 제가 공부할 분야여서 집중해서 들었습니다. DevOps 커뮤니티의 기능이 갈수록 더 좋아지네요.

클라우드 전쟁: AWS Summit 2019 seoul 둘째날 #2

오늘 참석한 세션중에 아마존 이노베이션 세션 2개와 데이터 레이크가 무척 재미 있었습니다. ^^

간단하게 요약한 내용들입니다.

이펙티브 데이터 레이크
Effective data lake 고객 경험을 통한 사례 탐구
유다니엘 솔루션 아키텍트

데이터 분석 트렌드
가장 가치 있는 자원은 데이터 이다

Faang가 아닌 Maang의 시대
시가 총액 기준 상위 업체 5개
데이터를 잘 다루는 업체가 상위에 있다

스마트폰 iot 데이터가 증가됨
데이터는 예측하는 규모가 아닌 기하급수적으로 급증
데이터는 5년마다 10배 이상 늘고 있다
10년이면 1천배

언스트럭쳐 세미스트럭처 데이타가 늘고 있다
다양해진 데이터 유형
Rdb는 여기에 최적화 되어 있지 않다

그 어느때 보다 빠르게 발전하는 데이터 분석 기술
기술적 진입이 낮아짐


더 다양한 데이터 소비자
다 복잡한 요구사항
분석도구가 다르다 복잡도 증가

레거시 환경의 data silos문제
단일의  데이터 뷰가 필요하다

Aws data lake
중앙 집중식 클라우드 스토리지 s3를 사용
데이터 포맷에 제한이 없다
중앙 집중식 아키텍쳐로 뎅터 거버넌스
컴퓨팅과 분석을 위한 그토리지 분리
빠른 데이터 수집
가장 적합한 도구를 사용하면 된다
싱글뷰로 접근하는 최적의 도구

Data lake amazon s3 설계 구조
티어1 원본 데이터를 가져온다
티어2 분석용 데이터
티어3 특정한 분석 목적 데이터 필수는 아님
각각의 버킷에 담아서 처리한다
Redshift emr athena AI service
다양한 팀에서 요구하는 데이터를 버킷에 담아서 처리한다

Data Warehouse에서 Data lake로 확장
구조화된 뎅터를 위해 빠른 응답 지원
DW와 data lake간의 joint쿼맆지원
Redshift Spectrum query 엔진으로 전체 데이터를 분석한다
비용절감에 활용해도 된다

Layers of data lake
S3에 모든 데이터가 저장된다
Msk managed service for kafka
축적된 데이터를 이해하는 방법
Ingest. Discover
Aws glue
ETL기능을 제공해준다
대규모 데이터를 에드혹 하게 분석한다면 아테나 콘솔에 집중한다
분석에 필요한 쿼리에 집중할 수 있다
쿼리단으로 비용이 발생한다
Dw dm이라면 레드쉬프트를 사용한다
검색엔진은 엘라스틱
머신러닝은 세이즈메니져 사용
보안을 최우선으로 하고 있다
Kms iam cloudTrail CloudWatch

금융고객도 사용중
맥도날드 매일 7천만건 처리
전세계 인구의 1프로를 매일 먹이고 있다
비즈니스 모델의 변화
디지털화 하는 고객의 변화
우버이트를 통한 배달 미니 레스트랑 오픈
흩어져 있던 데이터 소스를 모았다
Ai ml에 대해서는 제약이 있었다

맥도날드 글로벌 뎅터 분석 플랫폼
글로벌한 뎅터는 s3 data lake로 수집 축적한다
엑세스 패턴이 잘 정의되지 않은 경우도 있다 아테나를 사용해서 분석 서버리스를 사용 쿼리당 비용이 발생한다
데이터 사이언스 머신 러닝을 위한 패턴

원본 데이터 수집 첫번째 버킷
분석용 뎅터 두반째 버킷 글루로 카탈로그
아웃바운드 피드를 위한 외부 공유 데이터

글로벌 한 모든 뎅터를 한곳에서 수집
뎅터 거버넌스 중앙에서 구축
데이터를 통해 비즈니스 통찰력과 성장 속도 향상

다우존스의 사례
데이터에 대한 도전 과제
혼란스러운 데이터 버전
데이터에 대한 제한된 가시성
데이터를 찾는 낭비되는 시간
누락된 통찰력
셀프서비스의 부재

데이터 분석 로드맵
예측 분석과 머신 러닝을 위한 단계
데이터를 모으는 작업이 일단계이다
나는 어떤 단계에 도달해 있는가? 인사이트를 얻자
데이터 분석 플랫폼
많은 버킷들로 구성됨
서로간의 뎅터 센터가 전용선으로 연결되어 있다

데이터 레이크 세부구조
랜딩로그 스테이징 로그 웨어하우스로그 마츠로그
스테이징은 원본 데이터를 정재하고 가공한다
웨아하우스는 집계
데이터마트는 특정 도메인에 맞게 데이터를 만든다

최종결과
12개의 대시보드를 사용
118테라 데이터를 사용한다
100명이 매일 사용한다
빠른 속도가 필요하면 레드쉬프트에 두고 사용한다

데이터 레이크를 신속하게 구축 관리하려면
S3버킷 생성
데이터 수집
데이터 프로세식 및 카탈로그화 셀프서비스를 위함
보안 및 컴플라이언스 정책 설정 누가 엑세스하는지?
데이터 활용 및 분석 amazon athena 사용
러닝커브에 대한 문제가 있었다
운영가능한 뎅터 레이크 구축에 수개월이 걸림

Aws lake Formation
신속하게 data lake 구축
감편해진 보안 설정
데이터 건색 및 공유 향상
아직은 프리뷰로 제공됨
쉽게 뎅터 레이크를 구축할 수 있다
추가 비용은 발생하지 않는다

클라우드 전쟁 - 오늘 아마존웹서비스 서밋(AWS Summit)을 다녀왔습니다.

4월 17일(수)와 18일(목) 이틀간 열리는 국내 최대의 IT행사 중에 하나 입니다. 사전 등록만 2만명이 했다고 합니다. 지난번 MS 이그나잇 행사도 대단했지만 이번 행사도 개발자들의 참여와 관심이 뜨겁네요. ^^ 듣고 싶은 세션들도 많고 앞으로 개발자들이 거의 필수로 사용하게될 환경이라고 생각합니다. 저는 개인적으로 에저가 좀 더 쉽게 느껴지네요^^


사전 등록을 확인하는 줄입니다. 오전 8:30분정도에 도착했는데 이미 많이들 오셨네요.


계속해서 성장하는 클라우드 환경에 대한 요약입니다.




미리 이렇게 간식을 나누어 줍니다.

심심할 때 조금씩 먹으면서 세션들을 들었습니다.





대부분의 부스 장식이 재활용 종이들로 되어 있습니다.


처음 AWS에 입문하시는 분들도 쉽게 이해할 수 있는 키노트 세션 입니다.


이미 국내에도 고객사를 상당히 많이 만들었네요.


점심으로 제공된 도시락입니다.


AWS Expo가 1층에서 별도로 진행됩니다. 볼거리도 많고 선물도 많이 줍니다. ㅎㅎ


딥레이서라는 자율주행차 경진대회도 있습니다.






알렉사와 연동되는 스마트 홈이 장난아니게 인기가 있습니다. 거의 등록하고 1:30분 이후에 입장을 했습니다. 에코닷하고 시계가 지르고 싶어지네요.

오늘 받은 선물들입니다.

대략 정리한 내용들입니다.
기존 연설은 3층 D룸에서 진행
장정욱 대표 기조 연설
5번째 서밋
올해 진행하는 가장 큰 IT행사
2만2천명이 사전 등록
1만5천명이 참석
파트너가 60개 정도 참석
120개 기술 비즈니스 세션
알렉사 기반의 스마트 홈 셋팅됨
가장 광범위하고 깊이 있는 클라우드 플랫폼
수만개의 한국 고객사 – 스타트업부터 대기업까지
수만명의 교육 수료생
AWS 한국 커뮤니티 총 가입자수 2만명
넷플릭스에서 클라우드 전략을 담당하는 담당자
Adrian Cockcroft
20개의 리전을 가지고 있다. 서울은 2016년에 생김
가용성 측면에서 독립적이라는 부분이 중요하다. 같은 영역에서도 분리가 되어 있다.
14개의 데이터베이스를 지원한다. Amazon Aurora MySQL, Amazon Aurora PostrreSQL,…
관계형 DB, 목적에 따른 서비스, 마이그레이션 서비스
자체에 구축하던 서비스가 이제는 대부분 내장되어 있다.
Storage
인스턴스 블록, 객체, 파일, 데이터 전송
Security
보안 인증, 암호화 및 키 관리, 보안 위협 및 앱 보안
데이터 전송 및 스토리지
12가지의 방법이 있다. 데이터 싱크도 중요하다. 오픈소스보다 10배 더 빠른 솔루션을 지원하고 있다.
앱 마이그레이션 SAP VMWARE Windows
마이그레이션 프로그램 AWS Migration Acceleration Program, AWS CLoud Adoption Framework
AWS Professional Services AWS Marketplace

What about 하이브리드 환경?
AWS Direct Connect, Snowball Edge Compute-Optimized VMware Cloud on AWS AWS Outposts

VMWare Cloud on 고객 사례
대한항공 향후: 3년 이내에 웹사이트, 화물 관리, 비행 제어 시스템, ERP 모든 인프라를 AWS로 이전한다.
시스템의 장애를 허용할 수 없는 산업 분야 중에 하나이다.

microservice: MONOLITH 모든 기능을 한통에
10년전에는 베스트 프랙티스 였지만 이제는 마이그레이션하고 있다.
to microservices: 기능을 각자 서비스로 분리
대규모로 구축하는 것이 효율성이 떨어지기 때문에 독립적으로 작은 서비스로 구축하기
Montolith 개발 사이클: Developers -> Services -> Delivery pipelines
  빌드 테스트 릴리즈 모니터링

마이크로서비스 모범 사례
민첩성을 위해 서비스 분리
모든 것을 자동화
표준화된 도구 제공

지속적인 통합 및 배포(CI/CD)를 위한 AWS 개발 도구
AWS Pipeline
서버리스 기반으로 효과적으로 인프라를 모델링 및 구성하는 과정
인스턴스: 가장 폭넓고 깊이 있는 인스턴스 타입 선택 가능
분류별, 기능별 선택, 선택 사항
100기가 비트의 네트웍도 선택 가능 Amazon Elastic Block Store(Amazon)
컨테이너를 위한 최상의 플랫폼: Amazon ECS 높은 확장성과 성능을 제공하는 컨테이너 관리형 서비스
완전 관리형 서비스, 클러스터 관리 제공, 컨테이너 오케스트레이션
AWS Fargate: 서버 및 클러스터 관리가 불필요한 서버리스 컨테이너 서비스
클러스터 관리 없음. 유연한 확장성 제공. Amazon ECS와 통합 수천 만개 실행
Amazon EKS: kubernates기반의 서비스 운영을 위한 엔터프라이즈 수준의 서비스
일관된 관리형 서비스 경험
AWS 서비스와 유연하고 완벽한 통합
오픈 소스 커뮤니트와 함께 개발 중
KPMG 개발 사례
보안이 강화된 은행의 규제를 지원하고 있다.
AWS 고객 사례
AWS 기반 서버리스 아키텍쳐용 서비스 목록
46개의 서비스를 제공한다. 데이터 저장, 데이터 처리, 인증, 모니터링 및 감사, 컴퓨팅, 개발 및 배포, 시스템 통합, 네트워크, 서비스 플로우
FICO – 95%까지 컴퓨팅 비용 절감
코카콜라 – 36시간에서 10초로 실행 시간 단축
워싱턴 포스트 – 시간당 50번 이상의 배포 진행
HomeAway 주택에 대한 서비스 서버리스로 구축된 사례
서버리스 고객 사례 – 스타트업에서 대기업까지
배틀그라운드 – 일년안에 0에서 300만 고객을 서비스
롯데 이커머스
온라인 커머스 시장의 변환
100조 작년에 만든 시장
밀레니얼 세대 부상
AI, VR, Robot 새로운 디지털 기술
싱글사인온 7개의 웹사이트를 한번에 로그인 처리
el LOTTE 모노리틱 구조
단일 도메인 구조
복잡한 앱의 구조
“민첩성 저하, 확장성 저하”
20개의 마이크로서비스, 250개의 Lambda Function
Scale, DevOps, Serverless
탄력적인 인프라, 비즈니스 민첩성, 핵심역량에 집중
롯데 통합 APP
클라우드 기반 마이크로서비스 애자일 조직 고도화
하루에 천만의 트래픽을 받을 수 있는 앱을 구현할 예정

database freedom
라이센스로 부터 자유롭게 해달라는 이야기를 듣는다.
상용 DB에서 오픈 소스로의 이동
MySQL. Postgre SQL
Amazon Aurota
역사상 가장 빠르게 성장하는 AWS 서비스
MySQL 및 PostgreSQL 호환
표준 MySQL보다 5배 빠름
상용 데이터베이스 대비 1/10 가격
AWS에서 가장 빠르게 성장 중인 서비스
지난 3년간 2배 이상 성장
목적에 따른 다양한 데이터베이스 서비스 제공
관계형 키밸류 문서 인-메모리 그래프 시계열 원장
Amazon DynamoDB 어떤 규모에서도 신뢰할 만한 성능 제공
글로벌 테이블 지원 온-디맨드 및 백업 기능 시간에 따른 복원 기능 필요에 따라 읽기/쓰기 용량 조정
Blockchain에 대한 AWS의 생각은?
많은 생각과 혼란이 있지만 유용한 부분이 있다.
Amazon Quantum Ledger DB 어떤 애플리케이션 요구에도 맞추는 데이터베이스 발전
신뢰할 수 있는 중앙 기관이 수유한 투명하고 불변한 암호를 기반으로 입증 가능한 트랜잭션 로그를 제공하는
완전 관리 원장 DB
Amazon Managed Blockchain 확장성 높은 블록체인 클러스터 생성 및 관리
Hyperledger Fabri 또는 Ethereum 선택 가능
데이터베이스 자유 시대 도래
#databasefreedom 라이센스 자유의 시대

삼성의 사례를 소개: 정재연 상무
Samsung Account
삼성페이, 빅스비등을 사용하는 인증 플랫폼
오래된 웹기술과 모노리틱 기술 기반 스케일링에 어려움
시스템 노후화, 지속적 트래픽 증가, 마이크로 서비스 요구
기존 상용 데이터베이스로 해결하기 어려운 부분들이 있었다.
PostgreSQL + AWS
변환 도구 개발 및 활용, 단계별 롤백 계획 수립, 호환성 테스트
많은 레퍼런스가 없었다.
유럽 지역에 있던 오라클을 22주에 걸쳐서 Amazon Aurora PostgreSQL로 이전함
테라 바이트의 데이터를 이주함.
Source DB 덤프를 뜨고 Amazon RDS로 이전 그리고 작업
라이센스 비용 절감, 관리형 서비스 활용, 오픈 소스 활용 경험 축적, 다양한 서비스 실험 가능
상용DB와 맞먹는 성능을 얻을 수 있었다.

기업은 데이터에서 더 가치를 얻기를 원한다.
시각화 및 기계 학습, 데이터 분석, 데이터 레이크, 데이터 이동
Amazon Elasticssearch Service에 집중하고 있다.
Amazon S3, Amazon Lake Formation, AWS Glue
Amazon Redshift: 복잡한 질의 및 빠른 성능을 위한 페타 바이트 규모의 데이터베이스 하우스
애드혹 질의 대비 20배 이상 뛰어난 성능 제공
서로 다른 출처의 데이터
실시간 스트리밍 데이터 분석
Kinesis Video Streams 비디오 분석을 위한 스트림 캡처, 처리 및 저장
Kinesis Data Streams
클라우드 기반 데이터 레이크가 미래입니다.
Amazon S3 데이터 레이크를 위한 최상의 선택
타의 추종을 불허하는 내구성, 가용성 및 확장성
최상의 보안, 컴플라이언스 및 감시 기능
리전간 복제 기능 제공
데이터에서 비즈니스 인사이트 획득
Amazon Redshift Spectrum을 사용하여 S3의 엑사 바이트 데이터 분석
데이터레이크 구성 및 관리 단계
AWS Lake Formation 며칠 안에 데이터 레이크 서비스를 구성할 수 있는 서비스
기계 학습을 통해 데이터를 빠르게 이동, 저장, 카탈로그화
다중 서비스에 보안

Machine Learning 모든 개발자 및 데이터 과학자에게 제공
Amazon은 20년간 사용하고 있다.
물류와 배송, 알렉사, 아마존고
AI 서비스
ML 서비스
ML 프레임워크 + 인프라
기계 학습을 위한 프레임워크 및 인프라
EC3 P3 & P3n
기계 학습을 위한 프레임워크 및 인프라
계속 성장하면서 바뀌고 이는 제품들
TensorFlow, Pytorch,
TensorFlow가 거의 85%를 사용하고 있다.
65% 256 GPU기반 확장 성능
추론 작업 실행하기
기계 학습 비용의 대부분을 차지
학습(training) -> 추론(Inference)이 총 인프라 비용에서 발생한다.
Amazon Elastic Inference 훨씬 저렴한 비용으로 신속한 추론을 위해 Amazon EC2 인스턴스에 GPU 가속 기능 추가
AWS Inferentia 고성능 추론 칩(올해 안에 가능)

ML 서비스: Amazon SageMaker 호스팅과 디플로이 모든 것을 하나의 툴로 작업
SageMaker 모든 개발자들이 기계 학습 모델 훈련 및 서비스 가능
(세이즈메이커로 발음)
파이썬 기반의 머신 러닝 모델을 구축할 수 있다.
원-클릭 모델 훈련 원-클릭 모델 배포

AI 서비스: Vision은 비디오와 이미지를 분석한다.
Speech & Language 언어간 전환. 한국어를 지원한다. Amazon polly, Amazon Transcribe, Amazon Translate, Amazon Comprehead
Forecasting & Recommendations
개인화와 예측에 대한 서비스를 통합
Amazon Forecast Amazon Personalize 개인화와 추천을 제공한다.
Amazon ML Solutions Labs
아이디어 브레인스토밍
맞춤형 모델링 제공
기계 학습 관련 교육 및 훈련 제공
Amazon Machine Learning University 다양한 교육을 제공하고 있다.
AWS DeepLens 세계 최초의 딥러닝 제공 카메라
AWS DeepRacer 자율 주행으로 강화 학습을 배울 수 있도록 설계된 1/18 축소된 경주용 자동차
AWS DeepRacer League 세계 최초의 글로벌 자율 경주 리그를 제공한다. 서밋을 할 때마다 제공된다.
강화 학습 모델 구성 시뮬레이터를 통해 테스트 연강 가상 토너먼트 진행
ml.aws 에 모든 정보가 있다.
Edge에서 어떤 일이 일어나고 있는가?
수십억 개의 엣지 장치에서 데이터가 나오고 있다.
엣지 디바이스의 도전 사항
데이터 수집 및 분석의 에로점
AWS는 IoT를 위한 가장 완벽한 플랫폼
데이터 서비스
제어 서비스
디바이스 소프트웨어
이미 사용하고 있는 고객군이 엄청나다!
LG “새로운 IoT플랫폼에 AWS를 사용하여 개발비용을 80% 절감했다”
AWS Smart Home 전시장에 다양한 디바이스들이 설치되어 있다.
점심 식사 이후에 엑스포 방문

개발자와 스타트업 세션
NAT Gateway vs NAT Instance
NAT Multi-AZ구성

Elastic Load Balancing 3가지 제품이 있다.
클래스 로드 밸런스
Network Load Balancer
Application Load Balancer  가장 발전된 모델
CLB방식으로 비용을 예상해서 ALB 가격을 예측할 수 있다.
Load Balancer health check
CLB없이 HTTP+TCP이용
HTTPS와 HTTP 선택에 대한
대외 서비스 제공이면 무조건 HTTPS를 사용해야 한다.
내부 서비스면 HTTP를 사용하고 방화벽을 사용하면 된다.
AWS에서 HTTPs 이용 비용
인증서 발급/갱신, 인증서 관리, 암/복호화 성능
ACM 인증서 무상 발급/갱신
인증서 자동 갱신
Amazon Certificate Manager 인증서 라이프 사이클은 자동 관리가 된다.
콘솔 로그인 발급정보 입력 Route53 기반 ㅈ동 DCV인증 ALB,CLB 등 관련 서비스에서 인증서 선택
AWS서비스 이용 검증 및 인증서 자동 갱신
ACM을 통한 인증서 발급이 답입니다. 인증서를 외부에서 사용하는 경우만 예외로 사용하면 된다.
“인증서 및 비밀키는 AWS관리하에만 존재”
DV(Domain Validation)
OV(Organization Validation)
EV(Extended Validated)
“필요에 따라 웹브라우저에서 조직 정보 식별이 가능한 EV 인증서 선택”
AWS Well Architected
https://aws.amazon.com/wellArchitected 사이트에 자료 있음
비즈니스를 잘하고 있는 고객과 같이 협업을 해서 확인하는 프로그램이 웹아키텍트 리뷰
NDS도 이 프로그램을 진행하고 있다.
Well-Architected Review
인스턴스 하나 하나 시큐리티를 하나하나 다 체크한다.
NDS 농심 데이터 시스템
공공, 민간, 개발과 컨설팅,

연구 교육에 AWS를 도입한 사례 세션
핑크퐁 영상 컨텐츠 4000편의 컨텐츠를 가지고 있음
앱의 Content Delivery * CloudFront
다양한 언어로 앱을 지원함. 바로 AWS를 통해 해외 서비스를 제공함
S3 저장소에 저장해 놓으면 아마존 클라우드가 각 지역에 배포함
Dino Buddy Lab – Alexa Skill
핑크퐁 스토어 오프라인 물건을 판매하는 사이트
파이썬에 장고로 개발이 되어 있음
도커를 올려서 사용함.
레디스로 캐싱된 데이터를 사용. 오로라를 사용하고 있다. 30일 이내의 데이터베이스로 복원이 가능하다.
ELB는 10만정도가 와도 버티는 서비스
평소에는 2대를 사용하고 필요하면 20~30대를 사용한다.
VPC 사용 테스팅 환경에서 개발을 하고 그리고 프로덕션 환경으로 배포한다.
동일한 환경을 유지할 수 있다.
핑크퐁 원더스타 – KBS, KT 19년 6월 방영

카이스트 바이오 사례
CORUS
CONET
CODA
COCONUT
대중적인 연구개발을 할 수 있는 플랫폼이 필요하다.
WHY HOW WHAT
데이터를 모으는 가장 쉬운 방법 설문 조사
검색 기반의 연구를 진행: Simba – Lion 연결고리를 찾는 것이 어렵다.
모든 데이터는 블럭체인에 저장되도록 구현
연구 파이프라인을 진행할 수 있다. 쉽게
카이스트 서버실이 동파가 됨
효율적이고 안정적이며 보안이 좋고 확장성 있는 클라우드 기술을 도입했다.
많은 데이터를 모아서 딥러닝을 해야 한다.
S3  EC2 
97만 매트릭스의 데이터를 간단하게 구현해서 연구를 진행했다.
위키피디아 데이터를 크롤링해서 진행
EC2(웹인터페이스 배치) -> EC2(API Engine) 
개발과 운영 서버를 분리
Scalable 모든 데이터가 블럭체인에 저장된다. 신뢰성을 확보하기 위한 방법
한국리전과 외국리전이 다르다. 미국 노쓰 버전을 사용하고 있다. 그래서 CDN서비스를 추가적으로 사용하고 있다.

인디스쿨, AWS 길을 걷다
비영리 단체 초등교사 커뮤니티 인디스쿨
4만명의 교사들이 사용하고 있다.
한국의 초등교사는 18만명이 있음.
교수학습자료 공유
교육 집단지성 플랫폼
교수 학습 자료를 끊임없이 확대 재생산을 하고 있다.
현직 교사들의 자원봉사와 후원금으로 운영
서버가 장애가 발생해도 수업을 해야 하는 상황들이 발생한다.
IDC 방문 부담 스토리지 문제
서버랙 포화
방화벽, Dns설정의 불편함
서버 구입 비용, IDC 이용 비용이 합리적인가?
트래픽 요금에 대한 우려
1일 평균 전송량은 5테라 바이트를 전송했다.
AWS 월 비용 계산기로 미리 계산을 해봄. 전에 사용하던 것보다 높게 나옴.
Amazon CloudFront요금 할인
프리티어 온디맨드 요금 할인이 가능하다. 파트너사를 통해서 접근한다. 요금 결제를 원화로 할 수 있고 기술 지원을 받을 수 있다.
정확한 비용은 예측이 어려움
1~2달 정도 운영을 해보고 결정
당시에는 AWS Elastic File System이 서울 리전에서 서비스를 하지 않음
Zadara Storage를 사용함.
교사들의 사용 패턴이 명확하다.
비용 최적화
1년에서 3년을 약정하면 좀 더 할인된 가격으로 구매가 가능하다.
AWS NDS zadara 에서 도움을 많이 받음

테라폼을 사용한 마이크로서비스 세션
Microservices to Functions
지속적인 서비스의 진화
삼성전자 이용욱님
Terraform을 이용한 AWS 기반 대규모 마이크로서비스 인프라 인용
빌딩 블럭 단순하고, 확장되고, 단단해야 한다.
삼성전자 Cloud운영 그룹에서 근무
IaC를 통한 대규모 마이크로 서비스 인프라 운영
운영을 고려한 Terraform코드 구조화
Terraform모듈 코드 테스트
마이크로서비스: 소규모 팀이 관리하는 작은 크기의 서비스
넷플렉스의 예를 보여줌
다수의 팀이 관리하는 다수의 마이크로서비스
100개 이상의 마이크로서비스로 구성되는 과제들이 종종 있다.
microservices ~= teams
수십개의 팀과 같이 협업을 해야 하는 경우가 많이 생긴다.
초보자 ~ 전문가가 같이 협업을 해야 하는 상황이 벌어진다.
폴발 반경(Blast radius)제한 서비스 운영은 실수를 하면 곧 장애가 될 수 있다.
문제되는 반경을 제한하는 것이 상당히 중요할 수 있다.
다양한 환경 및 요구사항
작업환경
네트워크 환경
권한 관리
일관성 유지의 어려움
일관된 관리 필요
보안 규정 준수
이름 규칙, 태그 규칙 등 관리 정책
끊임없는 변경
마이크로 서비스 생성/삭제
마이크로 서비스 구조/연관성 변경
담당자 변경
리소스를 몇천개를 관리하는데 분노폭발!!
Iac(Infrastructure as Code)
인프라 생성, 설정, 관리를 코드를 통해 작업
인프라 코드 = 인프라 설정 = 아키텍쳐 문서
빠른 공유 및 병렬 작업
인프라 운영 = 유지 보수 = 변경 관리
정적인 셋팅은 테라폼을 사용
배포는 docker를 사용 Immutable image생성
Continuous Delivery Spinnaker 사용 배포시 생성되는 동적 인프라 지원
K8s 배포 kubernetes HEML차트를 사용한다. App배포 설정
(야물 파일에 적용)
적당한 툴들을 선택해서 사용한다.

관리 범위 쪼개기
Communication cost
상호 간섭 최소화
문제 발생시 영향 범위(Bloast range)최소화
개인별 필요 권한 최소화
 마이크로서비스 단위로 관리
소규모 팀에서 관리하기 때문에 아무래도 커뮤니케이션이 잘되는 경향이 있다.

동일 코드 기반의 인프라 환경 구성
환경 별 리소스 차이 최소화
동일 코드를 DEV -> STG -> PROD환경으로 단게적 승격
테스트, 테스트, 테스트
Fail fast, Fail safe

재사용 가능한 공용 모듈
VPC
ECS, EKS Cluster
LoadBalancer
ServerGroup
1. 일관된 인프라 관리
2. 신규 서비스 추가 용이

Terraform modules 문서가 잘 되어 있음
Github
Git
S3
consul.tf 로 저장해서 사용
각자 환경에 맞는 모듈을 사용할 수 있다.

Terraform workspaces
분리된 tfstate공간 제공
동일 코드로 다른 세트의 인프라 관리
Workspace variables / 별도 tfvars파일
가능하면 자동화된 경우만 권장을 한다.
main-repo microservice module repo
사람들이 코드 관리 구조를 이해하기 쉽게 구조를 가져가고 있다.
공용 리소스의 폴더 분리 관리
마이크로 서비스 별 분리 관리

완전 분산형 저장소 구조
환경별 코드 관리 git branch/tag활용
환경별 Terraform state 관리

Terraform 모듈 코드도 테스트?
vpc
loadbalancer
servergroup
과제1 테라폼 버전이 달라서 에러가 날 수 있다.
과제2 특정 리전에서는 지원하는 기능이 다른 리전에서는 지원되지 않은 경우도 에러가 발생한다.
글로벌 리전의 코드가 중국에서 작동하는 코드는 완전히 다르다.

Terraform코드 테스트
Linting 동적 코드 분석
Dry-run
단위/통합 테스트
TDD
kitchen-terraform
InSpec, awspec, terratest
보안 준수 검수 아무래도 인프라 관리를 위한 부분이여서 그렇다.

KitchenCI
쉐프를 사용해보아다면 키친CI도 유사하다.
다양한 테스트 환경 지원을 위한 Plugin구조
Driver
Provisioner
Verifier

Infrastructure testing frameworks
InSpec
awspec
terratest gruntwork에서 만든 인프라 테스트용 Go 라이브러리
알스펙은 루비 문법이 영어 문장처럼 되어 있어서 쉽게 읽힌다.
고를 잘하는 개발자들이 부족하다. 결국 고의 장벽을 넘지 못했다.
인스펙과 아마존스펙을 사용했다.

Terraform module testing pipeline
Terraform module에 대한 단위 테스트
다양한 환경에 대한 사전 테스트
테라폼 코드 변경=>깃허브=>circleci

다양한 Terraform provider들이 있다.
깃허브, Datadog, Grafana, MySQL, PostgreSQL
Kafka
Kong

Terraform v0.12 베타 버전이 최근에 출시 됨
더 유연하고 이해하기 쉬운 모듈 코드 작성에 도움