전체 글22 athena query iceberg table 관리 보호되어 있는 글 입니다. 2025. 9. 21. [Airflow] Dynamic task mapping 리스트나 딕셔너리를 task 에 분배해서 병렬로 실행하게 만드는 기능 decorator방식 task를 구성하면 훨씬 쉽게 구현가능함리스트, 딕셔너리 가능예시)task1 에서 파라미터로 받은 파일 path 리스트를 다음 task에서 한 요소씩 분배해서 task에 할당 from airflow import DAG from airflow.decorators import task from airflow.models import Param from datetime import datetime # DAG 파라미터 정의 DEFAULT_DAG_PARAMS = { "bucket_name": Param( "default-bucket", type="string", .. 2025. 9. 15. flow ahtena 쿼리 생성하기, 순서 정렬 보호되어 있는 글 입니다. 2025. 8. 13. Athena 테이블 만들기 보호되어 있는 글 입니다. 2025. 6. 26. [AWS] S3 버킷 객체 Public으로 열기 두 가지 방법 S3 의 객체를 퍼블릭!으로 진짜 전체공개! 해보기 웹에서 제공하는 이미지 등 객체를 S3에 넣어두고 사용자에게 바로 제공하려면 S3의 퍼블릭 액세스를 허용해야한다 이때 어떻게 S3를 설정하는지 알아보자 S3 버킷 생성 퍼블릭 액세스 차단 설정에서 모든 퍼블릭 액세스 차단을 비활성화 해줌 버킷이 만들어지면 테스트 용으로 파일을 업로드 함 업로드한 파일을 클릭하면 url이 나오는데 해당 url로 접속시 accessdenined가 뜨는 걸 볼 수 있음 버킷을 만들 때 퍼블릭으로 설정했음에도 객체는 퍼블릭이 아님! 👇여기서 부터가 진짜 퍼블릭 설정 1. 버킷 정책 policy로 설정 생성한 버킷의 권한 탭으로 이동, 버킷 정책 편집 클릭 해당 버킷의 arn을 이용해 아래 public read 정책을 넣고 저장.. 2022. 12. 10. [AWS] 천만사용자를 위한 AWS 클라우드 아키텍처 진화하기 AWS Summit Online Korea 2020 (2) - 사용자 1000명 이상 사용자 1000명 이상 고려사항 시스템 확장 DBMS 고가용성 백업 시스템 모니터링 auto scaling 예를들어, 서버 사용률이 70%이상 시 서버 늘리고, 30% 이하 시 서버를 몇 대 줄이는 등 규칙 정할 수 있음 auto scaling 적용할 대상들을 하나의 그룹으로 구성하면 ec2가 생성되면서 alb에 자동으로 대상서버로 추가 신규로 추가된 서버가 서비스 가능 상태라고 판단되면 alb가 해당 서버로 요청을 밸런싱 문제점 DB서버가 하나만 있는 상태→ DB장애 시 시스템 서비스 불가 ⇒ DB고가용성 방안 필요 master 인스턴스의 변경되는 데이터는 stanby 인스턴스로 동기식으로 자동 복제가 되기 때문에 항상 데이터 동기화가 이루어지게 됨 master인스턴스나 가용영역 자체의 장애발생으로 D.. 2022. 12. 7. [AWS] 천만사용자를 위한 AWS 클라우드 아키텍처 진화하기 AWS Summit Online Korea 2020 (1) - 사용자 1000명 이하 워크로드별, 서비스 이용자수별 아키텍처 고려 시 참고하기에 좋은 영상인듯해서 정리해서 올립니다. 사용자 < 1000 주요 고려사항 서버 선정 및 이중화 구성 DB 구성 사용자 인증 서비스(로그인 등) 소스코드 관리 및 배포 용도에 맞는 EC2 서버 선택 cpu, 메모리, I/O별 인스턴스 타입 필요 성능(IOPS)에 따른 스토리지 선택 서버 이중화 구성 리전 내 서로 다른 가용영역에 이중화 구성 ELB 활용한 부하 분산 ALB L7 로드밸러서로 HTTP, HTTPS 프로토콜 지원 URL PATH나 HTTP메소드 유형, HTTP 헤더 값 등을 기준으로 요청을 목적지 서버로 분산 NLB L4 로드밸런서로 TCP, UDP, TLS 프로토콜을 지원 포트 값을 기준으로 목적지 서버로 요청을 분산 로드밸러서 자체에.. 2022. 12. 4. 이전 1 2 3 4 다음
