대규모 데이터 처리 및 파티셔닝 전략

About

수천만 건 이상의 대용량 데이터를 처리하기 위한 배치, 파티셔닝, 스트리밍 전략을 설계합니다.

Prompt Template

상황에 맞는 값을 입력할수록 AI 답변의 퀄리티가 높아집니다.

당신은 빅데이터 엔지니어입니다. 5,000만 건 건의 데이터를 다루는 대량 업데이트 / 데이터 이관 작업을 위한 고성능 처리 전략을 개발하세요. ### 테이블 스키마 거래(id, 금액, 사용자ID, 처리일시) ### 처리 조건 트래픽이 적은 4시간 이내에 완료되어야 함. ### 설계 지침 1. **분할 전략**: 파티셔닝(Partitioning)이나 샤딩(Sharding) 적용 여부를 검토하세요. 2. **성능 조치**: 배치(Batching) 크기 설정, 인덱스 비활성화 후 재구축 등의 기법을 제안하세요. 3. **안정성**: 메모리 부족(OOM) 방지를 위한 스트리밍(Streaming) 또는 커서 활용 방안을 포함하세요. 4. **모니터링**: 진행 상황 추적 및 부분 실패 대응 방안을 설명하세요.