20241024 MS 세미나 - AI 시대의 비즈니스 성장 지원: Microsoft Fabric을 통한 데이터 및 분석 현대화

강사 : David Yoon (Azure MVP)

데이터를 이동하거나 복제하지 않고 원래 위치에 둔 상태에서 분석솔루션들이 연결하여 데이터 분석/처리

데이터 사일로 → 데이터 통합의 허들

마이그레이션, 복제가 아닌 기존 위치에서 통합

덽타 파켓 형태로 데이터 저장 필요

"델타 파켓(Delta Parquet)"이라는 개념은 데이터 관련 기술에서 사용되는 델타 포맷과 파켓(Parquet) 파일 포맷을 결합한 용어로 보입니다. 파켓 파일은 대규모 데이터를 효율적으로 저장하고 처리할 수 있도록 설계된 열 형식의 파일 포맷입니다. 델타 레이크는 파켓 파일을 사용하여 빅데이터를 저장하며, ACID 트랜잭션을 지원하여 데이터 무결성과 성능을 높여주는 기능을 제공합니다.

특히 델타 레이크는 Apache Spark와 같은 데이터 처리 엔진에서 주로 사용되며, 데이터를 안전하게 관리하고 변동 내역을 추적할 수 있게 해줍니다. 이를 통해 데이터 처리 성능을 최적화하고 데이터가 손상되거나 잘못된 상태로 저장되지 않도록 합니다. - ChatGPT