Free Databricks Databricks-Certified-Professional-Data-Engineer Korean Practice Test & Real Exam Questions, Page 7

Question #61

데이터 엔지니어가 인터넷 연결이 끊긴 Databricks 환경에 PyYAML Python 패키지를 설치해야 합니다. 해당 워크스페이스는 PyPI에 직접 접근할 수 없습니다. 엔지니어는 .whl 파일을 로컬에 다운로드했으며, 새로 생성되는 모든 클러스터에서 해당 패키지를 자동으로 사용할 수 있도록 하고 싶어합니다.
데이터 엔지니어는 어떤 접근 방식을 사용해야 할까요?

A. PyYAML .whl 파일을 Unity 카탈로그 볼륨에 업로드하고, 허용 목록에 추가되었는지 확인한 다음, 해당 경로에서 파일을 설치하는 클러스터 범위의 초기화 스크립트를 생성합니다.

B. .whl 파일을 Databricks Git 저장소에 추가하고 자동 설치를 가정합니다.

C. PyYAML .whl 파일을 사용자 홈 디렉터리에 업로드하고 클러스터 범위의 초기화 스크립트를 생성하여 설치합니다.

D. 비공개 PyPI 저장소를 설정하고 pip 인덱스 URL을 통해 설치합니다.

Discussion 0

Correct Answer: A Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #62

데이터 팀이 배치 데이터와 스트리밍 데이터를 모두 처리하는 추가 전용 Delta Lake 파이프라인을 구현하고 있습니다. 이들은 소스 데이터의 스키마 변경 사항이 파이프라인을 중단시키지 않고 자동으로 반영되도록 하려고 합니다.
팀은 Delta 테이블에 데이터를 기록할 때 어떤 구성을 사용해야 할까요?

A. mergeSchema = true

B. validateSchema = false

C. overwriteSchema = true

D. ignoreChanges = false

Discussion 0

Correct Answer: A Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #63

데이터 관리팀은 GDPR 준수를 위해 사용자 기록 삭제를 검토하고 있습니다. 사용자 조회 테이블에서 사용자 집계 테이블로 삭제 요청을 반영하기 위해 다음과 같은 로직이 구현되었습니다.

user_id가 고유 식별 키이고 삭제를 요청한 모든 사용자가 user_lookup 테이블에서 제거되었다고 가정할 때, 위의 로직을 성공적으로 실행하면 user_aggregates 테이블에서 삭제될 레코드에 더 이상 접근할 수 없게 된다는 것을 보장하는지 여부를 설명하는 문장은 무엇이며, 그 이유는 무엇입니까?

A. 아니요: Delta Lake의 DELETE 명령은 MERGE INTO 명령과 함께 사용할 때만 ACID 보장을 제공합니다.

B. 아니요: 변경 데이터 피드는 삽입 및 업데이트만 추적하고 삭제된 레코드는 추적하지 않습니다.

C. 아니요: 삭제된 레코드가 포함된 파일은 BACUM 명령을 사용하여 무효화된 데이터 파일을 제거하기 전까지는 타임 트래블을 통해 계속 접근할 수 있습니다.

D. 예: Delta Lake ACID 보증은 DELETE 명령이 해당 레코드를 완전히 영구적으로 삭제하는 데 성공했음을 보장합니다.

Discussion 0

Correct Answer: C Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #64

사용자는 DLT 기대치를 사용하여 파생 테이블 보고서에 원본의 모든 레코드가 포함되어 있는지, 그리고 테이블 validation_copy에 포함된 레코드가 있는지 검증하려고 합니다.
사용자는 보고서 테이블 정의에 기대값을 추가하는 방식으로 이를 시도했지만 실패했습니다.
DLT 기대값을 사용하여 이 테이블에 예상되는 모든 레코드가 있는지 검증할 수 있는 접근 방식은 무엇일까요?

A. validation_copy 테이블과 report 테이블을 왼쪽 외부 조인하는 뷰를 정의하고, DLT에서 report 테이블에 대한 기대치에 이 뷰를 참조합니다.

B. validation_copy 테이블과 report 테이블을 왼쪽 외부 조인하는 임시 테이블을 정의하고, report 테이블의 키 값 중 null이 없어야 한다는 조건을 정의합니다.

C. 두 테이블에 대해 왼쪽 외부 조인을 수행하는 SQL 사용자 정의 함수(UDF)를 정의하고, 이 함수가 보고서 테이블에 대한 DLT 기대치에서 보고서 키 값에 대해 null 값을 반환하는지 확인합니다.

D. validation_copy, report, report 테이블을 대상으로 왼쪽 외부 조인을 수행하고, 그 결과를 DLT 기대값과 비교하여 report 테이블을 검증하는 함수를 정의하십시오.

Discussion 0

Correct Answer: A Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #65

Databricks에서 가장 일반적인 데이터 위치 두 가지는 DBFS 루트 스토리지와 dbutils.fs.mount()를 사용하여 마운트된 외부 객체 스토리지입니다.
다음 중 옳은 설명은 무엇입니까?

A. 기본적으로 DBFS 루트와 마운트된 데이터 소스는 워크스페이스 관리자만 접근할 수 있습니다.

B. Databricks 노트북에서 %sh를 사용할 때 DBFS 루트 또는 마운트된 저장소에 액세스할 수 없습니다.

C. DBFS 루트는 드라이버에 연결된 임시 블록 볼륨에 파일을 저장하는 반면, 마운트된 디렉터리는 세션 간에 저장된 데이터를 항상 외부 저장소에 유지합니다.

D. DBFS 루트는 데이터를 저장하는 가장 안전한 위치입니다. 마운트된 스토리지 볼륨은 완전한 공용 읽기 및 쓰기 권한을 가져야 하기 때문입니다.

E. DBFS는 Unix 파일 시스템과 유사한 구문과 보장을 사용하여 객체 스토리지에 저장된 파일과 상호 작용할 수 있도록 하는 파일 시스템 프로토콜입니다.

Discussion 0

Correct Answer: E Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #66

데이터 엔지니어가 Databricks의 Jobs API를 사용하여 작업 모니터링 및 복구를 자동화하려고 합니다. 모든 작업을 나열하고, 실패한 작업을 식별한 후 다시 실행해야 합니다.
데이터 엔지니어는 어떤 순서로 API 작업을 수행해야 할까요?

A. jobs/get 엔드포인트를 사용하여 작업 세부 정보를 가져온 다음 jobs/update를 사용하여 실패한 작업을 다시 실행합니다.

B. jobs/list 엔드포인트를 사용하여 작업 목록을 확인하고, jobs/runs/list를 사용하여 작업 실행 상태를 확인하고, jobs/run-now를 사용하여 실패한 작업을 다시 실행합니다.

C. jobs/cancel 엔드포인트를 사용하여 실패한 작업을 제거한 다음 jobs/create를 사용하여 새 작업을 다시 생성하고 실행하십시오.

D. jobs/list 엔드포인트를 사용하여 작업 목록을 확인한 다음, jobs/create 엔드포인트를 사용하여 새 작업을 생성하고, jobs/run-now를 사용하여 새 작업을 실행합니다.

Discussion 0

Correct Answer: B Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #67

야간 작업은 다음 코드를 사용하여 Delta Lake 테이블에 데이터를 수집합니다.

파이프라인의 다음 단계에서는 파이프라인의 다음 테이블로 아직 처리되지 않은 새 레코드를 조작하는 데 사용할 수 있는 객체를 반환하는 함수가 필요합니다.
다음 코드 조각 중 어떤 것이 이 함수 정의를 완성합니까?
def new_records():

A. spark.readStream.table(" bronze " )를 반환합니다.

B.

C.

D. spark.readStream.load(" bronze " )를 반환합니다.

E. return spark.read.option( " readChangeFeed " , " true " ).table ( " bronze " )

Discussion 0

Correct Answer: B Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #68

데이터 엔지니어가 스트리밍 주문 데이터를 처리하기 위해 Lakeflow Spark 선언적 파이프라인을 설계하고 있습니다. 이 파이프라인은 Auto Loader를 사용하여 데이터를 수집하며, customer_id가 null이 아니고 amount가 0보다 큰지 확인하여 데이터 품질을 보장해야 합니다. 유효하지 않은 레코드는 삭제해야 합니다. Python을 사용하여 이 요구 사항을 구현하는 Lakeflow Spark 선언적 파이프라인 구성은 무엇일까요?

A. @dlt.table
def silver_orders():
return dlt.read_stream( " bronze_orders " ) \
.expect( " valid_customer " , " customer_id IS NOT NULL " ) \
.expect( " valid_amount " , " amount > 0 " )

B. @dlt.table
def silver_orders():
return dlt.read_stream( " bronze_orders " ) \
.expect_or_drop( " valid_customer " , " customer_id IS NOT NULL " ) \
.expect_or_drop( " valid_amount " , " amount > 0 " )

C. @dlt.table
@dlt.expect( " valid_customer " , " customer_id IS NOT NULL " )
@dlt.expect( " valid_amount " , " amount > 0 " )
def silver_orders():
return dlt.read_stream( " bronze_orders " )

D. @dlt.table
@dlt.expect_or_drop( " valid_customer " , " customer_id IS NOT NULL " )
@dlt.expect_or_drop( " valid_amount " , " amount > 0 " )
def silver_orders():
return dlt.read_stream( " bronze_orders " )

Discussion 0

Correct Answer: D Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #69

아래 쿼리를 사용하여 Delta Lake 테이블이 생성되었습니다.

원래 쿼리에 오타가 있음을 확인하고 아래 코드를 실행했습니다.
ALTER TABLE prod.sales_by_store RENAME TO prod.sales_by_store
두 번째 명령어를 실행하면 어떤 결과가 나타날까요?

A. 메타스토어의 테이블 참조가 업데이트되고 모든 데이터 파일이 이동됩니다.

B. 테이블 이름 변경 사항은 Delta 트랜잭션 로그에 기록됩니다.

C. 메타스토어의 테이블 참조가 업데이트되었지만 데이터는 변경되지 않았습니다.

D. 이름이 변경된 테이블에 대해 새로운 Delta 트랜잭션 로그가 생성됩니다.

E. 모든 관련 파일과 메타데이터는 단일 ACID 트랜잭션 내에서 삭제되고 다시 생성됩니다.

Discussion 0

Correct Answer: C Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Question #70

데이터 엔지니어는 각 주식 그룹 내 행 간 상태를 유지해야 하는 복잡한 계산을 포함하는 금융 시계열 데이터를 처리하는 Pandas 사용자 정의 함수(UDF)를 설계하면서 함수의 효율성과 확장성을 보장해야 합니다. 데이터 무결성을 유지하면서 최소한의 오버헤드로 이 문제를 해결할 수 있는 접근 방식은 무엇일까요?

A. 반복자 기반 처리를 사용하는 Pandas UDF인 scalar_iter를 사용하고, 각 배치 처리 후 업데이트되는 영구 저장소(델타 테이블)를 통해 상태 관리를 구현하여 반복자 청크 간의 연속성을 유지합니다.

B. 각 주식 종목 그룹을 독립적으로 처리하고, 브로드캐스트 변수를 통해 연속적인 UDF 호출 간에 전달되는 중간 집계 결과를 통해 상태를 유지하는 그룹화된 집계 Pandas UDF를 사용합니다.

C. 전체 데이터셋을 한 번에 처리하는 스칼라 Pandas UDF를 사용하고, UDF 내에 사용자 지정 파티셔닝 로직을 구현하여 주식 기호별로 그룹화하고 모든 실행 프로세스에서 공유되는 전역 변수를 사용하여 상태를 유지합니다.

D. Spark DataFrame에서 applyInPandas를 사용하여 각 주식 심볼 그룹을 pandas DataFrame으로 받도록 합니다. 이렇게 하면 각 그룹 내에서 처리가 가능해지고, 각 그룹의 처리 함수에 특화된 상태 변수를 유지할 수 있습니다.

Discussion 0

Correct Answer: D Vote an answer

Explanation: Only visible for Pass4Leader members. You can sign-up / login (it's free).

Free Databricks Databricks-Certified-Professional-Data-Engineer Korean Practice Test & Real Exam Questions

Download Free Databricks Databricks-Certified-Professional-Data-Engineer Korean Demo