Google Professional Data Engineer

Google Professional Data Engineer – TÀI LIỆU ÔN TẬP

1. TỔNG QUAN KỲ THI

• Tên chính thức: Professional Data Engineer
• Số câu: khoảng 50–60 câu
• Thời gian: 2 giờ
• Lệ phí tham khảo: 200 USD (cộng thuế nếu có)
• Hiệu lực: 2 năm, phải thi lại để gia hạn
• Điểm đạt: Google không công bố điểm đạt; kết quả chỉ là Đạt / Không đạt, không có điểm số và không có phản hồi theo từng phần.
• Kinh nghiệm khuyến nghị: 3 năm kinh nghiệm trong ngành, trong đó 1 năm thiết kế và quản lý giải pháp trên Google Cloud

Kỳ thi này không có case study. Đề nặng về chọn đúng dịch vụ cho đúng bài toán — và vì Google Cloud có nhiều dịch vụ dữ liệu chồng lấn nhau, đây là chỗ mất điểm chính.

2. NỘI DUNG ÔN TẬP THEO 5 PHẦN

Google công bố tỉ lệ kèm dấu ~ (xấp xỉ) chứ không phải số chính xác.

Phân bổ khá đều, nặng nhất là thu nạp và xử lý dữ liệu (~25%).

Phần 1: Thiết kế hệ thống xử lý dữ liệu (~22%)

• Thiết kế theo yêu cầu bảo mật và tuân thủ: IAM, mã hoá (CMEK), chủ quyền dữ liệu, quyền riêng tư, che dữ liệu nhạy cảm.
• Thiết kế theo tính đáng tin cậy và độ trung thực của dữ liệu: kiểm tra chất lượng dữ liệu, điều phối (orchestration), kiểm soát và giám sát pipeline, xử lý dữ liệu lỗi.
• Thiết kế theo tính linh hoạt và tính portable: dữ liệu đa vùng, kiến trúc lai, tránh phụ thuộc vào một dịch vụ.
• Thiết kế mô hình dữ liệu và kho dữ liệu: schema cho BigQuery (nested và repeated field), star và snowflake schema, data lake so với data warehouse so với lakehouse, data mesh.
• Thiết kế migration dữ liệu: đánh giá hiện trạng, lập kế hoạch, công cụ (Database Migration Service, BigQuery Data Transfer Service, Transfer Appliance, Storage Transfer Service), validate sau khi chuyển.

Phần 2: Thu nạp và xử lý dữ liệu (~25%) — nặng nhất

• Lập kế hoạch pipeline: nguồn và đích dữ liệu, logic biến đổi, mạng và bảo mật.
• Xây pipeline: Dataflow (Apache Beam, batch và streaming, windowing, watermark, trigger), Dataproc (Spark và Hadoop), Cloud Data Fusion, Dataprep, Cloud Composer (Airflow), BigQuery (SQL và scheduled query), Pub/Sub cho streaming, Datastream cho CDC.
• Phân biệt batch và streaming: khi nào dùng cái nào; xử lý dữ liệu đến muộn (late-arriving data); exactly-once so với at-least-once.
• Triển khai và vận hành pipeline: kiểm thử, lập lịch, xử lý lỗi và retry, dead-letter queue, idempotency, backfill và reprocessing.

Phần 3: Lưu trữ dữ liệu (~20%)

• Chọn đúng hệ thống lưu trữ — phần ăn điểm hoặc mất điểm rõ nhất của kỳ thi này (xem bảng bên dưới).
• BigQuery: partitioning và clustering, materialized view, BI Engine, slot và reservation, mô hình giá (on-demand so với capacity), BigQuery Omni, external table và BigLake.
• Bigtable: thiết kế row key (chỗ quyết định hiệu năng), column family, không có join và không có secondary index.
• Cloud SQL và Spanner: khi nào cần Spanner (quy mô toàn cầu, giao dịch mạnh, horizontal scaling).
• Firestore cho dữ liệu dạng document; Memorystore cho cache.
• Cloud Storage: storage class, lifecycle policy, object versioning, retention.
• Vòng đời dữ liệu: dữ liệu nóng và nguội, lưu trữ dài hạn, xoá theo quy định.

Phần 4: Chuẩn bị và dùng dữ liệu cho phân tích (~15%)

• Chuẩn bị dữ liệu cho trực quan hoá: Looker và Looker Studio, connected sheet, BI Engine, materialized view để tăng tốc dashboard.
• Chia sẻ dữ liệu: Analytics Hub (data exchange), authorized view, authorized dataset, row-level và column-level security trong BigQuery, policy tag và taxonomy.
• Khám phá và phân tích: ad-hoc query, notebook (Colab Enterprise, Vertex AI Workbench), BigQuery ML để huấn luyện mô hình bằng SQL.
• Quản trị dữ liệu: Dataplex (trước là Data Catalog) cho catalog, lineage và chất lượng dữ liệu; metadata.

Phần 5: Bảo trì và tự động hoá workload dữ liệu (~18%)

• Tối ưu nguồn lực: chọn loại máy, autoscaling của Dataflow và Dataproc, slot reservation của BigQuery, tối ưu truy vấn (đọc query plan, tránh quét toàn bảng, tránh SELECT *).
• Tối ưu chi phí: mô hình giá từng dịch vụ, partition và cluster để giảm dữ liệu quét, lifecycle của Cloud Storage, cancel truy vấn tốn kém, custom quota và budget alert.
• Thiết kế để tự động hoá và lặp lại: Cloud Composer (DAG), Workflows, Cloud Scheduler, CI/CD cho pipeline, infrastructure as code.
• Giám sát và báo động: Cloud Monitoring cho job dữ liệu, log của Dataflow và Dataproc, metric về độ trễ và throughput, SLO cho pipeline.
• Chẩn đoán sự cố: job thất bại, dữ liệu lệch (skew), hot key trong Bigtable, truy vấn chậm, quota vượt hạn.
• Khả năng chống chịu: snapshot, sao lưu, time travel của BigQuery, khôi phục sau xoá nhầm, DR đa vùng.

3. BẢNG CHỌN KHO DỮ LIỆU — PHẦN QUYẾT ĐỊNH ĐIỂM

Google Cloud có nhiều dịch vụ dữ liệu chồng lấn nhau, và đề liên tục cho một tình huống rồi hỏi chọn cái nào. Bảng này là thứ nên học thuộc trước tiên:

Và cặp hay nhầm nhất ở phần xử lý: Dataflow cho pipeline mới viết bằng Beam (batch và streaming cùng một mã nguồn); Dataproc khi đã có sẵn job Spark hoặc Hadoop muốn mang lên cloud; Cloud Data Fusion khi muốn dựng pipeline bằng giao diện kéo-thả không viết mã.

Nhớ: Google chỉ trả Đạt / Không đạt, không có điểm và không có phản hồi theo phần. Tự đánh giá kỹ bằng đề luyện trước khi đăng ký thi.

4. LUYỆN ĐỀ Ở ĐÂU

Bộ đề luyện của chứng chỉ này được tổng hợp theo đúng các phần ở trên — danh sách đề nằm ngay phía dưới khối này. Làm hết đề là phủ được toàn bộ nội dung cần ôn, nên tài liệu này không kèm câu hỏi mẫu.

Cách dùng cho hiệu quả:

• Chế độ luyện — trả lời rồi bấm kiểm tra là thấy đáp án kèm giải thích ngay. Đồng hồ bấm riêng từng câu, nên bạn biết câu nào mình mất nhiều thời gian suy nghĩ nhất và nên đọc lại phần nào.
• Thi thật — đếm ngược đúng thời gian thi thật, không hiện đáp án tới khi nộp bài. Dùng để tập nhịp làm bài, đừng dùng để học kiến thức mới.
• Lưới số câu đánh chấm đỏ vào những câu bạn đã chấm mà sai, kèm tổng số câu sai. Quay lại đọc giải thích của đúng những câu đó trước khi sang đề mới.

5. TÀI LIỆU HỌC CHÍNH THỨC

• Exam Guide Professional Data Engineer: https://cloud.google.com/learn/certification/guides/data-engineer
• Trang chứng chỉ: https://cloud.google.com/learn/certification/data-engineer
• Tài liệu BigQuery: https://cloud.google.com/bigquery/docs
• Google Cloud Architecture Framework: https://cloud.google.com/architecture/framework

Lưu ý: Tỉ lệ các phần lấy từ Exam Guide chính thức của Google Cloud cho Professional Data Engineer, tra ngày 03/10/2026. Google sửa exam guide khá thường xuyên và không công bố ngày hiệu lực trên trang — nên đối chiếu lại ngay trước khi đặt lịch thi.