Khi nhu cầu phân tích dữ liệu, AI và machine learning ngày càng mở rộng, nhiều doanh nghiệp bắt đầu tìm hiểu AWS Data Lakehouse như một hướng tiếp cận cho nền tảng dữ liệu hiện đại trên cloud. Thay vì duy trì riêng data lake cho lưu trữ, data warehouse cho BI và một môi trường khác cho machine learning, mô hình lakehouse hướng tới việc hợp nhất các workload này trên cùng một nền dữ liệu thống nhất.
Trong nhiều tổ chức, dữ liệu thường phân tán giữa nhiều hệ thống. Dữ liệu giao dịch nằm trong database vận hành, dữ liệu thô được đẩy vào data lake, còn dữ liệu phục vụ báo cáo lại được chuyển sang data warehouse. Khi số lượng nhóm khai thác dữ liệu tăng lên, số lượng pipeline đồng bộ và bản sao dữ liệu cũng tăng theo. Điều đó khiến chi phí vận hành cao hơn, governance phức tạp hơn và thời gian đưa dữ liệu vào sử dụng kéo dài hơn.
Đó là bối cảnh AWS giới thiệu Amazon SageMaker Lakehouse. Theo AWS, đây là một kiến trúc lakehouse mở, thống nhất và bảo mật, cho phép hợp nhất dữ liệu trên Amazon S3 và Amazon Redshift để analytics, AI và machine learning cùng khai thác trên một nền dữ liệu chung.
Bài viết này sẽ đi vào cách AWS định nghĩa data lakehouse, cách Amazon SageMaker Lakehouse hoạt động và khi nào doanh nghiệp nên cân nhắc áp dụng.
Table of Contents
AWS Data Lakehouse là gì?
Ở góc nhìn khái niệm, AWS Data Lakehouse là kiến trúc dữ liệu kết hợp khả năng lưu trữ linh hoạt của data lake với khả năng truy vấn, phân tích và quản trị thường thấy ở data warehouse.
Điểm cần lưu ý là trên AWS, đây không đơn thuần là một kho dữ liệu mới. AWS tiếp cận lakehouse như một mô hình cho phép nhiều workload cùng khai thác một bản dữ liệu thống nhất, thay vì liên tục sao chép dữ liệu giữa nhiều nền tảng khác nhau.
Theo cách AWS mô tả, Amazon SageMaker Lakehouse được thiết kế để hợp nhất dữ liệu từ:
- Amazon S3 data lakes
- Amazon S3 Tables
- Amazon Redshift data warehouses
Dữ liệu vẫn được giữ nguyên tại vị trí gốc. Các nhóm analytics, data engineering và machine learning có thể truy cập dữ liệu tại chỗ thay vì buộc phải di chuyển toàn bộ dữ liệu vào một hệ thống lưu trữ mới.
Ở góc nhìn vận hành, đây là một thay đổi quan trọng.
Trong nhiều môi trường enterprise, mỗi workload thường có một pipeline riêng để trích xuất, sao chép và chuẩn bị dữ liệu. Theo thời gian, chi phí vận hành của những pipeline đó thường tăng nhanh hơn giá trị thực tế mà chúng tạo ra. Mô hình lakehouse giúp giảm đáng kể vấn đề này bằng cách đưa nhiều workload về cùng một nền dữ liệu.
AWS Data Lakehouse hoạt động như thế nào?
Amazon SageMaker Lakehouse được xây dựng trên một nguyên lý khá rõ ràng: một lớp lưu trữ mở, một lớp metadata và governance thống nhất, cùng khả năng truy cập dữ liệu từ nhiều compute engines.
Storage layer: dữ liệu hợp nhất trên Amazon S3 và Amazon Redshift
Một trong những điểm cốt lõi của AWS Data Lakehouse là khả năng kết nối dữ liệu từ Amazon S3 và Amazon Redshift trong cùng một kiến trúc.
Điều này rất thực tế trong môi trường doanh nghiệp.
Nhiều tổ chức hiện nay đã có dữ liệu lịch sử, dữ liệu vận hành hoặc dữ liệu raw được lưu trên S3, trong khi các workload BI và analytics vẫn đang chạy trên Redshift. Nếu phải liên tục sao chép dữ liệu giữa hai môi trường này, pipeline rất dễ trở nên phức tạp.
Theo AWS, SageMaker Lakehouse cho phép dữ liệu từ hai môi trường đó cùng được truy cập trong một kiến trúc thống nhất mà không yêu cầu phải di chuyển toàn bộ dữ liệu sang một nền tảng mới.
Giá trị lớn hơn không nằm ở việc kết nối được nhiều nguồn dữ liệu. Điều quan trọng hơn là giảm data duplication và duy trì single copy of data cho nhiều nhóm khai thác.
Apache Iceberg giúp giữ kiến trúc mở
AWS cũng nhấn mạnh rằng SageMaker Lakehouse hỗ trợ Apache Iceberg open standard.
Đây là một chi tiết quan trọng về mặt kiến trúc.
Trong nhiều mô hình dữ liệu cũ, dữ liệu thường gắn chặt với một hệ thống xử lý cụ thể. Điều đó làm giảm tính linh hoạt của nền tảng dữ liệu và làm tăng nguy cơ vendor lock-in.
Với Apache Iceberg, doanh nghiệp có một open table format hỗ trợ quản lý metadata ở mức bảng, cải thiện khả năng query ở quy mô lớn và tăng khả năng tương thích với nhiều analytics engines.
Đối với các tổ chức đang xây dựng modern data platform, đây là một nền tảng quan trọng để duy trì kiến trúc mở trong dài hạn.
Metadata và governance được quản lý tập trung
Khi nhiều nhóm cùng truy cập dữ liệu từ nhiều nguồn khác nhau, metadata và governance nhanh chóng trở thành một phần cốt lõi của kiến trúc.
Trong AWS Data Lakehouse, AWS Glue Data Catalog đóng vai trò metadata layer. Thành phần này giúp lưu schema, quản lý metadata, hỗ trợ data discovery và tạo một catalog dùng chung cho nhiều nguồn dữ liệu.
Điều này giúp các compute engines khác nhau có thể hiểu và truy cập dữ liệu theo cách nhất quán hơn.
Bên cạnh đó, AWS Lake Formation đảm nhiệm lớp governance.
Theo AWS, Lake Formation hỗ trợ:
- fine-grained access control
- tag-based access control
- policy management
- quyền truy cập nhất quán giữa analytics và machine learning workloads
Điểm đáng chú ý là governance không còn là lớp tách rời phía sau. Nó trở thành một phần của kiến trúc lakehouse ngay từ đầu.
Với các tổ chức có nhiều nhóm dữ liệu hoặc yêu cầu tuân thủ cao, đây là yếu tố đặc biệt quan trọng.
Nhiều compute engines có thể cùng khai thác dữ liệu
Một điểm khác biệt đáng chú ý của AWS Data Lakehouse là khả năng multi-engine access.
Theo AWS, dữ liệu trong SageMaker Lakehouse có thể được truy cập bởi nhiều compute engines như:
- Amazon Redshift
- Amazon EMR
- AWS Glue
- Apache Spark
- Amazon Athena
- SageMaker Unified Studio
Điều này mang lại một lợi ích rất rõ.
Thay vì mỗi workload cần một pipeline dữ liệu riêng, nhiều nhóm có thể khai thác cùng một nguồn dữ liệu theo nhu cầu của mình.
Ví dụ, nhóm BI có thể dùng Redshift cho dashboard và reporting. Data engineering có thể dùng Spark hoặc Glue cho pipeline ETL. Trong khi đó, data science có thể dùng SageMaker cho feature engineering và model training.
Tất cả cùng khai thác một nền dữ liệu thống nhất.
Ingestion và query linh hoạt hơn
Ngoài khả năng hợp nhất dữ liệu hiện có, AWS cũng mở rộng cách dữ liệu được đưa vào và khai thác trong lakehouse.
Một hướng tiếp cận đáng chú ý là zero-ETL integrations. Theo AWS, dữ liệu từ operational databases, streaming services hoặc business applications có thể được đưa vào lakehouse mà giảm bớt các bước trích xuất và sao chép thủ công.
Điều này giúp rút ngắn khoảng cách giữa thời điểm dữ liệu phát sinh và thời điểm dữ liệu sẵn sàng cho analytics hoặc AI.
Ngoài ra, SageMaker Lakehouse cũng hỗ trợ federated query. Điều này cho phép các compute engines truy vấn dữ liệu từ nguồn bên ngoài theo mô hình in-place query, thay vì buộc phải di chuyển toàn bộ dữ liệu về một nơi.
Ở góc nhìn kiến trúc, đây là cách mở rộng phạm vi dữ liệu có thể khai thác mà không làm tăng quá nhiều chi phí data movement.
Vì sao doanh nghiệp chọn AWS Data Lakehouse?
Ở góc nhìn kỹ thuật, SageMaker Lakehouse là một kiến trúc lakehouse cloud-native. Nhưng ở góc nhìn business, lý do doanh nghiệp quan tâm thường xoay quanh ba bài toán quen thuộc: giảm data silos, tận dụng dữ liệu tốt hơn và kiểm soát chi phí vận hành.
Giảm data silos
Trong nhiều tổ chức, dữ liệu thường nằm rời rạc giữa data lake, data warehouse, operational systems và nhiều nguồn SaaS.
Khi mỗi hệ thống có cách quản trị và cách truy cập riêng, dữ liệu rất dễ bị phân mảnh.
AWS Data Lakehouse hướng tới việc đưa các nguồn dữ liệu đó về cùng một mô hình metadata và governance thống nhất. Điều này giúp các nhóm nghiệp vụ tiếp cận dữ liệu theo cách nhất quán hơn.
Tăng khả năng khai thác dữ liệu cho analytics và AI
Analytics và machine learning ngày càng sử dụng chung nhiều nguồn dữ liệu.
Trong mô hình cũ, dữ liệu cho BI và dữ liệu cho machine learning thường đi qua các pipeline tách biệt. Lakehouse giúp giảm khoảng cách đó.
Cùng một nền dữ liệu có thể phục vụ reporting, analytics, feature engineering và model training.
Hạn chế data duplication
Đây là một trong những lợi ích thực tế nhất.
Mỗi lần dữ liệu được sao chép sang một hệ thống mới, chi phí lưu trữ, chi phí pipeline và độ phức tạp vận hành đều tăng.
Mô hình single copy of data giúp giảm đáng kể vấn đề này.
Tận dụng hệ sinh thái AWS hiện có
Với các doanh nghiệp đã đầu tư hạ tầng trên AWS, đây là một lợi thế rõ ràng.
SageMaker Lakehouse tận dụng trực tiếp hệ sinh thái sẵn có như:
- Amazon S3
- Amazon Redshift
- AWS Glue
- AWS Lake Formation
- IAM
- EMR
- Athena
Điều đó giúp doanh nghiệp mở rộng modern data platform mà không cần thay đổi toàn bộ kiến trúc hiện có.
AWS Data Lakehouse khác gì Databricks Lakehouse?
Ở góc nhìn kiến trúc, AWS Data Lakehouse và Databricks Lakehouse đều hướng tới một mục tiêu chung: hợp nhất dữ liệu cho nhiều workload analytics và AI.
Tuy nhiên, cách tiếp cận của hai bên có khác biệt.
| Tiêu chí | AWS Data Lakehouse | Databricks Lakehouse |
| Mô hình | Lakehouse architecture trong AWS ecosystem | Unified platform |
| Data sources | Amazon S3 + Amazon Redshift | Open cloud object storage |
| Metadata | AWS Glue Data Catalog | Unity Catalog |
| Governance | AWS Lake Formation | Unity Catalog |
| Compute access | Multi-engine trong AWS ecosystem | Platform-centric multi-workload |
Trong thực tế, AWS Data Lakehouse thường phù hợp hơn khi doanh nghiệp đã đầu tư mạnh vào cloud-native ecosystem của AWS. Trong khi đó, Databricks Lakehouse thường phù hợp hơn khi mục tiêu là xây dựng một nền tảng tích hợp tập trung cho analytics, data engineering và machine learning.
Một ví dụ thực tế
Hãy hình dung một doanh nghiệp bán lẻ đang vận hành đồng thời các nhu cầu sau: ingest dữ liệu POS, xử lý clickstream, dashboard doanh thu và demand forecasting.
Trong mô hình truyền thống, các workload này có thể nằm trên nhiều nền tảng khác nhau. Điều đó khiến pipeline dữ liệu ngày càng phức tạp theo thời gian.
Với AWS Data Lakehouse, doanh nghiệp có thể triển khai theo hướng:
- dữ liệu raw và clickstream lưu trên Amazon S3
- dữ liệu warehouse phục vụ BI nằm trong Amazon Redshift
- metadata quản lý qua AWS Glue Data Catalog
- governance dùng AWS Lake Formation
- analytics dùng Redshift
- machine learning dùng SageMaker
Giá trị thực sự không nằm ở số lượng dịch vụ được sử dụng. Điều quan trọng hơn là các nhóm analytics, data engineering và machine learning có thể cùng khai thác một nền dữ liệu thống nhất.
Khi nào doanh nghiệp nên cân nhắc AWS Data Lakehouse?
AWS Data Lakehouse thường phù hợp hơn khi doanh nghiệp bắt đầu xuất hiện một hoặc nhiều tín hiệu sau:
- dữ liệu đã nằm cả ở Amazon S3 và Amazon Redshift
- nhiều nhóm cùng khai thác dữ liệu
- workload analytics và machine learning ngày càng đa dạng
- chi phí pipeline và data movement tăng dần
- doanh nghiệp muốn mở rộng modern data platform theo hướng cloud-native
Khi những tín hiệu này xuất hiện, việc tiếp tục mở rộng các hệ thống dữ liệu rời rạc thường khiến chi phí vận hành tăng nhanh hơn tốc độ tạo giá trị.
Kết luận
AWS Data Lakehouse, theo cách AWS hiện định vị thông qua Amazon SageMaker Lakehouse, là một kiến trúc dữ liệu mở, thống nhất và bảo mật giúp hợp nhất dữ liệu trên Amazon S3 và Amazon Redshift.
Điểm mạnh của mô hình này không nằm ở một dịch vụ đơn lẻ. Giá trị cốt lõi nằm ở khả năng tạo ra single copy of data, nơi nhiều workload analytics, AI và machine learning có thể cùng khai thác trên một nền dữ liệu chung.
Nếu doanh nghiệp đang xây dựng modern data platform trên AWS, đây là một hướng kiến trúc rất đáng cân nhắc trong dài hạn.
FAQ
AWS Data Lakehouse là gì?
AWS Data Lakehouse là kiến trúc dữ liệu hợp nhất dữ liệu từ Amazon S3 data lakes và Amazon Redshift data warehouses để phục vụ analytics, AI và machine learning trên cùng một nền dữ liệu thống nhất.
Amazon SageMaker Lakehouse có phải một sản phẩm riêng không?
Đây là kiến trúc lakehouse được AWS triển khai trong hệ sinh thái SageMaker, kết hợp S3, Redshift, Glue Data Catalog và Lake Formation.
AWS Data Lakehouse có dùng Apache Iceberg không?
Có. Theo AWS, Amazon SageMaker Lakehouse hỗ trợ Apache Iceberg open standard.
Khi nào doanh nghiệp nên chọn AWS Data Lakehouse?
Khi doanh nghiệp đã đầu tư hạ tầng trên AWS, có dữ liệu nằm ở cả S3 và Redshift, đồng thời muốn analytics và machine learning cùng khai thác dữ liệu trên một nền tảng thống nhất.
Công ty TNHH Giải pháp Phân tích Dữ liệu Insight Data (INDA) là đơn vị hàng đầu cung cấp các dịch vụ và giải pháp về dữ liệu và trí tuệ nhân tạo (AI). Với chuyên môn sâu trong lĩnh vực Big Data, Data Analytics và AI Data Platform, chúng tôi cung cấp danh mục dịch vụ toàn diện bao gồm tư vấn và triển khai, thuê ngoài nhân sự IT, đào tạo và cung cấp bản quyền phần mềm.
Đội ngũ chuyên gia giàu kinh nghiệm của chúng tôi luôn cam kết đề cao chất lượng, tính chuyên nghiệp và sự thấu hiểu khách hàng – đồng hành cùng doanh nghiệp để mang đến những giải pháp phù hợp, hiệu quả, giúp khai mở tối đa tiềm năng từ dữ liệu.
Một số dịch vụ cơ bản INDA đang cung cấp:
Triển khai kho dữ liệu: Tư vấn, xây dựng, hỗ trợ về Data Warehouse và di chuyển Data Warehouse lên cloud.
Dịch vụ phát triển phần mềm: Tư vấn và hỗ trợ trang bị giấy phép phần mềm bản quyền (License).
Dịch vụ Outsourcing – Cho thuê nhân sự ngành Data: Tuyển dụng và sàng lọc ứng viên, có phương án dự phòng thay thế nhân sự kịp thời.
Dịch vụ Xây dựng Báo cáo BI: Cung cấp giải pháp chuyên sâu về Power BI.
