Data Lakehouse Là Gì? Đạt Mục Tiêu AI Với Cách Tiếp Cận Data Lakehouse

Dù phân tích dữ liệu do AI dẫn dắt đã được sử dụng rộng rãi, phần lớn dữ liệu của các tổ chức vẫn chưa được khai thác. Việc triển khai AI hiệu quả đòi hỏi một kiến trúc Data Lakehouse mở. Khái niệm data lakehouse ra đời khi các tổ chức toàn cầu tìm kiếm giải pháp lưu trữ để quản lý tốt các thách thức khi xử lý big data — cụ thể là khối lượng dữ liệu, độ trễ, tính khả dụng và yêu cầu truy cập dữ liệu. Hệ thống data lakehouse xuất hiện như một kiến trúc dữ liệu lai (hybrid) mới, tận dụng tối đa ưu điểm của cả data warehouse lẫn data lake, đồng thời loại bỏ điểm yếu của cả hai. Nếu bạn muốn tìm hiểu cách triển khai hiệu quả các giải pháp AI và xu hướng công nghệ mới nhất, đừng bỏ lỡ bài viết này. Bài viết giải thích Data Lakehouse là gì và cách kết hợp data lakehouse với AI mang lại những insight giá trị.

1. Data Lakehouse Là Gì

1.1. Giới thiệu về Data Lakehouse

Data lakehouse là một kiến trúc dữ liệu hiện đại, kết hợp những lợi ích chính của data lake (kho lưu trữ lớn chứa dữ liệu thô ở định dạng gốc) và data warehouse (tập dữ liệu có cấu trúc, được tổ chức bài bản) vào một nền tảng duy nhất. Nhờ tận dụng data lakehouse, tổ chức có thể lưu trữ khối lượng lớn dữ liệu thô bằng storage chi phí thấp, đồng thời có được cấu trúc và khả năng quản lý dữ liệu.

Trước đây, data warehouse và data lake phải được triển khai như những kiến trúc riêng biệt, tách biệt (silo) để tránh gây quá tải cho hệ thống nền tảng hoặc tranh chấp cùng một nguồn tài nguyên. Doanh nghiệp lưu trữ dữ liệu có cấu trúc cho business intelligence (BI) và báo cáo qua data warehouse, trong khi dùng data lake để tích luỹ dữ liệu phi cấu trúc và bán cấu trúc cho các workload machine learning (ML). Tuy nhiên, với cách tiếp cận này, khi cần xử lý cùng lúc dữ liệu từ cả hai kiến trúc, tổ chức phải thường xuyên di chuyển dữ liệu giữa hai hệ thống khác nhau — gây phức tạp, tăng chi phí, đồng thời phát sinh vấn đề về độ mới, trùng lặp và tính nhất quán của dữ liệu. Data Lakehouse hướng đến việc xoá bỏ những silo này, mang lại tính linh hoạt, khả năng mở rộng và sự nhanh nhạy cần thiết để dữ liệu tạo ra giá trị kinh doanh một cách hiệu quả.

Đã có một số ví dụ về data lakehouse hiện có, chẳng hạn như Databricks Lakehouse Platform và Amazon Redshift Spectrum. Tuy nhiên, khi công nghệ tiếp tục phát triển và việc áp dụng data lakehouse ngày càng tăng, cách triển khai đã dịch chuyển khỏi việc chỉ đơn thuần gắn các thành phần lakehouse vào một data lake cụ thể.

1.2. Data Lakehouse và Việc Đạt Mục Tiêu AI

Việc triển khai AI hiệu quả đòi hỏi một kiến trúc data lakehouse mở, vì mô hình data lakehouse kết hợp hiệu năng của data warehouse với tính linh hoạt của data lake để xử lý môi trường dữ liệu phức tạp ngày nay và mở rộng AI một cách hiệu quả.

Kiến trúc data lakehouse mở hỗ trợ AI bằng cách kết hợp dữ liệu mới với dữ liệu hiện có. Cách tiếp cận data lakehouse cung cấp một lớp metadata dùng chung và hỗ trợ các định dạng dữ liệu mở, giúp tổ chức triển khai các dự án phân tích và AI một cách đáng tin cậy.

Để chuẩn bị cho quy mô tác động của dữ liệu và AI, việc áp dụng cách tiếp cận data lakehouse mở là điều thiết yếu. Kiến trúc data lakehouse mở mang lại khả năng mở rộng cho các workload AI trên mọi nguồn dữ liệu.

2. Data Lakehouse vs. Data Lake vs. Data Warehouse

Thuật ngữ "data lakehouse" đề cập đến khái niệm hợp nhất hai kho lưu trữ dữ liệu hiện có: data warehouse và data lake. Vậy cụ thể, sự khác biệt giữa data lakehouse, data lake và data warehouse là gì?

2.1. Data Warehouse

Data warehouse cung cấp cho người dùng doanh nghiệp cần tạo báo cáo và insight để ra quyết định khả năng truy cập dữ liệu nhanh cùng khả năng tương thích SQL. Mọi dữ liệu đều phải trải qua giai đoạn ETL (extract, transform, load), qua đó được tối ưu hoá theo định dạng hoặc schema cụ thể dựa trên use case, hỗ trợ truy vấn hiệu năng cao và tính nhất quán dữ liệu. Tuy nhiên, cách tiếp cận này hạn chế khả năng truy cập linh hoạt vào dữ liệu, và phát sinh thêm chi phí khi cần di chuyển dữ liệu để sử dụng trong tương lai.

2.2. Data Lake

Data lake lưu trữ khối lượng lớn dữ liệu phi cấu trúc và có cấu trúc ở định dạng gốc. Khác với data warehouse, dữ liệu được xử lý, làm sạch và chuyển đổi trong quá trình phân tích, giúp tăng tốc độ nạp dữ liệu và rất phù hợp cho xử lý big data, machine learning và phân tích dự đoán. Tuy nhiên, nó đòi hỏi chuyên môn khoa học dữ liệu, khiến số người có thể sử dụng dữ liệu bị hạn chế, và chất lượng dữ liệu có thể suy giảm theo thời gian nếu không được duy trì đúng cách. Ngoài ra, do dữ liệu trong data lake chưa qua xử lý, việc truy vấn theo thời gian thực cũng khó khăn hơn — vì vậy dữ liệu cần được làm sạch, xử lý, nạp và tích hợp trước khi sử dụng.

2.3. Data Lakehouse Là Gì

Data lakehouse hợp nhất hai cách tiếp cận này thành một cấu trúc duy nhất, cho phép truy cập và sử dụng dữ liệu cho nhiều mục đích khác nhau, từ BI đến khoa học dữ liệu và machine learning. Nói ngắn gọn, data lakehouse thu thập toàn bộ dữ liệu phi cấu trúc, có cấu trúc và bán cấu trúc của tổ chức, lưu trữ trong storage chi phí thấp, mang lại cho mọi người dùng khả năng tổ chức và khám phá dữ liệu khi cần.

Bằng cách hợp nhất những lợi ích này trong một kiến trúc dữ liệu duy nhất, đội ngũ dữ liệu không còn phải làm việc trên hai hệ thống dữ liệu khác nhau để triển khai và mở rộng các phân tích nâng cao như machine learning, giúp tăng tốc xử lý dữ liệu một cách hiệu quả.

3. Thành Phần và Tính Năng của Data Lakehouse

3.1.　Các Thành Phần của Kiến Trúc Data Lakehouse

Kiến trúc data lakehouse được xây dựng từ các lớp sau.

3.1.1. Lớp Lưu Trữ (Storage Layer)

Lớp lưu trữ là lớp data lake dùng để lưu dữ liệu thô, thường là một object store chi phí thấp cho các tập dữ liệu phi cấu trúc, có cấu trúc và bán cấu trúc. Lớp này độc lập với tài nguyên compute, cho phép compute mở rộng một cách độc lập.

3.1.2. Lớp Trung Gian (Staging Layer)

Lớp trung gian (staging layer) là lớp metadata nằm trên lớp data lake. Lớp này cung cấp danh mục chi tiết cho mọi đối tượng dữ liệu trong storage, đồng thời cho phép áp dụng các khả năng quản lý dữ liệu như thực thi schema, thuộc tính ACID, lập chỉ mục (indexing), caching và kiểm soát truy cập.

3.1.3. Lớp Ngữ Nghĩa (Semantic Layer)

Lớp lakehouse, đóng vai trò là lớp ngữ nghĩa, công khai toàn bộ dữ liệu và giúp dữ liệu sẵn sàng sử dụng. Người dùng có thể truy cập dữ liệu này qua các ứng dụng client và công cụ phân tích, sử dụng cho mục đích thử nghiệm và trình bày business intelligence.

3.2. Tính Năng của Data Lakehouse

Để hiểu cách data lakehouse vận hành, trước tiên cần xem xét mục tiêu mà nó hướng đến. Data lakehouse hướng đến việc giúp mọi người dùng trong tổ chức đều có thể trở thành data user, quản lý tập trung các nguồn dữ liệu không đồng nhất và đơn giản hoá công việc engineering.

Data lakehouse sử dụng cùng loại cloud object storage chi phí thấp như data lake, giúp dễ dàng cấp phát và mở rộng storage theo nhu cầu (on-demand). Giống như data lake, nó có thể thu thập và lưu trữ khối lượng lớn mọi loại dữ liệu ở dạng thô. Sau đó, lakehouse tích hợp một lớp metadata lên trên kho lưu trữ đó, cung cấp các khả năng tương tự data warehouse như schema có cấu trúc, hỗ trợ ACID transaction, quản trị dữ liệu (data governance) và các tính năng quản lý, tối ưu hoá dữ liệu khác.

Các tính năng chính của data lakehouse bao gồm những điều sau.

• Một kho dữ liệu (data store) chi phí thấp duy nhất, hỗ trợ mọi loại dữ liệu (có cấu trúc, phi cấu trúc, bán cấu trúc)
• Khả năng quản lý dữ liệu giúp thực thi schema, tăng cường quản trị dữ liệu, và cung cấp quy trình ETL cùng làm sạch dữ liệu
• Hỗ trợ transaction theo thuộc tính ACID (atomicity, consistency, isolation, durability), đảm bảo tính nhất quán dữ liệu khi nhiều người dùng đọc và ghi dữ liệu đồng thời.
• Định dạng lưu trữ được chuẩn hoá, có thể dùng cho nhiều phần mềm khác nhau
• Streaming đầu-cuối (end-to-end), hỗ trợ nạp dữ liệu theo thời gian thực và tạo insight
• Tách biệt tài nguyên compute và storage để đảm bảo khả năng mở rộng cho nhiều loại workload khác nhau

4. Lợi Ích của Data Lakehouse

4.1. Kiến Trúc Đơn Giản Hoá

Bằng cách xoá bỏ silo giữa hai nền tảng riêng biệt, data lakehouse giúp việc quản lý và bảo trì chỉ cần tập trung vào một kho dữ liệu duy nhất. Các công cụ có thể kết nối trực tiếp với dữ liệu nguồn, không cần trích xuất hay chuẩn bị dữ liệu qua một data warehouse riêng.

4.2. Nâng Cao Chất Lượng Dữ Liệu

Trong kiến trúc data lakehouse, việc thực thi schema cho dữ liệu có cấu trúc và tính toàn vẹn dữ liệu giúp đảm bảo tính nhất quán. Ngoài ra, lakehouse còn rút ngắn thời gian để dữ liệu mới sẵn sàng sử dụng, giúp dữ liệu luôn mới hơn.

4.3. Giảm Chi Phí

Việc lưu trữ khối lượng lớn dữ liệu trong storage chi phí thấp giúp loại bỏ nhu cầu duy trì cả data warehouse lẫn data lake. Data lakehouse còn giúp giảm chi phí nhờ quy trình ETL tinh gọn và loại bỏ dữ liệu trùng lặp.

4.4. Nâng Cao Độ Tin Cậy

Data lakehouse giảm thiểu việc chuyển ETL dữ liệu giữa nhiều hệ thống, giảm khả năng phát sinh vấn đề chất lượng hoặc kỹ thuật do việc di chuyển dữ liệu gây ra.

4.5 Nâng Cao Quản Trị Dữ Liệu

Vì data lakehouse hợp nhất dữ liệu và tài nguyên vào một nơi duy nhất, việc triển khai, kiểm thử và cung cấp các kiểm soát về quản trị và bảo mật trở nên dễ dàng hơn.

4.6. Giảm Trùng Lặp Dữ Liệu

Khi số lượng bản sao dữ liệu tồn tại trên các hệ thống khác nhau càng tăng, tính nhất quán của dữ liệu càng bị ảnh hưởng, làm tăng khả năng giảm độ tin cậy. Sử dụng data lakehouse tạo ra một nguồn dữ liệu duy nhất có thể chia sẻ trong toàn doanh nghiệp, ngăn ngừa sự không nhất quán và chi phí storage phát sinh do trùng lặp dữ liệu.

4.7. Đa Dạng Workload

Nhiều công cụ có thể kết nối trực tiếp với lakehouse, hỗ trợ các workload phân tích, SQL, machine learning và khoa học dữ liệu từ cùng một kho lưu trữ.

4.8. Khả Năng Mở Rộng Cao

Sử dụng cloud object storage chi phí thấp của data lakehouse cho phép tách compute khỏi storage gần như không giới hạn, mang lại khả năng mở rộng tức thời. Năng lực compute và storage có thể được mở rộng độc lập theo nhu cầu kinh doanh.

5. Thách Thức Khi Sử Dụng Data Lakehouse

Khái niệm data lakehouse vẫn là một kiến trúc tương đối mới, và một trong những thách thức lớn nhất là việc nó vẫn đang tiếp tục phát triển, với các best practice vẫn đang được định hình bởi những người áp dụng sớm. Ngoài ra, việc xây dựng data lakehouse từ đầu khá phức tạp, nên trong hầu hết trường hợp, tổ chức phải lựa chọn giải pháp data lakehouse có sẵn, hoặc thu thập tất cả thành phần cần thiết để hỗ trợ kiến trúc lakehouse mở từ các nền tảng như Google Cloud.

6. FAQ

Câu hỏi 1: Data Lakehouse là gì?

Data lakehouse xoá bỏ khoảng cách giữa data lake và data warehouse. Đây là một kiến trúc giúp lưu trữ, hợp nhất và quản lý hiệu quả khối lượng lớn dữ liệu không đồng nhất. Nó có thể xử lý dữ liệu có cấu trúc và phi cấu trúc tại một nơi tập trung duy nhất, mang lại đổi mới thực sự cho việc quản lý dữ liệu doanh nghiệp.

Câu hỏi 2: Cách tiếp cận Data Lakehouse hỗ trợ mục tiêu AI như thế nào?

Cách tiếp cận Data Lakehouse giúp dễ dàng truy cập các tập dữ liệu khổng lồ, cải thiện việc huấn luyện và phát triển mô hình AI. Điều này giúp xây dựng trí tuệ nhân tạo chính xác và tinh vi hơn, góp phần đạt được mục tiêu kinh doanh.

Câu hỏi 3: Điều gì khiến Data Lakehouse vượt trội hơn các cách tiếp cận quản lý dữ liệu khác?

Data lakehouse xoá bỏ khoảng cách giữa data lake và data warehouse. Nói cách khác, dữ liệu có thể dễ dàng di chuyển vào data warehouse thông qua storage linh hoạt, chi phí thấp của data lake, đồng thời vẫn dễ dàng truy cập các công cụ quản lý của data warehouse triển khai schema và governance ứng dụng machine learning, AI để làm sạch dữ liệu. Kết quả là một kho dữ liệu kết hợp bộ sưu tập phi cấu trúc, chi phí phải chăng của data lake với sự chuẩn bị vững chắc của data warehouse. Data lakehouse cung cấp không gian để thu thập dữ liệu từ các nguồn đã được chọn lọc (curated), đồng thời đẩy nhanh quy trình bằng các công cụ và tính năng chuẩn bị dữ liệu cho mục đích kinh doanh.

Nói tóm lại, data lakehouse có tính linh hoạt và khả năng mở rộng vượt trội, cùng khả năng hợp nhất dữ liệu không đồng nhất. Điều này giúp nó thích ứng với nhu cầu kinh doanh thay đổi và cho phép phân tích dữ liệu theo thời gian thực.

7. Kết Luận

Tóm lại, Data Lakehouse khéo léo kết hợp những ưu điểm của data warehouse truyền thống và data lake, đứng ở vị trí tiên phong trong quản lý dữ liệu hiện đại. Kiến trúc đổi mới này mang lại cho tổ chức một nền tảng thống nhất để lưu trữ, quản lý và phân tích hiệu quả nhiều loại dữ liệu khác nhau. Bằng cách giải quyết thách thức của các silo dữ liệu, đồng thời mang lại khả năng mở rộng, tính linh hoạt và phân tích theo thời gian thực, Data Lakehouse đã nổi lên như một giải pháp thực sự mang tính chuyển đổi. Khả năng thúc đẩy sự cộng tác, đảm bảo chất lượng dữ liệu và hỗ trợ ra quyết định nhanh nhạy giúp nó trở thành chìa khoá để khai phá trọn vẹn tiềm năng của tài sản dữ liệu trong bối cảnh AI và chuyển đổi số hiện nay.

Miichisoft là công ty công nghệ với đội ngũ developer trình độ cao, đã hỗ trợ rất nhiều khách hàng Nhật Bản giải quyết hiệu quả các thách thức trong kinh doanh. Chúng tôi có kinh nghiệm phong phú trong việc phát triển giải pháp ứng dụng công nghệ Data Warehouse, Data Lake và Data Lakehouse. Nếu quý khách đang gặp vấn đề liên quan đến dữ liệu kinh doanh, hãy liên hệ để sử dụng dịch vụ tư vấn miễn phí của Miichisoft.