【原】如果構(gòu)建適合企業(yè)的AI創(chuàng)新數(shù)據(jù)平臺

數(shù)據(jù)治理精英館 2025-12-06 發(fā)布于浙江

展開全文

下面我們探索企業(yè)數(shù)據(jù)平臺，從湖屋架構(gòu)到智能體人工智能生態(tài)系統(tǒng)，如何賦能可擴(kuò)展且值得信賴的人工智能解決方案。

人工智能席卷幾乎所有行業(yè)，成為實驗室演示中的主宰，這聽起來簡直就像科幻小說里的情節(jié)。然而，一旦你試圖將這項創(chuàng)新應(yīng)用于現(xiàn)實世界，殘酷的現(xiàn)實就會迎面而來：單一的模型毫無用處。你認(rèn)為最前沿的算法就能解決所有問題，就好比你擁有一位技藝精湛的主廚，卻沒有廚房、沒有食材、也沒有人手。

成功的AI創(chuàng)新完全取決于擁有合適的數(shù)據(jù)平臺作為基礎(chǔ)，就像一個運轉(zhuǎn)良好的廚房。我們將探索現(xiàn)代數(shù)據(jù)平臺的多樣性，從專注于治理和食材準(zhǔn)備的平臺到復(fù)雜的服務(wù)編排平臺。

本文就像您的菜單。我們將為您撥開迷霧，介紹當(dāng)今領(lǐng)先數(shù)據(jù)平臺的核心優(yōu)勢和理想方案，幫助您了解、評估并選擇最適合您人工智能發(fā)展目標(biāo)的平臺。

一人工智能數(shù)據(jù)平臺的構(gòu)成要素

企業(yè)數(shù)據(jù)平臺的核心挑戰(zhàn)在于碎片化。你的數(shù)據(jù)系統(tǒng)與其說像一個井然有序的系統(tǒng)，不如說更像一個雜亂無章、缺乏管理的廚房，各種操作臺散落在各處。我們需要一個統(tǒng)一的界面。

建議采用人工智能數(shù)據(jù)平臺作為解決方案。它不僅僅是后臺的存儲庫，而是一個旨在管理整個工作流程的智能操作系統(tǒng)。它整合了原料采購、衛(wèi)生法規(guī)合規(guī)性（管理）、準(zhǔn)備、配方測試（建模）和服務(wù)交付（部署）。

現(xiàn)代平臺由三大支柱：

統(tǒng)一數(shù)據(jù)平臺架構(gòu)：一個單一的、符合規(guī)范的廚房布局，其中冷存儲（數(shù)據(jù)湖）和快速烤箱（數(shù)據(jù)倉庫）協(xié)同工作，并且無縫銜接。

以人工智能為中心的工具：最先進(jìn)的廚房設(shè)備，為訓(xùn)練、GenAI（新食譜創(chuàng)建）和代理編排提供原生支持。

治理與可監(jiān)督性：這是不容妥協(xié)的。確保每道菜都安全，廚師對其負(fù)責(zé)，并且符合衛(wèi)生規(guī)范。

二 AI原生數(shù)據(jù)棧必備的三大核心數(shù)據(jù)平臺功能

數(shù)據(jù)平臺功能#1：第二代Lakehouse

問題：您的業(yè)務(wù)數(shù)據(jù)可能分散在兩個不同的數(shù)據(jù)庫中。一個是高速、結(jié)構(gòu)化的數(shù)據(jù)倉庫，另一個是龐大而混亂的數(shù)據(jù)湖。這種數(shù)據(jù)孤島令人頭疼。

第二代湖倉架構(gòu)設(shè)計——Lakehouse2.0——正是理想的解決方案。你可以把它想象成將這兩個陣營融合為一個極致的、高度有序的智能廚房。

統(tǒng)一的數(shù)據(jù)平臺基礎(chǔ)架構(gòu)讓您能夠構(gòu)建可靠的數(shù)據(jù)產(chǎn)品，這些產(chǎn)品具有質(zhì)量保證、可重復(fù)使用且功能強(qiáng)大的特性。至關(guān)重要的是，Lakehouse 2.0 專為生成式人工智能而構(gòu)建，并原生集成了向量數(shù)據(jù)庫。通過實現(xiàn)原生查找，我們消除了繁瑣的手動步驟，并減少了“幻覺”。

但真正的魔力在于可組合性。我們已經(jīng)突破了“一臺設(shè)備包辦一切”的瓶頸。Lakehouse成為一個中央樞紐，可以根據(jù)需要無縫地“輻射”到各個專用設(shè)備。這種架構(gòu)支持即插即用的結(jié)構(gòu)，非常適合業(yè)務(wù)性質(zhì)：

向量數(shù)據(jù)庫：用于 RAG / LLM 驅(qū)動的嵌入搜索。
特征存儲：機(jī)器學(xué)習(xí)系統(tǒng)的流式和批量特征。
圖引擎：用于疊加拓?fù)浣Y(jié)構(gòu)或關(guān)系模型。
數(shù)據(jù)契約：用于驗證和發(fā)布上游/下游模式。

數(shù)據(jù)平臺功能#2：AI就緒型數(shù)據(jù)準(zhǔn)備與標(biāo)注

人工智能的骯臟秘密在于，劣質(zhì)原料只會造就劣質(zhì)產(chǎn)品。關(guān)鍵始終在于前期準(zhǔn)備工作，而這正是數(shù)據(jù)產(chǎn)品等人工智能就緒促進(jìn)工具發(fā)揮作用的地方。

這些數(shù)據(jù)平臺支持人機(jī)協(xié)同（HITL）方法。這不僅僅是數(shù)據(jù)切片，而是在人工智能最薄弱的環(huán)節(jié)提供人類判斷。

通過諸如基于人類反饋的強(qiáng)化學(xué)習(xí) (RLHF) 等技術(shù)來減少數(shù)據(jù)偏差、增加細(xì)微差別并改進(jìn)最終口味，是此類數(shù)據(jù)平臺戰(zhàn)略所執(zhí)行的一些功能。

該平臺的任務(wù)是將原始、模糊的農(nóng)產(chǎn)品信息轉(zhuǎn)化為可靠的真實數(shù)據(jù)，其方法是將專家工作人員與人工智能輔助的修剪工具相結(jié)合。他們提供必要的人工監(jiān)督、專業(yè)的標(biāo)注服務(wù)、持續(xù)的模型評估和監(jiān)控，以確保所有數(shù)據(jù)模態(tài)（文本、視覺、語音、多模態(tài)）的數(shù)據(jù)和語義（元數(shù)據(jù)/上下文）干凈、公平且符合用途。

數(shù)據(jù)平臺功能#3：多智能體人工智能自動化

傳統(tǒng)自動化的問題在于，當(dāng)任務(wù)涉及多個系統(tǒng)或需要復(fù)雜的推理時（例如突然涌入大量顧客），它就會失效。

解決方案是多智能體人工智能自動化。該平臺如同餐廳經(jīng)理和調(diào)度員，負(fù)責(zé)構(gòu)建、部署和監(jiān)控專業(yè)的AI智能體，這些智能體協(xié)同處理整個服務(wù)工作流程，無論是處理復(fù)雜的訂單、優(yōu)化配送路線，還是生成銷售方案。

如今，您不再需要依靠一個龐大的“大腦”，而是由一個專業(yè)團(tuán)隊組成，該團(tuán)隊可能包括一名數(shù)據(jù)提取專員、一名數(shù)據(jù)分析專員和一名客戶互動專員。通過提供預(yù)置的專員模板和工具，這些數(shù)據(jù)平臺顯著降低了自動化需要高級智能流程的門檻。

多代理管理超越了簡單的聊天機(jī)器人交互，創(chuàng)建了自主的數(shù)字勞動力，以協(xié)調(diào)的精確性實現(xiàn)了整個服務(wù)流程的自動化。

三選擇合適的AI原生數(shù)據(jù)平臺的決策框架

要駕馭數(shù)據(jù)平臺生態(tài)系統(tǒng)，就需要提出關(guān)于數(shù)據(jù)生態(tài)系統(tǒng)需求的正確問題。

規(guī)模和復(fù)雜性：如果您優(yōu)先考慮統(tǒng)一混亂的成分并運行龐大的菜單（GenAI、ML），則需要一個統(tǒng)一的Lakehouse 2.0基礎(chǔ)，并保證數(shù)據(jù)產(chǎn)品。
數(shù)據(jù)質(zhì)量和注釋：如果原料質(zhì)量和合規(guī)性是您最大的痛點，請優(yōu)先考慮人機(jī)交互和端到端注釋數(shù)據(jù)平臺。
流程自動化/代理工作流：如果您需要簡化前后端操作并實現(xiàn)端到端服務(wù)的自動化，請優(yōu)先考慮多代理編排平臺。
性能與實時人工智能：如果您非常重視高速配送和新鮮餐食，請重點關(guān)注與企業(yè)存儲集成的加速計算基礎(chǔ)設(shè)施。

現(xiàn)實情況是，許多企業(yè)將集成分層解決方案，即強(qiáng)大的 Lakehouse 基礎(chǔ)架構(gòu)，并根據(jù)最直接的架構(gòu)差距，搭配專門的注釋和代理編排工具。

四 2026 年人工智能加速發(fā)展的五大數(shù)據(jù)平臺

以下是專注于加速人工智能生命周期各個環(huán)節(jié)的領(lǐng)先平臺：

1.數(shù)據(jù)操作系統(tǒng)：DataOS

DataOS是一個以指標(biāo)為導(dǎo)向的數(shù)據(jù)產(chǎn)品平臺，它通過專注于兩件事，以獨特的方式賦能 AI 代理、應(yīng)用程序和數(shù)據(jù)系統(tǒng)：

實現(xiàn)便捷、可控的互聯(lián)數(shù)據(jù)資產(chǎn)訪問；以及

上下文，即跨數(shù)據(jù)工具和角色連接意義的語義智能。

它們共同確保人工智能不僅計算速度更快，而且推理能力更強(qiáng)，使輸出結(jié)果與業(yè)務(wù)實際情況和具體的業(yè)務(wù)指標(biāo)目標(biāo)保持一致。

（1）數(shù)據(jù)產(chǎn)品發(fā)現(xiàn)
簡化查找和訪問數(shù)據(jù)產(chǎn)品的方式：

瀏覽精選的、可用于業(yè)務(wù)的數(shù)據(jù)產(chǎn)品，并進(jìn)行直觀的搜索。
按領(lǐng)域、用例或自定義條件查找數(shù)據(jù)產(chǎn)品。
按類型、所有者和 SLO 遵守情況篩選。

（2）自助數(shù)據(jù)激活
立即將數(shù)據(jù)產(chǎn)品投入使用：

與您首選的工具、BI平臺、AI環(huán)境無縫連接。
提供自助式 API 和 GraphQL 層，可在幾分鐘內(nèi)構(gòu)建和部署應(yīng)用程序。
與 Excel 實時同步。

（3）內(nèi)置信任與合規(guī)性
確保企業(yè)對數(shù)據(jù)產(chǎn)品的信心：

企業(yè)級安全性和基于屬性的訪問控制合規(guī)性。
通過數(shù)據(jù)合同和 SLO 監(jiān)控來維護(hù)數(shù)據(jù)質(zhì)量。
完善的治理框架有助于促進(jìn)社會信任和團(tuán)隊協(xié)作。

（4）語義層
讓技術(shù)數(shù)據(jù)做好業(yè)務(wù)準(zhǔn)備：
通過主動元數(shù)據(jù)管理，輕松將技術(shù)數(shù)據(jù)轉(zhuǎn)換為易于理解的商業(yè)術(shù)語。
在組織內(nèi)部建立標(biāo)準(zhǔn)化的數(shù)據(jù)定義。

（5）全局指標(biāo)層
建立全組織范圍內(nèi)的一致性：

為關(guān)鍵業(yè)務(wù)指標(biāo)創(chuàng)建單一數(shù)據(jù)源。
統(tǒng)一定義，確保各地報告的一致性。
使指標(biāo)在團(tuán)隊中易于發(fā)現(xiàn)、重用和訪問。

（6）數(shù)據(jù)產(chǎn)品生命周期管理
優(yōu)化數(shù)據(jù)產(chǎn)品價值和性能：

監(jiān)測各類數(shù)據(jù)產(chǎn)品的使用情況和采用情況。
跟蹤每種數(shù)據(jù)產(chǎn)品的性能和成本。
衡量業(yè)務(wù)影響和投資回報率。

2.協(xié)作生態(tài)系統(tǒng)：Dataiku

Dataiku是一個集中式協(xié)作數(shù)據(jù)平臺，旨在為不同數(shù)據(jù)角色提供一站式解決方案。它提供可視化的數(shù)據(jù)準(zhǔn)備界面、AutoML 功能和 GenAI 網(wǎng)格工具，幫助團(tuán)隊快速從實驗性模型開發(fā)過渡到受控的生產(chǎn)部署。

賦能企業(yè)各級員工，讓他們能夠更有效地利用數(shù)據(jù)和人工智能，更快地構(gòu)建項目，并在共享且安全的環(huán)境中協(xié)同工作。借助 Dataiku，每個人都可以在同一個平臺上參與數(shù)據(jù)和人工智能項目，進(jìn)行設(shè)計和生產(chǎn)，并在幾天內(nèi)（而非幾個月）交付用例。無論員工身處何地，他們都能以安全且受監(jiān)管的方式工作，這有助于管理風(fēng)險并建立信任，從而為您的業(yè)務(wù)創(chuàng)造高質(zhì)量的成果和價值。

超越概念驗證 (POC)。大規(guī)模構(gòu)建企業(yè)級 AI 代理和生成式 AI 用例。Dataiku 提供一站式服務(wù)，從安全的 LLM 網(wǎng)關(guān)到開發(fā)工具（無需代碼或完整代碼），以及強(qiáng)大的評估和治理功能。

賦能業(yè)務(wù)和分析團(tuán)隊，使其能夠大規(guī)模地連接、清洗和準(zhǔn)備數(shù)據(jù)，以支持分析項目。通過預(yù)構(gòu)建且可自定義的可視化和代碼方案，大幅縮短數(shù)據(jù)準(zhǔn)備時間。利用生成式 AI 驅(qū)動的數(shù)據(jù)準(zhǔn)備功能，在極短時間內(nèi)完成數(shù)據(jù)清洗和準(zhǔn)備工作。

利用 AutoML 和最新的 AI 技術(shù)，讓各類數(shù)據(jù)專家參與構(gòu)建和評估高級機(jī)器學(xué)習(xí)模型。在易于使用的可視化 ML 框架中，加速特征工程并跟蹤模型實驗。輕松重用和復(fù)制整個 ML 項目。

使數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師和運維人員能夠在生產(chǎn)環(huán)境中部署、監(jiān)控和管理機(jī)器學(xué)習(xí)模型和人工智能項目。實現(xiàn)漂移監(jiān)控自動化，輕松比較模型性能，并為業(yè)務(wù)應(yīng)用提供持續(xù)、高質(zhì)量的輸出。

3.開源基礎(chǔ)：Knime

Knime以其開源特性而聞名。它提供直觀、可視化的低代碼/無代碼界面，用于構(gòu)建復(fù)雜的數(shù)據(jù)管道和分析模型。它作為一個靈活的工作平臺，使分析師和數(shù)據(jù)科學(xué)家能夠整合數(shù)據(jù)并在企業(yè)范圍內(nèi)部署解決方案，而無需具備豐富的編碼經(jīng)驗。

（1）利用直觀的低代碼/無代碼界面和 genAI 構(gòu)建分析

能夠執(zhí)行任何復(fù)雜程度的分析，從數(shù)據(jù)準(zhǔn)備到利用人工智能/機(jī)器學(xué)習(xí)（包括LLM）。
借助 genAI 助手自動生成工作流程，并在遇到問題時獲得指導(dǎo)。
利用自動化工作流程消除重復(fù)性的人工數(shù)據(jù)處理
訪問和整合來自任何來源的數(shù)據(jù)，無論是在您的桌面電腦上，還是來自任何主流數(shù)據(jù)庫或數(shù)據(jù)倉庫。
通過交互式數(shù)據(jù)視圖探索您的數(shù)據(jù)，并從數(shù)十種圖表中進(jìn)行選擇。

（2）跨學(xué)科協(xié)作并共享工作流程

協(xié)作開發(fā)可視化工作流程，既可以與同事私下協(xié)作，也可以與更廣泛的組織協(xié)作。
跨學(xué)科保存和重用可重復(fù)的數(shù)據(jù)處理流程、分析模型或腳本
利用版本控制，輕松實現(xiàn)多用戶協(xié)作。

（3）在整個企業(yè)范圍內(nèi)部署和監(jiān)控洞察

將您的工作流部署為數(shù)據(jù)應(yīng)用或 REST API，從而在整個組織內(nèi)傳播洞察。
自動向組織內(nèi)任意數(shù)量的利益相關(guān)者提供洞察信息
通過集中式管理最大限度地減少 IT 瓶頸，同時在團(tuán)隊層面進(jìn)行部署監(jiān)控。

可擴(kuò)展，支持任意數(shù)量的用戶，在單個環(huán)境中運行任意數(shù)量的工作流程

（4）消費和再利用

通過向任意數(shù)量的最終用戶提供數(shù)據(jù)應(yīng)用程序，增強(qiáng)其自主能力。
為您的團(tuán)隊、部門或整個組織創(chuàng)建知識庫。構(gòu)建并分享可重用的工作流程，作為最佳實踐或面向初學(xué)者的入門工具包。

4.專業(yè)自動化機(jī)器學(xué)習(xí)：H2O.ai

H2O.ai專注于自動化機(jī)器學(xué)習(xí)功能，使用戶能夠快速構(gòu)建、測試和解釋高精度模型。該平臺致力于通過自動化特征工程、超參數(shù)調(diào)優(yōu)和機(jī)器學(xué)習(xí)可解釋性來加速核心模型開發(fā)生命周期。

5.微軟優(yōu)先生態(tài)系統(tǒng)：Azure 數(shù)據(jù)工廠

Azure 數(shù)據(jù)工廠是一種基于云的數(shù)據(jù)集成服務(wù)，專為企業(yè)級 ETL 和 ELT 工作流而設(shè)計。它擅長協(xié)調(diào)跨混合云和多云環(huán)境的數(shù)據(jù)移動，并利用可視化界面構(gòu)建可擴(kuò)展的自動化數(shù)據(jù)管道，供下游分析和 AI 服務(wù)使用。

五最后說明

現(xiàn)代人工智能供應(yīng)鏈需要強(qiáng)大的企業(yè)級數(shù)據(jù)平臺，以確保數(shù)據(jù)質(zhì)量、治理、編排和計算規(guī)模。如果你的團(tuán)隊花費數(shù)月時間構(gòu)建臨時功能管道，并疲于應(yīng)對數(shù)據(jù)漂移，那么你還沒有搭建好合適的平臺。選擇合適的平臺與你的業(yè)務(wù)目標(biāo)直接相關(guān)。

為了邁出下一步，我們強(qiáng)烈建議評估當(dāng)前架構(gòu)的不足之處，運行候選數(shù)據(jù)平臺的試點項目，并在價值驗證過程中充分評估數(shù)據(jù)平臺的功能。我們的目標(biāo)應(yīng)該是今天就搭建好堅實的基礎(chǔ)，以便明天就能交付五星級的人工智能。

常見問題解答

問題一：構(gòu)建人工智能代理使用哪些數(shù)據(jù)平臺？
用于構(gòu)建人工智能代理的數(shù)據(jù)平臺通常被稱為多代理人工智能自動化平臺。該系統(tǒng)是代理數(shù)字勞動力的核心數(shù)據(jù)操作系統(tǒng)。它的設(shè)計目的不僅在于托管單個模型，還在于構(gòu)建、部署和監(jiān)控能夠協(xié)同處理整個業(yè)務(wù)流程的專用人工智能代理。這些平臺提供必要的編排層、上下文管理和工具（通常包括預(yù)構(gòu)建模板），以協(xié)調(diào)各種專用代理完成高級任務(wù)。

問題二：人工智能代理如何提升業(yè)務(wù)自動化水平？
人工智能代理通過處理傳統(tǒng)自動化常常無法應(yīng)對的復(fù)雜多步驟流程來提升業(yè)務(wù)自動化水平。多代理系統(tǒng)并非采用單一的龐大模型來試圖解決所有問題，而是使用一組專業(yè)代理。這種協(xié)同作用使系統(tǒng)能夠：

處理復(fù)雜推理：智能體可以將大目標(biāo)分解成更小、更易于管理的子任務(wù)，并在每個步驟中應(yīng)用不同的專業(yè)知識。
提高可靠性：如果一個代理發(fā)生故障，編排層可以指示另一個代理糾正錯誤，從而提高端到端可靠性。
實現(xiàn)端到端工作流程自動化：它們超越了簡單的、孤立的任務(wù)，實現(xiàn)了整個高級業(yè)務(wù)功能的自動化（例如生成銷售提案、處理索賠或優(yōu)化整個供應(yīng)鏈）。

從本質(zhì)上講，他們將自動化從基礎(chǔ)數(shù)字勞動轉(zhuǎn)移到自主數(shù)字服務(wù)人員。

問題3：哪個AI代理框架最好？
沒有一個“最佳”的AI代理框架；理想的選擇完全取決于具體的用例、技術(shù)環(huán)境和主要目標(biāo)。這些工具通常分為兩類：

編排庫（例如 LangChain、LlamaIndex）：這些是開源工具，用于幫助代理連接到它們的內(nèi)存（向量數(shù)據(jù)庫、知識圖譜）并訪問外部工具或 API 來指導(dǎo)它們的推理。
商業(yè)自動化數(shù)據(jù)平臺：這些是完整的企業(yè)數(shù)據(jù)平臺解決方案，提供將自主代理集成到業(yè)務(wù)流程中所需的整個生產(chǎn)就緒堆棧。

最適合您組織的框架是能夠提供組織特定的治理定制、可觀測性以及與您現(xiàn)有數(shù)據(jù)架構(gòu)和計算基礎(chǔ)設(shè)施的無縫集成的框架。