非結(jié)構(gòu)化數(shù)據(jù)平臺建設(shè)需求

非結(jié)構(gòu)化數(shù)據(jù)平臺建設(shè)需求一、項(xiàng)目概況序號采購內(nèi)容技術(shù)參數(shù)數(shù)量單位1軟件建設(shè)非結(jié)構(gòu)化大數(shù)據(jù)治理平臺并與學(xué)?，F(xiàn)有“學(xué)在XX”五大平臺及原“XX云盤”等功能實(shí)現(xiàn)接管①接管原“XX云盤”功能，確保數(shù)據(jù)安全快速訪問；②與學(xué)?，F(xiàn)有“學(xué)在XX”五大平臺對接，實(shí)現(xiàn)資源互通；③支持資源全生命周期管理，包括歸檔、分類、轉(zhuǎn)碼、NLP、OCR、人像/場景提取、圖譜關(guān)聯(lián)；④集成AI技術(shù)，實(shí)現(xiàn)智能分析、推薦、搜索；1套2AI助教系統(tǒng)①支持向量知識庫管理、知識庫遷移、文檔管理、問題管理、工作流編排、問題解析、多輪對話、AI大模型部署與管理、用戶與權(quán)限管理、智慧課程問答智能體管理；②基于該系統(tǒng)建成不少于5門示范智慧課程；1套3硬件租賃服務(wù)存算AI一體機(jī)服務(wù)器租賃①IntelXeon64核2.1GHz；②4代Intel芯片組；③DDR5內(nèi)存512GB；④SSD硬盤30TB；⑤RAID控制器卡；⑥NVIDIA4090D(或以上)顯卡8張；⑦支持熱插拔冗余電源4個(gè)，每個(gè)≥3000W；⑧具備雙25Gbps光纖端口的高性能網(wǎng)卡1張；3年二、技術(shù)指標(biāo)序列功能詳細(xì)要求1.1微服務(wù)架構(gòu)1、支持在Windows和Linux兩種服務(wù)器操作系統(tǒng)上的部署；2、平臺應(yīng)能滿足大規(guī)模數(shù)據(jù)處理和高并發(fā)訪問的需求；集群核心組件采用容器化部署，服務(wù)模塊應(yīng)包括注冊中心、網(wǎng)關(guān)服務(wù)、認(rèn)證服務(wù)、定時(shí)任務(wù)服務(wù)、系統(tǒng)監(jiān)控服務(wù)、文件存儲服務(wù)、文件轉(zhuǎn)碼服務(wù)、全鏈路追蹤等；集群架構(gòu)提供多種數(shù)據(jù)保護(hù)機(jī)制，包括數(shù)據(jù)冗余、故障轉(zhuǎn)移和數(shù)據(jù)校驗(yàn)等；實(shí)時(shí)監(jiān)控服務(wù)返回情況，提供熔斷、限流、重試等配置策略，支持鏈路追蹤技術(shù)清晰快速定位系統(tǒng)數(shù)據(jù)問題；3、平臺具有運(yùn)維管理服務(wù)，以圖形化界面實(shí)時(shí)查看每個(gè)微服務(wù)的運(yùn)行狀態(tài)、運(yùn)行實(shí)時(shí)日志，提供服務(wù)自動化部署維護(hù)工具；具有全面監(jiān)控機(jī)制，可以實(shí)時(shí)監(jiān)控集群節(jié)點(diǎn)運(yùn)行狀態(tài)，各服務(wù)器的運(yùn)行狀態(tài)（CPU占用、內(nèi)存占用、服務(wù)狀態(tài)等）；當(dāng)服務(wù)節(jié)點(diǎn)出現(xiàn)故障時(shí)，能夠迅速將請求切換到另一節(jié)點(diǎn)，實(shí)現(xiàn)無縫的故障轉(zhuǎn)移；4、為提高數(shù)據(jù)讀寫能力，系統(tǒng)須具備高效的分布式文件存儲架構(gòu)，提供圖形化存儲服務(wù)管理能力，將數(shù)據(jù)分散存儲在多個(gè)節(jié)點(diǎn)上，實(shí)現(xiàn)數(shù)據(jù)的并行處理和高速傳輸；使用分布式的冗余機(jī)制將數(shù)據(jù)復(fù)制到不同節(jié)點(diǎn)上，以防止數(shù)據(jù)的丟失；支持?jǐn)?shù)據(jù)校驗(yàn)和數(shù)據(jù)恢復(fù)功能；通過添加新的節(jié)點(diǎn)，用戶可以線性地?cái)U(kuò)展存儲集群的容量和吞吐量；5、平臺具備高可用網(wǎng)關(guān)集群服務(wù)，自動負(fù)載均衡，實(shí)時(shí)監(jiān)測網(wǎng)關(guān)主服務(wù)器運(yùn)行狀態(tài)，當(dāng)服務(wù)器出現(xiàn)故障時(shí)，自動切換至備份服器，確保服務(wù)的連續(xù)性，提高系統(tǒng)可用性；文件上傳和轉(zhuǎn)碼服務(wù)支持多節(jié)點(diǎn)部署，根據(jù)實(shí)際情況增加新的服務(wù)節(jié)點(diǎn)，滿足高并發(fā)的文件上傳和轉(zhuǎn)碼需求；6、系統(tǒng)可針對文件配置冗余備份，實(shí)時(shí)計(jì)算熱點(diǎn)文件，將熱點(diǎn)文件更新到特定存儲服務(wù)器；1.2資源門戶1、導(dǎo)航欄目自定義設(shè)置，系統(tǒng)logo和導(dǎo)航圖設(shè)置；2、支持平臺水印、在頁面中自動顯示水印，包括部門、登錄用戶名稱、角色等信息；3、智能搜索門戶，允許通過關(guān)鍵詞、分類和標(biāo)簽進(jìn)行快速檢索視頻/文件內(nèi)容，響應(yīng)結(jié)果能夠定位相關(guān)上下文；4、具備響應(yīng)式設(shè)計(jì)，適配PC端與移動端呈現(xiàn)效果；1.3平臺管理1、用戶管理，支持導(dǎo)入學(xué)生清單；2、支持多租戶管理，按學(xué)院作為租戶管理單元，租戶管理員能夠獨(dú)立管理租戶成員、角色、權(quán)限；3、角色管理，預(yù)設(shè)學(xué)生、教師、訪客、資源管理員、運(yùn)維管理員角色，權(quán)限可靈活調(diào)整配置；1.4編目管理支持管理員維護(hù)多級樹狀編目，編目支持排序、設(shè)置顯示隱藏狀態(tài)，支持通過拖拽調(diào)整編目層級結(jié)構(gòu)；編目可上傳自定義輪播圖，支持用戶自定義選擇展示模版，平臺最少內(nèi)置3套模版；支持編目設(shè)置資源類型，并對上傳的資源按類型進(jìn)行過濾；例如：視頻類型僅允許視頻資源上傳，否則禁止上傳；綜合專題類型允許所有類型的資源上傳；1.5標(biāo)簽管理1、資源標(biāo)簽，支持自動從資源對應(yīng)的視頻、音頻、文檔中提取標(biāo)簽，并支持多級關(guān)系標(biāo)簽；2、平臺標(biāo)簽，基于課程、資源類目、編目規(guī)則等自動、手動維護(hù)標(biāo)簽結(jié)構(gòu)，構(gòu)建平臺知識圖譜實(shí)現(xiàn)高效精準(zhǔn)的資源查詢；3、標(biāo)簽可視化，提供可視化界面查看標(biāo)簽圖譜，提供標(biāo)簽推理檢索；標(biāo)簽應(yīng)具有權(quán)限管理，個(gè)人標(biāo)簽僅個(gè)人使用，表現(xiàn)篩選只能查看個(gè)人的資源；1.6資源文件管理1、支持在線編輯文檔（如Word、Excel、PPT）；支持塊狀文本編輯功能；提供在線預(yù)覽PDF、圖片、視頻和音頻的能力，確保多媒體內(nèi)容的順暢展示；支持文件創(chuàng)建、移動、上傳、編輯、收藏、分享，支持通過文件目錄管理文件夾；支持分享外發(fā)，至少支持播放鏈接、頁面嵌入代碼、窗口播放鏈接三種分享方式，分享受權(quán)限限制，可以按照3天、7天、永久選擇鏈接失效時(shí)間；支持文件訪問行為記錄，任何用戶對文件上傳、預(yù)覽、分享、編目、移動、刪除等操作，都會以生命周期形式記錄到文件元數(shù)據(jù)，方便后續(xù)進(jìn)行分析和追溯；2、支持空間管理，教師、部門、學(xué)院的空間可后臺配置，空間具有嚴(yán)格的資源隔離，能夠上傳/下載/分享個(gè)人資源；支持查看共享資源，共享資源不重復(fù)占用空間；3、提供分布式的對象存儲管理能力，支持SSD與HDD二層緩存存儲架構(gòu)，支撐不低于30TB規(guī)模的數(shù)據(jù)存儲；支持大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)的存儲與管理，具備彈性擴(kuò)展、高可用方案，具有數(shù)據(jù)備份方案；4、上傳資源后，支持多種數(shù)據(jù)格式文件批量上傳，隨時(shí)預(yù)覽，視頻資源可以拉取任意時(shí)間自動截圖作為資源封面；5、支持存量數(shù)據(jù)的遷移至新系統(tǒng)，并進(jìn)行結(jié)構(gòu)化編目；提供存量視頻、音頻的智能化處理，自動提取文本和標(biāo)簽；1.7智能文件處理能力1、支持對音視頻資源智能處理任務(wù)，嵌入語音轉(zhuǎn)文字、畫面提取文字、人臉識別等算法，實(shí)現(xiàn)對音視頻資源自動提取標(biāo)簽，輸出文本化內(nèi)容；2、支持音視頻自動切片，將長音視頻切斷成短視頻；3、支持對音頻、視頻、文檔類數(shù)據(jù)進(jìn)行語義分析，能夠提取智能化標(biāo)簽，實(shí)現(xiàn)對資源內(nèi)容的精準(zhǔn)摘要，并能夠提取章節(jié)概要；4、智能生成內(nèi)容需提供人工校對、手動調(diào)整功能；1.8音視頻轉(zhuǎn)碼1、提供高效的音視頻轉(zhuǎn)碼能力，統(tǒng)一存儲格式，統(tǒng)一碼率，支持視頻的流式播放；2、視頻支持輸入格式包括MP4,MKV,AVI,MOV,FLV等格式統(tǒng)一為H.264編碼，將音頻MP3,AAC,WAV格式統(tǒng)一為AAC編碼；支持1080p2mbps500路并發(fā)；1.9平臺安全性1、支持IP白名單限制，確保特定資源僅在授權(quán)IP下訪問，防止文件泄露；2、建立完善的權(quán)限體系，支持文件粒度的查看、修改和刪除權(quán)限，允許文件共享及全局或群組共享；進(jìn)行上傳文件格式與內(nèi)容的校驗(yàn)，以避免非法文件的傳入；3、支持即滿足在線瀏覽、播放的同時(shí)禁止資源復(fù)制或下載到本地，避免資源泄露；4、提供多租戶管理能力，為不同學(xué)院提供隔離的租戶環(huán)境，確保數(shù)據(jù)安全與資源獨(dú)立性，具備多租戶管理；1.10平臺開放性1、標(biāo)準(zhǔn)API接口；平臺提供數(shù)據(jù)接口服務(wù)，提供詳細(xì)使用說明文檔，包括：①資源管理API：資源上傳/入庫，轉(zhuǎn)碼、截圖、刪除、下載；②數(shù)據(jù)檢索API：按照時(shí)間、類型、大小、所屬欄目等維度進(jìn)行檢索；③應(yīng)用權(quán)限API：包括接口認(rèn)證、管理接口；2、存儲服務(wù)支持主流協(xié)議S3、RESTfulAPI、XML格式協(xié)議，確保多種數(shù)據(jù)訪問方式；3、提供接口開放平臺，支持接口授權(quán)、接口路由、接口文檔及在線接口調(diào)試；具備API接口流量管理、負(fù)載均衡、安全驗(yàn)證、熔斷限流和監(jiān)控分析，提供20項(xiàng)接口監(jiān)控指標(biāo)，確保高效、安全地管理API請求，提高系統(tǒng)的可用性與可靠性；1.11數(shù)據(jù)統(tǒng)計(jì)1、資源應(yīng)用分析：包括資源發(fā)布、瀏覽、下載和分享的總量，以及各類用戶行為的趨勢分析；可視化方式包括折線圖、柱狀圖、餅圖和雷達(dá)圖等，支持學(xué)校進(jìn)行資源管理分析，并為決策提供數(shù)據(jù)依據(jù)；2、資源統(tǒng)計(jì)：資源總量、各系統(tǒng)接入數(shù)據(jù)、資源來源、資源類型及排名統(tǒng)計(jì)；3、資源訪問頻率與時(shí)段分析，應(yīng)具有評估資源的訪問頻率及其在不同時(shí)段使用情況的功能，以識別高峰期和低谷期；具體指標(biāo)包括訪問次數(shù)統(tǒng)計(jì)，即統(tǒng)計(jì)各類資源在不同時(shí)間段的訪問次數(shù)，從而識別最受歡迎的資源；4、按標(biāo)簽維度構(gòu)建熱點(diǎn)圖，為平臺資源使用情況提供直觀的圖形化展示；5、提供可配置的數(shù)據(jù)統(tǒng)計(jì)服務(wù)，支持在線配置儀表盤大屏；1.12云盤迭代與數(shù)據(jù)遷移本次建設(shè)的非結(jié)構(gòu)化數(shù)據(jù)中臺應(yīng)對現(xiàn)有云盤功能進(jìn)行迭代升級，以確保系統(tǒng)在數(shù)據(jù)處理上具備高效能；云盤中的所有歷史數(shù)據(jù)需進(jìn)行整體遷移，保證數(shù)據(jù)安全與功能延續(xù)性，并提供全面的數(shù)據(jù)遷移支持服務(wù)，以實(shí)現(xiàn)無縫的系統(tǒng)切換；1.13“學(xué)在”系列板塊支持本次建設(shè)的非結(jié)構(gòu)化數(shù)據(jù)中臺應(yīng)對既有的“學(xué)在”系列五個(gè)板塊提供數(shù)據(jù)支撐，確保新增加的非結(jié)構(gòu)化數(shù)據(jù)資源能夠被這五個(gè)板塊便捷訪問與調(diào)用，實(shí)現(xiàn)資源的無縫集成與展示，滿足各板塊的應(yīng)用需求；2.1向量化課程知識庫的創(chuàng)建系統(tǒng)需支持兩種創(chuàng)建知識庫的形式，包括上傳本地文件和從Web站點(diǎn)自動爬取數(shù)據(jù)，以確保知識的多源輸入和靈活性；本地文件上傳可以覆蓋多種數(shù)據(jù)來源，例如教師個(gè)人的筆記、課程資料、教材掃描文件等，而Web數(shù)據(jù)爬取則可實(shí)時(shí)更新互聯(lián)網(wǎng)公開數(shù)據(jù)，進(jìn)一步豐富知識庫內(nèi)容；2.2本地文件上傳支持系統(tǒng)應(yīng)支持主流的文檔格式（包括Markdown、TXT、PDF、DOCX、HTML、Excel、PPT和CSV），并且在上傳過程中提供數(shù)據(jù)清洗和分段管理功能；通過設(shè)置分段標(biāo)識符和長度，系統(tǒng)應(yīng)能夠自動劃分和標(biāo)注內(nèi)容，提高知識庫內(nèi)容的可讀性和邏輯關(guān)聯(lián)性；每個(gè)分段內(nèi)容都可以設(shè)置標(biāo)題，便于在檢索時(shí)快速定位到對應(yīng)內(nèi)容；2.3Web站點(diǎn)數(shù)據(jù)爬取系統(tǒng)在實(shí)現(xiàn)Web站點(diǎn)數(shù)據(jù)自動化爬取的基礎(chǔ)上，支持輸入網(wǎng)站根地址以批量獲取數(shù)據(jù)；系統(tǒng)應(yīng)內(nèi)置選擇器功能，可以幫助用戶從指定的HTML元素（如div、span等）中提取內(nèi)容；這種選擇器功能應(yīng)有助于過濾出重要內(nèi)容并排除頁面中的雜項(xiàng)數(shù)據(jù)，確保爬取內(nèi)容的高質(zhì)量；系統(tǒng)能夠支持高效地從教育相關(guān)的網(wǎng)站、知識分享平臺或教學(xué)資源網(wǎng)站中獲取最新的學(xué)習(xí)資料，并將其自動導(dǎo)入到知識庫中進(jìn)行分類存儲和管理，為后續(xù)的智能檢索和推薦提供數(shù)據(jù)支持；2.4知識庫管理功能系統(tǒng)需要提供全面的知識庫管理功能，允許用戶對知識庫的名稱、描述、向量模型等屬性進(jìn)行編輯，同時(shí)支持重新向量化功能，以便在需要更新模型或優(yōu)化內(nèi)容向量表示時(shí)重新處理知識庫內(nèi)容；導(dǎo)出功能應(yīng)支持Excel格式，并確保每個(gè)文檔存儲在獨(dú)立的sheet中；具備刪除知識庫的功能，且刪除操作不可逆；2.5文檔管理系統(tǒng)支持跨知識庫的文檔遷移，同時(shí)允許用戶為每個(gè)文檔設(shè)置不同的命中處理方式，可以選擇優(yōu)化模型響應(yīng)或直接返回分段內(nèi)容；用戶可以根據(jù)實(shí)際需求靈活設(shè)置文檔的響應(yīng)模式，以便在檢索時(shí)為學(xué)生提供更準(zhǔn)確的回答；文檔刪除操作不可恢復(fù)；2.6問題管理功能系統(tǒng)應(yīng)具備批量創(chuàng)建和修改知識庫問題的功能，同時(shí)提供問題與知識庫分段的快速關(guān)聯(lián)；知識庫應(yīng)能夠快速響應(yīng)用戶提問，形成問題到知識的快速檢索通道；支持問題命中率的測試，以評估知識庫的準(zhǔn)確性和響應(yīng)能力，便于后期優(yōu)化和調(diào)整；2.7工作流編排功能工作流編排功能需能夠在多步驟任務(wù)節(jié)點(diǎn)之間進(jìn)行邏輯連接，以適應(yīng)復(fù)雜的業(yè)務(wù)場景；工作流編排支持靈活配置不同步驟之間的依賴關(guān)系，可以根據(jù)特定條件觸發(fā)后續(xù)操作或設(shè)定自動處理規(guī)則；系統(tǒng)還應(yīng)允許管理員對工作流進(jìn)行配置調(diào)整，使不同業(yè)務(wù)需求下的操作流程更加高效，減少重復(fù)的手動操作，并適應(yīng)不同部門或項(xiàng)目的具體需求；2.8自然語言處理系統(tǒng)需要具備自然語言處理能力，以便解析用戶的問題并從知識庫中找出最符合的問題答案；在回答生成的過程中，系統(tǒng)應(yīng)能夠結(jié)合上下文和語義分析，自動對用戶輸入的自然語言進(jìn)行處理，理解問題背后的意圖；例如，在學(xué)生提問模糊或使用不準(zhǔn)確表達(dá)時(shí)，系統(tǒng)仍然能夠通過語義解析識別關(guān)鍵詞，從而找到最為適當(dāng)?shù)拇鸢?；此外，系統(tǒng)還需要能夠自動生成簡潔而準(zhǔn)確的回答，以確保學(xué)生能夠在學(xué)習(xí)過程中獲得清晰的指導(dǎo)；2.9多輪對話能力系統(tǒng)應(yīng)支持多輪對話，允許在會話過程中提交上下文關(guān)聯(lián)的N個(gè)問題（N≥3）給大模型進(jìn)行處理；系統(tǒng)應(yīng)能夠記住用戶在同一會話中的問題順序，提取相關(guān)的歷史問題，以便在回答時(shí)考慮上下文關(guān)系；例如，當(dāng)學(xué)生在提問過程中提出連續(xù)的知識點(diǎn)或探討一組關(guān)聯(lián)性問題時(shí)，系統(tǒng)能夠依據(jù)上下文提供更完整的答案；同時(shí)，多輪對話功能還應(yīng)支持在復(fù)雜提問場景下的深度交互，以便學(xué)生能夠探索更廣泛的知識內(nèi)容；2.10基座大模型管理模型管理模塊應(yīng)支持多種大語言模型的靈活切換和高效對接，以滿足系統(tǒng)在不同場景中的應(yīng)用需求；模塊應(yīng)內(nèi)置盡可能多的通過安全審查的主流大模型，例如（不限于）通義千問/智譜AI/百度千帆/火山引擎/騰訊混元/Kimi/DeepSeek等；模型管理模塊還具備對接大模型集成器（例如ollama、vLLM）的功能；2.11AI智能體管理系統(tǒng)的AI智能體管理模塊需支持智能體的創(chuàng)建、配置、修改與復(fù)制，并允許智能體在不同使用場景中調(diào)用；支持提示詞工程，以提升智能體在應(yīng)用場景下的任務(wù)處理能力；管理員可以在后臺為智能體配置特定的上下文關(guān)聯(lián)規(guī)則，并且通過啟用或禁用選項(xiàng)對智能體進(jìn)行狀態(tài)控制；為便于跨系統(tǒng)協(xié)作與安全管理，智能體應(yīng)具備嵌入第三方業(yè)務(wù)系統(tǒng)的接口和權(quán)限分配機(jī)制；系統(tǒng)還應(yīng)支持記錄智能體與用戶的對話日志，以便對AI模型進(jìn)行分析與優(yōu)化；2.12用戶和權(quán)限管理系統(tǒng)應(yīng)具有嚴(yán)格的用戶管理與權(quán)限控制功能，系統(tǒng)支持權(quán)限的動態(tài)調(diào)整和分級控制，確保特定用戶只能在授權(quán)范圍內(nèi)訪問和操作知識庫、工作流、智能體等功能；2.13數(shù)據(jù)提取與格式轉(zhuǎn)換系統(tǒng)應(yīng)集成高效的數(shù)據(jù)提取功能，能夠從PDF、網(wǎng)頁、電子教材等數(shù)字化教學(xué)資源中自動提取文本內(nèi)容并轉(zhuǎn)換為結(jié)構(gòu)化的Markdown格式，保留原始文檔的標(biāo)題、段落、列表、圖像、表格等信息；