|
邊緣智能應(yīng)用實(shí)驗(yàn)平臺
一、 基礎(chǔ)功能：
1. 實(shí)驗(yàn)平臺為一體化教學(xué)實(shí)驗(yàn)平臺，是以認(rèn)知教學(xué)、技術(shù)教學(xué)、應(yīng)用教學(xué)來展開學(xué)生多維度能力層次培養(yǎng)的教學(xué)解決方案。滿足人工智能認(rèn)知、基礎(chǔ)應(yīng)用開發(fā)等課程的實(shí)驗(yàn)教學(xué)。
2. 實(shí)驗(yàn)平臺基于邊緣計(jì)算框架設(shè)計(jì)，須具有單獨(dú)AI計(jì)算加速能力，支持多sensor輸入，具有POE受電的千兆網(wǎng)絡(luò)。集成豐富的硬件接口，包括藍(lán)牙/WIFI、4G、5G、PCIE、擴(kuò)展GPIO等接口，且須內(nèi)置多種算法API（目標(biāo)檢測、人臉識別、人臉屬性分析、車牌識別等）。
二、 平臺硬件資源
1． 邊緣計(jì)算終端：
1） 處理器內(nèi)核：處理器不少于五核，至少包含不低于雙核Cortex-A72和三核Cortex-A53。（提供圖片蓋章佐證）
2） GPU處理器不少于雙核；
3） NPU:須支持8bit/16bit運(yùn)算，須支持TensorFlow、Pytorch模型，運(yùn)算性能不低于3.0TOPs；
4） 終端搭載內(nèi)存≥4GB DDR4,存儲≥32GB EMMC5.1。
5） 終端搭載Emmc5.1存儲器，容量不低于32GB。
6） 有線通信：千兆以太網(wǎng)口，須支持POE受電；
7） 無線通信:需支持藍(lán)牙及雙頻WiFi。藍(lán)牙需要支持 5.0，支持 class1，class2和class3功率級傳輸，調(diào)制方式: GFSK，π/4-DQPSK,8DPSK;WiFi需滿足IEEE802.11 a/b/g/n/ac 2x2 MIMO；
8） 須支持M.2接口的無線4G/5G模塊擴(kuò)展；（提供圖片蓋章佐證）
9） 串行接口：須支持RS232/RS485；（提供圖片蓋章佐證）
10） USB口：不少于2個USB 3.0 HOST的TYPE-A接口；（提供圖片蓋章佐證）；
11） 板載擴(kuò)展：須可接1*I2S、2*I2C、ADC1_CHO、ADC1_CH1，3路電源（5V\3.3V）（提供圖片蓋章佐證）
12） 視頻編解碼：須支持4K VP9 and 4K 10bits H265/H264 視頻解碼，高達(dá)60fps；1080P 多格式視頻解碼 (WMV, MPEG-1/2/4, VP8)，支持6路1080P@30fps解碼；1080P 視頻編碼，支持H.264，VP8格式，須支持2路1080P@30fps編碼；視頻后期處理器：反交錯、去噪、邊緣/細(xì)節(jié)/色彩優(yōu)化。
13） 智能視頻處理：須支持實(shí)時圖像縮放、裁剪、格式轉(zhuǎn)換、旋轉(zhuǎn)等功能；
14） 視頻接口輸出: 1路HDMI2.0(Type-A)接口，須支持4K/60fps輸出；1路MIPI接口，須支持1920*1080@60fps輸出；
15） 音頻接口：不少于1路HDMI音頻輸出；不少于1路Speaker，喇叭輸出；不少于1路耳麥，用于音頻輸入輸出；不少于1路麥克風(fēng)，板載音頻輸入；
2． 高清攝像頭模塊：
1) 模塊須搭載不低于800萬像素工業(yè)級無畸變攝像頭。
2) 支持自動曝光控制AEC。
3) 支持自動增益控制AGC。
4) 支持自動白平衡。
5) 支持自動對焦功能。
3． 麥克風(fēng)陣列
1) Sensor數(shù)量≥6；
2) 輸入電壓不大于12V；
3) 音頻輸入 1*2pin；
4) 音頻輸出 1*USB 兼容燒寫和通信口；
5) 工作電壓不大于3.3V；
6) 支持串口通信。
4． 指紋采集模塊
1) 模塊圖像大小256*288pixel。
2) 對比速度不高于6ms。
3) 圖像處理時間（s）<0.4(S)。
4) 上電延時（s）<0.1(S)。
5) 搜索時間（s）<0.3(S)。
6) 拒真率<1%。
7) 認(rèn)假率<0.001%。
8) 指紋存容量不少于300枚。
5． 人體測溫模塊
1) 工作電壓支持3V~5V；
2) 環(huán)境溫度支持10~40°C；
3) 分辨率：0.1°C
4) 最大允許誤差:
35.0°℃~43.0℃范圍以內(nèi)，±0.2℃
32.0°℃~43.0°℃范圍以內(nèi)，0.3℃"
6． 執(zhí)行器模塊
a) 紅、藍(lán)、綠燈各1個。
b) 風(fēng)扇1個。
7． 圖像識別實(shí)驗(yàn)?zāi)K
1) 模塊須配備不低于2個人偶模型。
2) 模塊須配備不低于3種動物種類模型，至少包括貓、奶牛、狗動物。
3) 模塊須配備不低于2種水果模型，至少包括蘋果和香蕉。
4) 模塊須配備不低于2種交通工具模型，至少包括汽車和摩托車。
8． 實(shí)驗(yàn)器材收納模塊
模塊須配置具有防震、防摔、收納功能的收納箱，支持IP67防水防塵，支持耐溫最低到-10℃最高到80℃。
三、 平臺軟件資源：
1、 操作系統(tǒng)：
1) 邊緣計(jì)算終端須支持linux嵌入式操作系統(tǒng)，滿足嵌入式操作系統(tǒng)教學(xué)。
2) 邊緣計(jì)算終端須內(nèi)置Python3.0以上板本的運(yùn)行環(huán)境，滿足Python 的AI教學(xué)。
3) 邊緣計(jì)算終端須內(nèi)置QT、PYQT5的運(yùn)行環(huán)境，滿足AI的可視化教學(xué)。
4) 邊緣計(jì)算終端須內(nèi)置語音喚醒、語音識別、語音合成、語音播報(bào)的離線SDK，滿足AI的語音技術(shù)應(yīng)用教學(xué)。
5) 邊緣計(jì)算終端內(nèi)置的AI算法至少包括目標(biāo)檢測、人臉識別、車牌識別、人臉多屬性分析、人體骨骼關(guān)鍵點(diǎn)檢測，滿足AI的基礎(chǔ)應(yīng)用與開發(fā)教學(xué)。（提供功能截圖蓋章佐證）
6) 邊緣計(jì)算終端須內(nèi)置人臉多屬性分析算法，具有不少于2個維度的分析結(jié)果，比如（表情、是否佩戴眼鏡、是否佩戴口罩、年齡、性別）；（提供功能截圖蓋章佐證）
7) 邊緣計(jì)算終端須內(nèi)置人體骨骼關(guān)鍵點(diǎn)檢測算法，具有不少于16個關(guān)鍵點(diǎn)的檢測。（提供功能截圖蓋章佐證）
2、 端側(cè)應(yīng)用軟件：
1) 應(yīng)用軟件具有不少于5個內(nèi)置AI算法應(yīng)用，程序界面應(yīng)包括攝像頭調(diào)用、圖像采集、算法調(diào)用、結(jié)果呈現(xiàn)等功能與代碼對照教學(xué)演示，可展開關(guān)鍵技術(shù)分解教學(xué)。在認(rèn)知和關(guān)鍵步驟上進(jìn)行實(shí)際操作，滿足AI的通識教學(xué)（提供功能截圖蓋章佐證）。展開的內(nèi)置AI算法應(yīng)用至少包括物品分類識別、物品目標(biāo)檢測、人臉識別、車牌識別和人臉屬性識別。
2) 應(yīng)用系統(tǒng)應(yīng)不少于3個人工智能綜合項(xiàng)目案例，滿足AI行業(yè)應(yīng)用實(shí)驗(yàn)教學(xué)。
3、算法模型訓(xùn)練工具：
供可視化模型訓(xùn)練工具，支持學(xué)生零代碼構(gòu)建高精度模型,支持檢測預(yù)訓(xùn)練模型，載入標(biāo)注后的數(shù)據(jù)后，工具提供“數(shù)據(jù)預(yù)處理”、“數(shù)據(jù)生產(chǎn)”、“訓(xùn)練參數(shù)配置”、“模型訓(xùn)練”和“模型驗(yàn)證”功能（提供功能截圖蓋章佐證）。訓(xùn)練好的模型無需交叉編譯可直接部署到邊緣計(jì)算終端進(jìn)行端側(cè)推理驗(yàn)證。
4、虛擬仿真實(shí)訓(xùn)軟件：
虛擬仿真實(shí)訓(xùn)軟件是一款功能強(qiáng)大的三維物理仿真平臺，具備強(qiáng)大的物理引擎、高質(zhì)量的圖形渲染、方便的編程與圖形接口。
1）動力學(xué)仿真：支持多種高性能的物理引擎，例如ODE、Bullet、SimBody、DART等。
2）三維可視化環(huán)境：支持顯示逼真的三維環(huán)境，包括光線、紋理、影子。
3）傳感器仿真：支持傳感器數(shù)據(jù)的仿真，同時可以仿真?zhèn)鞲衅髟肼暋?br>
4）可擴(kuò)展插件：支持用戶可以定制化開發(fā)插件，擴(kuò)展系統(tǒng)功能，滿足個性化的需求。
5）多種機(jī)器人模型：內(nèi)置不少于三款機(jī)器人模型，包含智能移動機(jī)器人、智能搬運(yùn)機(jī)器人、智能復(fù)合巡檢機(jī)器人等多種機(jī)器人模型（提供圖片蓋章佐證）。
6）終端工具：支持用戶可以使用命令行工具在終端實(shí)現(xiàn)仿真控制。
7）具備虛擬仿真實(shí)驗(yàn)功能，通過軟件可以運(yùn)行巡線駕駛、倒車入庫、交通標(biāo)識識別、障礙物識別等虛擬仿真實(shí)驗(yàn)案例。（提供功能截圖蓋章佐證）。
8）虛擬仿真實(shí)訓(xùn)系統(tǒng)支持開展ROS相關(guān)實(shí)驗(yàn)，如定位與地圖構(gòu)建、路徑規(guī)劃與導(dǎo)航、機(jī)器人運(yùn)動規(guī)劃與控制等。
四、 平臺資源
平臺須配套不少于兩門的課程資源，至少包含《嵌入式人工智能技術(shù)應(yīng)用》、《邊緣智能計(jì)算應(yīng)用》兩門課程。
1、《嵌入式人工智能技術(shù)應(yīng)用》
教學(xué)資源須配套《嵌入式人工智能技術(shù)應(yīng)用》課程實(shí)訓(xùn)指導(dǎo)手冊、教學(xué)PPT、教學(xué)視頻、案例源碼及數(shù)據(jù)集等內(nèi)容。
1）需滿足不低于64課時教學(xué)。
2）符合項(xiàng)目式教學(xué)模式，每個項(xiàng)目圍繞某一領(lǐng)域工作任務(wù)或知識點(diǎn)開展，每個項(xiàng)目中包含2-4個實(shí)操任務(wù)，每個實(shí)操任務(wù)滿足約2個課時的實(shí)操教學(xué)。
3）提供不低于16份實(shí)訓(xùn)指導(dǎo)手冊，每份實(shí)訓(xùn)指導(dǎo)手冊匹配一項(xiàng)實(shí)操任務(wù)，若該實(shí)操任務(wù)采用JupyterNotebook方式開展，該實(shí)訓(xùn)指導(dǎo)手冊可以.ipynb格式文件提供，若不是，可以word或pdf格式文件提供。
4）提供不低于16份教學(xué)視頻，對實(shí)操任務(wù)的教學(xué)過程進(jìn)行講解，講解過程清晰，涵蓋實(shí)操任務(wù)完整過程。
5）提供不低于16份教學(xué)PPT。根據(jù)教學(xué)內(nèi)容配套，教學(xué)課件內(nèi)容須貼合實(shí)際教學(xué)。
6）提供相關(guān)案例源碼及數(shù)據(jù)集文件。
7）教學(xué)資源內(nèi)容須涵蓋但不限于以下內(nèi)容：
使用OpenCV實(shí)現(xiàn)人臉檢測、使用計(jì)算機(jī)視覺算法實(shí)現(xiàn)圖像識別、利用串口實(shí)現(xiàn)邊緣硬件控制、基于人臉檢測算法實(shí)現(xiàn)家用設(shè)備的控制、基于計(jì)算機(jī)視覺技術(shù)實(shí)現(xiàn)稻麥監(jiān)測系統(tǒng)、基于語音識別實(shí)現(xiàn)智能家居控制、基于人臉屬性檢測的疫情防控應(yīng)用開發(fā)。
2、《邊緣智能計(jì)算應(yīng)用》
教學(xué)資源須配套《邊緣智能計(jì)算應(yīng)用》課程實(shí)訓(xùn)指導(dǎo)手冊、教學(xué)PPT、教學(xué)視頻、案例源碼及數(shù)據(jù)集等內(nèi)容。
1) 需滿足不低于64課時教學(xué)。
2) 符合項(xiàng)目式教學(xué)模式，每個項(xiàng)目圍繞某一領(lǐng)域工作任務(wù)或知識點(diǎn)開展，每個項(xiàng)目中包含2-4個實(shí)操任務(wù)，每個實(shí)操任務(wù)滿足約2個課時的實(shí)操教學(xué)。
3) 提供不低于14份實(shí)訓(xùn)指導(dǎo)手冊，每份實(shí)訓(xùn)指導(dǎo)手冊匹配一項(xiàng)實(shí)操任務(wù)，若該實(shí)操任務(wù)采用JupyterNotebook方式開展，該實(shí)訓(xùn)指導(dǎo)手冊可以.ipynb格式文件提供，若不是，可以word或pdf格式文件提供。
4) 提供不低于14份教學(xué)視頻，對實(shí)操任務(wù)的教學(xué)過程進(jìn)行講解，講解過程清晰，涵蓋實(shí)操任務(wù)完整過程。
5) 提供不低于14份教學(xué)PPT。根據(jù)教學(xué)內(nèi)容配套，教學(xué)課件內(nèi)容須貼合實(shí)際教學(xué)。
6) 提供相關(guān)案例源碼及數(shù)據(jù)集文件。
7) 教學(xué)資源內(nèi)容須涵蓋但不限于以下內(nèi)容：
a.邊緣計(jì)算開發(fā)板基礎(chǔ)應(yīng)用：開發(fā)板介紹及應(yīng)用案例體驗(yàn)、基于OpenCV的USB攝像頭的使用。
b.邊緣計(jì)算算法SDK應(yīng)用：目標(biāo)檢測算法接口應(yīng)用、人臉識別算法接口應(yīng)用、人體關(guān)鍵點(diǎn)算法接口應(yīng)用、車牌識別算法接口應(yīng)用。
c.基于TensorFlow的圖像上色模型部署：基于TensorFlow的圖像彩色化、TensorFlow模型轉(zhuǎn)RKNN模型并進(jìn)行預(yù)測。
d.基于Pytorch目標(biāo)檢測模型部署：基于Pytorch的YOLOv5模型訓(xùn)練及轉(zhuǎn)換、ONNX模型文件轉(zhuǎn)RKNN模型文件、基于YOLOv5的實(shí)時檢測模型部署。
e.基于TFLite的手掌檢測模型部署：基于Mediapipe的手勢識別模型轉(zhuǎn)換、基于RKNN模型的手掌檢測、邊緣端手掌檢測應(yīng)用的部署和運(yùn)行。
|
