DB-SD38 AI語音與機(jī)器視覺開發(fā)應(yīng)用系統(tǒng)平臺(tái)

AI語音與機(jī)器視覺開發(fā)應(yīng)用系統(tǒng)平臺(tái)是一款集成AI語音、機(jī)器視覺、深度學(xué)習(xí)基礎(chǔ)、嵌入式Linux于一體的高端教學(xué)科研實(shí)驗(yàn)平臺(tái)。

 

整個(gè)教學(xué)平臺(tái)由實(shí)驗(yàn)箱高性能嵌入式主板夠成，高性能嵌入式核心板采用高性能64位ARM處理器，標(biāo)配4GB DDR3內(nèi)存和16GB閃存，可運(yùn)行ubuntu、android、linuxqt等多種操作系統(tǒng)，可滿嵌入式linux和AI應(yīng)用開發(fā)。
平臺(tái)采用多核高性能 AI 處理器，預(yù)裝 Ubuntu Linux 操作系統(tǒng)與 OpenCV 計(jì)算機(jī)視覺庫，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學(xué)習(xí)端側(cè)推理框架。
提供多種應(yīng)用外設(shè)與豐富的機(jī)器視覺、AI語音、深度學(xué)習(xí)實(shí)戰(zhàn)應(yīng)用案例，如語音前處理（聲源定位、語音增強(qiáng)、語音降噪、回聲消除、聲音提取）、語音活體檢查、語音喚醒、語音識(shí)別、語音合成、自然語言處理、聲紋識(shí)別門鎖、語音智能家居、手寫字識(shí)別、人臉識(shí)別、目標(biāo)檢測、端側(cè)推理框架、圖像識(shí)別、人體分析 、文字識(shí)別、人臉門禁控制、車牌道閘控制、手勢家居控制等，通過案例教學(xué)讓學(xué)生掌握計(jì)算機(jī)視覺與深度學(xué)習(xí)的基本原理和典型應(yīng)用開發(fā)。

2.2.1.          嵌入式網(wǎng)關(guān)核心板

RK3399核心板是一款266-pin金手指形式高性能ARM計(jì)算機(jī)模塊，它采用了瑞芯微64位六核（包含雙核Cortex-A72 +四核Cortex-A53）Soc RK3399作為主處理器，標(biāo)配4GB DDR3內(nèi)存和16GB閃存，板載2×2 MIMO雙天線Wi Fi模組，尺寸只有69.6×50mm，模塊上帶有獨(dú)立的Typec供電接口，以及USB-C顯示接口。
       
RK3399計(jì)算模塊具有豐富的外設(shè)和擴(kuò)展接口，可以擴(kuò)展使用雙MIPI寬動(dòng)態(tài)攝像頭，另外它還帶有eDP顯示接口，MIPI顯示接口，1路USB3.0,2路USB2.0，以及12C,12S,SPI,PWM,GF10和串口等各種資源。RK3399可流暢運(yùn)行Android 8.1,Ubuntu 18.04,Armbian,Buildroot等主流嵌入式操作系統(tǒng)，軟件資源和生態(tài)非常豐富，尤其是Android 8.1具有NN SDK神經(jīng)網(wǎng)絡(luò)加速軟件包，Qt-5.10集成了VPU硬件編解碼，GPU圖形加速，可使用QML快速開發(fā)流暢的動(dòng)態(tài)式界面，因此RK3399核心板非常適合做高端人臉識(shí)別，機(jī)器視覺，VR虛擬現(xiàn)實(shí)，自動(dòng)駕駛，深度計(jì)算分析等方面的人工智能產(chǎn)品快速原型及產(chǎn)品開發(fā)。
硬件參數(shù)：

CPU	SOC:RK3399 核心:64位雙核Cortex-A72 +四核Cortex-A53 頻率:Cortex-A72 (2.0 ghz), Cortex-A53 (1.5 ghz)
GPU	Mali-T864 GPU,支持OpenGL ES1.1/2.0/3.0/3.1、OpenVG1.1 OpenCL, DX11, AFBC
VPU	4K VP9 and 4K 10bits H265/H264 60fps decoding, Dual VOP, etc
Memory	RAM: Dual-Channel 4GB DDR3
Storage	eMMC: 16GB(regular), 32GB/64GB(optional), eMMC 5.1
Power Management	RK808-D PMIC,配合獨(dú)立直流/直流,啟用dvf solfware省電,RTC喚醒,系統(tǒng)睡眠模式
Connectivity	以太網(wǎng):本機(jī)千兆以太網(wǎng) wi - fi: 802.11 a / b / g / n / ac 藍(lán)牙:4.1雙模式 天線:雙天線接口
Video Input	1個(gè)或兩個(gè)4-Lane MIPI-CSI,雙重ISP, 13 mpix / s,同時(shí)支持雙相機(jī)數(shù)據(jù)的輸入
Video Output	HDMI: HDMI 2.0a, supports 4K@60Hz，HDCP 1.4/2.2 DP on Type-C: DisplayPort 1.2 Alt Mode on USB Type-C LCD Interface: one eDP 1.3（4-Lane，10.8Gbps）, one or two 4-Lane MIPI-DSI
USB	USB 2.0: 2獨(dú)立的本地主機(jī)USB 2.0 USB 3.0: 1本地主機(jī)USB 3.0 USB c類型:支持USB3.0 c型和顯示端口1.2 Alt模式USB c型
PCIe	PCIe x4, compatible with PCIe 2.1, Dual operation mode
調(diào)試	1 x調(diào)試UART, 3 v級(jí),1500000個(gè)基點(diǎn)
LED	1x Power LED(Red)     1x GPIO LED(Green)
Key	Power Key x1   Reset Key x1   Recovery Key x1
工作溫度	-20℃ to 70℃
電源	直流12 v / 1(邊緣連接器)或DV 5 v / 2.5 (c型)

 

2.2.2.          網(wǎng)關(guān)底板其他外設(shè)

 
l  11.6寸高清觸顯一體屏：板載，eDP接口,電容式多點(diǎn)觸摸，分辨率1920*1080
l  按鍵：板載重啟、恢復(fù)、電源3個(gè)功能按鍵，4個(gè)用戶自定義按鍵
l  UART：1路RS232，1路RS485
l  以太網(wǎng)：100/1000M
l  音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚(yáng)聲器
l  無線網(wǎng)：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1
l  4G模組：板載，板載EC20模組
l  LoRaWAN網(wǎng)關(guān)模塊接口：板載mini-pcie接口，可接入SX1301八通道并行LoRaWAN網(wǎng)關(guān)模塊。1個(gè)項(xiàng)目須至少配備1個(gè)LoRaWAN網(wǎng)關(guān)模塊，以實(shí)現(xiàn)對實(shí)驗(yàn)室所有l(wèi)ora節(jié)點(diǎn)的接入管理。
l  Zigbee網(wǎng)關(guān)模塊：板載，直列雙排20芯插針接口，非usb接口。
l  BLE網(wǎng)關(guān)模塊：板載，直列雙排20芯插針接口，非usb接口。
l  USB 3.0 HOST接口：板載2個(gè)
l  Debug接口：板載1個(gè)
l  Download接口：板載1個(gè)
l  鍵盤：板載7寸80鍵標(biāo)準(zhǔn)鍵盤
l  高清相機(jī)模組：CMOS傳感器OV13850，MIPI信號(hào)輸出，400萬像素，最高支持2688x1520像素。
l  麥克風(fēng)陣列：板載7顆數(shù)字高性能硅麥克風(fēng)。
l  紅外接收：板載紅外接收模塊1個(gè)
l  震動(dòng)馬達(dá)傳感器：1個(gè)
l  LED：板載4顆藍(lán)色LED燈珠。
l  天線接口：板載wifi、BLE、lora、LET 共4個(gè)天線接口。
l  傳感器擴(kuò)展接口：板載，與無線傳感器節(jié)點(diǎn)的傳感器模塊接口兼容，可完成linux系統(tǒng)下的傳感器驅(qū)動(dòng)開發(fā)實(shí)驗(yàn)。
l  OBD接口：板載，標(biāo)準(zhǔn)16針OBD-II插座，與配套軟件結(jié)合可完成基于CAN總線通信相關(guān)實(shí)驗(yàn)。
l 

電源：DC 9-12V輸入
l  其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz

2.3.       外設(shè)模塊

2.3.1.         

4G LTE模塊l  網(wǎng)絡(luò)：FDD-LTE/TDD-LTE/WCDMA/TD-SCDMA/GSM/EDGE；
l  制式：CMCC/CUCC（B1/B3/B8/B34/B38/B39/B40）；
l  工作頻帶：HSPA1900/2100，GSM 900/1800；
l  高速USB 2.0接口、PCI-E接口；
l  支持短信、數(shù)據(jù)、電話本、PCM語音功能；
l  支持IPv4,IPv6協(xié)議；
l  支持LTE多頻；
l  支持最大150M/50Mbps的理論上下行數(shù)據(jù)傳輸速率；

2.3.2.          AI麥克風(fēng)陣列

l  7路麥克風(fēng)陣列，提供聲源定位、語音增強(qiáng)、語音降噪、回聲消除、聲音拾取等功能。
l  帶硬件浮點(diǎn)運(yùn)算的RISC-V 雙核64位處理器，主頻最高800MHz。
l  具備機(jī)器聽覺能力和語音識(shí)別能力，內(nèi)置語音處理單元（APU）。
l  具備卷積人工神經(jīng)網(wǎng)絡(luò)硬件加速器KPU,可高性能進(jìn)行卷積人工神經(jīng)網(wǎng)絡(luò)運(yùn)算。
l  麥克風(fēng)陣列模塊集成TFT彩屏屏，能夠直觀顯示音頻頻譜圖。
l  內(nèi)置ARM STM32 USB音頻驅(qū)動(dòng)芯片，提供USB聲卡驅(qū)動(dòng)，開放源代碼。
l  接口：雙列直插封裝/USB，需能夠接入到eAIOT平臺(tái)使用。
l  支持語音識(shí)別、語義理解、語音合成、人機(jī)對話等功能，可與硬件進(jìn)行語音交互。
l  5米監(jiān)測范圍、基于linux系統(tǒng)。

2.3.3.          AI攝像頭

l  1/1.8" SONY Exmor CMOS
l  有效像素200萬像素，30幀@1920*1080
l  C/CS鏡頭接口，最低照度0.001 Lux，120dB TWDR
l  支持協(xié)議：PROFILE S，GB/T28181，F(xiàn)TP/RTSP.UPNP等
l  支持雙碼流、手機(jī)監(jiān)控、心跳機(jī)制，具3D降噪、去霧、數(shù)字寬動(dòng)態(tài)、鏡頭校正、走廊監(jiān)控等智能模式
l  提供基于eAIOT教學(xué)平臺(tái)的人臉識(shí)別系統(tǒng)案例。

2.4.       物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)

1、功能簡介
1）學(xué)生能夠?qū)⑽锫?lián)網(wǎng)感知層設(shè)備（傳感器、執(zhí)行器等）接入物聯(lián)網(wǎng)云服務(wù)平臺(tái)，平臺(tái)能夠接收并存儲(chǔ)傳感器和執(zhí)行器的實(shí)時(shí)數(shù)據(jù)，模塊在線狀態(tài)，并實(shí)時(shí)顯示。
2）提供后臺(tái)管理系統(tǒng)，能夠設(shè)置賬號(hào)類型和使用權(quán)限。支持多用戶管理及權(quán)限控制，分為父用戶和子用戶，父用戶可以創(chuàng)建多個(gè)子用戶，并且可以為每個(gè)子用戶分配增、刪、改幾種權(quán)限，子用戶創(chuàng)建的資源相互隔離。
3）提供物聯(lián)網(wǎng)規(guī)則編輯器，無需編寫代碼即可編輯復(fù)雜的自動(dòng)化控制策略，實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng)系統(tǒng)的自動(dòng)化控制。
4）提供豐富的可視化控件庫，通過拖拽、簡便配置即可完成美觀的UI設(shè)計(jì)。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。
5）物聯(lián)網(wǎng)感知層設(shè)備也能夠向執(zhí)行器發(fā)送控制命令，系統(tǒng)能夠?qū)崿F(xiàn)模塊的在線監(jiān)測。
6）云平臺(tái)支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術(shù)取得傳感器采集的數(shù)據(jù)，形成一個(gè)完整的無線傳感器網(wǎng)絡(luò)。
7）數(shù)據(jù)通過http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)軟件，進(jìn)行數(shù)據(jù)圖形化展示。
8）實(shí)現(xiàn)基于云平臺(tái)的智能家居實(shí)驗(yàn)，并包含配套完整的教學(xué)資源。
9）支持本地化部署和云端部署兩種方式。
10）提供“物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)”軟件著作權(quán)登記證書及軟件產(chǎn)品登記測試報(bào)告復(fù)印件并加蓋公章，原件備查。

 

 

3.     部分實(shí)驗(yàn)案例

3.1.1.          嵌入式linuxQT綜合實(shí)驗(yàn)

3.1.2.          手寫字識(shí)別

學(xué)習(xí)設(shè)計(jì)一個(gè)神經(jīng)網(wǎng)絡(luò)模型，然后用已經(jīng)標(biāo)注過的MNIST數(shù)據(jù)來訓(xùn)練這個(gè)模型，然后進(jìn)行測試驗(yàn)證。

圖：手寫字識(shí)別案例

3.1.3.          人臉識(shí)別

通過OpenCV自帶的分類器、OpenCV的深度學(xué)習(xí)分類器是基于SSD(Single Shot  Detector)框架的ResNet網(wǎng)絡(luò)，實(shí)現(xiàn)在圖片、視頻中對人臉的檢測，并用矩形框框出來。
學(xué)�？捎糜谏矸葑R(shí)別、課堂/上下班考勤、會(huì)議簽到、刷臉支付、門禁通行、安防監(jiān)控相關(guān)場景。

圖： 人臉識(shí)別案例

3.1.4.          目標(biāo)檢測

  利用深度學(xué)習(xí)框架caffe，實(shí)現(xiàn)對常見物體的檢測。

圖：目標(biāo)檢測案例

3.1.5.          人體姿態(tài)識(shí)別

使用邊緣側(cè)推理框架Tengine檢測圖像中的所有人體并返回每個(gè)人體的矩形框位置，精準(zhǔn)定位 21 個(gè)核心關(guān)鍵點(diǎn)，包含五官、四肢、脖頸等部位，更多關(guān)鍵點(diǎn)持續(xù)擴(kuò)展中；支持多人檢測、人體位置重疊、遮擋、背面、側(cè)面、中低空俯拍、大動(dòng)作等復(fù)雜場景。

圖：人體姿態(tài)識(shí)別案例

3.1.6.          手勢識(shí)別

利用深度學(xué)習(xí)框架caffe，實(shí)現(xiàn)對簡單手勢的識(shí)別。

圖：手勢檢測和識(shí)別系統(tǒng)案例

3.1.7.          車牌識(shí)別

使用opencv 的 HAAR Cascade 檢測車牌大致位置，使用卷積神經(jīng)網(wǎng)絡(luò)回歸車牌左右，然后使用卷積神經(jīng)網(wǎng)絡(luò)滑動(dòng)窗切割字符、及識(shí)別字符。

圖：交通門禁車牌檢測和識(shí)別系統(tǒng)案例

3.1.8.          人臉門禁

采用 mtcnn 進(jìn)行人臉檢測，采用MobileFaceNet 進(jìn)行人臉識(shí)別，然后用活體檢測算法進(jìn)行檢測。

圖：人臉門禁檢測和識(shí)別系統(tǒng)案例

3.1.9.          聲紋鎖實(shí)驗(yàn)

通過語音增強(qiáng)、語音質(zhì)量檢測、語音增強(qiáng)、有效語音提取、聲紋特征提取等步驟，完成聲紋注冊及聲紋驗(yàn)證。

圖：聲紋電子鎖系統(tǒng)案例

3.1.10.      AI語音控制智能家居

本系統(tǒng)實(shí)現(xiàn)語音數(shù)據(jù)高速傳輸，基于百度語音識(shí)別 API 完成語音識(shí)別，并用無線方式控制電燈，電風(fēng)扇，以及獲取溫度和濕度。

圖：語音控制智能家居系統(tǒng)案例

3.1.11.      知識(shí)圖譜和聊天機(jī)器人

知識(shí)圖譜融合了兩千五百多萬的實(shí)體，擁有億級(jí)別的實(shí)體屬性關(guān)系，機(jī)器人采用了基于知識(shí)圖譜的語義感知與理解，致力于最強(qiáng)認(rèn)知大腦。自然語言處理工具包的功能有：中文分詞、詞性標(biāo)注、命名實(shí)體識(shí)別、關(guān)鍵詞提取、文本摘要、新詞發(fā)現(xiàn)、情感分析等。

圖：知識(shí)圖譜和文本聊天機(jī)器人系統(tǒng)案例

4.     招標(biāo)參數(shù)

序號(hào)	項(xiàng)目名稱	項(xiàng)目技術(shù)指標(biāo)	備注
1	名稱：AI人工智能語音機(jī)器視覺開發(fā)應(yīng)用系統(tǒng)平臺(tái) 型號(hào)：DB-SD38	本項(xiàng)目實(shí)驗(yàn)系統(tǒng)采用CPU+GPU雙處理器架構(gòu)，是一款集成AI語音、機(jī)器視覺、深度學(xué)習(xí)基礎(chǔ)、嵌入式Linux于一體的高端教學(xué)科研實(shí)驗(yàn)平臺(tái)。 整個(gè)教學(xué)平臺(tái)包括人工智能（AI）和嵌入式Linux部分，兩部分互相支撐、互為補(bǔ)充，共同實(shí)現(xiàn)嵌入式人工智能。人工智能部分的硬件基于嵌入式ARM控制器、高清相機(jī)模塊、7麥麥克風(fēng)陣列，具備語音、圖像數(shù)據(jù)的采集和處理能力及適用于多種場景的控制接口；嵌入式Linux部分的硬件采用CPU+GPU雙處理器架構(gòu)，配備高清大屏以及豐富的外設(shè)接口。 平臺(tái)采用多核高性能 AI 處理器，預(yù)裝 Ubuntu Linux 操作系統(tǒng)與 OpenCV 計(jì)算機(jī)視覺庫，支持 TensorFlow Lite、NCNN、MNN、Paddle-Lite、MACE 等深度學(xué)習(xí)端側(cè)推理框架。 提供多種應(yīng)用外設(shè)與豐富的機(jī)器視覺、AI語音、深度學(xué)習(xí)實(shí)戰(zhàn)應(yīng)用案例，如語音前處理（聲源定位、語音增強(qiáng)、語音降噪、回聲消除、聲音提�。�、語音活體檢查、語音喚醒、語音識(shí)別、語音合成、自然語言處理、聲紋識(shí)別門鎖、語音智能家居、手寫字識(shí)別、人臉識(shí)別、目標(biāo)檢測、端側(cè)推理框架、圖像識(shí)別、人體分析 、文字識(shí)別、人臉門禁控制、車牌道閘控制、手勢家居控制等，通過案例教學(xué)讓學(xué)生掌握計(jì)算機(jī)視覺與深度學(xué)習(xí)的基本原理和典型應(yīng)用開發(fā)。 一、硬件技術(shù)參數(shù) ★1、處理器： CPU: RK3399：六核 Dual Cortex-A72 + Quad Cortex-A53, 64-bit CPU at 1.8GHz GPU: Mali-T864 GPU,支持 OpenGL ES 1.1/2.0/3.0/3.1, OpenVG 1.1, OpenCL, DX11 2、存儲(chǔ)器：雙通道LPDDR3（64-bit）不低于4GB，16GB 高速emmc 擴(kuò)展存儲(chǔ)，MicroSD不低于64G 3、高清相機(jī)模組：CMOS傳感器OV13850，MIPI信號(hào)輸出，1300萬像素，最高支持4224x3136像素。 4、AI高清攝像機(jī)：有效像素500萬像素，對焦方式自動(dòng)對焦，USB2.0接口，提供基于eAIOT教學(xué)平臺(tái)的人臉識(shí)別系統(tǒng)案例。 ★5、11.6寸板載高清觸顯一體屏：11.6寸eDP接口,分辨率不低于1920*1080 ★6、1）Zigbee網(wǎng)關(guān)模塊接口：板載，采用直列雙排20芯插針牢靠固定，非usb接口。 2）BLE網(wǎng)關(guān)模塊接口：板載，采用直列雙排20芯插針牢靠固定，非usb接口。 7、4G模組：板載EC20模組，支持LTE TDD/LTE FDD/TD-SCDMA/WCDMA  /TD-SCDMA/CDMA2000/CDMA/GSM等頻段 ★8、7路麥克風(fēng)陣列： 1）7路麥克風(fēng)陣列，提供聲源定位、語音增強(qiáng)、語音降噪、回聲消除、聲音拾取等功能。（需提供完整硬件原理圖及PCB文件截圖證明為自主研發(fā)產(chǎn)品） 2）主控芯片K210，RISC-V 雙核64位處理器，主頻最高800MHz。集成卷積神經(jīng)網(wǎng)絡(luò)加速器KPU，峰值算力1TOPS。 3）一體化單板設(shè)計(jì)，集成TFT彩色液晶屏，能夠直觀顯示彩色音頻頻譜圖。 4）集成 STM32音頻驅(qū)動(dòng)芯片，提供USB聲卡驅(qū)動(dòng)，開放源代碼。（提供源碼工程截圖，源碼備查） 5）采用雙列直插封裝和USB接口輸出，需能夠接入到系統(tǒng)主板中使用。 6）5米監(jiān)測范圍，基于linux系統(tǒng)。 ★9、OBD接口：板載，標(biāo)準(zhǔn)16針OBD-II插座，與配套軟件結(jié)合可完成基于CAN總線通信相關(guān)實(shí)驗(yàn)。 10、天線接口：板載wifi、BLE、lora、LTE共4個(gè)天線接口。 11、其他硬件接口： 1）UART：1路RS232，1路RS485 2）以太網(wǎng)：100/1000M 3）音頻：音頻輸出接口、MIC音頻輸入接口、板載4歐3W揚(yáng)聲器 4）無線網(wǎng)：WiFi (2.4G and 5G, 802.11 ac), Bluetooth 4.1 5）USB 3.0 HOST接口：板載2個(gè) 6）Debug接口：板載1個(gè)、Download接口：板載1個(gè) 7）鍵盤：板載7寸80鍵標(biāo)準(zhǔn)鍵盤 8）紅外接收：板載紅外接收模塊1個(gè) 9）傳感器擴(kuò)展接口：板載，與無線傳感器節(jié)點(diǎn)的傳感器模塊接口兼容，可完成linux系統(tǒng)下的傳感器驅(qū)動(dòng)開發(fā)實(shí)驗(yàn)。 10）按鍵：板載重啟、恢復(fù)、電源3個(gè)功能按鍵，4個(gè)用戶自定義按鍵  LED：板載4顆藍(lán)色LED燈珠 11）震動(dòng)馬達(dá)傳感器：板載1個(gè) 12）其他接口：MIPI、GPIO、SPI、I2C、TF Card (sd/mmc 3.0)、SIM卡座、USB 2.0 HOST、USB Type-C (with DP out)、eDP 1.3、HDMI 2.0 for 4K 60Hz 12、實(shí)驗(yàn)箱箱體：單層一體式設(shè)計(jì)，左邊固定安裝實(shí)驗(yàn)所需硬件，右邊收納放置配套電源適配器、線材、配件等設(shè)備。 二、軟件規(guī)格參數(shù)要求 ★1、操作系統(tǒng)：Linux+QT、Ubuntu18.04、Android8.1，支持Linux+QT、Ubuntu雙操作系統(tǒng)SD卡快速離線切換，方便教學(xué)管理； ★2、須配備LoRaWAN NS(network server)實(shí)驗(yàn)軟件，配合硬件可實(shí)現(xiàn)LoRaWAN雙向通信實(shí)驗(yàn)，實(shí)驗(yàn)可以顯示無線通信頻率值、擴(kuò)頻因子、RSSI（接收信號(hào)強(qiáng)度）、信噪比、fcnt等信息。通過實(shí)驗(yàn)可以快速評(píng)估和測試LoraWan協(xié)議下的數(shù)據(jù)通信格式、通信距離、信號(hào)質(zhì)量等，同樣也可以基于現(xiàn)有的樣例進(jìn)行二次開發(fā)快速完成課程設(shè)計(jì)、項(xiàng)目開發(fā)、科研等。 ★3、提供嵌入式深度學(xué)習(xí)框架Tengine：針對 ARM CPU 及 ARM Mali GPU 優(yōu)化，支持 Caffe/TensorFlow/MXnet/ONNX 模型文件，兼容 Caffe/TensorFlow API，以插件方式支持底層算子擴(kuò)展，支持 INT8 量化。 ★4、提供物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)： 1）學(xué)生能夠?qū)⑽锫?lián)網(wǎng)感知層設(shè)備（傳感器、執(zhí)行器等）接入物聯(lián)網(wǎng)云服務(wù)平臺(tái)，平臺(tái)能夠接收并存儲(chǔ)傳感器和執(zhí)行器的實(shí)時(shí)數(shù)據(jù)，模塊在線狀態(tài)，并實(shí)時(shí)顯示。 2）提供后臺(tái)管理系統(tǒng)，能夠設(shè)置賬號(hào)類型和使用權(quán)限。支持多用戶管理及權(quán)限控制，分為父用戶和子用戶，父用戶可以創(chuàng)建多個(gè)子用戶，并且可以為每個(gè)子用戶分配增、刪、改幾種權(quán)限，子用戶創(chuàng)建的資源相互隔離。 3）提供物聯(lián)網(wǎng)規(guī)則編輯器，無需編寫代碼即可編輯復(fù)雜的自動(dòng)化控制策略，實(shí)現(xiàn)移動(dòng)互聯(lián)網(wǎng)系統(tǒng)的自動(dòng)化控制。 4）提供豐富的可視化控件庫，通過拖拽、簡便配置即可完成美觀的UI設(shè)計(jì)。支持GIS地圖、曲線圖、柱狀、餅圖、圖表、按鈕、儀表圖等控件。 5）物聯(lián)網(wǎng)感知層設(shè)備也能夠向執(zhí)行器發(fā)送控制命令，系統(tǒng)能夠?qū)崿F(xiàn)模塊的在線監(jiān)測。 6）云平臺(tái)支持物聯(lián)網(wǎng)硬件多協(xié)議接入，通過ZigBee/BLE/wifi/lora/NBIOT無線技術(shù)取得傳感器采集的數(shù)據(jù)，形成一個(gè)完整的無線傳感器網(wǎng)絡(luò)。 7）數(shù)據(jù)通過http/MQTT協(xié)議傳輸至物聯(lián)網(wǎng)應(yīng)用基礎(chǔ)云平臺(tái)軟件，進(jìn)行數(shù)據(jù)圖形化展示。 8）支持本地化部署和云端部署兩種方式。 ★5、人工智能麥克風(fēng)陣列語音前處理軟件： 1）需支持以下實(shí)驗(yàn)并提供所有源代碼：聲源定位、語音增強(qiáng)、語音降噪、回聲消除、聲音拾取實(shí)驗(yàn)。 三、實(shí)驗(yàn)教學(xué)課程資源 ★平臺(tái)提供成套教學(xué)資源，用戶可以按照學(xué)期長度和實(shí)際教學(xué)情況安排教學(xué)，須配備實(shí)驗(yàn)指導(dǎo)書，實(shí)驗(yàn)指導(dǎo)書可以提供10～18周、每周2～6節(jié)課的教學(xué)實(shí)驗(yàn)需要。包含但不限于以下知識(shí)實(shí)驗(yàn)課程： Linux 實(shí)驗(yàn)列表 初識(shí)linux 系統(tǒng)：Ubuntu 系統(tǒng)安裝、Ubuntu 系統(tǒng)入門、Ubuntu 終端操作、Shell 操作、APT 下載工具、Ubuntu 下文本編輯、Linux 文件系統(tǒng)、Linux 用戶權(quán)限管理、Linux 磁盤管理 Linux應(yīng)用開發(fā)基礎(chǔ)：編寫 HelloWorld 代碼、編譯 HelloWorld、GCC 編譯器、Makefile文件 ARM Linux 開發(fā)基礎(chǔ)：RK3399開發(fā)平臺(tái)介紹、開發(fā)環(huán)境搭建、關(guān)于ARM架構(gòu)、AArch64匯編基礎(chǔ)、RK3399啟動(dòng)方式詳解、匯編LED燈試驗(yàn)、C語言版LED燈實(shí)驗(yàn) 基于SDK開發(fā)Uboot,kernel,rootfs：SDK     基礎(chǔ)、U-Boot 頂層 Makefile 詳解、U-Boot 啟動(dòng)流程詳解、U-Boot 圖形化配置及其原理、Linux 內(nèi)核頂層 Makefile詳解、buildroot根文件系統(tǒng)構(gòu)建 linux 設(shè)備驅(qū)動(dòng)程序開發(fā)基礎(chǔ)：字符設(shè)備驅(qū)動(dòng)開發(fā)、嵌入式 Linux LED 驅(qū)動(dòng)開發(fā)實(shí)驗(yàn)、新字符設(shè)備驅(qū)動(dòng)實(shí)驗(yàn)、Linux 設(shè)備樹、設(shè)備樹下的 LED 驅(qū)動(dòng)實(shí)驗(yàn)、pinctrl 和 gpio 子系統(tǒng)實(shí)驗(yàn)、Linux 并發(fā)與競爭、Linux 并發(fā)與競爭實(shí)驗(yàn)、Linux 按鍵輸入實(shí)驗(yàn)、Linux 內(nèi)核定時(shí)器實(shí)驗(yàn)、Linux 中斷實(shí)驗(yàn)、Linux 阻塞和非阻塞 IO 實(shí)驗(yàn)、異步通知實(shí)驗(yàn)  linux 設(shè)備驅(qū)動(dòng)程序開發(fā)進(jìn)階：platform 設(shè)備驅(qū)動(dòng)實(shí)驗(yàn)、設(shè)備樹下的 platform 驅(qū)動(dòng)編寫、Linux 自帶的 LED 燈驅(qū)動(dòng)實(shí)驗(yàn)、Linux MISC 驅(qū)動(dòng)實(shí)驗(yàn)、Linux INPUT 子系統(tǒng)實(shí)驗(yàn)、Linux RTC 驅(qū)動(dòng)實(shí)驗(yàn)、Linux I2C 驅(qū)動(dòng)實(shí)驗(yàn)、Linux SPI驅(qū)動(dòng)實(shí)驗(yàn)、Linux misc雜項(xiàng)設(shè)備驅(qū)動(dòng)實(shí)驗(yàn)   Linux 無線通信編程實(shí)驗(yàn)：lorawan NS實(shí)驗(yàn)、Linux網(wǎng)絡(luò)編程試驗(yàn)、嵌入式 Web 服務(wù)器試驗(yàn)、IOT云服務(wù)實(shí)驗(yàn) 嵌入式 Linux QT開發(fā) Qt簡介：Qt環(huán)境搭建 Qt編程基礎(chǔ)：Qt用到的開發(fā)工具、Qt編程涉及的術(shù)語和名詞、Qt Creator的初步使用、第一個(gè)Qt程序、Qt項(xiàng)目管理文件、Qt項(xiàng)目界面文件、Qt項(xiàng)目中的main主函數(shù)、Qt界面布局管理、Qt信號(hào)與槽機(jī)制、Qt Creator使用技巧 Qt應(yīng)用開發(fā)實(shí)例：QCalculator計(jì)算器應(yīng)用實(shí)驗(yàn)、QClock實(shí)時(shí)時(shí)鐘應(yīng)用實(shí)驗(yàn)、QLed LED控制應(yīng)用實(shí)驗(yàn)、QSht20溫濕度計(jì)應(yīng)用實(shí)驗(yàn)、QFileview文件瀏覽應(yīng)用實(shí)驗(yàn)、QReader文本閱讀器應(yīng)用實(shí)驗(yàn)、QTest綜合測試應(yīng)用實(shí)驗(yàn)、添加應(yīng)用到系統(tǒng)桌面 人工智能實(shí)驗(yàn)列表-基礎(chǔ) 神經(jīng)網(wǎng)絡(luò)的基本工作原理：神經(jīng)網(wǎng)絡(luò)的基本工作原理 神經(jīng)網(wǎng)絡(luò)中的基本概念：線性反向傳播實(shí)驗(yàn)、非線性反向傳播實(shí)驗(yàn)、梯度下降實(shí)驗(yàn)、損失函數(shù)實(shí)驗(yàn) 神經(jīng)網(wǎng)絡(luò)之回歸問題：單變量線性回歸、多變量線性回歸 神經(jīng)網(wǎng)絡(luò)之分類問題：線性二分類、線性多分類、神經(jīng)網(wǎng)絡(luò)非線性二分類、神經(jīng)網(wǎng)絡(luò)非線性多分類 神經(jīng)網(wǎng)絡(luò)模型的推理與部署：測試訓(xùn)練結(jié)果實(shí)驗(yàn)、查看模型文件實(shí)驗(yàn)、ONNX模型文件制作實(shí)驗(yàn)、模型部署和測試實(shí)驗(yàn) 深度神經(jīng)網(wǎng)絡(luò)：深度神經(jīng)網(wǎng)絡(luò)框架設(shè)計(jì)、深度神經(jīng)網(wǎng)絡(luò)應(yīng)用、神經(jīng)網(wǎng)絡(luò)優(yōu)化、神經(jīng)網(wǎng)絡(luò)過擬合問題 卷積神經(jīng)網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)概述、卷積的前向計(jì)算、卷積的反向傳播、池化的前向計(jì)算與反向傳播、經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型、MNIST分類實(shí)驗(yàn)、Fashion-MNIST分類實(shí)驗(yàn) 循環(huán)神經(jīng)網(wǎng)絡(luò)：普通循環(huán)神經(jīng)、通用的循環(huán)神經(jīng)網(wǎng)絡(luò)模型實(shí)驗(yàn)網(wǎng)絡(luò)、兩個(gè)時(shí)間步的循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)、四個(gè)時(shí)間步的循環(huán)神經(jīng)網(wǎng)絡(luò)、不定長時(shí)序的循環(huán)神經(jīng)網(wǎng)絡(luò)實(shí)驗(yàn)、深度循環(huán)神經(jīng)網(wǎng)絡(luò)、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)、高級(jí)循環(huán)神經(jīng)網(wǎng)絡(luò) 人工智能實(shí)驗(yàn)列表-圖像 圖像采集：USB攝像頭圖像采集 圖像處理：圖片顯示、色彩空間、像素運(yùn)算、ROI與泛洪填充、濾波與模糊操作、圖像直方圖、模板匹配、圖像二值化、圖像金字塔、圖像梯度、Canny邊緣檢測、直線檢測、圓檢測、輪廓發(fā)現(xiàn) 傳統(tǒng)機(jī)器視覺：手寫字識(shí)別、人臉檢測、目標(biāo)檢測 深度學(xué)習(xí)機(jī)器視覺：手寫字識(shí)別、人臉檢測、目標(biāo)檢測、 端側(cè)推理框架 云端機(jī)器視覺應(yīng)用：圖像識(shí)別實(shí)驗(yàn)、文字識(shí)別、人體分析 圖像視覺綜合應(yīng)用：人臉門禁控制、車牌道閘控制、手勢識(shí)別 人工智能實(shí)驗(yàn)列表-語音 語音處理 ：語音采集和播放實(shí)驗(yàn)、語音編碼和解碼實(shí)驗(yàn)、語音變速變調(diào)實(shí)驗(yàn)、語音活性檢測實(shí)驗(yàn)、語音喚醒實(shí)驗(yàn)、語音識(shí)別實(shí)驗(yàn)、語音合成實(shí)驗(yàn) 自然語言處理：中文分詞實(shí)驗(yàn)、關(guān)鍵詞提取實(shí)驗(yàn)、文本可視化實(shí)驗(yàn)、文本向量化實(shí)驗(yàn)、文本分類實(shí)驗(yàn)、文本聚類實(shí)驗(yàn)、文本情感分析實(shí)驗(yàn)、句法依存分析實(shí)驗(yàn)、構(gòu)建聊天機(jī)器人實(shí)驗(yàn) 云端語音語言應(yīng)用：云端語音合成實(shí)驗(yàn)、云端語音識(shí)別實(shí)驗(yàn)、云端對話情緒識(shí)別實(shí)驗(yàn)、云端新聞?wù)�要�?shí)驗(yàn)、云端短文本相似度實(shí)驗(yàn)、云端情感傾向分析實(shí)驗(yàn)、云端地址識(shí)別分析實(shí)驗(yàn) 語音語言綜合應(yīng)用：構(gòu)建知識(shí)圖譜和聊天機(jī)器人實(shí)驗(yàn)、聲紋識(shí)別門禁實(shí)驗(yàn)、AI語音智能家居實(shí)驗(yàn)