產(chǎn)品與課程
“探智”視覺與語音實驗箱
配套的實驗課程：《AI軟件開發(fā)基礎(chǔ)》《機(jī)器視覺與人工智能》《機(jī)器人人機(jī)交互》《具身智能綜合實踐-智能分揀系統(tǒng)設(shè)計》。
對應(yīng)的競賽：一個機(jī)器人競賽指數(shù)榜單大賽的1個項目。
“探智”是一款面向人工智能專業(yè)及其它涉及Python編程，機(jī)器視覺，自然語言，人工智能，機(jī)械臂控制，人機(jī)自然交互等課程的工科專業(yè)的實驗教學(xué)平臺。由嵌入式人工智能處理器與桌面級柔性高精度機(jī)械臂、攝像頭、麥克風(fēng)、揚聲器、觸摸交互顯示屏等硬件模塊組成，將機(jī)械臂控制，機(jī)器視覺，人工智能，人機(jī)交互等技術(shù)結(jié)合起來，圍繞與上述課程教學(xué)大綱中的知識點設(shè)計了大量的實驗，配套不同的調(diào)試與開發(fā)軟件，以智能分揀為應(yīng)用場景，助力高校人工智能與機(jī)器人相關(guān)專業(yè)的實驗教學(xué)。
配套的實驗課程大綱如下
AI軟件開發(fā)基礎(chǔ)
|
AI軟件開發(fā)基礎(chǔ)（16課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
Linux基礎(chǔ) |
Linux特點，指令集，權(quán)限與用戶。 |
2 |
|
2 |
Linux進(jìn)程 |
Linux系統(tǒng)進(jìn)程的概念，進(jìn)程管理。 |
2 |
|
3 |
Python初級 |
Python在機(jī)器人開發(fā)中的作用，Python語言簡介，Python運算符，數(shù)據(jù)結(jié)構(gòu)，控制結(jié)構(gòu)等基本語法。 |
2 |
|
4 |
Python進(jìn)階 |
Python文件操作，Python面向?qū)ο缶幊獭?span style="display:none">0i8北京博創(chuàng)尚和科技有限公司 |
2 |
|
5 |
Linux串口通信 |
基于Python + Linux系統(tǒng)的串口通信開發(fā)。 |
2 |
|
6 |
Linux網(wǎng)絡(luò)通訊 |
基于Python + Linux系統(tǒng)的網(wǎng)絡(luò)通信開發(fā)。 |
2 |
|
7 |
Python驅(qū)動機(jī)械臂 |
基于Python，通過API控制機(jī)械臂完成正逆運算與驅(qū)動。 |
2 |
|
8 |
Python常見庫應(yīng)用 |
基于Python常見的第三方庫Numpy，Jupyter等熟悉與應(yīng)用。 |
2 |
機(jī)器視覺與人工智能
|
機(jī)器視覺與人工智能（24課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
圖像基本操作 |
圖像的加載、保存，攝像頭視頻流獲取，WEB視頻流獲取。 |
2 |
|
2 |
圖像基礎(chǔ) |
圖像描述，像素訪問，顏色空間轉(zhuǎn)換。 |
2 |
|
3 |
圖像處理 |
圖像平滑，圖像銳化，圖像二值化，縮放與旋轉(zhuǎn)。 |
2 |
|
4 |
特征提取 |
邊緣檢測，角點檢測，輪廓檢測。 |
2 |
|
5 |
特征匹配 |
基于特征/模板的匹配方法。 |
2 |
|
6 |
目標(biāo)檢測1 |
基于顏色/形狀的目標(biāo)檢測。 |
2 |
|
7 |
目標(biāo)檢測2 |
基于Haar特征的人臉檢測。 |
2 |
|
8 |
目標(biāo)檢測3 |
基于HOG特征的行人檢測。 |
2 |
|
9 |
目標(biāo)跟蹤 |
基于卡爾曼濾波/光流法的目標(biāo)跟蹤。 |
2 |
|
10 |
相機(jī)標(biāo)定 |
基于棋盤格對相機(jī)進(jìn)行外參標(biāo)定。 |
2 |
|
11 |
二維碼檢測 |
使用Apriltag進(jìn)行二維碼的識別和定位。 |
2 |
|
12 |
深度學(xué)習(xí)的目標(biāo)檢測 |
基于PaddlePaddle訓(xùn)練Yolo模型，并部署在機(jī)器人上，進(jìn)行目標(biāo)檢測與分類。 |
2 |
機(jī)器人人機(jī)交互
|
機(jī)器人人機(jī)交互（8課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
基于界面的人機(jī)交互實驗 |
基于Pyqt編寫圖形界面實現(xiàn)人機(jī)交互。 |
2 |
|
2 |
智能語音人機(jī)交互實驗 |
基于人工智能技術(shù)實現(xiàn)語音轉(zhuǎn)文字和文字轉(zhuǎn)語音，并通過語音控制不同形態(tài)的機(jī)器人運動。 |
2 |
|
3 |
基于人臉識別的人機(jī)交互 |
基于人工智能技術(shù)實現(xiàn)人臉識別的人機(jī)交互，實現(xiàn)機(jī)器人交互解鎖功能。 |
2 |
|
4 |
基于深度學(xué)習(xí)手勢識別的人機(jī)交互 |
基于視覺與人工智能技術(shù)實現(xiàn)機(jī)器人手勢識別的人機(jī)交互，可以基于不同的手勢執(zhí)行不同的動作。 |
2 |
具身智能綜合實踐-智能分揀系統(tǒng)設(shè)計
《具身智能綜合實踐-智能分揀系統(tǒng)設(shè)計》是一門高度貼合人工智能技術(shù)在智能制造行業(yè)應(yīng)用的綜合實踐課程，課程特點是聚焦在國產(chǎn)AI芯片上的邊緣計算技術(shù)，在國產(chǎn)嵌入式AI芯片與部署架構(gòu)下實現(xiàn)視覺檢測，并依托桌面四軸機(jī)械臂實現(xiàn)相應(yīng)的分揀，充分滿足教學(xué)與實踐的需求。綜合實踐課程支持32課時或者1-2周的集中式教學(xué)模式。
|
具身智能綜合實踐-智能分揀系統(tǒng)設(shè)計（32課時） |
|||
|---|---|---|---|
|
課次 |
課程名稱 |
內(nèi)容 |
課時 |
|
1 |
場景導(dǎo)入與任務(wù)分析 |
介紹智能制造行業(yè)應(yīng)用場景，從行業(yè)應(yīng)用場景導(dǎo)入視覺檢測與分揀系統(tǒng)的設(shè)計思路及需要的性能參數(shù)。熟悉設(shè)備的各個組成部分，啟動設(shè)備，連接AI控制器系統(tǒng)并運行經(jīng)典案例。 |
2 |
|
2 |
設(shè)備開發(fā)指導(dǎo) |
對如何在設(shè)備上基于Python編程開發(fā)進(jìn)行教學(xué)與實踐，對機(jī)械臂驅(qū)動進(jìn)行調(diào)試。 |
2 |
|
3 |
攝像頭與視覺系統(tǒng)調(diào)試 |
對攝像頭驅(qū)動進(jìn)行開發(fā)，通過簡單的Python編程獲取攝像頭數(shù)據(jù)并進(jìn)行保存等。 |
2 |
|
4 |
神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集制作與標(biāo)注 |
基于攝像頭，對數(shù)據(jù)進(jìn)行采集和標(biāo)注。 |
2 |
|
5 |
圖像增強(qiáng) |
運用常見的數(shù)字圖像處理技術(shù)進(jìn)行圖像增強(qiáng)，保證數(shù)據(jù)集的多樣性。 |
2 |
|
6 |
數(shù)據(jù)集生成 |
對采集的數(shù)據(jù)集進(jìn)行分類，生成訓(xùn)練集、驗證集和測試集。 |
2 |
|
7 |
模型訓(xùn)練 |
使用Pytorch框架，基于Yolo訓(xùn)練目標(biāo)模型，并進(jìn)行目標(biāo)識別。 |
2 |
|
8 |
模型部署 |
了解邊緣計算的概念，完成Pytorch模型到Onnx模型，再到可本地加速推理的Rknn模型的轉(zhuǎn)換。 |
2 |
|
9 |
邊緣計算推理 |
將轉(zhuǎn)換后的模型部署在國產(chǎn)AI芯片上，進(jìn)行加速與推理，感受并行運算優(yōu)化加速的優(yōu)勢，體會芯片國產(chǎn)化的意義。 |
2 |
|
10 |
視覺模型校準(zhǔn) |
對圖像坐標(biāo)系和機(jī)械臂坐標(biāo)系進(jìn)行校準(zhǔn)，為后續(xù)分揀抓取做準(zhǔn)備。 |
2 |
|
11 |
視覺圖像調(diào)試 |
實現(xiàn)基于單目視覺相機(jī)識別要搬運的物體，并使用深度視覺定位此物體，為抓取提供參考。 |
2 |
|
12 |
語音系統(tǒng)調(diào)試 |
基于機(jī)載芯片本地加速模型推理，實現(xiàn)語音轉(zhuǎn)文字，文字轉(zhuǎn)語音，通過語音指令為抓取邏輯提供參考。 |
2 |
|
13 |
整體業(yè)務(wù)邏輯編程開發(fā)與調(diào)試 |
在機(jī)器人上進(jìn)行編程開發(fā)，串聯(lián)各個模塊，并進(jìn)行調(diào)試，完成自主搬運任務(wù)。 |
6 |
|
14 |
演示與匯報 |
結(jié)合場景任務(wù)進(jìn)行演示與匯報。 |
2 |