項(xiàng)目簡(jiǎn)介

本項(xiàng)目基于PaddlePaddle和EasyDL平臺(tái)，以教務(wù)處和學(xué)工為一級(jí)用戶，高校教師為二級(jí)用戶，針對(duì)提升整體課堂教學(xué)質(zhì)量為目的開(kāi)發(fā)的一款實(shí)時(shí)課堂監(jiān)測(cè)系統(tǒng)。

本項(xiàng)目主要監(jiān)測(cè)課堂的出勤人數(shù)、學(xué)生的上課狀態(tài)、教師的語(yǔ)速、情感，以及語(yǔ)言的用詞方面。項(xiàng)目中語(yǔ)音的模型均采用EasyDL平臺(tái)進(jìn)行訓(xùn)練，調(diào)用在線API進(jìn)行預(yù)測(cè)分析。而圖像模型由于在線API無(wú)法達(dá)到實(shí)時(shí)性的要求，采用本地訓(xùn)練Paddle模型庫(kù)中的模型并使用。

硬件環(huán)境

CPU：Intel 酷睿 I7-7700 四核8線程

內(nèi)存：三星 DDR4 16G

GPU：NVIDIA GTX1070 8G

軟件環(huán)境

OS：Windows 10

IDE：PyCharm 2019.2.4

ffmpeg（需要加入環(huán)境變量）

Python 3.7

CUDA10 CUDNN7.3

Python依賴

baidu_aip==2.2.18.0 jieba==0.39 opencv_python==4.1.1.26 requests==2.22.0 PyMySQL==0.9.3 paddlepaddle_gpu==1.6.0.post107 numpy==1.16.5 Pillow==6.2.0 PyQt5==5.10.1

模型詳解

EasyDL平臺(tái)模型

EasyDL平臺(tái)的快速訓(xùn)練和快速上線是目前人工智能開(kāi)發(fā)進(jìn)程中的一大亮點(diǎn)，能夠作為項(xiàng)目中的一個(gè)在線API進(jìn)行快速調(diào)用。但是在線調(diào)用非常受網(wǎng)速限制，對(duì)于圖片這種體積較大的文件則更加耗時(shí)，在實(shí)時(shí)性方面有待提高。但是本地部署需要企業(yè)帳號(hào)，對(duì)于一部分開(kāi)發(fā)者來(lái)說(shuō)無(wú)法實(shí)現(xiàn)。如果能將模型下載到本地進(jìn)行類似SDK的方式調(diào)用，將會(huì)更好。

YOLOv3目標(biāo)檢測(cè)

項(xiàng)目中教室內(nèi)學(xué)生的位置檢測(cè)以及人數(shù)統(tǒng)計(jì)使用Paddle模型庫(kù)中的YOLOv3模型

數(shù)據(jù)集

采用我校教務(wù)處提供的一周（5天）教學(xué)視頻為基礎(chǔ)，每天視頻時(shí)長(zhǎng)14小時(shí)（8：00——22：00，有前后兩個(gè)攝像頭），每隔10分鐘截取一張圖片，一共289張圖片，進(jìn)行人為手工標(biāo)準(zhǔn)（EasyDL平臺(tái)上也有相同模型）

訓(xùn)練

在本機(jī)上以batch_size=2，一共訓(xùn)練20000輪

RestNet圖像分類

在目標(biāo)檢測(cè)將學(xué)生位置識(shí)別出來(lái)之后，將這些學(xué)生圖像單獨(dú)摳出來(lái)放入到圖像分類模型中進(jìn)行分類，分為：正常聽(tīng)課、看手機(jī)、睡覺(jué)、站立，采用Paddle模型庫(kù)中的ResNet模型，56層

數(shù)據(jù)集

在上一步目標(biāo)檢測(cè)標(biāo)注完的數(shù)據(jù)集基礎(chǔ)上，將所有學(xué)生摳出來(lái)保存成單獨(dú)的圖片，進(jìn)行分類，一共正常：2431張，看手機(jī)：1149張，睡覺(jué)：189張，站立：56張

為了不讓數(shù)據(jù)樣本偏差太大，隨機(jī)抽取比較平衡的數(shù)據(jù)量：正常：300張，看手機(jī)：300張，睡覺(jué)：189張，站立：56張

訓(xùn)練

以batch_size=8，進(jìn)行100輪的訓(xùn)練

top1 acc=0.7

調(diào)用方式

情感分類

使用Paddle模型庫(kù)中Senta情感分類模型進(jìn)行文字的情感傾向分析

數(shù)據(jù)集

從互聯(lián)網(wǎng)中查找在課堂場(chǎng)景中的語(yǔ)言文本，分為積極、消極兩類

功能介紹

實(shí)時(shí)監(jiān)測(cè)線程

本項(xiàng)目中的所有監(jiān)測(cè)功能均采用線程的方式進(jìn)行識(shí)別

對(duì)于GPU的調(diào)用、UI的刷新都用線程鎖進(jìn)行控制

總監(jiān)控界面

總監(jiān)控頁(yè)顯示了對(duì)于所有教室的統(tǒng)籌監(jiān)控，顯示該課堂的基本信息以及教室內(nèi)的學(xué)生人數(shù)

用戶可以在教學(xué)樓欄里按照校區(qū)、教學(xué)樓、樓層進(jìn)行篩選

在狀態(tài)欄里可以根據(jù)該教室是上課還是下課進(jìn)行篩選

實(shí)時(shí)監(jiān)控界面

在本頁(yè)面中首先展示教室內(nèi)學(xué)生狀態(tài)的檢測(cè)，對(duì)于玩手機(jī)的學(xué)生以用紅色圈出，睡覺(jué)的學(xué)生用黃色圈出，站立的學(xué)生用藍(lán)色圈出，同時(shí)描繪柱狀圖

下面展示教師的監(jiān)控視頻，檢測(cè)教師的語(yǔ)速、情感，用折線圖顯示

右邊顯示識(shí)別出來(lái)的教師語(yǔ)音，有情感分析和敏感詞識(shí)別

課程回看列表

在回看列表里面顯示已經(jīng)上過(guò)的課程的列表

課程回看

在這里可以看到對(duì)于一堂課中教師、學(xué)生出現(xiàn)的異常狀態(tài)的記錄

該功能由于帳號(hào)管理問(wèn)題，未開(kāi)發(fā)完全

---