項目概述

隨著移動通信的普及，垃圾短信已成為影響用戶日常生活和信息安全的重要問題。本項目旨在開發一款高效、準確的智能垃圾短信檢測系統，利用機器學習技術自動識別和過濾垃圾短信，保護用戶的隱私和安全。

系統架構

本垃圾短信檢測系統基于 Python 語言開發，主要依賴 `scikit-learn` 機器學習庫，結合文本處理和模型訓練技術，實現垃圾短信的自動分類與識別。

核心功能模塊

數據加載與預處理

本文項目使用的是飛漿平臺提供的公開數據集，數據集中包含70萬條數據，該數據數據集已經被分詞處理好，采用的是jieba分詞工具。數據集中每條字段包含三個字段message, msg_new, label, 其中message表示短信的內容，msg_new表示短信分詞后的結果，label表示短信的類別，其中0表示正常短信，1表示垃圾短信。

數據加載與預處理是系統的基礎步驟，主要包括以下功能：

• 停用詞加載：通過 `read_stopwords` 函數加載自定義中文停用詞表，過濾無意義的常用詞，提升模型準確率。
• 文本向量化：支持兩種向量化方式：
• CountVectorizer：將文本轉換為詞頻矩陣。
• TfidfVectorizer：將文本轉換為 TF-IDF 特征矩陣，適用于不同文本處理需求。

模型選擇與訓練

系統提供了三種經典的機器學習模型供用戶選擇：

• 樸素貝葉斯 (MultinomialNB)
• 邏輯回歸 (Logistic Regression)
• 支持向量機 (SVM)

用戶可以通過命令行參數靈活切換模型，并自定義超參數（如 `alpha`、`ngram`）。模型訓練通過 `Pipeline` 實現：

模型評估與可視化

訓練完成后，系統自動評估模型性能，并通過混淆矩陣進行可視化展示：

模型保存與批量預測

完成訓練后，系統自動保存模型，便于后續快速調用進行批量短信檢測：

系統優勢

• 高效準確：使用經典機器學習算法搭配優化的超參數，提供高效且準確的垃圾短信檢測能力。
• 靈活可配置：支持多種模型與文本向量化方式，用戶可自由調整超參數以適應不同數據集。
• 可視化支持：自動生成混淆矩陣與性能報告，幫助用戶直觀理解模型表現。
• 批量檢測：保存模型后可直接用于批量檢測，適用于企業短信網關或反欺詐系統。
• 易用性強：命令行友好，僅需一行命令即可完成訓練與預測。

應用場景

• 短信防騷擾服務：集成到手機或運營商平臺，自動過濾垃圾短信。
• 企業內部郵件過濾：可用于郵件服務器端的惡意郵件檢測。
• 智能客服系統：在客戶服務系統中識別潛在的惡意消息。

使用方法

安裝依賴

訓練模型

預測測試

模型保存與加載

訓練完成后，模型會自動保存為 `sms_spam_pipeline.pkl`，方便后續直接加載進行預測。

效果展示

在測試集上的混淆矩陣：

在測試集上的分類結果報告：

日志記錄與錯誤處理

系統自動記錄訓練過程，包括模型選擇、超參數、測試結果等。發生異常時自動記錄錯誤日志，方便后續排查問題。

總結

本智能垃圾短信檢測系統基于機器學習技術，具備高效準確的檢測能力、靈活的配置選項和直觀的可視化分析。通過簡單的命令行操作，用戶可以快速完成模型訓練、評估和預測，適用于多種應用場景，有效幫助用戶抵御垃圾短信的騷擾。

總結

機器學習課程設計報告

最后，有相關需求歡迎通過公眾號“320科技工作室”與我們聯絡