Python數據處理書籍的案例
【Python數據分析基礎】: 數據缺失值處理
不處理
補齊處理只是將未知值補以我們的主觀估計值，不一定完全符合客觀事實，在對不完備信息進行補齊處理的同時，我們或多或少地改變了原始的信息系統。而且，對空值不正確的填充往往將新的噪聲引入數據中，使挖掘任務產生錯誤的結果。因此，在許多情況下，我們還是希望在保持原始信息不發生變化的前提下對信息系統進行處理。
在實際應用中，一些模型無法應對具有缺失值的數據，因此要對缺失值進行處理。然而還有一些模型本身就可以應對具有缺失值的數據，此時無需對數據進行處理，比如Xgboost，rfr等高級模型。
4 總結
總而言之，大部分數據挖掘的預處理都會使用比較方便的方法來處理缺失值，比如均值法，但是效果上并一定好，因此還是需要根據不同的需要選擇合適的方法，并沒有一個解決所有問題的萬能方法。具體的方法采用還需要考慮多個方面的：
數據缺失的原因；
數據缺失值類型；
樣本的數據量；
數據缺失值隨機性等；
關于數據缺失值得思維導圖：
如果大家有任何好的其他方法，歡迎補充。
參考：
http://www.restore.ac.uk/PEAS/imputation.php
https://blog.csdn.net/lujiandong1/article/details/52654703
http://blog.sina.com.cn/s/blog_4b0f1da60101d8yb.html
https://www.cnblogs.com/Acceptyly/p/3985687.html
作者：Python數據科學
來源：掘金
展開 Abaqus-利用python處理有多個instances的odb文件，得到inp模型數據用于前處理
很多情況下需要得到該odb模型數據，并將其導入hypermesh進行前處理。如果直接從abaqus中得到odb模型數據的inp輸入導入到hypermesh中，會有重合節點和單元報錯，然而利用python可以解決該問題。
Python數據處理PDF高清文檔免費下載
本書采用基于項目的方法，介紹用Python完成數據獲取、數據清洗、數據探索、數據呈現、數據規模化和自動化的過程。
包括：Python基礎知識，如何從CSV、Excel、XML、JSON和PDF文件中提取數據，如何獲取與存儲數據，各種數據清洗與分析技術，數據可視化方法，如何從網站和API中提取數據。
利用python處理Excel表格中的銷售數據
Python版本：Python 3.6。
可視化開發環境：PyCharm 2017.3.3。
界面設計工具：Qt Designer
Python內置模塊：os、sys、glob、numpy。
第三方模塊：PyQt5、pyqt5-tools、pandas、matplotlib、xlrd。
注意：在使用第三方模塊時，首先需要使用pip install命令安裝該模塊。
運行方法打開PyCharm開發環境，然后在主菜單上選擇File→Open菜單項，在打開的Open File or Project對話框中，選擇項目wordhelper，如圖1所示。
圖1 Open File or Project
對話框打開項目后，在右側的Project面板中選中程序的主文件dataExcel.py，并且單擊鼠標右鍵，在彈出的快捷菜單中選擇"Run 'dataExcel'"菜單項運行項目，如圖3所示。
圖2 選擇"Run'wordhelper'"
即可運行程序如圖3所示的系統主界面。在該界面中，通過頂部的工具欄可以選擇所要進行的操作。
圖3 系統主界面
具體的操作步驟如下：（1）導入Excel。單擊工具欄中的"導入Excel"按鈕，打開文件對話框選擇文件夾，如XS1文件夾，系統將遍歷該文件夾中的*.xls文件，并且將文件添加到列表區，效果如圖4所示。
圖4 導入Excel文件
（2）提取列數據。單擊工具欄中的"提取列數據"按鈕，提取買家會員名、收貨人姓名、聯系手機和寶貝標題，效果如圖5所示。提取后的數據將保存在程序所在目錄下的mycell.xls文件中。
圖5 提取列數據
說明："輸出選項"可以選擇數據分析結果要保存的位置，默認是程序所在文件夾。
（3）定向篩選。
展開 
Abaqus_Python 后處理結點數據提取、場變量云圖輸出 ￥1.99
今天體會了Python腳本操作ODB文件進行數據的輸出、處理等方面的快速高效。
首先介紹一下背景，同事的項目，計算case較多。每個case需要輸出幾個路徑上的部分節點值，而且需要針對不同的case、不同的幀、不同的視角截圖、保存云圖，如果人工出圖和提取節點數據，工作量會非常大，費時會遠遠超出計算所用時間；并且，同事還要求我根據case名稱、組件名稱（模型有多個組件組成，且網格是在part上畫的，所以同一個節點編號可能對應多個節點）等保存成不同的文件。
結點溫度數據沒有保存，因此沒有輸出。下圖是自動輸出的png格式云圖。
比較倉促，代碼也比價粗糙。回頭做一個詳細的介紹。
主要代碼見下。
展開 Abaqus:利用python編程進行仿真結果（odb）數據圖片批量處理案例講解（下）
Abaqus利用python編程進行仿真結果(odb)數據圖片批量處理的案例講解
有輕功：用3行代碼讓Python數據處理腳本獲得4倍提速
Python是一門非常適合處理數據和自動化完成重復性工作的編程語言，我們在用數據訓練機器學習模型之前，通常都需要對數據進行預處理，而Python就非常適合完成這項工作，比如需要重新調整幾十萬張圖像的尺寸，用Python沒問題！你幾乎總是能找到一款可以輕松完成數據處理工作的Python庫。
然而，雖然Python易于學習，使用方便，但它并非運行速度最快的語言。默認情況下，Python程序使用一個CPU以單個進程運行。不過如果你是在最近幾年配置的電腦，通常都是四核處理器，也就是有4個CPU。這就意味著在你苦苦等待Python腳本完成數據處理工作時，你的電腦其實有75%甚至更多的計算資源就在那閑著沒事干！
今天我（作者Adam Geitgey——譯者注）就教大家怎樣通過并行運行Python函數，充分利用你的電腦的全部處理能力。得益于Python的 concurrent.futures 模塊，我們只需3行代碼，就能將一個普通數據處理腳本變為能并行處理數據的腳本，提速4倍。
普通Python處理數據方法
比方說，我們有一個全是圖像數據的文件夾，想用Python為每張圖像創建縮略圖。
展開 