Python數(shù)據(jù)科學(xué)的案例
Python數(shù)據(jù)科學(xué)手冊一英文版PDF高清文檔下載
本書是對以數(shù)據(jù)深度需求為中心的科學(xué)、研究以及針對計(jì)算和統(tǒng)計(jì)方法的參考書。
本書共五章，每章介紹一到兩個(gè)Python數(shù)據(jù)科學(xué)中的重點(diǎn)工具包。
首先從IPython和Jupyter開始，它們提供了數(shù)據(jù)科學(xué)家需要的計(jì)算環(huán)境；
第2章講解能提供ndarray對象的NumPy，它可以用Python高效地存儲(chǔ)和操作大型數(shù)組；
第3章主要涉及提供DataFrame對象的Pandas，它可以用Python高效地存儲(chǔ)和操作帶標(biāo)簽的/列式數(shù)據(jù)；
第4章的主角是Matplotlib，它為Python提供了許多數(shù)據(jù)可視化功能；
第5章以Scikit-Learn為主，這個(gè)程序庫為最重要的機(jī)器學(xué)習(xí)算法提供了高效整潔的Python版實(shí)現(xiàn)。
本書適合有編程背景，并打算將開源Python工具用作分析、操作、可視化以及學(xué)習(xí)數(shù)據(jù)的數(shù)據(jù)科學(xué)研究人員。
全網(wǎng)最全Python必讀書藉合集（PDF文檔免費(fèi)下載）
目錄
第1 章 IPython：超越Python 1
第2 章 NumPy入門 28
第3 章 Pandas數(shù)據(jù)處理 86
第4 章 Matplotlib數(shù)據(jù)可視化 191
第5 章 機(jī)器學(xué)習(xí) 291
展開 數(shù)據(jù)科學(xué)20個(gè)最好的Python庫
▌數(shù)據(jù)采集
20. Scrapy (Commits: 6625, Contributors: 281)
官網(wǎng)：https://scrapy.org/
Scrapy 是一個(gè)用來創(chuàng)建網(wǎng)絡(luò)爬蟲，掃描網(wǎng)頁和收集結(jié)構(gòu)化數(shù)據(jù)的庫。此外，Scrapy 可以從 API 中提取數(shù)據(jù)。由于該庫的可擴(kuò)展性和可移植性，使得它用起來非常方便。
▌結(jié)論
本文上述所列就是我們在 2018 年為數(shù)據(jù)科學(xué)領(lǐng)域中豐富的 Python 庫集合。與上一年相比，一些新的現(xiàn)代庫越來越受歡迎，而那些已經(jīng)成為經(jīng)典的數(shù)據(jù)科學(xué)任務(wù)的庫也在不斷改進(jìn)。
下表顯示了 GitHub 活動(dòng)的詳細(xì)統(tǒng)計(jì)數(shù)據(jù)：
原文鏈接：https://activewizards.com/blog/top-20-python-libraries-for-data-science-in-2018/
轉(zhuǎn)自網(wǎng)絡(luò)大數(shù)據(jù)
展開 【Python數(shù)據(jù)分析基礎(chǔ)】: 數(shù)據(jù)缺失值處理
而且，對空值不正確的填充往往將新的噪聲引入數(shù)據(jù)中，使挖掘任務(wù)產(chǎn)生錯(cuò)誤的結(jié)果。因此，在許多情況下，我們還是希望在保持原始信息不發(fā)生變化的前提下對信息系統(tǒng)進(jìn)行處理。
在實(shí)際應(yīng)用中，一些模型無法應(yīng)對具有缺失值的數(shù)據(jù)，因此要對缺失值進(jìn)行處理。然而還有一些模型本身就可以應(yīng)對具有缺失值的數(shù)據(jù)，此時(shí)無需對數(shù)據(jù)進(jìn)行處理，比如Xgboost，rfr等高級(jí)模型。
4 總結(jié)
總而言之，大部分數(shù)據(jù)挖掘的預(yù)處理都會(huì)使用比較方便的方法來處理缺失值，比如均值法，但是效果上并一定好，因此還是需要根據(jù)不同的需要選擇合適的方法，并沒有一個(gè)解決所有問題的萬能方法。具體的方法采用還需要考慮多個(gè)方面的：
數(shù)據(jù)缺失的原因；
數(shù)據(jù)缺失值類型；
樣本的數(shù)據(jù)量；
數(shù)據(jù)缺失值隨機(jī)性等；
關(guān)于數(shù)據(jù)缺失值得思維導(dǎo)圖：
如果大家有任何好的其他方法，歡迎補(bǔ)充。
參考：
http://www.restore.ac.uk/PEAS/imputation.php
https://blog.csdn.net/lujiandong1/article/details/52654703
http://blog.sina.com.cn/s/blog_4b0f1da60101d8yb.html
https://www.cnblogs.com/Acceptyly/p/3985687.html
作者：Python數(shù)據(jù)科學(xué)
來源：掘金
展開 Abaqus Python 二次開發(fā)-歷程輸出數(shù)據(jù)提取的python實(shí)現(xiàn) ￥3.49
此時(shí)，如果想提取數(shù)據(jù)，一些關(guān)于Abaqus 二次開發(fā)的書籍里提供的方式是：odb.step['Step-1'].historyRegions['Node PART-TRIMMED-MESH.288422']. historyOutputs['U1'].data 。這種方式，需要輸入 'Node PART-TRIMMED-MESH.288422' 這種很長的字符串，繁瑣且容易出錯(cuò)。
在付費(fèi)內(nèi)容中，提供了一種便捷的方法，得到長字符串，提取相關(guān)的數(shù)據(jù)，并將數(shù)據(jù)保存為csv文件。
展開 
Python二次開發(fā)—?jiǎng)?chuàng)建輸出數(shù)據(jù)庫并添加數(shù)據(jù)
本期內(nèi)容轉(zhuǎn)載本人公眾號(hào)：
易木木響叮當(dāng)，源代碼可在公眾號(hào)內(nèi)回復(fù)：
創(chuàng)建數(shù)據(jù)庫，即可自動(dòng)獲取
。
Python二次開發(fā)更新啦~
最近由于木木學(xué)業(yè)壓力比較大，故更文速度有點(diǎn)小慢，請大家諒解諒解。廢話不多說，進(jìn)入今天的正題：
本期內(nèi)容將編寫腳本創(chuàng)建輸出數(shù)據(jù)庫，并向其中添加模型數(shù)據(jù)、場數(shù)據(jù)和歷史數(shù)據(jù)，在后處理模塊中顯示位移場變量計(jì)算結(jié)果，最后保存ODB文件。源腳本來自于曹老師的《Python語言在Abaqus中的應(yīng)用》，好書值得推薦！
編程思路：
導(dǎo)入相應(yīng)模塊。本例中將創(chuàng)建輸出數(shù)據(jù)庫，并向其中添加數(shù)據(jù)，于是應(yīng)添加：odbAccess、odbMaterial、odbSection、和abaqusConstants等模塊;
創(chuàng)建輸出數(shù)據(jù)庫時(shí)，數(shù)據(jù)庫不包含任何模型需要調(diào)用相應(yīng)函數(shù)構(gòu)造對象。一般情況下需要?jiǎng)?chuàng)建以下對象：材料屬性（Material模塊）、截面（Section模塊）、部件實(shí)例（Assembly模塊）、分析步和幀（Step模塊）、節(jié)點(diǎn)和單元（Mesh模塊）；
向輸出數(shù)據(jù)庫中添加場數(shù)據(jù)和歷程數(shù)據(jù)，本例中只向輸出數(shù)據(jù)庫中添加了節(jié)點(diǎn)位移，場輸出為默認(rèn)輸出；
創(chuàng)建完數(shù)據(jù)庫后，應(yīng)調(diào)用save( )方法保存數(shù)據(jù)庫文件，然后調(diào)用close( )方法關(guān)閉文件。
在Abaqus操作如下：點(diǎn)擊File，Run Script，
若CAE界面下方出現(xiàn)：
New output database has been created successfully!
You can view the odb_Create_ODB.odb file in the visualization module!
展開 百年前科學(xué)家的數(shù)據(jù)可視化（轉(zhuǎn)載）
現(xiàn)在我們有很多工具來實(shí)現(xiàn)數(shù)據(jù)可視化，比如 Excel 、PowerPoint 、Tableau ，都可以根據(jù)你的數(shù)據(jù)自動(dòng)生成各種圖表，而且非常好看。
自動(dòng)化貌似為我們省了不少事，但我們卻逐漸忘了數(shù)據(jù)可視化的本質(zhì)，在這一點(diǎn)上，我們真還得跟幾百年前的科學(xué)家們好好學(xué)學(xué)。
大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自Python專欄
Python零基礎(chǔ)入門Python數(shù)據(jù)分析最好的實(shí)戰(zhàn)項(xiàng)目
總結(jié)
本次分享旨在讓大家了解如何用Python做一個(gè)簡單的數(shù)據(jù)分析，對于剛剛接觸數(shù)據(jù)分析的朋友無疑是一個(gè)很好的練習(xí)。不過，這個(gè)分析還存在很多問題需要解決，比如：
解決爬蟲獲取的數(shù)據(jù)源準(zhǔn)確度問題；
需要爬取或者尋找更多好的售房特征；
需要做更多地特征工程工作，比如數(shù)據(jù)清洗，特征選擇和篩選；
使用統(tǒng)計(jì)模型建立回歸模型進(jìn)行價(jià)格預(yù)測；
銀行業(yè)9大數(shù)據(jù)科學(xué)應(yīng)用案例
數(shù)據(jù)科學(xué)使這一過程更好地實(shí)現(xiàn)了自動(dòng)化，更準(zhǔn)確，個(gè)性化，直接和高效，并且降低了員工時(shí)間成本。
結(jié)論
為了獲得競爭優(yōu)勢，銀行必須承認(rèn)數(shù)據(jù)科學(xué)的重要性，將其融入決策過程，并根據(jù)客戶數(shù)據(jù)中獲得可操作的見解制定戰(zhàn)略。 從小型可管理的步驟開始，將大數(shù)據(jù)分析整合到您的運(yùn)營模式中，并領(lǐng)先于競爭對手。
由于這種快速發(fā)展的數(shù)據(jù)科學(xué)領(lǐng)域以及將機(jī)器學(xué)習(xí)模型應(yīng)用于實(shí)際數(shù)據(jù)的能力，因此可以每天擴(kuò)展此用例列表，從而獲得更多更準(zhǔn)確的結(jié)果。
Python零基礎(chǔ)入門數(shù)據(jù)分析實(shí)戰(zhàn)之小費(fèi)數(shù)據(jù)集應(yīng)用
一、數(shù)據(jù)來源
本節(jié)選用的是Python的第三方庫seaborn自帶的數(shù)據(jù)集，該小費(fèi)數(shù)據(jù)集為餐飲行業(yè)收集的數(shù)據(jù)，其中total_bill為消費(fèi)總金額、tip為小費(fèi)金額、sex為顧客性別、smoker為顧客是否吸煙、day為消費(fèi)的星期、time為聚餐的時(shí)間段、size為聚餐人數(shù)。
import numpy as np
from pandas import Series,DataFrame
import pandas as pd
import seaborn as sns #導(dǎo)入seaborn庫 tips=sns.load_dataset('tips') #seaborn庫自帶的數(shù)據(jù)集 tips.head()
二、問題探索
小費(fèi)金額與消費(fèi)總金額是否存在相關(guān)性?
性別、是否吸煙、星期幾、聚餐人數(shù)和小費(fèi)金額是否有一定的關(guān)聯(lián)?
小費(fèi)金額占小費(fèi)總金額的百分比是否服從正態(tài)分布?
三、數(shù)據(jù)清洗
tips.shape #數(shù)據(jù)集的維度
(244，7)
共有244條數(shù)據(jù)，7列。
tips.describe() #描述統(tǒng)計(jì)
描述統(tǒng)計(jì)結(jié)果如上所示。
tips.info() #查看缺失值信息
此例無缺失值。
四、數(shù)據(jù)探索
tips.plot(kind='scatter',x='total_bill',y='tip') #繪制散點(diǎn)圖
由圖可看出，小費(fèi)金額與消費(fèi)總金額存在正相關(guān)性。
展開 用科學(xué)數(shù)據(jù)證明給你看！
還可以在這里找到我們
知乎
世界上最安靜的房間 | 在消聲室靜靜是種什么樣的體驗(yàn) | 國產(chǎn)大飛機(jī)C919
拍西瓜的科學(xué)依據(jù) | 聲學(xué)界吉尼斯 | 最冷的樂器 | 特別燒錢的坑
還有這種操作？ | 如何運(yùn)用聲學(xué)知識(shí)幫助溝通障礙人群？
微信
都說索尼大法好，究竟好在哪？
聲振界第一玄學(xué)之聲品質(zhì) | 為何聲音聽起來“不舒服”？
上汽通用五菱 | 更實(shí)用快速的NVH性能開發(fā)模式
純干貨分享 | 7799型自由場聲壓法測聲功率
專屬夏天的聲音 | 用數(shù)據(jù)看蟬鳴
您還可以通過如下方式聯(lián)系我們，了解更多產(chǎn)品與應(yīng)用詳情：
郵箱：cn.info@bksv.com
官網(wǎng)：http://www.bksv.cn
展開 基于Python向Abaqus導(dǎo)入txt、dat數(shù)據(jù)（附abaqus中python二次開發(fā)課程）
這次推送聚焦于解決采用Python向Abaqus里導(dǎo)入txt、dat數(shù)據(jù)的問題（dat文件只需要將txt文件的后綴名改為dat就可以生成dat文件），Abaqus基于Python讀入txt、dat數(shù)據(jù)主要有read()、readlines()、readlines()、numpy.loadtxt()函數(shù)，導(dǎo)入的txt文件放在工作目錄temp中。
1. read() 函數(shù)
可以一次性讀取txt文件中的內(nèi)容，并以字符串的結(jié)果返回來，如下列代碼所示：
with open("xyplot.dat", "r") as f: #打開文件
data = f.read() #讀取文件
print(data)
其中，
r是讀取人工書寫的數(shù)據(jù)，書寫的時(shí)候是什么樣子，讀出來就是什么樣。
rb是讀取二進(jìn)制文件，非人工書寫的數(shù)據(jù)，如.jpeg等這些。
將該命令在Abaqus/CAE的命令行接口（Command Line Interface, CLI）運(yùn)行后，結(jié)果如圖1所示（圖中#注釋后的亂碼為作者安裝abaqus采用英文版，沒有漢化所致）：
圖1 read()讀取txt、dat數(shù)據(jù)到Abaqus
需要注意的是，以上data數(shù)據(jù)類型都是為字符，如下圖所示。調(diào)用data[0]為字符，因此data[0][0]也為字符，以及后續(xù)的data[20][0]，data[60][0]等也都為字符。
展開 
科學(xué)試模納入流程，輕松提升數(shù)據(jù)結(jié)果可視化
科學(xué)試模納入流程，輕松提升數(shù)據(jù)結(jié)果可視化
作者 ■科盛科技 / 陳姞芳 副管理師
前言
傳統(tǒng)的射出成型流程從塑件設(shè)計(jì)、模具制造再到現(xiàn)場試模，都是由實(shí)際操作人員或是閱歷豐富的老師傅，以經(jīng)驗(yàn)法則和試誤方式不斷地進(jìn)行測試作業(yè)及成品缺點(diǎn)改善。然而塑件的幾何圖形為了因應(yīng)設(shè)計(jì)變更、少量多樣的需求變得愈趨復(fù)雜，對于塑膠成型品的質(zhì)量、精細(xì)度，甚至是尺寸的要求也越顯嚴(yán)格；而在面對現(xiàn)今日益嚴(yán)重的缺工問題之下，若是持續(xù)仰賴?yán)蠋煾怠F(xiàn)場操作人員等個(gè)人過往的經(jīng)驗(yàn)或感覺進(jìn)行調(diào)機(jī)或相關(guān)生產(chǎn)調(diào)整，往往會(huì)導(dǎo)致試模生產(chǎn)的整體時(shí)程拉長、射出加工利潤降低，并無法及時(shí)滿足客戶多變的要求。
針對這些問題，坊間積極開設(shè)了許多與科學(xué)試模相關(guān)的課程，里頭會(huì)教導(dǎo)民眾關(guān)于模具設(shè)計(jì)、機(jī)臺(tái)操作、材料特性等基本知識(shí)觀念，并提倡運(yùn)用科學(xué)的方法來進(jìn)行射出成型加工條件調(diào)整與設(shè)定。不過，雖然大家對于科學(xué)試模的觀念已經(jīng)很普遍，但一般在射出成型過程中所使用的傳統(tǒng)紙本記錄方法，卻仍使得信息無法有效地被保存，且不容易追蹤歷程。
于射出成型數(shù)據(jù)管理平臺(tái)中納入科學(xué)試模
科盛科技Moldex3D針對塑膠射出成型推出的數(shù)據(jù)管理平臺(tái)──iSLM，提供記錄及匯整模具的相關(guān)設(shè)計(jì)與試模的完整開發(fā)流程等功能，并且能將工作歷程中所有的項(xiàng)目數(shù)據(jù)都整合于系統(tǒng)中，再透過數(shù)據(jù)視覺化的呈現(xiàn)，讓整個(gè)開發(fā)流程及數(shù)據(jù)一覽無遺。
展開 免費(fèi)報(bào)名｜全球數(shù)據(jù)科學(xué)與 AI 線上直播會(huì)議邀您參會(huì)
ATCx Unlocking Data Science & AI 2025
解鎖數(shù)據(jù)科學(xué)與AI的力量
全球線上直播會(huì)議（提供中文在線翻譯）
11月5日（周三）丨北京時(shí)間 16:00 開始
解鎖數(shù)據(jù)科學(xué)與AI的力量
人工智能正在改變我們的工作、學(xué)習(xí)和競爭方式。善于利用數(shù)據(jù)、人工智能和機(jī)器學(xué)習(xí)的企業(yè)，可以更快、更智能、更可持續(xù)地做出決策。
2025年11月5日，Altair 將攜手行業(yè)領(lǐng)袖、技術(shù)專家和教育工作者，帶來一場聚焦數(shù)據(jù)科學(xué)與人工智能（AI） 話題的技術(shù)盛會(huì)，共同探討領(lǐng)先的數(shù)據(jù)科學(xué)與AI解決方案如何在學(xué)術(shù)界和各行各業(yè)推動(dòng)創(chuàng)新。
誠邀您參加本次全球線上直播活動(dòng)，從 Altair 技術(shù)專家、學(xué)術(shù)領(lǐng)袖和行業(yè)先鋒的分享中獲得真知灼見。無論您是致力于戰(zhàn)略性落地人工智能的企業(yè)決策者、專注前沿技術(shù)教學(xué)的教育工作者，還是尋求技能拓展的行業(yè)專業(yè)人士，本次會(huì)議都將為您提供可落地的知識(shí)成果、成熟的應(yīng)用案例和具備前瞻性的行業(yè)觀點(diǎn)。
展開 質(zhì)量管理 | 質(zhì)量部門的“升維”革命：eMMA如何讓質(zhì)量工程師成為“數(shù)據(jù)科學(xué)家”？
它通過降低數(shù)據(jù)的使用門檻、提升分析的維度與速度，從根本上重新定義了質(zhì)量工程師的能力邊界與價(jià)值坐標(biāo)。
當(dāng)每一位質(zhì)量工程師都能熟練地運(yùn)用3D數(shù)據(jù)交互、報(bào)告預(yù)測預(yù)警和跨部門數(shù)據(jù)敘事時(shí)，質(zhì)量部門便從一個(gè)支持性職能部門，進(jìn)化為驅(qū)動(dòng)產(chǎn)品創(chuàng)新、工藝優(yōu)化和供應(yīng)鏈卓越的“質(zhì)量智能中心”。這不僅是角色的進(jìn)化，更是組織在邁向智能制造過程中，構(gòu)建核心競爭力的關(guān)鍵一躍。
通過這場“升維”革命，質(zhì)量工程師將真正成為用數(shù)據(jù)定義質(zhì)量、用洞察塑造未來的“工業(yè)數(shù)據(jù)科學(xué)家”。
點(diǎn)擊了解更多詳情：eMMA基于CAD和結(jié)構(gòu)樹的數(shù)據(jù)管理系統(tǒng)
展開 北鯤云超算平臺(tái)如何為生命科學(xué)研究提供數(shù)據(jù)歸檔與存儲(chǔ)服務(wù)？
北鯤云超算平臺(tái)如何為生命科學(xué)研究提供數(shù)據(jù)歸檔與存儲(chǔ)服務(wù)？
在人工智能、計(jì)算機(jī)、大數(shù)據(jù)等技術(shù)飛快演進(jìn)的大背景下，生命科學(xué)如何與它們互相交叉、融合、滲透乃至賦能，實(shí)現(xiàn)乘法效應(yīng)甚至指數(shù)級(jí)效應(yīng)，已成為全球科學(xué)界新的風(fēng)口趨勢。這也是北鯤云超算平臺(tái)自成立以來始終在嘗試做的事情。
作為生命科學(xué)的基礎(chǔ)學(xué)科，從全球來看，DNA測序儀每年能產(chǎn)生大約150億兆（PB）字節(jié)的數(shù)據(jù)（這一數(shù)據(jù)仍在迅速增長）；而1PB就是1000個(gè)TB。要想把150億兆字節(jié)的數(shù)據(jù)刻錄到大容量DVD中，刻出來的光盤摞起來能達(dá)到2.5英里高，而這僅僅是原始數(shù)據(jù)。顯微圖片等表型信息的實(shí)驗(yàn)數(shù)據(jù)甚至?xí)杀对黾哟鎯?chǔ)的問題。面對有數(shù)百億兆之多的數(shù)據(jù)，同時(shí)又要確保這些數(shù)據(jù)的快速共享，當(dāng)然需要借助云計(jì)算平臺(tái)。
毋庸置疑的是，如今生物學(xué)根本離不開計(jì)算機(jī)的幫助。事實(shí)上，“生物信息學(xué)”這個(gè)全新的科學(xué)學(xué)科已悄然興起，用于分類、研究不斷增長的生物學(xué)新信息。同樣是在云計(jì)算的加持之下谷歌旗下的DeepMind公司讓蛋白質(zhì)結(jié)構(gòu)預(yù)測取得了突破性進(jìn)展，其研發(fā)的AlphaFold2，可以說是蛋白質(zhì)結(jié)構(gòu)預(yù)測的里程碑。蛋白質(zhì)是生命的物質(zhì)基礎(chǔ)，每個(gè)蛋白質(zhì)的氨基酸鏈扭曲、折疊、纏繞成復(fù)雜的結(jié)構(gòu)。科學(xué)界采用了多種技術(shù)手段解析這種結(jié)構(gòu)，都需要花很長的時(shí)間，甚至難以完成。但通過云計(jì)算能夠大大加速蛋白質(zhì)的結(jié)構(gòu)預(yù)測進(jìn)程。值得一提的是，北鯤云超算平臺(tái)已經(jīng)預(yù)安裝了AlphaFold2，用戶在登陸后可以直接使用該軟件。
除了能夠加速科研進(jìn)程之外，云計(jì)算的另一個(gè)優(yōu)勢在于數(shù)據(jù)歸檔，這也是研究人員在跟北鯤云超算平臺(tái)簽署服務(wù)器租約最關(guān)心的問題。如果北鯤云超算SaaS平臺(tái)因?yàn)槟撤N原因關(guān)閉，或者研究人員決定換成不同的系統(tǒng)，北鯤云超算SaaS平臺(tái)也會(huì)明確給出提取數(shù)據(jù)的路徑。
展開 Python數(shù)據(jù)科學(xué)的相關(guān)專題、標(biāo)簽、搜索
Python數(shù)據(jù)科學(xué)Python數(shù)據(jù)科學(xué)手冊一英文版數(shù)據(jù)科學(xué)工程數(shù)據(jù)科學(xué)Python數(shù)據(jù)處理Python網(wǎng)絡(luò)數(shù)據(jù)采集 python數(shù)據(jù)科學(xué)指南python科學(xué)計(jì)算python 科學(xué)計(jì)算媒介社會(huì)科學(xué)數(shù)據(jù)結(jié)構(gòu)數(shù)據(jù)驅(qū)動(dòng)的科學(xué)和工程python科學(xué)計(jì)算第基礎(chǔ)教程
