端到端學習的案例
基于模型的自動駕駛汽車端到端深度強化學習策略
MILE模型可以根據過去的上下文想象未來的潛在狀態，并使用它們來利用學習到的駕駛策略來規劃和預測行動。未來狀態也可以通過解碼器可視化和解釋。
在本文中，將介紹基于模型的模仿學習 MILE。該模型可用于學習自動駕駛車輛的協同控制并對世界環境進行動態建模。
基于端到端模型學習概述
端到端的學習過程可以僅根據高維視覺觀察預測駕駛命令來提高性能。有條件的模仿學習是學習端到端駕駛策略的一種有效方法，這種方法可以部署在模擬和現實城市駕駛場景中。盡管如此，從高維視覺觀察和專家軌跡中學習端到端策略仍然是相對非常困難的。已有一些算法試圖通過超越純粹的模仿學習來克服這些困難。比如提出迭代數據集聚合，其方法是在部署期間可能經歷的軌跡收集相應的數據。其次，還可以使用 BeV 語義分割來監督模型，讓學習者接觸專家數據的綜合擾動，以產生更穩健的駕駛策略。從所有車輛中學習（LAV）中不僅可以學習自車行為，還可以學習場景中其他所有車輛的行為，從而提高了樣本效率。此外，通過構建一個在強化學習教練來監督和訓練相應的智能體。
1、城市場景學習
駕駛本質上需要對環境有幾何理解，MILE 首先將圖像特征提升到 3D 空間并將其匯集到鳥瞰圖 (BeV) 表示中，從而利用 3D 幾何作為重要的歸納偏差。世界的演化是通過潛在動力學模型來建模的，該模型從觀察和專家行為中推斷出緊湊的潛在狀態。學習到的潛在狀態是輸出車輛控制的駕駛策略的輸入，并且還可以解碼為 BeV 分段以進行可視化并作為監督信號。
展開 自動機器學習綜述
在探討每個過程之前，讓我們簡要地討論端到端機器學習流程，并指出每個過程在該流程中發生的位置。
端到端機器學習流程
從上面的圖可以明顯看出，機器學習流程不僅僅包括建模階段。它還包括「問題定義、數據收集和部署」。這篇博文的重點仍將放在“「建模」”和“「部署」”階段。這就是我們想從自動化的角度來探索的。如果建模和部署階段可以自動化，那么專家就可以更多地關注問題定義、數據理解、遵守道德標準，并確保部署的模型為業務生成有影響的見解，而不會引起任何道德問題。
對于建模和部署階段的每個部分，我們將探索來自開源社區、供應商（如谷歌、Microsoft和Amazon）和其他參與者的框架。
自動特征工程
通常情況下，機器學習算法的良好性能在很大程度上取決于模型使用的「特征的質量」。對于數據科學家來說，特征工程是一項非常手工和勞動密集型的任務，它涉及大量的試驗和錯誤、深入的領域知識，以及（目前）機器不擅長的東西：直覺。自動化特征工程的目的是「迭代地創建新的特征集」，直到ML模型達到令人滿意的準確度分數。現在讓我們來框定我們試圖自動化的過程。
功能工程流程通常是這樣的：收集數據集，例如，從電子商務網站收集關于客戶行為的數據集。作為一個數據科學家，你通常會喜歡創建新的功能，如果還沒有在數據中，如：
“客戶下單的頻率”
“上次購買后的天數或小時數”
“顧客通常購買的商品類型”
其目的是創建一種算法，「自動從數據生成或綜合這些類型的特征」。現在我們將列出并簡要描述一些用于自動化特性工程的框架。
展開 探討如何構建端到端高置信度驗證體系？
例如，Waymo提出的Sim Agent[9]等模型，旨在學習一種能夠對其他智能體行為和Ego車規劃做出真實反應的策略.
（2）置信度驗證方法與模型對齊
指標定義：軌跡精度：與高精度真值軌跡對比，計算RMSE、MAE等指標，工程標準通常要求關鍵場景下軌跡誤差<10厘米。
時序指標：TTC、THW（車頭時距）偏差分析，確保交互行為的時序一致性。
行為一致性：對比仿真與真實場景中車輛的關鍵行為決策點（如變道發起時刻、剎車點）是否一致。
交通流參數對比：在特定路段，對比仿真的交通流量（veh/h）、平均速度和密度是否與真實世界的觀測數據（如來自線圈檢測器的數據）匹配。
場景多樣性與稀有事件頻率：評估仿真平臺生成“邊緣場景”的能力，并驗證這些關鍵場景出現的頻率是否符合真實世界的統計規律，避免過度生成或缺失
統計建模：對于無法精確復現的隨機行為（如行人意圖），可采用統計建模方法，確保其行為分布在統計上與真實世界一致，并使用置信區間（CI）、偏差（Bias）和方差（Variance）來評估模型置信度。
（3）標準化驗證流程：
環境搭建：在測試場進行標準的車輛動力學測試（如雙移線、階躍轉向）。
數據采集：記錄車輛的輸入（方向盤轉角、制動壓力）和狀態輸出（車速、加速度、橫擺角速度）。
數據分析：在仿真中輸入相同的控制序列，對比仿真動力學模型的輸出與實車數據的差異。
模型迭代：調整動力學模型參數（如輪胎魔術公式參數、懸掛剛度），直到仿真與實測的響應曲線RMSE在預設范圍內（如橫擺角速度誤差<5%）[10]。
系統精度驗證：在HIL環境中，端到端測量從仿真場景生成到ECU接收到信號的總時延，確保其滿足實時性要求，并通過對比原始路采數據和回放數據，驗證行為的一致性。
展開 解鎖端到端仿真新可能 ：全新aiSim 6 即將發布
01 前言
隨著端到端自動駕駛從學術探索走向規模化應用，無論是特斯拉 FSD 神經模擬器、Waymo 基于 DeepMind Genie 3 的世界模型，還是國內主流車企的數據閉環體系，均在表明仿真系統的定位已從傳統測試執行工具，升級為支撐算法訓練的核心數據基礎設施。
尤其需要重視的是，端到端模型直接消費傳感器數據進行訓練，這對仿真提出了三個過去從未被充分重視的要求：
其一，光照覆蓋的系統性缺口。 3D Gaussian Splatting（3DGS）已成為業界神經場景重建的主流路線之一，但其結構性局限在于：光照信息被"烘焙"進點云，無法動態調整。一條在正午采集的路段，無法在不重新出行采集的情況下還原為夜間或雨后場景——而端到端模型需要在所有光照條件下都有足夠的訓練樣本。
其二，長尾邊緣場景的物理真實性缺失。 落葉被氣流卷起、雨天水花飛濺、井蓋蒸汽彌漫——這些在真實道路上極低頻率出現的物理現象，恰恰是傳感器容易誤判的高風險場景。傳統仿真無法對這類流體動力學效應進行物理級建模，導致算法在此類場景下的泛化能力無法被有效驗證。
其三，場景生成效率與算法迭代速度的錯配。 端到端模型對場景多樣性的需求呈指數級增長，但 OpenSCENARIO 場景的手工編寫效率幾乎沒有本質改變。當算法團隊每周迭代，而測試場景庫每季度才能更新，驗證管線就會成為整個研發體系的瓶頸。
面向上述背景的下一代自動駕駛開發范式，aiSim 6 針對端到端模型訓練與驗證的核心痛點，進行了非常規版本迭代，而是在神經渲染、AI 場景工作流、物理仿真三大領域進行系統性重構，并計劃于2026 年上半年正式發布
02 全新aiSim 6即將發布
這不是一次常規版本迭代——aiSim 6 是針對下一代自動駕駛開發范式的系統性重構，在神經渲染、AI 原生工作流、物理仿真三個維度同步推進。
展開 
端到端為基礎的自動駕駛開發技術
一種生產自動駕駛車輛的新方法已經開始在行業內得到普及，它涉及使用攝像機和機器學習。神經網絡能夠通過從人類駕駛提供的數據中學習來控制車輛。攝像機提供的圖像被記錄下來，并標上各自的車輛控制值，作為神經網絡的訓練和驗證數據。如果這種神經網絡方法能夠匹配或改進基于激光雷達的系統的自動駕駛性能，那么自動駕駛汽車的成本將大大降低，因為廉價的相機是唯一需要的傳感器。端對端控制也消除了建立任何條件性駕駛算法和設置任何預先定義的參數的需要。
英偉達公司創建了他們自己的端到端駕駛神經網絡架構，名為PilotNet，這是一個卷積神經網絡，通過使用前置攝像頭拍攝的圖像像素來學習控制車輛，并將其直接映射為轉向命令。該網絡從人類駕駛員記錄的數據中學習。
為這兩種方法提供公平的比較，對于支持英偉達的PilotNet等端到端神經網絡是否是未來自主車輛設計的可行方法非常有用，因為減少其生產時間和成本可以使其更接近商業化。
用于自動駕駛汽車開發的 NVIDIA DRIVE 系列產品涵蓋了從汽車到數據中心的所有內容。DRIVE Hyperion是車載解決方案，它是一個汽車架構，包括傳感器、用于計算的DRIVE AGX，以及強大的自動駕駛和智能駕駛艙功能所需的軟件工具。在數據中心，NVIDIA提供了AV開發所需的硬件和軟件，包括用于訓練DNN感知的NVIDIA DGX，以及用于生成數據集和驗證整個AV堆棧的DRIVE Sim。
（歡迎申請加入智能駕駛交流學習群，加小編微信號zhijiashexiaoming）
展開 Ansys助力增材制造聯合研究，推動半導體行業端到端產品創新
企業可以使用Ansys增材制造套件來分析從原始設計到最終成品的端到端增材制造流程，而不僅是計算物理力來確保滿足性能指標。”
與鑄造或鍛造部件相比，通過增材制造技術生產的部件具有迥然不同的特性。而深度多物理場仿真有助于詳細分析此類部件在現實環境中的受力反應。ESSS工程與業務拓展副總裁Rahul Bharadwaj稱： “具體而言，由于3D打印流程采用粉末為原料的工件成型方式，準確預測顆粒行為就至關重要。分布均勻度、尺寸范圍和密度參數又增加了物理復雜性。ESSS的旗艦離散元產品Rocky DEM有助于工程師了解和解決與變形、容差和構建失敗有關的問題。”
英特格副首席技術官Montray Leavy表示：“雖然我們研究的主要內容將集中在3D打印工藝上，但最終產品是由終端用戶開發的組件，必須根據其所在的工程系統進行分析。基于這個目的，我們選擇了Ansys和Rocky DEM軟件，主要是因為他們具有先進的技術、準確建模和仿真顆粒/組件行為的出色功能、物理功能的深度和廣度，以及建模完整的制造流程的能力。”
聯合研發合作伙伴對解決傳統制造中目前面臨的設計難題持樂觀態度，他們相信由此帶來的3D打印技術將惠及半導體行業以外的眾多行業，包括航空航天、醫療和能源。
英特格將在新加坡科技研究局（A*STAR）制造技術研究所（SIMTech）支持的聯合實驗室使用Ansys和ESSS提供的仿真軟件。該實驗室成立于今年年初，致力于探索增材制造領域的新產品設計功能和市場機遇。
展開 Ansys助力增材制造聯合研究，推動半導體行業端到端產品創新
企業可以使用Ansys增材制造套件來分析從原始設計到最終成品的端到端增材制造流程，而不僅是計算物理力來確保滿足性能指標。”
與鑄造或鍛造部件相比，通過增材制造技術生產的部件具有迥然不同的特性。而深度多物理場仿真有助于詳細分析此類部件在現實環境中的受力反應。ESSS工程與業務拓展副總裁Rahul Bharadwaj稱： “具體而言，由于3D打印流程采用粉末為原料的工件成型方式，準確預測顆粒行為就至關重要。分布均勻度、尺寸范圍和密度參數又增加了物理復雜性。ESSS的旗艦離散元產品Rocky DEM有助于工程師了解和解決與變形、容差和構建失敗有關的問題。”
英特格副首席技術官Montray Leavy表示：“雖然我們研究的主要內容將集中在3D打印工藝上，但最終產品是由終端用戶開發的組件，必須根據其所在的工程系統進行分析。基于這個目的，我們選擇了Ansys和Rocky DEM軟件，主要是因為他們具有先進的技術、準確建模和仿真顆粒/組件行為的出色功能、物理功能的深度和廣度，以及建模完整的制造流程的能力。”
聯合研發合作伙伴對解決傳統制造中目前面臨的設計難題持樂觀態度，他們相信由此帶來的3D打印技術將惠及半導體行業以外的眾多行業，包括航空航天、醫療和能源。
英特格將在新加坡科技研究局（A*STAR）制造技術研究所（SIMTech）支持的聯合實驗室使用Ansys和ESSS提供的仿真軟件。該實驗室成立于今年年初，致力于探索增材制造領域的新產品設計功能和市場機遇。
*英特格由CAD-IT、Rocky DEM以及Ansys在新加坡的優秀渠道合作伙伴提供支持。
展開 直播 I 面向電池行業新一代數字化研發創新平臺（設計、制造、生產端到端）
直播內容
結合案例深入分享面向電池領域的一體化創新協作平臺：從市場需求到產品定義、從產品定義到產品/項目組合管理，從材料篩選、配方開發到電芯設計，從工程到制造，基于真正的“單一數據源”實現端到端的協作體驗。
直播時間
2022年8月30日 14:00-15:00
講師介紹
楊宜鈞
達索系統 Battery & NEV
行業高級顧問
報名方式
點擊鏈接 免費報名直播
https://3ds.tbh5.com/dianchi/EventDetail.aspx?eid=696&f=jishulin
END
MDS 與MATRIXX Software攜手為數字服務提供商提供端到端解決方案
這種功能強大的解決方案可以為數字服務提供商提供新的服務能力，從而實現完全端到端的客戶體驗。
MDS用事實證明，其可以成功幫助服務提供商迅速開展服務并從中獲益。MATRIXX通過為實時融合收費和政策提供新的專利技術來增強這一戰略，其技術經驗證足以應對4G網絡和先進設備的數字交易浪潮。整合的解決方案提供了如今數字服務提供商競爭所需的靈活和創新。
MDS的首席執行官Mark Edwards 表示：“CMP與MATRIXX的結合意味著數字服務提供商可加速推行新的服務主張，推動改善客戶參與。我們相信，與MATRIXX的合作可以讓數字服務提供商有能力提供改變競爭的解決方案，進而改變他們與客戶的關系。”
MATRIXX Software創始人、首席執行官兼首席技術官Dave Labuda表示：“我們與MDS攜手為市場開創了客戶體驗與個性化的新時代，為此我們備感自豪。整合的解決方案為服務提供商提供了部署數字能力的快速通道，讓他們在行業中脫穎而出。”
關于MDS
MDS是領先的融合實時收費、計費和客戶管理解決方案的提供商，可以讓數字服務提供商迅速準確地將產品或服務貨幣化并計費。其管理服務解決方案可以支持客戶并提供較低的總擁有成本，并以單視圖平臺提升客戶體驗。
MDS總部位于英國， 采用其管理服務解決方案的客戶橫跨歐洲和北美，包括BT Business Mobile、Dixons Carphone、eircom Business、TalkTalk Business 和Telefónica UK。
詳情請訪問 www.mdscem.com.
展開 基于深度學習的超分辨率圖像技術一覽
亞像素層也是端到端學習的上采樣層，通過卷積生成多個通道然后重新整形，如圖所示。首先卷積產生具有s2倍通道的輸出，其中s是上采樣因子（b）。假設輸入大小為h×w×c，則輸出大小為h×w×s2c。之后，執行整形（shuffle）操作產生大小為sh×sw×c的輸出（c）。感受野大小可以達到3×3。
由于端到端的上采樣方式，亞像素層也被SR模型廣泛使用。與轉置卷積層相比，亞像素層的最大優勢是具有較大的感知場，提供更多的上下文信息，能幫助生成更準確的細節。然而，亞像素層的感受野的分布是不均勻的，塊狀區域實際上共享相同的感受野，這可能導致在塊邊界附近的一些畸變。
各種深度學習的模型已經被用于SR，如圖所示。
ResNet學習殘差而不是徹底的映射，已被SR模型廣泛采用，如上圖（a）所示。其中，殘差學習策略可以大致分為兩種類型，即全局和局部殘差學習。
由于超分辨率是圖像到圖像的轉換任務，其中輸入圖像與目標圖像高度相關，全局殘差學習僅學習兩個圖像之間的殘差。在這種情況下，它避免學習從完整圖像到另一個圖像的復雜轉換，而只需要學習殘差圖來恢復丟失的高頻細節。由于大多數區域殘差接近于零，模型的復雜性和學習難度都大大降低。這種方法在預上采樣的SR框架普遍采用。
局部殘差學習類似于ResNet的殘差學習，用于緩解不斷增加的網絡深度引起的退化問題并提高學習能力。
實踐中，上述方法都是通過快捷連接（通常有小常數因子的縮放）和逐元素加法操作實現的。區別在于，前者直接連接輸入圖像和輸出圖像，而后者通常在不同深度的網絡中層之間添加多個快捷方式。
展開 集成多組學數據的機器學習在生物醫學中的應用
高維組學數據的預處理框架
常用數據預處理方法：缺失值填補，標準化，歸一化，對數轉化
常用的降維方法，PCA，tSNE等
數據探索分析（EDA）
2 案例實踐教學二：利用Python讀取組學CSV數據并進行數據探索可視化分析（Exploratory data analysis,EDA）
經典機器學習模型及多組學應用
目標：對在多組學整合分析中最常使用的幾種機器學習模型進行介紹，總結它們的優缺點及適用范圍，通過動手實踐快速掌握幾種方法
線性模型（線性回歸、梯度下降、正則化、回歸的評價指標）
決策樹（決策樹原理、ID3算法、C4.5算法、CART算法）
支持向量機（線性支持向量機、可分、不可分支持向量機）
集成學習（AdaBoost和GBDT算法、XGBoost算法、LightGBM算法）
模型選擇與性能優化（數據清洗、特征工程、數據建模）
Scikit-learn機器學習庫的使用
2 案例實踐三：基于轉錄組學數據進行端到端的機器學習項目泛癌預測（數據預處理，數據建模，模型評估）
2 案例實踐四：基于蛋白組學-代謝組學在COVID-19中生物標志物的發現
深度學習在組學數據的應用 (入門及實踐)
目標：隨著高通量組學平臺的發展，生物醫學研究大多采取了多組學技術結合的方法，不同組學來源（如轉錄組學、蛋白質組學和代謝組學）的數據可以通過基于深度學習的預測算法進行整合，以揭示系統生物學的復雜工作。在這一部分我們會重點對基于深度學習的神經網絡進行系統的講解，學習常見的神經網絡架構在多組學分析的應用。
展開 
吳恩達：最新的28張圖，全解深度學習知識！
其它學習方法
機器學習和深度學習當然不止監督學習方法，還有如遷移學習、多任務學習和端到端的學習等。
卷積網絡
13. 卷積神經網絡基礎
計算機視覺任務涉及的數據體量是特別大的，一張圖像就有上千個數據點，更別提高分辨率圖像和視頻了。這時用全連接網絡的話，參數數量太大，因而改用卷積神經網絡（CNN），參數數量可以極大地減小。CNN 的工作原理就像用檢測特定特征的過濾器掃描整張圖像，進行特征提取，并逐層組合成越來越復雜的特征。這種「掃描」的工作方式使其有很好的參數共享特性，從而能檢測不同位置的相同目標（平移對稱）。
卷積核對應的檢測特征可以從其參數分布簡單地判斷，例如，權重從左到右變小的卷積核可以檢測到黑白豎條紋的邊界，并顯示為中間亮，兩邊暗的特征圖，具體的相對亮暗結果取決于圖像像素分布和卷積核的相對關系。卷積核權重可以直接硬編碼，但為了讓相同的架構適應不同的任務，通過訓練得到卷積核權重是更好的辦法。
展開 機器學習 遷移學習
3.實踐基于Transformer的端到端目標檢測框架的搭建，并在新的數據集上與基于CNN的網絡進行遷移性能的對比。
我們的官網：www.chinaai.org.cn
關注微信公眾號人工智能技術與咨詢了解更多！
深度學習逼近死胡同，拐點已至
來源 | 技術大院
知圈 | 進“域控制器群”請加微13636581676,備注域
【導讀】近年來，AI 在大數據、大模型的深度學習之路上一路狂奔，但很多核心問題依然沒有解決，比如如何讓模型具備真正的理解能力。在很多問題上，繼續擴大數據和模型規模所帶來的收益似乎已經沒有那么明顯了。
在 Robust.AI 創始人、紐約大學名譽教授 Gary Marcus 看來，這預示著深度學習（準確地說是純粹的端到端深度學習）可能就要「撞到南墻」了。整個 AI 領域需要尋找新的出路。
人工智能真正的前路究竟在何方？
言過其實的AI十年
縱觀技術發展史，鮮有哪個方向像 AI 這樣充滿了炒作與虛張聲勢。十年、又十年，AI 雖然偶爾也能出點振奮人心的成果，但總體來講還是言過其實。
剛開始是“專家系統”、后來是“貝葉斯網絡”，接下來是“支持向量機”。2011 年，IBM 打造的 Watson 曾被宣傳為醫學領域的一場革命，但相關部門如今已經被這家藍色巨人拆分出售。
而自 2012 年以來，深度學習成為人們心目中的最新正確路線、創造出價值數十億美元的新市場，也讓 Hinton 這位當代 AI 先驅成功晉升為科學明星。他的論文被引用了驚人的 50 萬次，而且與 Yoshua Bengio 和 Yann LeCun 一起獲得 2018 年的圖靈獎。
跟之前的 AI 先驅們一樣，Hinton 經常強調 AI 掀起的顛覆性變革很快就會到來，而放射學只是其中的一部分。2015 年，就在 Hinton 加入谷歌后不久，英國《衛報》就報道稱該公司即將開發出“具有邏輯、自然對話甚至是調情能力的算法”。
展開 深度學習|基于MobileNet的多目標跟蹤深度學習算法
源自：控制與決策 作者：薛俊韜 馬若寒 胡超芳
摘要
針對深度學習算法在多目標跟蹤中的實時性問題, 提出一種基于MobileNet的多目標跟蹤算法. 借助于MobileNet深度可分離卷積能夠對深度網絡模型進行壓縮的原理, 將YOLOv3主干網絡替換為MobileNet, 通過將標準卷積分解為深度卷積和逐點卷積, 保留多尺度預測部分, 以有效減少參數量. 對于檢測得到的邊框信息, 利用Deep-SORT算法進行跟蹤. 實驗結果表明, 所提出方法在跟蹤效果基本不變的情況下可提升處理速度近50%.
關鍵詞
深度學習 多目標跟蹤 目標檢測 YOLOv3 deep-SORT MobileNet
0 引言
多目標跟蹤是計算機視覺領域的研究熱點, 可應用于交通監測、安防等多個領域, 具有一定的應用價值和挑戰性[1]. 檢測方式可以分為檢測跟蹤和無檢測跟蹤兩類, 前者需要檢測目標后再進行跟蹤; 后者需要在第1幀手動初始化目標, 然后進行跟蹤. 在目標跟蹤中, 涌現出許多具有良好性能的算法, 如SSD[2]、R-CNN[3-4]以及YOLO系列[5-7], 其中YOLOv3[7]算法在檢測跟蹤中體現出較強的優勢.
由于深度學習的發展, 卷積神經網絡模型逐漸替代了傳統手工設計的特征, 提供了一種端到端的處理方法, 精度也大幅提高. 但CNN模型在不斷提高精度的同時, 其網絡深度和尺寸也在成倍增長, 需要GPU來進行加速, 使得基于深度學習的跟蹤算法無法直接應用于移動設備, 導致難以符合實時性要求. 因此降低算法復雜度、提高實時性、簡化和加速模型便成為亟待解決的問題. 文獻[8-10]使用剪枝方法對神經網絡進行網絡壓縮. 文獻[11]提出從零開始訓練低秩約束卷積神經網絡模型的方法, 不僅速度得到提升, 而且在一些情況下模型性能也有所提高.
展開 