無(wú)論哪種方法，開(kāi)發(fā)各類機(jī)器學(xué)習(xí)模型是使學(xué)習(xí)機(jī)準(zhǔn)確執(zhí)行新的、未知樣本或任務(wù)。然后，機(jī)器可以通過(guò)不斷學(xué)習(xí)改進(jìn)這些模型。
“開(kāi)發(fā)適合數(shù)據(jù)的正確模型就像‘金發(fā)姑娘’(Goldilocks)，” Thompson說(shuō)。“我們希望不多不少恰到好處。”圖1是“過(guò)少”擬合或欠擬合的例子，圖中捕獲數(shù)據(jù)突出模式的預(yù)測(cè)模型過(guò)于簡(jiǎn)單。這種模型不能很好地解決未來(lái)樣本的工作。Thompson說(shuō)：“簡(jiǎn)約模型好的方面是條件非常少，但這種模型不能很好地完成擬合工作。”
圖1: 欠擬合。
圖 2 過(guò)擬合，圖中預(yù)測(cè)模型過(guò)于復(fù)雜。Thompson 解釋說(shuō)：“當(dāng)我試圖分析新群體時(shí)，這種模型泛化不是很好。我想用參數(shù)比較少的方法–也許使用罰函數(shù)或保持函數(shù)–找到更適合數(shù)據(jù)的模型。”
數(shù)據(jù)科學(xué)家經(jīng)常使用保持?jǐn)?shù)據(jù)的均方差或誤判率來(lái)衡量模型是否過(guò)擬合。但Thompson指出：“一些機(jī)器學(xué)習(xí)算法可以考慮您的模型，看看使用的變量是否過(guò)多，并用較少的變量自動(dòng)調(diào)整模型。”
數(shù)據(jù)科學(xué)家需要考慮任何復(fù)雜性和規(guī)模的數(shù)據(jù)，建立大小適合這些數(shù)據(jù)的模型。他們可能需要考慮所有數(shù)據(jù)或數(shù)據(jù)集建立精確的模型。
更強(qiáng)大的機(jī)器學(xué)習(xí)算法之一是隨機(jī)森林，它已成為數(shù)據(jù)挖掘的強(qiáng)大工具。隨機(jī)森林采用單個(gè)決策樹(shù)并將這們組合在一起。新的輸入進(jìn)入系統(tǒng)后經(jīng)過(guò)所有樹(shù)。給出經(jīng)過(guò)的所有終端節(jié)點(diǎn)的平均值或加權(quán)平均值。
Thompson 解釋說(shuō)，“如果我圍繞隨機(jī)森林構(gòu)建，我可以基于大量隨機(jī)數(shù)據(jù)子集建立決策樹(shù)，然后對(duì)其進(jìn)行平均，建立最終模型。我還可以在決策樹(shù)建立過(guò)程中，將不同的變量分在每個(gè)分割點(diǎn)。如果我有 100 個(gè)變量，我可以僅在分割點(diǎn)隨機(jī)查看10 個(gè)變量;所以我不僅可以重排觀測(cè)值，而且可以重排數(shù)據(jù)。”雖然單一決策樹(shù)受高方差或高偏差的影響，但這樣可以平衡兩個(gè)極值。
新技術(shù)可以查詢計(jì)算機(jī)隨機(jī)存取存儲(chǔ)器 (RAM) 中保存的，以及分布式計(jì)算環(huán)境中的數(shù)據(jù)，將處理分在多臺(tái)計(jì)算機(jī)上進(jìn)行，例如內(nèi)存分析。因此，數(shù)據(jù)科學(xué)家可比以往更快地建立隨機(jī)森林。
在機(jī)器學(xué)習(xí)模型用于數(shù)據(jù)挖掘業(yè)務(wù)應(yīng)用方面，Thompson指出：“客戶往往不知道他們與客戶合作的預(yù)期利潤(rùn)或成本。采用SAS®企業(yè)級(jí)數(shù)據(jù)挖掘器™ (SAS® Enterprise Miner™)進(jìn)行預(yù)測(cè)建模時(shí)，我盡量選擇能夠最大化利潤(rùn)或收入的模型。例如，如果我們做與客戶在哪方面合作的決定，這不是肯定或否定的決定。相反，我要確定這個(gè)決定可以產(chǎn)生的預(yù)期收入。將這種要求加入模型中是非常重要的。”
模型建立之后，需要進(jìn)行驗(yàn)證，以確定是否能夠做出有效預(yù)測(cè)。通常，數(shù)據(jù)科學(xué)家采用訓(xùn)練數(shù)據(jù)集開(kāi)發(fā)模型，然后利用已知樣本外數(shù)據(jù)測(cè)試模型。
如果沒(méi)有足夠數(shù)據(jù)在一定程度上支持回歸測(cè)試，Thompson說(shuō)，“人們一般要做數(shù)據(jù)隨機(jī)二次抽樣或隨機(jī)分層二次抽樣。您還可以使用K-折交叉驗(yàn)證或留一法 (LOO) 交叉驗(yàn)證等技術(shù)。”
不過(guò)，Thompson指出，“如果有一百萬(wàn)觀察值，事件發(fā)生率為1%，我覺(jué)得可以通過(guò)評(píng)估所有數(shù)據(jù)來(lái)了解是否可以分類或預(yù)測(cè)事件。某些事件發(fā)生率很小的情況，如欺詐，我發(fā)現(xiàn)可以使用過(guò)采樣糾正原始數(shù)據(jù)集偏差，開(kāi)發(fā)偏重小概率事件的有偏樣本建立更好的模型。”
有些開(kāi)發(fā)的模型用于數(shù)據(jù)庫(kù)營(yíng)銷中評(píng)估客戶。例如，營(yíng)銷人員需要知道哪些客戶最有可能購(gòu)買針對(duì)特定客戶提供特別優(yōu)惠的產(chǎn)品。營(yíng)銷工作還可以包括概率通常稱為響應(yīng)率非常低的事件–一般在 1%以內(nèi)。
“如果評(píng)估我在數(shù)據(jù)庫(kù)營(yíng)銷中使用的模型，” Thompson 說(shuō)，“我可以使用統(tǒng)計(jì)了解特定文件深度條件下，模型的提升或表現(xiàn)。我可能對(duì)模型整體誤判率不感興趣。我只有1%響應(yīng)率，
因此零模型99%準(zhǔn)確。所以，我首先開(kāi)發(fā)預(yù)測(cè)，生成提升的預(yù)測(cè)模型，然后選擇一定深度條件下最大提升的模型。”
您可能也喜歡這些文章
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來(lái)，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
