1.0Fortune Insighthttps://prime.fortuneinsight.com/web渾水https://prime.fortuneinsight.com/web/posts/author/muddydirtywaterrich600338<blockquote class="wp-embedded-content"><a href="https://prime.fortuneinsight.com/web/posts/863112">在訓練AI的世界中，縮放定律是什麼？｜它如何決定科技巨頭的AI訓練模式？</a></blockquote> <script type='text/javascript'> <!--//--><![CDATA[//><!-- !function(c,d){"use strict";var e=!1,n=!1;if(d.querySelector)if(c.addEventListener)e=!0;if(c.wp=c.wp||{},!c.wp.receiveEmbedMessage)if(c.wp.receiveEmbedMessage=function(e){var t=e.data;if(t)if(t.secret||t.message||t.value)if(!/[^a-zA-Z0-9]/.test(t.secret)){for(var r,a,i,s=d.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),n=d.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),o=0;o<n.length;o++)n[o].style.display="none";for(o=0;o<s.length;o++)if(r=s[o],e.source===r.contentWindow){if(r.removeAttribute("style"),"height"===t.message){if(1e3<(i=parseInt(t.value,10)))i=1e3;else if(~~i<200)i=200;r.height=i}if("link"===t.message)if(a=d.createElement("a"),i=d.createElement("a"),a.href=r.getAttribute("src"),i.href=t.value,i.host===a.host)if(d.activeElement===r)c.top.location.href=t.value}}},e)c.addEventListener("message",c.wp.receiveEmbedMessage,!1),d.addEventListener("DOMContentLoaded",t,!1),c.addEventListener("load",t,!1);function t(){if(!n){n=!0;for(var e,t,r=-1!==navigator.appVersion.indexOf("MSIE 10"),a=!!navigator.userAgent.match(/Trident.*rv:11\./),i=d.querySelectorAll("iframe.wp-embedded-content"),s=0;s<i.length;s++){if(!(e=i[s]).getAttribute("data-secret"))t=Math.random().toString(36).substr(2,10),e.src+="#?secret="+t,e.setAttribute("data-secret",t);if(r||a)(t=e.cloneNode(!0)).removeAttribute("security"),e.parentNode.replaceChild(t,e)}}}}(window,document); //--><!]]> </script><iframe sandbox="allow-scripts" security="restricted" src="https://prime.fortuneinsight.com/web/posts/863112/embed" width="600" height="338" title="“在訓練AI的世界中，縮放定律是什麼？｜它如何決定科技巨頭的AI訓練模式？” — Fortune Insight" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe>https://prime.fortuneinsight.com/web/wp-content/uploads/2025/12/lQsSbwibhW4hcz8FgxdI2XcMAicaIhR4S4TrEEuE6xA.jpeg59973998文章專欄內所有內容均屬Fortune Insight Prime所有。版權所有，翻印必究。 在訓練AI的世界中，縮放定律是什麼？｜它如何決定科技巨頭的AI訓練模式？ 在訓練AI的研究中，有一個名為縮放定律的東西。這條公式，都是AI專家在訓練AI時，透過數據、資料整合，推導出來的。公式是： 當中最重要的變量有兩個，分別是N、D。 N是代表模型參數數量，你可以理解它像人腦中的神經元，如果越多，可塑性便越大。D則是訓練數據。兩者都是越多越好，毫無懸念。 至於其他英文字母，你可以當作是一個常數，通常都不會改變。 從這幾個數據，可以推到出L。L是訓練損失，數字越低越好，代表越少資源浪費。 理論上，無論是N或D的上升，都會導致L越來越少，但兩者的增加，同樣會消耗算力，因此算力在N、D的調配，便顯得十分重要。 當天，在訓練ChatGPT- 3時，它投放了大量資源為模型建立參數，但是只用了大約1/11 的數據量，最終浪費了很多參數。後來，它們調整了N、D的數值，使其平衡了很多，令到L，即損失，降到最低。 不論是增加參數、增加訓練數據，都會增加訓練的成本，皆因這會消耗芯片的算力。所以，現在的科技巨頭，在訓練AI時，都會審視這一條公式，決定將資源放在增加參數，抑或放在增加數據上。 但無論如何，我們可以得出一個結論，就是如果算力不斷增加，理論上N和D的數字可以不斷上升，會越來越少，訓練出來的AI模型會越來越好，這便是為何科技巨頭們，都在不斷增加芯片數量的原因。 ————————————————————————————————————————————————– 好朋友 Brian（亦都是我的長期讀者），是我認識過最講義氣的兄弟之一，我有難的時候，他幫我渡過難關。Brian其中一門業務是資產管理。如果大家有興趣對上市、資產管理、退稅年金，又或者是自願醫保之類相關問題了解更多，尤其是稅季來了。不妨約佢他飲杯咖啡：https://forms.gle/cBdKZfG9iRMk4Yuz8 Trader K 的 NewbieTrade 由資深股票交易員及具投資銀行背景的團隊共同開發的AI引擎，通過深度學習及機器學習演算法，精準分辨出即將展開趨勢嘅股票。化繁為簡變成兩個箭嘴，為投資者做出更準確嘅預測同決策。如果你有興趣搵 Trader K 管理Portfolio，可以到以下連結填寫Google Form：https://forms.gle/nU4qxQg8tefns6gCA 【90後投資經理阿言全權委托投資服務 x 美股AI趨勢交易全權委托投資服務】 炒港股定美股？ Why not both？ 90後投資經理阿言利用 Event-Driven Approach 港股投資策略，多次命中數倍股、十倍股，戰績輝煌。美股方面，90後投資經理阿言團隊聯乘AI趨勢交易團隊，全港首創美股AI趨勢交易全權委托投資服務！如果你有興趣搵90後投資經理阿言管理Portfolio，可以到以下連結填寫Google Form： https://docs.google.com/forms/d/e/1FAIpQLSf0EEY-0BQT-6L98CmavjuUYJGmNaxP6sk0fOgrC43ZcQu68g/viewform?usp=sf_link 慘被 Patreon 打壓！大家都知道，我啲帖文一向爆好多權貴大鑊。我唔知最近得罪咗邊個勢力圈子，成個Patreon俾人連根拔起。為免同大家失去一切聯絡，請大家儘快、緊急、立刻前往我的 Patreon 第二副台「渾水 – 經典閱讀筆記」Patreon 繼續訂閱：https://www.patreon.com/c/muddywaterreadings 最新52萬免息分期套現秘技已出爐（可單獨購買）： https://www.patreon.com/posts/116796429/ 明德金融 – 低差價黃金交易，一世免佣，門欄低，安心交易，現在開戶即送50美元獎賞！開戶連結：https://mingtakfn.com/tc/page/open-account?ref=11168 現凡訂閱【渾水：金融經濟精神食糧（黑會員）】計劃的讀者，可以享用獨家優惠碼，以9折優惠訂閱【渾水 – […]