大家好，我是 KP，歡迎來到第 51 期的《週末思考筆記》。
感謝在市場不好的時候還堅持更新！
這邊想稍稍補充關於MoE那邊的解釋，希望可以 add on 一些 value。
其實MoE 本身很多模型都有在用，可是他們在工程方面優化到了極致。這邊我儘量說得白話一些：
它把模型做得很大（2.8兆的參數量），然後像文章說的只是激活專家模組。可是把模型做得這麼大，如何有效選擇哪一個專家模組來回答本身就是一個難題，可能會導致系統的不穩定。Moonshot 用了一個叫 quantile balancing 的技術，你可以想像成一套更均衡的分配規則，增加專家調度的穩定性，讓這麼大的模型在實際運作時還是能保持可靠的表現。
他們本身還優化了處理超長上下文的能力，開發了自己的 attention 機制（跟其他大多數用的 單一transformer 不同）。Transformer attention 的話，上下文的長度和對記憶體的需求都是平方級增長的。然後他們在處理上下文的時候，會需要把前面處理過的關鍵資訊都收進 KV cache，上下文越長，就會吃記憶體，也會把速度拖慢。Kimi K3 用了 Moonshot 自己開發的 Kimi Delta Attention 機制。比起前面的 transformer，他們用的是混合式的 attention 設計，它試圖在「理解上下文的準確度」和「計算效率」之間取得平衡。透過改變計算的方式，它讓模型在面對極長的內容時，不需要每次都把前面全部資訊重新計算一遍，而是能用更有效率的方式進行累積更新。
然後還有一點很重要的，工程往往都要在資源極度匱乏的時候才可以取得巨大的進化。晶片出口限制反而催生出了更強的技術，所以，某種程度上算是因禍得福吧。
謝謝你的補充!很認同你的結論，有時候就是要條件限制，才能迫出更多突破限制的想法!
感謝補充 ，讓我們再次意識到夾縫求生也能開花～真是感歎科技日新月異，大國間科技戰還在繼續！
頭香
厲害!
這一期每一個主題都是市場仍在消化尚未思考透徹的點, 非常感謝KP精彩的分享, 除了按讚也立馬upgrade to paid
謝謝你的支持 :)
太精彩了，宛如在看另類的「三國演義」。覺得我們太幸運了，得以看見AI進化史。
的確是的，這幾年的演化的確十分精彩!
Thanks for your insight and hard working!
Thank you Ryan
今天終於有時間來把這篇高含金量的文讀完了。給我很多啟發。我知道Kalshi 7 月 14 日正式宣布推出全球首創的 GPU 算力遠期隱含價格曲線（Compute Forward Curves）。不知道之後會不會發關於高階記憶體價格的產品。如果是這樣的話，市場將可以對GPU和記憶體進行更透明的定價，意味著當這些產品都更像是大宗商品時，某個程度上就可作為股價的領先指標吧！個人想法，歡迎大家一起討論！
我相信以後Token，GPU，Memory等等都會變得更透明!
流住眼淚堅持週日早上報到
流着淚一起努力吧!
我覺得未來AI 是有機會繞過硬體裝置的，就像小時看的科幻電影，直接把AI晶片植入大腦或手臂，與人類神經系統共融。其實晶片植入大腦讓本來身體殘疾人士局部恢復活動能力已經在發生（雖然未普及），當然要變成AI晶片這一刻仍是天荒夜談，但，回看過去5年，我們5年前想像到科技是今天這模樣嗎？
這個我也相信，不過不知道要多久，哈哈
谢谢分享
謝謝你!
謝謝好文分享！
幫自己留個筆記，突然想通近期蘋果的股價這麼強勢，除了板塊資金輪動的因素，可能還有AI時代角色的確認。
一直以來，市場對於現有的裝置生態系的在AI時代中扮演的角色，究竟是一個「模型router」還是「AI入口」，還不是很肯定。
但OpenAI想切入硬體的企圖，對蘋果來說不但不是威脅，反而是模型層的王者對AI入口重要性的肯定。
其實蘋果的優勢十分明顯，現在只等他能否做出一款合格的AI硬體產品，在其他人追上來之前
到目前為此蘋果是令人失望的，但他們的優勢仍然十分明顯
非常仔細的邏輯分層, 感謝在這麼短的時間裡繼續產出非常高質量的文章
謝謝你Calvin
每週最期待就是拜讀最完整邏輯解析的週報，市場最恐慌不妨放慢腳步，冷靜思考，謝謝你每週這麼用心寫週報👍
思考十分重要，謝謝你Leo
這週的免費文章也太精彩，所有邁向成熟的產業都不可避免的需要更細緻的分層
對的，其實永遠都是價值在不同層在流動
40年來看多了這種狀況，40年前曾經在一家公司上班，在股市大漲時，買什麼都賺，午餐後，很多人擠在警衛室、餐廳看收盤，股市曾經每天只有漲停，一價到底，之後碰到股市崩盤，也是一價到底，只是是全部跌停，警衞室、餐廳看收盤的人減少，最後只剩2~3個人在警衛室看收盤，我是唯一從頭到尾，沒有一天離開的人，四十年後追漲殺跌的操作習慣已經進化到大跌換股，找誤殺的、跌過頭的好公司分批進場，已經可冷眼旁觀，挑LV跳樓大拍賣的貨色，正如KP說的，Cut、Keep、Add調整持股配置，當然會有點擔心，不過不至於恐慌，一如某個分析師說的你該關心基本面和趨勢的變化，而不是盯著股價漲跌而恐慌。股價震盪波動後，最終還是會回到基本面該有的合理股價，怕你等不到結果被洗出場。有很多時候被Cut的未必是不好，只是ADD的機會更好，所以換掉。
我自己呢，很大原因是因為世界盃，除左要捱夜看球賽，還要追看之後的花邊新聞，還要暑假旅行，所以重心轉移了一點😂
獲益良多!感謝
感謝在市場不好的時候還堅持更新！
這邊想稍稍補充關於MoE那邊的解釋，希望可以 add on 一些 value。
其實MoE 本身很多模型都有在用，可是他們在工程方面優化到了極致。這邊我儘量說得白話一些：
它把模型做得很大（2.8兆的參數量），然後像文章說的只是激活專家模組。可是把模型做得這麼大，如何有效選擇哪一個專家模組來回答本身就是一個難題，可能會導致系統的不穩定。Moonshot 用了一個叫 quantile balancing 的技術，你可以想像成一套更均衡的分配規則，增加專家調度的穩定性，讓這麼大的模型在實際運作時還是能保持可靠的表現。
他們本身還優化了處理超長上下文的能力，開發了自己的 attention 機制（跟其他大多數用的 單一transformer 不同）。Transformer attention 的話，上下文的長度和對記憶體的需求都是平方級增長的。然後他們在處理上下文的時候，會需要把前面處理過的關鍵資訊都收進 KV cache，上下文越長，就會吃記憶體，也會把速度拖慢。Kimi K3 用了 Moonshot 自己開發的 Kimi Delta Attention 機制。比起前面的 transformer，他們用的是混合式的 attention 設計，它試圖在「理解上下文的準確度」和「計算效率」之間取得平衡。透過改變計算的方式，它讓模型在面對極長的內容時，不需要每次都把前面全部資訊重新計算一遍，而是能用更有效率的方式進行累積更新。
然後還有一點很重要的，工程往往都要在資源極度匱乏的時候才可以取得巨大的進化。晶片出口限制反而催生出了更強的技術，所以，某種程度上算是因禍得福吧。
謝謝你的補充!很認同你的結論，有時候就是要條件限制，才能迫出更多突破限制的想法!
感謝補充 ，讓我們再次意識到夾縫求生也能開花～真是感歎科技日新月異，大國間科技戰還在繼續！
頭香
厲害!
這一期每一個主題都是市場仍在消化尚未思考透徹的點, 非常感謝KP精彩的分享, 除了按讚也立馬upgrade to paid
謝謝你的支持 :)
太精彩了，宛如在看另類的「三國演義」。覺得我們太幸運了，得以看見AI進化史。
的確是的，這幾年的演化的確十分精彩!
Thanks for your insight and hard working!
Thank you Ryan
今天終於有時間來把這篇高含金量的文讀完了。給我很多啟發。我知道Kalshi 7 月 14 日正式宣布推出全球首創的 GPU 算力遠期隱含價格曲線（Compute Forward Curves）。不知道之後會不會發關於高階記憶體價格的產品。如果是這樣的話，市場將可以對GPU和記憶體進行更透明的定價，意味著當這些產品都更像是大宗商品時，某個程度上就可作為股價的領先指標吧！個人想法，歡迎大家一起討論！
我相信以後Token，GPU，Memory等等都會變得更透明!
流住眼淚堅持週日早上報到
流着淚一起努力吧!
我覺得未來AI 是有機會繞過硬體裝置的，就像小時看的科幻電影，直接把AI晶片植入大腦或手臂，與人類神經系統共融。其實晶片植入大腦讓本來身體殘疾人士局部恢復活動能力已經在發生（雖然未普及），當然要變成AI晶片這一刻仍是天荒夜談，但，回看過去5年，我們5年前想像到科技是今天這模樣嗎？
這個我也相信，不過不知道要多久，哈哈
谢谢分享
謝謝你!
謝謝好文分享！
幫自己留個筆記，突然想通近期蘋果的股價這麼強勢，除了板塊資金輪動的因素，可能還有AI時代角色的確認。
一直以來，市場對於現有的裝置生態系的在AI時代中扮演的角色，究竟是一個「模型router」還是「AI入口」，還不是很肯定。
但OpenAI想切入硬體的企圖，對蘋果來說不但不是威脅，反而是模型層的王者對AI入口重要性的肯定。
其實蘋果的優勢十分明顯，現在只等他能否做出一款合格的AI硬體產品，在其他人追上來之前
到目前為此蘋果是令人失望的，但他們的優勢仍然十分明顯
非常仔細的邏輯分層, 感謝在這麼短的時間裡繼續產出非常高質量的文章
謝謝你Calvin
每週最期待就是拜讀最完整邏輯解析的週報，市場最恐慌不妨放慢腳步，冷靜思考，謝謝你每週這麼用心寫週報👍
思考十分重要，謝謝你Leo
這週的免費文章也太精彩，所有邁向成熟的產業都不可避免的需要更細緻的分層
對的，其實永遠都是價值在不同層在流動
40年來看多了這種狀況，40年前曾經在一家公司上班，在股市大漲時，買什麼都賺，午餐後，很多人擠在警衛室、餐廳看收盤，股市曾經每天只有漲停，一價到底，之後碰到股市崩盤，也是一價到底，只是是全部跌停，警衞室、餐廳看收盤的人減少，最後只剩2~3個人在警衛室看收盤，我是唯一從頭到尾，沒有一天離開的人，四十年後追漲殺跌的操作習慣已經進化到大跌換股，找誤殺的、跌過頭的好公司分批進場，已經可冷眼旁觀，挑LV跳樓大拍賣的貨色，正如KP說的，Cut、Keep、Add調整持股配置，當然會有點擔心，不過不至於恐慌，一如某個分析師說的你該關心基本面和趨勢的變化，而不是盯著股價漲跌而恐慌。股價震盪波動後，最終還是會回到基本面該有的合理股價，怕你等不到結果被洗出場。有很多時候被Cut的未必是不好，只是ADD的機會更好，所以換掉。
我自己呢，很大原因是因為世界盃，除左要捱夜看球賽，還要追看之後的花邊新聞，還要暑假旅行，所以重心轉移了一點😂
獲益良多!感謝