開箱大推薦

博翔科技為專業機械設備歐規/台灣TS標章/美規及半導體設備SEMI S2輔導顧問公司

博翔對於各類機械的安全技術 安全開關 安全模組 安全繼電器模組 安全繼電器 緊急停止 安全元件 歐盟電路設計 安全迴路 安全設計

由於科技的進步，各種無線通訊設備及數位裝置技術的高度發展，電磁干擾已成為電子時代中世界各國關注的問題。

機械產品的製造為迎向消費市場需求，亦朝向高速度、高精度、自動化且大量使用數值控制而使機械產品電磁干擾問題更加複雜

而博翔科技協助您解決相關安全技術問題以專業級檢測與規畫經驗並協助各種機械廠快速獲得相關認證

邀請您一起邁向世界的安全技術頂端

請立即點擊上方圖片了解更多細節吧！

好文分享

後臺收到一些旁友的留言，想學習AB測試相關知識，但市面上的教程要麼太「正式」，要麼知識點比較零散。今天給大家分享的這篇文章，可謂既乾貨又生動活潑： 讓我們想像一下，在公司的某產品研發討論會上…… 「這個功能要不要上？」 「我覺得沒問題，XX指標肯定能漲一大截。」 「我不這麼想，XX指標說不定也會受到影響，你不能只想著可能的收益呀。」 blahblah無限循環爭吵中…… 「好啦，別吵了，讓我們開個AB看一下效果吧。」 當現在越來越多的app都已經日活百萬千萬，新功能是絕對不敢、也絕無必要輕易上線的。（因為一旦全量上線引起用戶反感，損失不可估計。）這個時候，AB實驗就成為了大型功能上線前的必備利器——進行小流量的測試，利用測試的效果來預估上線後的效果。 OK，那一個AB實驗開啟了之後，我們（常常是數據分析師）該怎麼評估這個AB實驗的效果，給出這個需求到底要不要上線的分析結論呢？這就是本文的重點所在了。 一個合格的分析師，可以問自己以下幾個問題： 我怎麼衡量一個指標是否有顯著變化？ 當你看到指標顯著時：是真的顯著嗎？ 當你看到指標不顯著時，是真的不顯著嗎？ 一個合適的AB實驗指標判斷結論怎麼給出？ 我會遇到哪些問題、分別應該怎麼處理？ 接下來，讓我們一起看看這些問題該怎麼解答吧~ 我怎麼衡量一個指標是否有顯著變化？ 結論：利用p值進行判斷，一般來說p值<0.05，認為指標有顯著變化。 原因：假設檢驗的相關知識。 嗯……AB實驗就是一種假設檢驗嗎？那假設檢驗是怎麼一回事呢？ 這裡我舉一個公開課里看到的例子。非常生動形象。看看我們在一個實際的Case中，怎麼拒絕/接受一個假設的。 背景：神經學家測試一種藥物對小老鼠反應時間的影響，給實驗組100隻小老鼠注釋某種藥物。神經學家知道，沒有注射藥物的老鼠平均反應時間是1.2s，注射了藥物的老鼠平均反應時間1.05s，樣本標準差0.5s。你認為這個藥物對於老鼠的反應時間有影響嗎？ 依照我們上面說的步驟逐步拆解： 我們先假設藥物是沒有影響的。（H0：藥物無影響。ps.此處還有一個備擇假設H1：藥物有影響） 如果藥物沒有影響，換句話說，實驗組的小鼠在注射藥物之後，他們的反應時間均值應該是1.2s。 假設總體小鼠的反應均值就應該是1.2s，那麼我們得到的這個樣本——平均反應時間1.05s的機率是多大？ 求解： （1）已知總體均值為1.2s ； （2）已知樣本均值為1.05s ，樣本標準差0.5s （3）由於樣本量尚可，利用樣本標準差估計總體標準差（這部分如果不懂的可以去補一下抽樣分布，不詳細展開說）：0.5/10 = 0.05 （4）計算1.05距離1.2有幾個標準差那麼遠？—— 1.05-1.2/0.05 = 3個 （5）當我們抽出一個樣本，它落在距離總體均值1.2三個標準差的地方、甚至更遠，機率是多少？——機率是正態分布鐘形曲線下，3sigma之外的面積（包括正、負3sigma）。可以通過查正態分布得知，機率是0.3% （6）事已至此，我們可以得到的結論是：如果接受原假設，藥物沒作用，出現我們這種抽樣結果的機率是——0.003... 我們居然就抽到了？？所以，這個時候，雖然不是100%確定，但我們傾向於拒絕原假設（藥物無影響），接受備擇假設（藥物有影響）。 ... 那麼，當我們做一個實驗時，判斷feature是否有用，我們的思路是這樣的： 當我有足夠大的樣本量，把用戶分成兩組。A組（對照組）和B組（實驗組）。由於樣本量充足，理論上來說，A組和B組的各項原始指標表現應當是差不多的。 AB實驗是在對照組的基礎上，做一個feature改動。 假設這個feature改動是不影響指標的。是沒有作用的。 觀察B組的指標，經過統計學方法計算，在H0成立的情況下，B組這種指標表現出現的機率。根據這個機率去判斷我們是該接受3的假設、還是拒絕3的假設。 在統計學上，我們稱，依照原假設，得到實際這種或更加極端情況的機率值為P-value，也就是p值。在這個背景問題中，P值為0.003。一般來說，我們規定0.05是判斷顯著與否的閾值（當然，這個閾值可以調整），也就是這一part的結論：我怎麼衡量一個指標是否有顯著變化？——利用p值進行判斷。一般來說p值<0.05，認為指標有顯著變化。 當你看到指標顯著時：是真的顯著嗎？ 結論：不一定是真的顯著。 原因：犯了第一類錯誤！（常說的alpha錯誤） 看到這，有的小夥伴可能有點迷茫。什麼意思？？不是剛剛說p值遠小於0.05，拒絕原假設了嗎？怎麼又不一定真的顯著呢？？ 這裡解釋一下。我們剛剛說了，我們拒絕了H0，不是因為100%確定H0是錯的，而是因為H0為真的機率太低了，所以我們選擇拒絕了它。但是不代表它一定就是錯的，有可能藥是確實沒有作用，只是我們選的小鼠剛好反應巨快！！鼠中佼佼者！！！。。 ... 也就是說，AB實驗告訴我，顯著了！指標顯著發生了變化！！！喜大普奔！！！這個時候，我們仍然是有可能犯錯的。可能我們的樣本指標就是落在了那個5%的區間裡。 你可能會想，完犢子了。那我們這還咋評估啊。 ... 但是！！！！雖然我們不敢說100%數據就一定會像表現的那樣漲，我們可以給出，「實際沒漲，AB實驗看起來漲了」的犯錯機率。這個過程，就是將「不確定性」進行「量化」的過程。一般如果給定P值0.05，AB實驗看起來顯著的漲了，但實際沒漲，犯這種錯誤的機率是5%。 總而言之，我們不可能「準確」的預估產品feature上線後的表現，但是它能將「不可預知」的風險，轉換為「可以量化」其「不確定性」的問題。 當你看到指標不顯著時，是真的不顯著嗎？ 結論：不一定真的不顯著。 原因：犯了第二類錯誤！（常說的beta錯誤） 嗯嗯嗯又來了，看到不顯著，也不一定是真的不顯著…… 那這又是為什麼呢？我們會可能犯第二類錯誤：其實策略有效，只是沒有被檢測出來。 這種錯誤的機率被記為β。而統計功效（power，也被稱為檢驗效力），被定義為1-β，表示的是「假設我的新策略是有效的，我有多大機率在實驗中檢測出來」。 什麼意思呢？讓我們畫圖來看，右邊這個紅色曲線是實驗組，左邊這個藍色曲線是對照組。大家可以知道的是，如果我實驗組取的樣本落在了圖中藍色塗滿的這部分，其實是應該拒絕原假設的！！但是由於它不在藍色曲線的拒絕域裡，所以我們接受了它。這就是第二類錯誤了。第二類錯誤的機率取決於兩個曲線的分布情況。 ... 一個合適的AB實驗指標判斷怎麼給出？ ... 這裡有個簡單的流程。 當我們判斷一個指標是否顯著時，先看P值。能得到顯著與否的結論，但是要注意仍然有機率犯錯。 當我們判斷一個指標不顯著、實驗沒效果時，要注意是否會存在流量不夠的問題，造成了實際有效果，但沒被檢驗出來的可能性。（不過一般來說，開始實驗前最好就評估好樣本量的問題） AB實驗相關的面試常見問題 1.怎麼降低犯第一類錯誤的機率？ 把p值限定得越小，犯第一類錯誤的機率就越低。因為P值本來就是犯第一類錯誤的機率…… 2.怎麼降低犯第二類錯誤的機率？ ... 降低犯第二類錯誤的機率，換言之就是提升統計功效。 這個部分和我們置信度（1-p值）、樣本量都有關係。 首先，如果我們降低置信度，可以提升統計功效。比如說不需要p值<0.05就認為顯著了，我們認為p值<0.1就顯著。那麼紅色的部分會往更中間集中，相對應，藍色的部分會變小。 不過這種方式的缺點在於，我們犯第一類錯誤的機率就會變大。 ... 其次，可以提升樣本量，使我們的正態分布鍾型變更尖，讓犯第二類錯誤的機率變小。 ... 3.怎麼確定樣本量？ 樣本量和我們的統計功效息息相關。怎麼根據我們希望的統計功效，來反過來推算實驗所需的樣本量呢？ 輸入 ： 1、指標的base值和兩組指標的差異（比如說，現在對照組留存是60%，認為提升到61%才是有意義的，差異就是0.01） 2、指標方差。如一個實驗組的指標如閱讀數的方差，可用歷史數據估算。 3、t檢驗的顯著性水平，默認0.05 4、統計功效，一般取80%，可以調整。 輸出： 單個實驗組的樣本量。 這個部分的公式推導就不展開了（公式推導是我的弱項…），python中提供了相應的計算包，可以去實驗一下，感興趣的也可以自己研究背後的計算函數、原理。 python statsmodels里計算樣本量的包 4.產品要求開AABB實驗，我聽不聽？ ... 聽你個大頭鬼哦。 首先，不科學。抽樣產生的誤差本身就已經在我們的計算機率里了！為啥還要專門開4組實驗對比？ 其次，不聰明。多樣本進行對比更可能犯錯。比如說，一次抽樣有5%的可能犯錯，四次抽樣，產生6組對比（A1A2,A1B1,A1B2,A2B1,A2B2,B1B2），一組對比時不犯錯的機率95%，‍假設各組對比結果相互獨立，至少一組犯錯的機率[ 1 -（1-0.05)^6 ] =0.265，遠大於0.05。多來幾次抽樣，犯錯的機率增加。更別提評估成本了——本來只用評估兩組，現在需要看6組。 最後，不好使。AABB實驗可能會影響實驗的靈敏度。流量不變則意味著各組樣本流量減少一半，靈敏度下降；加大流量則更多用戶進組，有可能引入風險。因此不管怎麼說都是加大成本的。 5. 實驗做了有效果，上線沒有效果是怎麼回事？ 有可能犯第一類錯誤。你看到的顯著可能不是真的，只是抽樣的隨機誤差帶來的~~~ 文源：知乎作者 無眠

TTT77941YYDDEE156365GG

文章來源取自於：

每日頭條 https://kknews.cc/news/254gk9r.html

如有侵權，請來信告知，我們會立刻下架。

DMCA：dmca(at)kubonews.com

聯絡我們：contact(at)kubonews.com

高雄咖啡機安全迴路設計新竹電視盒/棒安全迴路設計新竹安全控制器設計與電路設計高雄烘碗/洗碗安全迴路設計新竹邊緣檢測開關設計與電路設計
桃園三相馬達用固態繼電器設計與電路設計 高雄HR1S-AK型安全繼電器模組 輔導安全迴路設計的符合歐規電路的CE認證公司高雄電池/充電電池安全迴路設計 高雄安全端子繼電器設計與電路設計 更換裝置時可節省成本，因為不需要重新接線台中投影機安全迴路設計 新竹SEMI緊急遮斷用(EMO)開關 可避免發生接線錯誤台北HS5L型電磁式安全開關（4接點型） 台中冷氣/暖氣安全迴路設計 連接所有傳統導體—無論有或無線端套管