有些網站看到 A 版按鈕帶來五筆訂單、B 版帶來八筆，就立刻宣布 B 版勝出；有些經營者則每天打開報表，直到看到自己喜歡的數字才停止測試。表面上有資料支持，決定卻仍可能受個人偏好影響。
要做分流實驗，先說清楚要解決什麼問題、準備怎麼衡量，再讓適合的人公平接觸兩種版本，最後檢查差異是否可信、值不值得採用。測試不能只靠自己覺得哪張圖片比較好看。
A/B 測試適合解決什麼問題？
網站有流量時，你可能想知道：哪個標題讓合適訪客更清楚了解服務、哪一種方案介紹能降低誤解，或者表單的說明順序會不會影響完成率。這些都是可以轉成實驗假設的問題。
但如果付款按鈕壞掉、表單資料根本沒有送出，或頁面標示錯誤費用，就應先直接修正，不需要把修復明確錯誤包裝成正式實驗。
同樣地，產品缺乏真正市場需求時，測出較高點擊率也不能證明商品已經適合受眾。實驗只能回答設計範圍內的問題，不能代替客戶研究、商品交付和正式金流測試。
第一步：先從觀察出發，寫出可驗證的假設
有用的實驗假設至少包含四件事：目前觀察到的問題、打算修改的內容、預期影響的對象，以及事先決定的主要衡量方式。
假設你發現讀者在免費教學報名頁反覆詢問活動是否需要設備，就可以提出：「因為新訪客不清楚參加條件，我們想在報名頁的主要資訊區補上真實的設備需求，觀察報名完成率是否有改變。」
這不是宣稱修改一定會成功，而是給後續比較一個明確理由。沒有觀察資料時，仍可先做使用者訪談或頁面理解測試，避免隨機挑一個顏色就開始分流。
第二步：先確定實驗要衡量哪個成果
主要指標(Primary Metric)應該和本次實驗的任務一致。如果目標是讓符合條件的人報名完成，主要指標(Primary Metric)可以是有效報名完成率；如果目標是完成購買，就不能只用「點擊付款按鈕」代替實際付款。
可以另外觀察次要指標，例如表單開始率或頁面閱讀；也應設置防護指標(Guardrail Metrics)，檢查退款、錯誤、退訂和不適合的詢問有沒有增加。
一個版本就算提高報名完成數，卻讓大量不適合的人誤報名，也未必有商業價值。先定義要保護什麼，才不會只追逐好看的數字。
Google Analytics 的官方文件介紹如何設定 `sign_up`、`purchase` 等事件，但真正能否用來分析，還需由網站實際確認事件在成功完成時才觸發。事件名稱看起來正確，不代表資料蒐集一定沒有重複或遺漏。
第三步：設計 A 版與 B 版，保留主要差異
A 版通常是原始頁面，B 版則針對一項明確問題提出修改。例如 B 版可能將模糊標題改成更具體的服務介紹，其他主要內容盡量維持相同。
若同時換掉價格、圖片、文案和表單欄位，就很難知道哪一項造成差異。這類測試仍可能比較兩套完整方案，但結論只能說明整體版本不同，不能把原因單獨歸給標題。
付費方案的修改尤其要謹慎。不能讓兩組顧客因為測試而收到相互矛盾的交付承諾，或在沒有明確告知的情況下承受不公平的付款條件。
對高價課程或專業服務而言，資訊準確和顧客理解應優先於實驗速度。未經核實的保證或假的顧客見證，都不應放入候選版本。
第四步：分流要公平，回訪也要保持一致
常見做法是以適當的隨機方式，將符合條件的訪客分配給 A、B 兩組，例如平均分配。實際比例可依風險及工具條件調整，但應在開始之前就決定。
同一名訪客重新開啟頁面時，應盡量保持看到相同版本，避免前一次看到某種費用說明、下一次又遇到另一種。
分流是否公平，還包括裝置、流量來源及時間。若把星期一的訪客全部給 A、星期日的訪客全部給 B，就可能把不同日期的人群差異誤判為頁面效果。
測試開始後，也不要臨時讓某個版本只接收廣告訪客、另一個版本主要接收自然搜尋訪客，卻直接比較總轉換率。
第五步：樣本大小要在開始前規劃
能否看出差異，取決於原始轉換率、希望偵測的最小改變、採用的統計方法、錯誤風險設定與觀察數量。這些條件應在實驗前寫下來。
最小可偵測效果(Minimum Detectable Effect, MDE)不是你希望達到的銷售目標，而是這次實驗在規劃條件下，希望有足夠能力辨識的差異。若期望辨識非常細小的改變，通常需要更多樣本。
Optimizely 在 2025 年發布的樣本計算說明指出，公式必須配合分析方法與資料假設，不能只拿網路上一個固定樣本數字套到所有網站。
估算時至少要知道目前的基準轉換率、想偵測的差異，以及每段時間有多少符合條件的訪客。若資料不足，就先建立可靠追蹤，或改用訪談和可用性測試，別假裝已經具備有效的統計樣本。
第六步：上線前，先確認兩個版本都能正常完成任務
實驗工具能切換版本，不代表兩個版本的功能都正常。發布之前，仍應從實際訪客的角度檢查。
- A 與 B 都能從相同預期入口進入，且主要資訊真實一致。
- 手機與桌機畫面沒有文字遮擋、閃動或排版錯誤。
- 按鈕、表單、結帳和完成頁都能依預期使用。
- 追蹤事件只在真正成功時記錄，不因重新整理重複計數。
- 使用者回訪時能合理維持分配，並遵守適用的隱私告知。
- 團隊知道發生功能錯誤時誰可以停止實驗並修復。
若測試涉及線上付款，應使用可行的正式測試方式核對交易流程，並避免產生不必要的實際請款或錯誤訂單。
第七步：別因為中途看到漂亮結果，就提前宣布勝利
Evan Miller 的〈How Not To Run an A/B Test〉說明，若原本採固定樣本與固定結束時間的統計方法，卻不斷查看結果並在顯著時立刻停止，會提高誤判風險。
因此，應在實驗前確定觀察計畫與停止規則。中途當然可以檢查是否有系統故障、錯誤分流或對顧客造成傷害，但不要把每次報表跳動都當成商業決策。
有些實驗平台使用事先規劃的序貫方法或貝氏方法，它們有不同的停止與分析規則。不能把所有工具顯示的「勝率」和傳統固定樣本的 p 值混為一談。
如果出現重大付款錯誤或顧客權益問題，應優先確保服務正常，不必為了蒐集樣本而繼續讓使用者受影響。
第八步：如何看待轉換率差異？用一個假設範例說明
以下完全是假設數字，並不是本站曾經執行的測試。假設 A 組有一千位符合條件訪客，其中四十位完成報名；B 組也有一千位，其中五十位完成報名。
A 組完成率是 4%，B 組是 5%，兩者差距為一個百分點；若以 A 組作比較，B 組的相對增幅是 25%。這是描述觀察到的差異，不代表真正效果必然增加 25%。
實際判斷仍要依原先的設計，估計效果的信賴區間(Confidence Interval)、檢查分析假設與樣本是否足夠。若不確定範圍仍包含沒有改善，不能只因 B 組數字較高就宣稱顯著勝出。
還要確認這些完成者是否符合原本目標。若 B 組提高了表面報名，卻明顯增加錯誤填表或取消，就需要把防護指標(Guardrail Metrics)一起納入評估。
第九步：顯著性與商業價值不是同一件事
統計顯著性(Statistical Significance)是依特定分析方法，評估觀察結果與虛無假設是否相容的一種判斷，並不是「B 版有 95% 的機率比較好」的簡單保證。
美國統計協會 2016 年的聲明提醒，p 值不能解讀成假設為真的機率，也無法單獨表示效果大小或商業重要性。即使某項差異達到事先設定的門檻，也應報告效果大小及不確定性。
例如一項改動可能對大量流量帶來很小但值得累積的改善；也可能在統計上能辨識，卻造成顧客理解或後續服務負擔惡化。
相反地，未達顯著不代表兩個版本完全一樣，也可能是樣本不足，無法排除仍有實質意義的好處或壞處。應誠實標記結果不確定，而不是延長原本的固定樣本實驗，直到某一天出現喜歡的答案。
第十步：低流量網站能不能做 A/B 測試？
可以先評估，但不代表每個網站都適合立刻啟動正式分流。當網站每週只有少量合適訪客，且主要動作本來就很少發生時，要可靠分辨細微差異可能需要較長時間。
這種情況下，優先檢查明確的功能錯誤、訪客看不懂的說明、手機版面與不合理的表單限制，並邀請合適讀者完成真實使用情境。
這些方法不會直接給你嚴格的因果效果估計，但能協助發現重要問題。與其勉強把幾筆成交數字稱作分流結果，不如等追蹤與樣本規劃足夠時，再安排真正的實驗。
第十一步：完成後留下實驗紀錄，避免重複犯錯
測試結束不該只留下「B 版贏了」四個字。一份可以回查的紀錄應包含原始觀察、假設、版本差異、期間、分流方法、主要指標(Primary Metric)、樣本大小、結果與任何特殊事件。
也要記錄是否更換廣告預算、網站功能或服務條件，以及這些事情是否可能影響判讀。未事先規劃的分組發現，可以用來形成下一個假設，但不宜當成已經證實的因果結論。
如果結果支持採用某版本，正式套用後仍應觀察整體顧客體驗；若沒有可靠差異，也可以保留原版、整理新問題，再重新設計下一個測試。
想了解課程銷售頁怎麼決定先測標題、方案還是結帳，可參考Russell Brunson 的 A/B 測試：課程銷售頁該先測標題、承諾還是結帳流程？。
最常見的五個實驗失誤
- 沒有假設：只是覺得某個版本漂亮，就開始分流。
- 一次改太多：無法說明不同結果究竟和哪一項修改有關。
- 中途挑數字：每隔幾小時查看，看到好結果就立即結束。
- 只看點擊：不確認真正的報名、付款品質或後續服務問題。
- 把不確定說成勝利：樣本不足或方法不相符，仍宣稱已驗證某版本有效。
真正成熟的測試習慣，是把研究、分析和結果的限制都說清楚。沒有一套統計方法可以代替對顧客的理解與誠實交付。
常見問題
A/B 測試一定要先有很多網站流量嗎？
需要足以支撐你想偵測差異的樣本。較少流量不代表完全不能研究，但可能不適合測很小的轉換率變動；先估算，再決定是否分流。
A 版和 B 版可以同時改標題、圖片和價格嗎？
可以比較整套不同方案，但就無法把差異單獨歸因於其中一項。涉及價格和付款條件時，更要注意真實告知與顧客權益。
B 版轉換率高一些，就代表一定比 A 版好嗎？
不代表。還需要檢查分流品質、樣本大小、效果區間、既定分析方法及防護指標(Guardrail Metrics)，不能只看表面比例。
結果未達統計顯著性(Statistical Significance)門檻，是否表示修改完全沒用？
不是。可能差異很小、樣本不足，也可能實際效果接近零。應觀察預先規劃的分析結果與區間，而不是把未顯著等同證明沒有效果。
可以每天看報表，覺得有效就停止嗎？
在固定樣本的傳統分析下，這會增加誤判風險。可以監測故障與風險，但是否停止應遵守事先規劃的方法；其他統計方法則依其正式停止規則。
低流量網站應該先做什麼？
先核對報名與付款功能，進行小規模使用者研究，記錄真實問題並改善明確障礙。資料和可用受眾足夠後，再設計正式實驗。
參考資料
Evan Miller｜How Not To Run an A/B Test｜2010
Optimizely｜Sample Size Calculations for A/B Tests and Experiments｜2025
American Statistical Association｜The ASA Statement on p-Values: Context, Process, and Purpose｜2016
Google Analytics｜Recommended Events by Business Vertical｜2026 年查閱
元氣電商｜Russell Brunson 的 A/B 測試：課程銷售頁該先測標題、承諾還是結帳流程？｜2026