Success Case Method:怎麼找出真正有效的學員成果,而不是只看平均滿意度?

成功案例法(Success Case Method):先找出方案中最成功與最不成功的案例,再用訪談與可驗證證據追查「哪些成果真的發生、什麼促成成果、什麼阻礙成果」,藉此找出能改善整體方案的具體條件。

一門課有 100 位學員,平均滿意度 4.7 分。

這個數字看起來很好,但它沒有回答幾個更重要的問題:

  • 到底哪些學員真的把方法用起來了?
  • 他們用了之後,產生了什麼可確認的改變?
  • 為什麼同一門課,有些人成功、有些人沒有?
  • 哪些課程設計或外部條件,正在放大或阻礙成果?

Robert Brinkerhoff 發展的成功案例法(Success Case Method,SCM),就是從這個角度切入。

它和一般「蒐集幾篇學員好評」最大的不同,是 SCM 不只看成功,也會看沒有成功的案例。

目的不是證明課程很厲害,而是回答:

「當這套方法真的有效時,究竟發生了什麼?沒有效時,又卡在哪裡?」

目錄 隱藏

為什麼平均滿意度很容易把重要差異藏起來?

平均值會把彼此差異很大的學員壓成一個數字,卻不會自動告訴你「誰成功、誰失敗、為什麼」。

假設一門高價課程有三種學員:

  • 一群人真的把方法用進工作,成果明顯。
  • 一群人有學到,但只執行一部分。
  • 一群人幾乎沒有採取行動。

如果三群人的滿意度都不差,最後平均 4.6 分,你還是不知道:

  • 第一群做對了什麼。
  • 第二群缺哪一步。
  • 第三群是能力不足、沒有時間、環境不支持,還是根本不適合。

分析這類資料時,有一個很實用的提醒:平均值很容易把不同群體的真實差異藏掉。

SCM 的做法反過來,不急著找平均,而是先把差異最大的兩端找出來,再深入理解原因。

Success Case Method 不是只挑成功案例來證明課程有效

SCM 同時需要成功與未成功案例,因為只有比較兩端,才比較容易看出促成與阻礙成果的條件。

BetterEvaluation 對 SCM 的整理指出,這個方法會刻意找出最成功與最不成功的案例,進一步問:

  • 方案真的產生了哪些結果?
  • 哪些地方運作得很好?
  • 哪些地方沒有運作?
  • 未來怎麼做可以得到更好的結果?

所以如果你只是挑三個成果最好的學員,寫成見證放上銷售頁,那不是完整的 Success Case Method。

那比較接近「案例蒐集」。

SCM 有價值的地方,是把案例變成一種診斷工具。

Robert Brinkerhoff 的五個步驟怎麼做?

SCM 的經典流程可以整理成五個步驟:先定義成果,再找兩端案例,最後用深入訪談找出成敗條件。

步驟 要做什麼 高價課程可以怎麼做
1. 聚焦與規劃 先決定這次評估要回答什麼 例如:哪些學員真的把課程方法用進事業?
2. 建立影響模型 定義「成功」應該長什麼樣 把成果拆成可觀察行為與結果
3. 找出最好與最差案例 用簡短調查篩出兩端 找出高轉移與低轉移學員
4. 深入訪談 查證成果、使用過程與阻礙 問實際做了什麼、何時做、遇到什麼條件
5. 整理與溝通 找出可改善的規律與建議 回到課程、交付、支持與篩選機制修正

2015 年一篇將 SCM 用於公共衛生訓練的研究,也依這五個步驟實作,並用成功與未成功案例理解訓練產生影響的條件。

第一步不是問「誰最成功」,而是先定義成功

如果成功定義不清楚,最後很容易把最會說故事、最常留言或最喜歡老師的人當成「成功案例」。

例如一門教顧問建立課程事業的方案,「成功」可能不是:

  • 影片看完 100%。
  • 社群每天打卡。
  • 很喜歡老師。
  • 完成很多作業。

更接近成果的定義可能是:

  • 完成清楚的課程定位。
  • 設計出可銷售的方案。
  • 完成市場驗證。
  • 開始執行招生流程。
  • 把原本學到的方法用在自己的真實情境。

這和 Kirkpatrick 四層次評估可以接在一起看:你要先分清楚現在想找的是學習證據、行為證據,還是最終成果證據。

影響模型的作用,是把「成功」拆成可以查證的證據

成功案例不能只靠一句「我覺得很有幫助」,要先定義哪些行為與結果能支持這個判斷。

例如你想研究「高價課程是否幫學員建立可運作的銷售系統」,可以先列出:

層次 可能證據
採取行動 實際建立內容、報名、直播、付款或跟進流程
行為改變 從臨時銷售改成固定流程,開始依數據修正
產出結果 有真實名單、對話、報名、付款或其他可驗證進展
支持條件 有時間執行、使用範本、接受回饋、取得技術支援
阻礙條件 沒有市場、沒有執行、技術卡關、方案尚未清楚

這樣後面的訪談才不會只剩「你覺得課程如何?」

怎麼找出成功與未成功案例?先用短調查篩選,不要一開始就訪談全部人

SCM 的效率來自先用較輕量的方法找到兩端,再把深度訪談資源放在最值得研究的案例上。

例如可以先問所有學員幾個可確認問題:

  • 你是否已經把某個核心方法用在真實情境?
  • 使用了幾次?
  • 產生了什麼可觀察改變?
  • 是否有作品、紀錄、流程或其他資料可以佐證?
  • 如果沒有使用,最主要卡在哪一段?

這些問題不是為了先把學員分成「好」與「差」。

而是為了找到最值得深入理解的差異。

成功案例訪談要追什麼?不是追漂亮金句,而是重建成果發生的過程

有價值的訪談會把「成果」拆回具體行動、時間、情境、支援與證據,而不是只留下情緒性稱讚。

可以追問:

  1. 你原本卡在哪裡?
  2. 你用了課程裡的哪個方法?
  3. 你實際做了什麼?
  4. 第一次使用是在什麼情境?
  5. 中間遇到什麼困難?
  6. 哪些課程內容或支援真的幫上忙?
  7. 最後有哪些可確認的改變?
  8. 如果沒有這些支持,哪一步最可能做不下去?

這樣得到的資料,才有機會回到課程設計。

例如你可能發現,成功的學員不是「看得最多」,而是:

  • 比較早進入實作。
  • 有固定回饋。
  • 帶真實案例來練。
  • 在某個時間點收到關鍵提醒。

這些才是可以被複製或強化的線索。

未成功案例反而可能比成功案例更能告訴你怎麼改善課程

如果只看成功者,你會知道什麼能成功;加入未成功案例,才比較容易看出哪些條件正在阻止成果。

例如同一門課裡,成功學員都有完成第一次真實實作,未成功學員卻普遍卡在「不知道怎麼把範例換成自己的情境」。

這時問題可能不是再錄更多知識影片,而是:

  • 缺少轉換範例。
  • 缺少第一步模板。
  • 缺少即時回饋。
  • 任務一次太大。
  • 沒有清楚的完成標準。

這類發現可以直接回到交付改善。

如果你想進一步看「學會了但回去沒有使用」的問題,可以延伸閱讀 學習轉移:為什麼上完課不等於會在真實工作中使用。

Success Case Method 最容易被誤用成什麼?

最危險的誤用,是把少數成功案例當成全體平均成果,或把案例故事直接當成因果證明。

SCM 刻意研究極端案例,本來就不是為了估計「平均學員會得到多少成果」。

所以不應該寫成:

「我們找到三位非常成功的學員,因此這門課對所有人都有效。」

比較合理的是:

「我們找到成功案例,查證成果並研究促成條件;同時也研究未成功案例,找出阻礙因素。這些發現可以用來改善後續設計。」

另外,案例發生在課程之後,也不代表所有結果都能完全歸因於課程。

市場、原有能力、投入時間、外部支持與其他資源都可能參與其中。

Success Case Method 和一般學員見證有什麼不同?

見證主要服務信任與溝通;SCM 的核心是評估與改善。兩者可能使用同一個真實案例,但證據標準與目的不同。

比較 一般見證 Success Case Method
主要目的 呈現體驗與成果 理解成效與成敗條件
案例選擇 通常挑正面案例 刻意找成功與未成功兩端
訪談重點 故事、感受、改變 成果、行動、證據、支持與阻礙
最後用途 信任、溝通、行銷 改善設計、決策、擴大有效條件

如果未來要把 SCM 找到的案例用在銷售內容裡,仍然要清楚保留案例的真實範圍,不能把個案寫成普遍保證。

高價課程怎麼用 SCM 改善下一期,而不是只做結業報告?

最有價值的做法,是把成功與失敗條件轉成下一期可以調整的招生、教學、支持與交付設計。

例如研究後發現:

  • 成功學員普遍已有真實客戶案例。
  • 成功學員在前兩週就完成第一次實作。
  • 未成功學員常卡在任務太大、沒有第一步。
  • 得到快速回饋的人比較容易繼續。

下一期就可以重新檢查:

  • 招生條件是否需要更清楚。
  • 第一週是否應該更快進入真實任務。
  • 大作業是否需要拆小。
  • 哪一個節點最需要回饋。
  • 哪些內容其實可以刪掉。

這時評估才會變成改善工具。

若問題在「會做,但需要持續回饋才能變好」,也可以接著看 刻意練習如何用回饋與修正培養能力。

SCM 和平均數據要選哪一個?其實回答的是不同問題

平均數據適合回答「整體大概發生多少」;SCM 更適合回答「什麼情況下真的有效,以及為什麼」。

兩者不需要互相取代。

如果你想知道:

  • 整體完成率多少。
  • 多少人實際使用。
  • 某個行為的比例有沒有提高。

需要整體數據。

如果你想知道:

  • 為什麼某些學員特別成功。
  • 哪個設計環節幫上忙。
  • 為什麼另外一些人沒有轉移。
  • 下一期最值得改什麼。

SCM 會更有洞察力。

最好的做法往往是:先用量化資料看到分布,再用成功與未成功案例把原因挖深。

課程經營者可以先用這 7 題做一個簡化版 SCM

  1. 這門課的「成功」要怎麼定義?
  2. 哪些成果可以被觀察或查證?
  3. 誰是目前最明顯的成功案例?
  4. 誰投入過,但成果明顯沒有發生?
  5. 兩邊在行動、能力、支持與環境上有什麼差異?
  6. 哪些差異是課程可以改善的?
  7. 下一期要改哪一個設計,才能讓更多人具備成功條件?

這不是完整的正式 SCM 研究,但已經能讓評估從「大家平均幾分」往「成果是怎麼發生的」移動。

Success Case Method 常見問題

Success Case Method 只研究成功的人嗎?

不是。完整做法會找成功與未成功案例,透過兩端比較理解哪些因素促成成果、哪些因素阻礙成果。

SCM 可以算出整體平均成效嗎?

它的主要目的不是估計平均效果,而是深入理解極端案例與影響條件。如果要回答整體比例、平均值或分布,仍需要搭配適合的量化資料。

成功案例一定要有收入數字嗎?

不一定。成功定義應該跟課程原本想改善的結果一致,可以是行為、能力、品質、流程完成或其他可驗證成果,不必全部變成營收。

未成功案例是不是代表學員不夠努力?

不能先這樣假設。SCM 正是要進一步研究失敗原因,可能涉及能力、任務設計、支持、時間、環境、使用機會或適配問題。

Success Case Method 可以拿來做學員見證嗎?

研究過程可能產生可使用的真實案例,但若要轉成對外見證,仍要取得適當授權、保留原始事實邊界,不能把少數成功者泛化成所有人的預期成果。

SCM 和 Kirkpatrick 四層次衝突嗎?

不衝突。Kirkpatrick 幫你區分反應、學習、行為與成果;SCM 可以進一步針對產生或沒有產生影響的案例,研究背後原因。

小班高價課程也適合用 SCM 嗎?

可以,但案例數少時更要避免把少數案例誤當整體統計。小班課程可以把 SCM 當成深度診斷方法,搭配每位學員的真實執行紀錄使用。

結語:平均告訴你「大概怎樣」,成功與失敗案例告訴你「為什麼」

平均滿意度、完成率與測驗分數都可以留下。

問題是,不要停在那裡。

如果一門高價課程真的希望幫助學員產生改變,更值得追的是:

  • 成果在哪些人身上真的發生。
  • 成果是怎麼發生的。
  • 哪些條件反覆出現在成功案例。
  • 哪些障礙反覆出現在未成功案例。
  • 下一期可以怎麼把成功條件放大、把阻礙降低。

Success Case Method 的價值,不是幫你找到一個更漂亮的故事。

而是讓案例從「行銷素材」變成「改善課程的證據」。


參考資料:
Robert O. Brinkerhoff|The Success Case Method。
Robert O. Brinkerhoff|The Success Case Method: A Strategic Evaluation Approach to Increasing the Value and Effect of Training,2005。
Medina 等|Training and Capacity Building Evaluation: Maximizing Resources and Results with Success Case Method,2015。
BetterEvaluation|Success Case Method。

元氣站長
元氣站長

經營網路事業,賺取持續收入!
網路賺錢修煉,成就理想人生!