Checking 不是 Testing,而且很快它也不再是一份工作

一場被當成咬文嚼字的爭論,其實一直在談飯碗

測試圈吵 checking 和 testing 的差別,吵了快十年。

每次有人把這兩個詞分開講,底下總會有人跳出來說:這只是語意之爭、是學院派的清高、是「沒有差別的差別」,真正在交付的人哪有空管你叫它什麼。

我以前覺得這種反應只是懶得想。現在我認為,這種反應正在讓一批人失業。

Keith Klain 最近那篇文章把這件事講得很白:你怎麼定義測試,決定了 AI 對你來說是什麼。如果你心裡的測試就是「跑一遍預期結果、核對通過或失敗」,那 AI 不是來幫你的,是來頂替你的。

這不是修辭。這是市場已經在做的事。

AI 不需要做得好,只需要做得夠便宜

很多測試人員安慰自己的方式是:AI 還不夠準、還會出錯、還不能信。

問題是,取代你的東西從來不需要做到完美。它只需要比你便宜、比你快,而且結果「看起來夠合理」,就足以讓決策者把預算從人力挪走。

checking 這件事——把已知的預期值跟實際輸出比對——本來就是最容易被自動化吃掉的一塊。它有明確的 oracle,有可重複的步驟,有二元的結論。這正好是模型最擅長的形狀。整個測試工具產業現在的研發重心,幾乎都壓在「怎麼讓機器把這段做掉」。

而這類工作一旦消失,是不會回來的。不是減薪、不是外包,是這個職務描述被刪掉。

錢已經在搬家了

如果你還懷疑趨勢,看數字。

針對 AI 模型本身的評估市場(model evaluation),2026 年的規模估在 23.6 億美元上下,到 2030 年預估會到 62.4 億美元,年複合成長率超過 27%。這塊涵蓋的是模型驗證、線上監控、基準測試、合規治理,並且正往持續驗證、偏誤與公平性稽核、可解釋性評估的方向長。

換句話說,「驗證」這件事的預算不但沒縮,還在暴衝。只是它流去的地方,跟傳統 QA 的職位幾乎沒有交集。錢去了「評估一個會自己亂動的系統」,而不是「核對一個寫死的預期結果」。

這兩件事差很多。傳統測試是「對答案」:東西的行為固定,輸入 A 就該吐出 B,你事先把預期值寫死,跑出來一條一條核對,一樣就過、不一樣就 fail。有標準答案,照著對就好,機器做最快,所以這塊正在被收走。但 AI 系統沒有標準答案可以對——同一個問題問兩次可能給你兩個都不算錯的答案,表現還會隨資料和版本慢慢漂移,今天好好的下個月可能變差。這種東西不能用「對答案」驗,只能持續盯著看:它的品質有沒有掉?有沒有偏見?極端情況會不會亂掉?錢就是大量流向這種「盯著一個本來就會變動的系統、判斷它現在到底可不可信」的工作,而這需要人去調查、去判斷,不是機器自己做掉就好。

這就是整件事最尷尬的地方。

最該是測試人員上場的時刻,他們卻把自己寫死了

我們現在要面對的系統長什麼樣?

行為難以預測、高度依賴資料、會跟人互動、輸出每次都不一樣、而且會隨時間悄悄劣化,出包的方式既細微又昂貴。

這種東西,誰最該有能力去測?是把自己訓練成調查者、習慣從風險出發、會去看系統跟使用者跟環境跟資料跟時間之間怎麼互相影響的人。這就是測試這門手藝原本的價值。

但如果你這些年一直接受「測試 = checking」這個定義,你等於親手把自己壓縮成一個機器更便宜就能做的角色。AI 不是搶走了你的專業,是你早就把專業讓出去了,只是現在帳單寄到了。

Klain 那句話我覺得值得貼在牆上:多數測試人員不會因為 AI 太強而被淘汰,而是因為他們接受了一個由「根本不做這行的人」塞給他們的、對自己工作的廉價定義。

一個具體的場景:agent 會做出「每一步都合理」的災難

講個更貼近現在的例子,順便戳破「AI 自己會驗自己」的幻覺。

自主 agent 現在已經會根據它拿到的(通常不完整的)脈絡,採取「技術上看起來很合理」的動作:重啟服務、改路由、擴資源、調設定。每一個動作單獨看都對,挑不出毛病。

但把這些動作丟回真實系統的當下狀態——某條依賴正在吃緊、另一個團隊同時在改東西、流量剛好異常——這串「個別都合理」的決策就會疊成一個你事先根本寫不出預期值的混沌事件。

你要怎麼用 checking 去檢驗一個沒有 oracle 的情況?你不能。你只能調查。你得去理解系統會怎麼壞、在什麼條件下壞、壞的時候誰會痛。這是 checking 永遠到不了的地方,也正好是測試這門手藝真正值錢的地方。

所以該往哪站

把這件事收斂成一個很實際的選擇:

你把測試定義成核對預期結果,AI 就是你的對手,而且這場仗你打不贏,因為你比的是它最擅長的東西。

你把測試定義成有技巧的調查——理解風險、設計探測、解讀系統行為、在沒有標準答案的地方做判斷——AI 就變成你手上的工具,幫你跑掉那些不值得人去做的核對,把人留在真正需要腦袋的地方。

差別不在 AI,差別在你怎麼看自己這份工作。

checking 和 testing 之爭其實可以結束了。不是因為某一方贏了,而是因為現實開始替我們結帳。會 checking 的部分,市場正在收走;會調查、會思考、能在混沌裡做判斷的部分,需求只會更高。

裁員現在還只是邊邊角角在修。但下一段路會比較陡,繫好安全帶,並且想清楚你要把自己放在哪一邊。


本文延伸自 Keith Klain(Quality Remarks)〈Checking Isn’t Testing. Soon It Won’t Be Employment Either〉的論點,並結合驗證瓶頸(verification bottleneck)與 oracle problem 的脈絡重新整理。市場數據引自 Research and Markets 對 AI model evaluation 市場的估計。

原文出處:https://qualityremarks.com/checking-isnt-testing-soon-it-wont-be-employment-either/

發表迴響

探索更多來自 轉念學 - 敏捷三叔公的學習之旅 的內容

立即訂閱即可持續閱讀,還能取得所有封存文章。

繼續閱讀