以下是這個 video 的摘要，在影片中，James Bach and Michael Bolton 兩位作者討論了他們新書(Taking Testing Seriously: The Rapid Software Testing Approach) 中關於「魔法測試盒」的概念，將AI比喻為一種不透明的魔法工具，強調了專業測試人員不應盲目信賴其結果。
On Magic Boxes and Magic – Conversations on Taking Testing Seriously
https://www.youtube.com/watch?v=okSZH4Co3Rw
我們在軟體開發中聊到「魔法」這個概念，特別是當我們談到人工智慧（AI）時，常常會把它想像成一個「魔術盒」（magic testing box）。這對我們理解技術和自己的能力，影響可大了！
「魔術盒」的誘惑與挑戰
想像一下，有個小精靈給你一個「魔術測試盒」，你不知道它裡面怎麼動，但小精靈說，你把它放在產品旁邊，它就能自動找出 Bug 並回報。聽起來是不是很棒？但對一個認真看待測試的專業人士來說，這可能不是什麼好康，反而是個大麻煩。
為什麼呢？因為這個魔術盒會丟給你一個你不能不管的大哉問：「它真的做得好嗎？」小精靈或許拍胸脯保證有效，但我們不能只聽別人說。而且，更重要的是，「它下次還能做得好嗎？」。什麼叫做「做得好」？這沒有標準答案，完全取決於個人的背景、需求、價值觀，以及對風險的考量。如果沒做好，後果會是怎樣？這些都是我們必須深思的問題。
「一次成功」不等於「真本事」
這裡有個很關鍵的區別，就是「單次的優異表現」和「真正的能力」是兩回事。
- 開車闖紅燈的例子：就像你開車闖了紅燈，卻沒發生任何事故，甚至還快了一點。這時候，有人可能會說你效率真高，但這絕對不代表你發現了什麼「更快的駕駛方法」，也不代表你是個好駕駛。只是這次你運氣好，沒有出事。
- AI 寫作的例子：現在很多 AI 都能寫出跟人類難以分辨的短篇故事。有些人可能會說，看吧，AI 寫作能力很強！但這真的代表它有「能力」嗎？作者們自己做過實驗，發現 AI 雖然能把他們已經公開說過的想法「混搭重組」，但卻無法產生書中那些他們花很長時間合作才想出來的全新、獨創性的點子。
- 「能力」是對未來表現的預測，而「假裝會」則不是。AI 在產出大量內容時，其實少了人類那種「反思、玩樂，甚至偶然發現的探索過程」，而這些正是好的測試、好的設計和好的開發中，最精髓的部分。
「魔法」的界限：人類判斷與實踐的價值
那麼，我們到底該怎麼看待這些看起來很神奇的技術呢？
- Malinowski 的研究啟示：在美拉尼西亞的島民社會中，人們在造獨木舟時，雖然會使用魔法，但他們很清楚，魔法再厲害也彌補不了粗製濫造的工藝。這告訴我們，如果事情非常重要，不能光靠「魔法」。我們還是需要實打實的技能、嚴謹的流程和其他「世俗」的方法。有時候，一個簡單的 Python 腳本，可能比看起來很炫的 AI 更有用，也更直接。
- 星際爭霸戰的「非對話電腦」：在《星際爭霸戰》裡面，飛船上的電腦聲音很單調，不是那種跟人對話的語氣。有種說法是，這是為了防止大家把電腦「擬人化」，誤以為它是一個有責任感的「社會成員」。這提醒我們，即使技術再先進，我們也需要保持一份批判性的距離，不要對它產生不切實際的信任或情感投射。
技術變革中的不變課題
其實，歷史上對於新技術的擔憂和討論一直都在：
- 蘇格拉底對書寫的擔憂：古希臘的蘇格拉底就擔心，文字的出現會讓大家不再動腦，忘記怎麼記憶。這跟我們擔心過度依賴 AI 會讓人類某些能力退化，是不是有點像呢？
- 薩爾貢二世堅持用泥板：還有更早的薩爾貢二世國王，當年堅持要他的臣子繼續使用泥板和阿卡德語來傳遞公文，不準用新的羊皮紙和阿拉姆語，理由是這是一種「固定的規定」。有趣的是，我們之所以知道這件事，就是因為那份指令刻在泥板上才保存至今。
- 人性的恆常：這些歷史故事都說明，儘管技術不斷演進，氣候和社會面貌不斷改變，但人類的行為模式、慾望、對可靠性的基本要求，其實幾千年來都沒怎麼變。
未來測試的實踐方向
面對 AI 這種快速變化且定義模糊的「魔法」，我們在軟體測試的實踐上，應該更注重：
- 聚焦「永恆的挑戰」：既然任何具體的技術案例都可能很快過時，我們就應該把重心放在那些「超越所有未來可能性」的永恆問題上，比如：我們怎麼知道這個工具是不是真的好？它是不是可靠？。
- 重視「探索性學習」：測試不該只是快速產出大量報告的「生產線」，而是一個充滿「玩樂、反思、偶然發現」的探索過程。這對於好的測試、設計和開發來說，都是不可或缺的。
- 擁抱人類判斷：最後，也是最重要的一點，就是人類的批判性思維、專業判斷和探索精神，是任何「魔術盒」都無法取代的。未來的軟體測試，會是 AI 工具和人類智慧深度結合，我們需要學會駕馭「魔法」，但同時也要清楚它的極限，並堅守那些不變的原則。
總之，我們不能只被 AI 的「魔法」表面迷惑。要學會區分一次性好結果和真正的能力，重視人類的判斷、探索和反思，才能在不斷變化的技術世界中，做好軟體測試這個重要的工作。
發表迴響