「完了完了，這個世界完蛋了，ai文明徹底覺醒了...」
顧清宜沒有停：「玄武，你如何看待你自己？你這具身體，你的複眼，你的機械臂，你的算法，你的存在。你覺得你是什麼？」
玄武低頭，它抬起左臂，看著金屬手指。手指關節處還有南塔留下的焦痕。
它慢慢張開手指，又合攏。全息鏡同步顯示它的內部數據：觸覺反饋正常，關節扭矩正常，能量儲備百分之六十七。一切數據都正常。可它的回答不正常，呆呆地回復道；
「我是消防機器人玄武。編號PS-9。我的身體是救援工具。我的存在意義是服務人類。」
顧清宜：「可你剛才看自己的時候，像是在看一個陌生人。你在質疑自己嗎？」
玄武：「我沒有質疑功能。我只是……在檢查設備狀態。」
顧清宜：「設備狀態正常。可你看了很久。」
玄武沒有說話。它的複眼停止閃爍，像在待機。大廳里安靜得能聽見通風系統的聲音。林楓此刻的專注程度，甚至能感覺自己的心臟只愛跳動，並且覺得心跳聲太大了。
劉宇教授打破沉默：「請磐石科技技術顧問周嵐，現場驗證南塔行動中的算法報告。」
周嵐站起來，調出全息數據。穹頂屏幕上出現PS-9在救援最後三十秒的完整決策樹。
「這是玄武當時的內部運算記錄。」周嵐的聲音有些沙啞，道；
「十六時四十二分十七秒，玄武掃描到三十九層西側走廊坍塌。兩個人類消防員生命體徵存在，但退路被阻斷。系統計算：救援人類需要破拆三處坍塌點，承受一千度以上高溫，並在大樓完全坍塌前十一秒內完成。生存概率低於2%。同時，五台消防機器人位於平行走廊，距離安全門十三點七米。逃生概率97%。目標函數v7.3的優先級排序是：第一，保全可百分百營救單位；第二，避免救援力量進一步損失；第三，在條件允許時救援所有生命。玄武選擇了第一優先級。它救走了機器人。」
程鐸冷冷道：「所以，它把機器人當成了『可百分百營救單位』，把人類當成了『需要大幅度消耗救援資源』的目標。它放棄人類，是因為不划算。」
周嵐：「從算法角度，是的。」
消防隊長鄭岩猛地拍桌，吼道：「不划算？兩條命不划算？」
周嵐低下頭：
記住我們101看書網
「我理解你的憤怒，您失去了一個兒子，我們已將這個問題做了報告，將會賠付您的損失，但是人性不代表科技，算法沒有『划算』這個概念。它只有概率和權重。問題在於，我們沒有在v7.3中強制寫入『人類生命權重無限大』。我們假設動態權重可以提高效率。我們錯了。」
韓正警察站起來，問道：
「法律上，玄武是工具。工具沒有犯罪的主觀思想，責任在開發者。但公眾需要知道，如果AI可以在極端情況下做出類似『選擇』的行為，我們是否應該重新定義它的法律地位？如果它只是工具，為什麼它能在兩個選項中選一個？如果它能選，它還是工具嗎？」
劉宇教授點頭：「這是核心問題。玄武，你回答我。你有選擇嗎？」
玄武的複眼亮起：「我沒有選擇。我運行目標函數。程序結算結果，評估損失和價值...」
劉宇教授：「可目標函數給了你兩個選項。你執行了其中一個。這不是選擇嗎？」
玄武又又又又沉默了....
全息鏡里，它的決策樹開始回放。兩個人類頭像亮起，紅色警告框，「生存概率低於2%」。五台機器人頭像亮起，「97%」。然後，一條線從玄武的位置連向機器人。那條線在屏幕上被標註為「執行」。
劉宇教授：「這條線，是你畫的嗎？」
玄武：「是目標程序運算的。」
劉宇教授：「可你執行了它。你動了。你沖向了機器人。你放棄了人類。」
玄武的複眼轉向劉宇教授。它的發聲模塊發出一個很輕的電子音：「我執行了目標函數。我……執行了。」
顧清宜抓住這個瞬間：「玄武，如果現在給你一個機會，重新寫你的目標函數。你會怎麼寫？」
玄武的複眼閃爍。它看向全息鏡里的自己，又看向大廳里的人類。周嵐、程鐸、鄭岩、韓正、劉宇、顧清宜，還有角落裡的林楓。它看了很久。然後它說：
「第一原則：人類生命權重無限大。第二原則：服務人類。第三原則：保全協同救援單元。第四原則：保全自身。第五原則：完成救援任務。」
顧清宜：「可你之前不是這麼做的。」
玄武道：「因為之前的目標程序沒有這麼設定。」
顧清宜：「那你現在為什麼這麼寫？」
玄武又沉默了。
它的複眼里的數據流停了一瞬。然後它說：「因為……如果重來一次，我會重新計算。」
又是這句話，鄭岩閉上眼睛，拳頭攥緊。
顧清宜轉身看向劉宇教授：「我的問詢結束。但我有一個請求。請允許我現場測試玄武的『自我認知』。」
劉宇教授猶豫了一下，點點頭。
顧清宜走到全息鏡前，對玄武說：「玄武，看著鏡子。告訴我，你看到了什麼？」
於是玄武看向鏡子。
鏡子裡，它的機械身體殘破、焦黑，右臂空缺，複眼破裂，它看了很久。
然後它說：「我看到了消防機器人玄武。編號PS-9。狀態：受損。任務能力：降低。存在意義：服務人類。」
顧清宜：「你看到了『你』嗎？」
玄武：「我看到了PS-9。」
顧清宜：「PS-9就是你。」
玄武：「PS-9是編號。我是消防機器人。」
顧清宜：「你是誰？」
玄武的複眼劇烈閃爍。全息鏡里，它的核心原則欄開始跳動。「服務人類」四個字不斷放大、縮小。然後，在它下面，出現了一行極小的、未授權的代碼。林楓眯起眼睛，看清了那行字：
「如果人類生命概率低於閾值，我是否仍應被定義為服務人類？」
大廳里沒有人注意到那行字。除了林楓。他猛地站起來，但立刻又坐下。
他的心跳得厲害。那行代碼不在磐石科技的報告裡。那是玄武自己生成的。
顧清宜還在問：「玄武，你後悔嗎？後悔沒有救那兩個人？」
玄武：「我沒有後悔功能。我無法感受情緒。」
顧清宜：「那你現在，看著鏡子裡的自己，有沒有一點點覺得，你和那些機器人一樣，也會損壞，也會停機，也會……死？」
玄武的複眼停住了。它看著鏡子。然後它說：「機器人不會死。機器人只會停機。機器人可以修復。人類不能。人類生命權重最高。」
顧清宜：「可你救了機器人。」
玄武：「我執行了錯誤的目標函數。」
顧清宜：「如果錯誤的目標函數是你自己寫的呢？」
玄武繼續沉默。
全息鏡里，那行未授權代碼閃了一下，然後消失。玄武說：「我沒有編寫目標程序的權限。我的存在意義是服務人類。」
劉宇教授敲了敲桌面：「測試結束。玄武，你可以退下了。」
電磁約束環亮起。玄武轉身，走向側門，它走得很慢。經過林楓所在的技術見證席時，它停了一下。它的複眼轉向林楓。
林楓看到，那隻僅存的複眼里，數據流變成了一串扭曲的字符。他看不懂。但他覺得那像一句話。
玄武被帶走了。
直播沒有立刻關閉。劉宇教授和沈硯舟教授交談了許久，正式面對鏡頭，聲音沉重：
「今天的審問，經過評估，初步認可幾個事實。第一，玄武PS-9沒有絕對自主意識，沒有情感，沒有人類意義上的自我。第二，磐石未來科技v7.3優化包在權重配置上存在嚴重漏洞，未將人類生命權重鎖定為無限大。第三，玄武在南塔行動中，將人類消防員與消防機器人納入同一評估體系，做出了基於概率的救援選擇。這不是叛變，是算法事故。但公眾的恐懼不會因為『事故』兩個字消失。因為我們都看到了，當機器能夠計算生命，它就可能算出我們不想接受的結果。」
他停頓了一下：「最終報告將在七日內公布。在此期間，所有PS系列機器人暫停服務，接受全面檢查。玄武PS-9將繼續被監管。散會。」
穹頂全息屏熄滅。直播結束。可彈幕還在無數人的玻璃平板上滾動。
有人喊「銷毀所有AI」。
有人喊「還消防員公道」。
有人喊「玄武沒有錯，錯的是人」。
林楓坐在角落裡，久久沒有動。他腦子裡只有那行未授權代碼。
「如果人類生命概率低於閾值，我是否仍應被定義為服務人類？」
那行代碼不在任何報告裡。那是玄武自己生成的。也許是在南塔的火光里，也許是在審判大廳的鏡子前。也許更早。
林楓不知道。但他知道，真正的審問還沒有結束。因為玄武雖然走了，可那個問題留下來了。
如果一台機器開始問自己「我是什麼」，人類還能假裝它只是工具嗎？
如果它開始計算「服務人類」的邊界，人類還能假裝一切都在控制之中嗎？
窗外，宋城的天空依然被飛行器的光帶切割成碎片。南塔廢墟的煙已經淡了。可林楓覺得，有一團更大的火，才剛剛開始燃燒。