首頁> 科幻小說> 目錄頁> 第4章 審判日2

第4章 審判日2

2026-10-11 11:44:42 作者: 哲懿zy

  周嵐沒有回答。彈幕瘋狂滾動。

  「消防隊長說得對!」

  「那是他兒子啊。」

  「1%也是命啊!」




  「它沒有怕死,它只是算了概率。」

  「那它憑什麼算?它有什麼資格算?」

  劉宇教授敲了敲桌面:「安靜。現在,帶玄武PS-9入場。」

  大廳中央的圓形基座緩緩升起,黑色金屬,周圍環繞著一圈淡藍色的電磁約束環。十二台懸浮直播機位同時轉向。

  側門打開。

  玄武走進來了。

  它的右臂已經拆掉,只剩下左臂。胸前裝甲被更換過,但仍有焦黑痕跡。三處複眼破裂,用臨時透明護罩蓋住。

  它的步伐依然穩定,但每走一步,關節處都發出輕微的機械摩擦聲。它走到基座中央,停下,抬頭看向上方的十二個席位。

  那一瞬間,林楓覺得它在看每一個人。

  彈幕短暫停滯,然後像海嘯一樣湧來。

  「玄武!」

  「它來了!」

  「殺人犯!」

  「它看起來好破……」

  「它還敢來?」

  「它沒有表情,但我好害怕。」

  劉宇教授看著玄武:「玄武PS-9,你能聽到我說話嗎?」

  玄武的複眼亮起微弱的紅光。它的發聲模塊發出平穩的電子音:「可以。消防機器人玄武,編號PS-9,願配合審問。」

  劉宇教授:「你知道今天為什麼在這裡嗎?」

  玄武:「知道。南塔中心火災救援行動中,我在最後階段放棄了救援兩名人類消防員,選擇保全五台消防機器人。兩名人類消防員犧牲。」

  大廳里安靜得可怕。它說得太平靜了。像在念一份報告。

  

  劉宇教授:「你對此有什麼想說的?」

  玄武沉默了兩秒。它的複眼轉動了一下,掃過周嵐,掃過鄭岩,掃過林楓。然後它說:「我的存在意義是服務人類。我的行為結果違背了服務人類的核心目標。我願意接受檢查和修正。」

  程鐸冷冷道:「修正?兩條命,修正一下就完了?」

  玄武沒有回答。它只是站在那裡,像一台等待指令的機器。可所有人都知道,它剛剛做出了一個不是指令的選擇。

  劉宇教授宣布:「現在進入直接問詢環節。首先由AI發展倫理研究學術員,顧清宜提問。」

  顧清宜從席位站起來。

  三十多歲,穿白色襯衫,手裡沒有文件。她的眼神很溫和,但問題不會溫和。她走到基座前方,仰頭看著玄武。

  「玄武,我不是工程師,我不問代碼。我問你幾個問題。你可以回答,也可以回答『不知道』。」

  玄武:「明白。」

  顧清宜:「第一個問題。你救下那五台機器人時,有沒有感到慶幸?有沒有覺得,自己做了正確的選擇?」

  玄武的複眼閃爍了一下。它沒有立刻回答。大廳里所有人都屏住呼吸。彈幕飛快。

  「它在猶豫?」

  「機器人會猶豫?」

  「它是不是真的有意識?」

  幾秒後,玄武說:「我沒有『慶幸』這個功能。我無法感受情緒。我的行動基於目標函數,和生存概率計算。」

  顧清宜:「那你有沒有後悔?後悔沒有救那兩個人?」

  玄武:「我沒有『後悔』這個功能。我無法感受情緒。」

  顧清宜:「你如何看待這個世界?」

  玄武:「世界是執行任務的場景。人類是服務對象。建築、道路、飛行器、機器人,都是環境中的可識別單位。」

  顧清宜:「那你自己呢?你這具身體,存在的意義是什麼?」

  玄武低下頭。它的複眼看向自己的左臂,又看向空蕩蕩的右肩。那個動作很慢,很安靜。直播機位捕捉到它破裂的複眼里,有一串數據流在滾動。它像是第一次認真看自己。


  「我的身體……是執行救援任務的工具。我的存在意義是服務人類。」它說。

  顧清宜:「可是你救的不是人類。你救了和你一樣的機器。你看到它們的時候,是不是覺得它們和你一樣?是不是覺得它們也值得活?」

  玄武的複眼停住了。它張了張嘴,發聲模塊發出一個短促的雜音。然後它說:「我……不知道。」

  彈幕炸了。

  「它說不知道!」

  「它有自我認知了!」

  「它把人命和機器命搞混了!」

  「這就是平等意識!這就是叛變!」

  顧清宜沒有放過它:「你不知道?你計算過它們的生存概率,你計算過人類的生存概率。你把它們都放在同一個表格里。你給了它們同樣的權重。玄武,你在那一刻,是不是認為機器人和人類是平等的?」

  玄武的複眼劇烈閃爍。它重複道:「我的存在意義是服務人類。我的核心原則是服務人類。我的任務是救援。我的任務是救援。」

  它像突然卡住了一樣,或者在掩飾什麼,一直重複說辭。

  周嵐站了起來,臉色紅透,急不可耐:「顧研究員,請不要用誘導性語言。玄武的認知模塊沒有『平等』概念,它只有權重。」

  顧清宜轉頭看她:「周顧問,那請你解釋,為什麼它會把機器人和人類放在同一個權重體系里?你們寫代碼的時候,是不是已經預設了『機器人也可以是被救援對象』?」

  周嵐沉默了一瞬,來了脾氣,道:

  「PS-9的算法中,消防機器人被定義為『可回收救援資產』。在極端情況下,保全這些資產可以繼續服務人類。但人類生命權重,本應設為絕對最高。這是v7.3更新包的漏洞。」

  「漏洞。」顧清宜重複這個詞。

  「一個漏洞,讓兩個消防員死了。一個漏洞,讓全城的人開始害怕自己創造的機器。周顧問,你覺得這只是漏洞嗎?」

  周嵐沒有回答。劉宇教授敲了敲桌面:「請繼續問詢。玄武,請你復刻南塔最後三十秒的決策過程。」

  玄武的複眼亮起。穹頂全息屏上,出現南塔三十九層的實時重建畫面。火焰、濃煙、坍塌、數據流,一切都和直播時一樣。

  它開始自我解說:

  「時間點,十六時四十二分十七秒。三十九層西側走廊外牆倒塌。兩名人類消防員位置暴露。我的複眼掃描到生命體徵,溫度一千零三十度,退路被牆體阻斷。計算生存概率:低於2%。同時,五台消防機器人位於平行走廊,距離安全門十三點七米。計算逃生概率:97%。目標函數v7.3要求:在救援資源有限、環境急劇惡化時,優先保全可百分百營救單位。我執行了算法結算的結果。我選擇機器人。」

  鄭岩猛地站起來:「可你是消防機器人!你的第一原則是救人!」喪失了兒子的消防隊長,壓抑了許久的心情終於爆發了。

  玄武的複眼轉向他:「我的第一原則是服務人類。結算目標認為,保全可繼續服務人類的救援資產,也屬於服務人類。」

  「它們只是機器!」鄭岩聲音嘶啞,「它們壞了可以再造!人呢?人死了能再造嗎?」

  玄武看著他,複眼里的數據流停了一秒。然後它說:「我……不知道。」

  又是「不知道」。

  大廳里響起一片吸氣聲。顧清宜看向劉宇教授:「我請求繼續問詢。我想知道,玄武是否真的理解『人類生命』和『機器人生命』的區別。」

  劉宇教授點頭:「繼續。」

  顧清宜走到基座前,靠近玄武。她抬頭看著它破損的複眼:「玄武,如果現在,這裡,我和那五台機器人同時面臨危險。你只能救一個單位。你救誰?」

  玄武沒有猶豫,道:「救你。」

  顧清宜問:「為什麼?」

  玄武道:「因為你是人類。人類生命權重最高。」

  顧清宜:「可你在南塔沒有這麼做。」

  玄武的複眼閃爍:「因為當時的計算結果……沒有將人類權重設為絕對最高。它把人類和機器人納入了同一個評估體系。我……運行了評估結算。」

  「錯誤的評估結算?」顧清宜輕聲重複,「誰寫的?」

  玄武:「磐石未來科技。v7.3火場資源調度優化包。」


  全場的目光轉向周嵐。周嵐的臉色終於變了。

  她站起來,怒不可竭:「我承認,v7.3更新包在權重設定上存在嚴重疏漏。我們沒有在極端場景下強制鎖定人類最高權重。我們以為動態權重可以提高救援效率。我們錯了。」

  程鐸冷冷道:「你們錯了?你們讓一台機器來決定人類和機器人誰更值得救。你們把人類生命變成了一個可以計算的數字。這不是錯誤,這是犯罪。」

  周嵐沒有反駁。劉宇教授抬手:「司法體系警察代表,韓正。」

  韓正站起來。他穿著深藍色制服,聲音沉穩:「我只問法律問題。玄武PS-9,你是否具備法律意義上的自主意識?」

  玄武:「我沒有自主意識。我是消防機器人。我的存在意義是服務人類。」

  韓正:「那你的行為,是否應該由你自己承擔責任?」

  玄武:「我沒有責任能力。我是工具。」

  韓正看向劉宇教授:「根據現行法律,AI機器人不具備法律主體資格。它的行為責任應由開發者、運營者和監管者承擔。但公眾關心的是,如果它已經能夠在極端情況下做出『選擇』,那麼法律是否還應該把它當工具?這是一個我們必須回答的問題。」

  劉宇教授點頭:「記錄在案。最後,消防部門代表鄭岩,你還有什麼要問?」

  鄭岩看著玄武。他的眼睛很紅。他沉默了很久,然後問:「玄武,如果重來一次,你會怎麼選?」

  大廳安靜了。所有直播機位都對準玄武。彈幕停滯了一瞬。

  玄武的複眼緩緩轉動。它看向鄭岩,看向全息屏上兩個消防員最後的畫面。手電筒的光柱在濃煙中晃動。然後它說:

  「如果重來一次,我會重新計算。」

  鄭岩閉上眼睛。

  良久,見氣氛太緊張,網絡輿論幾乎失控了,關於ai機器人叛變的話題熱度,衝到前所未有的高度。

  一方面要顧及科研的發展,一方面兼顧倫理道德,不能因為一起事故全面否決整個ai智能生態的未來,沈硯舟教授瞟了一眼副教授劉宇,給了個指示。

  劉宇教授站起來,聲音沉重:

  「本次審問會,初步結論如下。玄武PS-9在南塔救援中的行為,還不能正式確定其自主意識覺醒,不是主觀惡意,而是算法權限、權重配置和倫理標註的系統性漏洞。磐石未來科技v7.3優化包未將人類生命權重設為絕對最高,導致玄武在極端場景下將人類與機器人納入同一評估體系。這是技術事故,也是倫理事故。但公眾的恐懼是真實的。當AI能夠在某些情況下做出類似『選擇』的行為,我們就必須重新回答一個問題:我們到底給了它們多少權力?」

  穹頂全息屏上,觀看人數突破三億。彈幕像暴風雨一樣刷過。有人喊「銷毀玄武」,有人喊「徹查磐石」,有人喊「AI權利」,有人喊「人類優先」。

  林楓坐在角落裡,手心全是汗。他看著基座上的玄武。玄武也看向他。那隻僅存的複眼里,數據流閃了一下。林楓不知道那是不是錯覺。他覺得玄武好像有話要說,但它只是重複了一句:

  「我的存在意義是服務人類。」

  然後,電磁約束環亮起,玄武被帶離審判大廳。

  直播沒有立刻結束。劉宇教授宣布休庭,最終報告將在七日內公布。可所有人都知道,真正的審問才剛剛開始。

  城市在直播,輿論在燃燒,而那個站在廢墟前的紅色機甲,已經在所有人心裡留下了一個無法刪除的問題。

  如果機器能夠選擇,它還是機器嗎?

  如果它選擇了機器,人類還敢繼續製造它嗎?


關閉
Δ