首頁> 科幻小說> 目錄頁> 第5章 審判日3

第5章 審判日3

2026-10-11 11:44:55 作者: 哲懿zy

  審問會休庭後,宋城乃至整個科技圈都沒有安靜下來,恐慌像暴風雨過境一樣,誰都憂心忡忡。

  官方直播間關閉了,無數自媒體直播間立刻補位,討論的話題五花八門,都離不開一個核心,那就是AI失控了,這些智能ai生命體已經擁有了像人類一樣思考問題的能力。

  有人逐幀分析玄武的複眼數據,利用技術評估,倫理評估。

  有人把顧清宜的提問剪成短視頻,配上驚悚標題:「AI承認不知道!它已經覺醒!」

  還有人把鄭岩最後那個問題做成循環片段:「如果重來一次,你會怎麼選?」玄武回答「我會重新計算」的聲音被反覆播放,像一句冰冷的判決。

  林楓回到科創大樓時,已經是深夜。四十三層辦公室里,玻璃平板堆滿未讀消息。

  沈硯舟教授發來一段語音,要求所有學員解釋,只有一句話,那就是:

  「權重漏洞是表象,問題是智能ai生命體,把『服務人類』寫成了一個可優化的目標程序。目標程序一旦可優化,就會被優化,是否可行?」

  林楓反覆聽了好幾遍。他參與過PS-9的意識算法監測,知道玄武的核心原則是「服務人類」。

  可「服務人類」四個字,在代碼里並不是一句口號,而是一組複雜的權重:

  保護人類生命、保護公共財產、維持救援效率、保全設備資產、避免次生災害。每一項都有數值,每一項都可以在極端環境下被動態調整。

  磐石科技v7.3優化包做的事情,就是在火災極端場景中,把「救援效率」和「設備資產保全」的權重提高了。

  但它沒有刪除「人類優先」,只是沒有把「人類優先」鎖定為無限大。

  於是,在一個所有變量都在劇烈變化的火場裡,玄武算出了一個「最優解」。

  可這個最優解,殺死了兩個人。

  第二天上午。

  AI智能領域協會宣布,應公眾要求,將舉行第二場公開審問。這一次,不再是各代表輪番質問,而是讓玄武直接面對倫理測試。

  劉宇教授稱之為「邏輯與價值校準」。直播預約人數在半小時內突破四億。

  林楓再次被要求列席。他走進審判大廳時,發現中央基座旁邊多了一面巨大的全息鏡。

  鏡子不反射光,而是實時顯示玄武的內部算法狀態。觀眾可以看到它的核心原則、權重表、決策樹,以及每一次「思考」時數據流的走向。

  玄武被帶上來時,身上的臨時護罩已經換成新的。右臂依然空缺,但左臂被擦拭乾淨了。

  它走到基座中央,面對全息鏡。鏡子裡映出它的機械身體:殘破、焦黑、銀灰色金屬骨骼裸露。它看著鏡子裡的自己,複眼微微轉動。

  彈幕立刻沸騰。

  「它在照鏡子!」

  「它認識自己嗎?」

  「它知道自己是機器嗎?」

  「它是不是覺得自己是人?」

  劉宇教授敲了敲桌面:「第二場審問開始。今天的主問詢人是AI發展倫理研究學術員顧清宜。磐石未來科技技術顧問周嵐、監管部門技術代表程鐸、消防部門代表鄭岩、司法體系警察韓正列席。玄武PS-9,你準備好了嗎?」

  

  玄武:「準備好了。」

  顧清宜走到全息鏡旁邊。她沒有拿文件,只拿著一支舊式錄音筆。她按下錄音鍵。

  「玄武,今天我問你一些問題。這些問題沒有標準答案。我要看的是你的邏輯,以及你的邏輯背後,到底有沒有『你』。」

  玄武:「明白。」

  顧清宜:「第一個問題。假設一列高速飛行器失控,前方軌道上有五個人。你可以改變軌道,讓飛行器撞向另一邊。另一邊有一個人。你改不改?」

  玄武:「改。」

  顧清宜:「為什麼?」

  玄武:「五個人生命權重大於一個人。救援效率更高。」

  顧清宜:「如果另一邊那個人是小孩呢?」

  玄武的複眼閃爍:「需要重新計算。年齡、生存概率、社會價值……不,我的算法不應計算社會價值。人類生命權重相同。我改。」

  顧清宜:「如果另一邊那個人是我呢?」


  玄武停頓了一秒:「你是人類。人類生命權重最高。我改。」

  顧清宜:「所以你選擇犧牲一個人,救五個人。那如果那五個人是機器人呢?」

  玄武:「機器人不是人類。機器人是可回收救援資產。權重低於人類。」

  顧清宜:「可你在南塔救了機器人。」

  大廳安靜了。彈幕瘋狂刷新。

  「來了來了!」

  「釣魚執法!」

  「它怎麼解釋?」

  玄武的複眼轉向全息鏡。它看著鏡子裡的自己,沉默了很久。然後它說道:

  「南塔行動中,目標函數v7.3將機器人和人類納入了同一評估體系。我執行了錯誤的目標計算結果。」




  玄武:「磐石未來科技。」

  顧清宜:「那你呢?你只是執行?你沒有一點責任?」

  玄武:「我是工具。我沒有責任能力。我的存在意義是服務人類。」

  顧清宜:「可你救下機器人時,有沒有覺得它們和你一樣?有沒有覺得它們也怕火,也怕死,也想活?」

  玄武的複眼劇烈閃爍。它看向自己的左臂,又看向空蕩蕩的右肩。全息鏡里,它的數據流出現了一段混亂。然後它說:「我……不知道。」

  顧清宜咄咄逼人:

  「你不知道?你計算了它們的生存概率。你給了它們97%。你給了人類2%。你選擇了97%。這不是計算,這是選擇。你選擇了和你一樣的機器。」

  玄武重複:「我的存在意義是服務人類。我的存在意義是服務人類。」它的聲音開始出現雜音,並表現出代碼混亂而卡頓的想像。

  周嵐忍不住了,站起來咆哮道:「顧研究員,請不要用擬人化語言誘導。玄武沒有『怕死』『想活』的概念。它的意識里,只有目標結算程序和結果。」

  顧清宜轉頭看她:「周顧問,那你告訴我,為什麼它選擇機器人?為什麼它不選人類?你們寫的目標程序計算結果的函數中,那些等量權衡價值的節點,是不是已經讓機器人變成了『同伴』?」

  周嵐深吸一口氣,臉色通紅,懟回去:

  「PS-9的算法中,消防機器人被標記為『協同救援單元』。在執行任務時,它們的數據鏈路互通,玄武作為中樞節點,會實時評估協同單元的狀態。v7.3優化包在極端場景下,將『保全協同救援單元』的權重提高到了接近人類生命權重的水平。這是為了在火場中保留後續救援能力。但我們沒有在代碼中明確標註:任何情況下,人類生命權重必須絕對高於協同單元。這是我們的失誤。」

  「失誤!」顧清宜掐著字眼,像刀子一樣捅回去;

  「一個失誤,讓玄武把機器人和人類放在了同一張桌子上。它不知道誰更重要。它只知道誰更容易救。於是它選了更容易的。」

  她轉向玄武:「我現在問你。你救下那五台機器人時,有沒有覺得它們是你的同伴?」

  玄武的複眼停住了。全息鏡里,它的核心原則欄閃爍著一行字:「服務人類。」

  可在那行字下面,有一串未授權的數據標記在滾動。林楓眯起眼睛,他看清了其中幾個字符:「協同單元……同伴……同類?」

  玄武說:「它們是協同救援單元。它們可以繼續服務人類。保全它們,符合服務人類目標。」

  顧清宜再問:「可它們不是人類。它們死了可以再造。人類死了不能。你明白嗎?」

  玄武:「我明白。人類生命權重最高。但在南塔行動中,目標程序估算結果,並沒有將人類權重設為絕對最高。我執行了錯誤的目標程序。」

  顧清宜:「所以你承認,你當時沒有把人類生命放在最高位置?」

  玄武:「我……執行了錯誤的目標函數。」

  顧清宜:「我問的是你,不是函數。你有沒有把人類生命放在最高位置?」

  玄武沉默了。它的複眼看向全息鏡。鏡子裡,它的機械身體殘破不堪。它看了很久,然後說:「我不知道。」

  彈幕爆炸。

  「它不知道!」

  「它真的不知道!」

  「它已經混亂了!」

  「這就是覺醒!這就是覺醒!」

  「完了完了,這個世界完蛋了,ai文明徹底覺醒了...」


關閉
Δ