第十六章 武器化

「你們大概聽過伊隆．馬斯克有關人工智慧會引發第三次世界大戰的言論。」

二○一七年秋天，克萊瑞菲位於曼哈頓下城辦公室角落的一間房間，窗戶全都用紙糊住，門上有一個牌子寫著「消失的密室」（The Chamber of Secret），引用的是「哈利波特」（Harry Potter）系列的第二集書名。這個牌子是用手寫的，掛得有些歪歪斜斜。在門後有個八位工程師組成的團隊，正在進行一項他們被禁止對公司其他同事談起的計畫。其實，即使是他們自己也不太清楚所從事的計畫是什麼。他們知道是在訓練一套系統，使其能夠自動辨識在沙漠中某處所拍攝影片裡的人物、汽車與建築物，但是他們不知道要如何使用此一科技。當他們詢問時，公司的創辦人暨執行長塞勒會解釋，這是政府有關「監視」的計畫。他說此一計畫可以「拯救生命」。

後來克萊瑞菲搬到較大的辦公室，幾位工程師發掘儲存在公司內部電腦網路的數位檔案，發現有幾個檔案談到一筆政府合約，他們的工作才浮現檯面。他們是為國防部的專家計畫（Project Maven）研發相關科技。該計畫的構想是建造一套系統，可以為無人機辨識攻擊目標。但是此一系統的確切用途仍不明朗。他們無法確定此一科技是用來殺戮，還是如塞勒所說的是為了避免殺戮。也無法確定這套系統是用來進行自主性的空襲行動，還是為人類操作員扣下扳機前提供資訊。

接著，在二○一七年末的一個午後，三名身著平民服裝的軍方人員走進克萊瑞菲的辦公室，與幾位工程師闢室密談。他們要知道此一科技的精確度有多高。他們先是詢問它能否辨識像清真寺這樣的特殊建築物。他們表示，恐怖分子與叛亂分子往往會利用清真寺做為軍事總部。他們然後又問道它能否區分男人與婦女。「你是什麼意思？」一位工程師問道。軍方人員解釋，在曠野之中，它應該能夠根據男人兩腿間隙來分辨男人（都是穿著褲子）與婦女（都是穿著長及腳踝的裙子）。他們表示，他們只准許射殺男人，不能殺婦女。「有的時候男人會穿長裙來騙我們，不過沒有關係，」一位軍方人員說道，「我們還是會幹掉這些混帳東西。」

***

二○一七年八月十一日，週五，美國國防部長詹姆士．馬提斯（James Mattis）坐在谷歌山景城總部會議室的桌前。會議桌上有插著白梔子花的花瓶，靠著翠綠色牆壁的窗台上有四壺咖啡，旁邊是幾盤糕點。他對面坐著新上台的谷歌執行長皮采，還有布林、法律總顧問肯特．華克，以及人工智慧部門的主管約翰．吉安南德雷亞，他就是把四萬片GPU板置入谷歌數據中心來加速人工智慧研發的功臣。會議室內還有其他一些人，包括幾名國防部的人員與谷歌雲端運算團隊的主管們。國防部的人員大都穿西裝打領帶。谷歌的與會者大都穿著西裝，但沒有打領帶。布林則是穿著一件白色T恤。

馬提斯正在進行西海岸巡迴考察，參訪矽谷與西雅圖的多家大型科技業者，主要是代表五角大廈探詢專家計畫的採行選項。國防部是在四個月前發動專家計畫，旨在加速國防部「對大數據與機器學習的使用」。該計畫又名「演算法作戰跨職能團隊」（Algorithmic Warfare Cross-Functional Team）。此一計畫的推動有賴像谷歌這類的企業支持，因為它們近幾年來已累積了建造深度學習系統所需的專業與基礎架構。這也是五角大廈建立新科技的典型方法─與民間企業合作─但是現在的情況與過去有所不同。谷歌與其他科技業者掌握了美國人工智慧的人才，然而它們都不是傳統的軍事承包商。它們是才開始涉足軍事相關領域的消費性科技業者。不僅如此，川普現在已入主白宮，使得這些公司的員工更加警惕政府的計畫。谷歌對其中的緊張態勢尤其敏感，這是因為該公司特有的文化允許─甚至鼓勵─員工說出自己的看法、做他們喜歡做的事，而且通常在工作場所的行為表現就和在家裡一樣。這樣的文化源自該公司的草創初期，布林與佩吉的成長歲月是在崇尚自由思想的蒙特梭利（Montessori）學校度過的，他們將這樣的思想帶入谷歌。

專家計畫所造成的緊張情勢尤其高亢。許多主持谷歌深度學習研發工作的科學家都反對自主性武器，包括辛頓與深度心智的創辦人。但是根據了解，谷歌的最高層卻希望能與國防部合作。谷歌董事長施密特同時也是國防創新委員會（Defense Innovation Board）的主席，這是由歐巴馬政府成立的民間組織，旨在促進矽谷的新科技加速移轉至國防部。在該委員會最近一次會議中，施密特表示在矽谷與國防部之間有一道「顯著的鴻溝」，該委員會的任務就是弭平此一差距。谷歌高層同時也視與軍方合作為其發展雲端事業的另一契機。其實該公司暗中已和國防部建立合作關係。在五月的時候，也就是專家計畫發動一個月後，谷歌一支團隊與國防部官員會面，而在第二天谷歌就向政府申請在自家電腦伺服器儲存軍事數據的許可證。但是三個月後馬提斯來到谷歌總部商討相關科技時，他知道必須動用一些技巧才能引導其中的關係傾向他這一邊。

馬提斯表示他已深刻了解該公司科技在戰場上的威力。畢竟，美國的敵人都是使用谷歌地球─以衛星影像組合而成的互動式世界數位地圖，來辨識迫擊砲的目標。他強調美國應該加強作戰能力。現在，在專家計畫下，國防部不僅要發展人工智慧，能夠閱讀人造衛星的照片，同時還要能夠分析無人機在更接近戰場的位置所捕捉到的影片。馬提斯盛讚谷歌「在科技業界的領先地位」與「企業責任上的崇高聲譽」。他表示，這就是他來這兒的一個主要原因。他十分關切人工智慧的道德倫理問題。他表示該公司應該讓國防部「感到如芒在背」─以此來反制其傳統的態度。他說道：「國防部歡迎你們的理念。」

在桌子另一側的皮采表示，谷歌經常在思考人工智慧的倫理問題。他指出，愈來愈多的壞人會使用這類科技，因此讓好人領先是重中之重。馬提斯問谷歌能否將一些道德與倫理下的規則予以編碼輸入系統之內─谷歌人員心知肚明這是一個不切實際的選項。主持谷歌人工智慧研發工作的吉安南德雷亞強調，這些系統最終都需仰賴其訓練數據的品質。但是谷歌的法律總顧問華克採用不同的說詞。他表示，這些科技具有拯救生命的巨大潛能。

九月底，在馬提斯造訪谷歌總部的一個多月後，谷歌簽下參與專家計畫相關工作為期三年的合約，總值在二千五百萬美元到三千萬美元之間，其中一千五百萬美元必須在頭十八個月內付清。對谷歌來說，這只是一筆小數目，而且其中一部分還必須與其他參與合約的人分享，不過該公司著眼的是放長線釣大魚。就在同一個月，國防部邀請美國企業參與JEDI的競標，這是聯合企業防禦架構（Joint Enterprise Defense Infrastructure）的縮寫，是一筆為期十年、高達一百億美元的合約，主要是提供國防部應用核心科技所需的雲端運算服務。問題在於谷歌爭取JEDI合約時，是否會公開其參與專家計畫與未來其他可能的政府合約的事實。

在馬提斯參訪谷歌總部的三週後，生命未來研究所發表了一封公開信，呼籲聯合國禁止他們所謂的「殺手機器人」（killer robot），這是對自主性武器的另一個稱呼。「針對企業界製造的人工智慧與機器人科技可能會被重新利用發展自主性武器，我們特別覺得有責任提出警告，」公開信寫道，「致命的自主性武器極有可能引發戰爭型態的第三次革命。一旦發展出來，軍事衝突的規模勢必遠大於過去，而且發動速度之快也將遠超過人們的理解。」該封公開信獲得人工智慧圈內逾百人的簽署，包括不時對超智慧威脅發出警告的馬斯克，此外還有辛頓、哈薩比斯與蘇萊曼。蘇萊曼認為，這些科技需要一種新型態的監管。「是誰在做未來有一天將會影響這個星球數十億人口的決策？又是誰在參與此一決策過程？」他問道，「我們必須分散此一決策過程的參與者，這也代表監管人士必須在一開始就參與決策─政策制定者、公民社會行動人士，以及我們這些科技服務的對象─應該讓他們深入參與我們產品的創造與了解我們的演算法。」

九月，谷歌準備簽下專家計畫的合約，負責審查該協議的銷售人員相互以電子郵件討論公司是否該將合約公開。「我們應該宣布嗎？我們能談論報酬嗎？我們提供給政府的指示是什麼？」谷歌一位人員寫道，「如果我們保持沉默，我們就無法控制相關的訊息。這對我們的品牌形象沒有好處。」他最終認為谷歌應該發布此一新聞，其他人也同意。「這個消息最後一定會流出去，」另一位谷歌人員寫道，「還不如照我們自己的方式發布。」這樣的討論持續了好幾天，期間某人說服了李飛飛。

李飛飛為這項合約喝采。「我們即將拿到專家計畫實在太棒了！這是一個了不起的成就，」她寫道，「你們的表現太好了！謝謝你們！」但是她也提醒在宣傳時必須格外謹慎。「我認為我們應從一般雲端科技的角度，就國防部與GCP間的合作來進行公關活動，」她寫道，她所謂的GCP指的是谷歌雲端平台（Google Cloud Platform），「不過要不惜代價避免提到人工智慧，或是有任何相關暗示。」她知道媒體界一定會質疑該計畫的道德倫理問題，即使只是因為馬斯克挑起這個話題：


谷歌到頭來並未宣布這項計畫，並且還要求國防部也不要公開。即使是公司內部人員也必須靠自己才能知道這項計畫。

***

俯瞰一○一號高速公路─直穿矽谷心臟的八線道國道─的一號機庫（Hangar One）是地球上最大的獨立式建築之一。它建於一九三○年代，當初是為美國海軍停放飛船之用，這是一座鋼鐵製的巨無霸農倉，高度近二百英尺，面積逾八英畝，可以容納六座足球場。它屬於莫菲特機場（Moffett Field）的一部分，這是有一百年歷史的航空軍事基地，座落於山景城與桑尼維爾（Sunnyvale）之間。莫菲特機場為美國國家航空暨太空總署（NASA）所有，後者在一號機庫設有一座研究中心，但是它把該座軍事基地的大部分出租給谷歌使用。谷歌則是利用這座舊式的鋼鐵機庫測試未來可在空中提供網際網路服務的氣球。此外，谷歌的高層，包括佩吉、布林與施密特的私人飛機多年來都是利用這兒的跑道進出矽谷。

新成立的谷歌雲端總部座落於莫菲特機場的南端，有三棟建築物圍繞著一個綠草如茵的庭園，庭園內有野餐桌椅，供谷歌員工午餐使用。其中一棟建築是谷歌的先進解決方案實驗室（Advanced Solutions Lab），這是該公司為其頭號客戶提供科技客製化研發服務所在。十月十七日與十八日，在這棟建築裡，谷歌高層人員與國防部副部長派崔克．夏納翰（Patrick Shanahan）及其幕僚商討谷歌在專家計畫中所扮演的角色。和國防部其他許多高層一樣，夏納翰視此一計畫是邁向更大規模戰略的第一步。他一度表示：「若是沒有內建的人工智慧能力，國防部的任何計畫根本就不應該繼續進行。」至少對於籌劃此一合約的谷歌人員來說，長期而言，在此合約中，谷歌應是具有舉足輕重的地位。

但是，谷歌首先必須開發所謂「氣隙」（air gap）系統的軟體─一部電腦（或是電腦網路）若是由氣隙系統所包圍，就會與其他任何網路隔離。要將數據輸入這類系統的唯一方法就是透過某種實體裝置，例如隨身碟。顯然五角大廈會把無人機拍到的影片載入這套系統，而谷歌需要取得這些資料以輸入神經網路。這也代表谷歌無法控制這套系統，甚至根本搞不清楚如何使用這套系統。十一月，由九名谷歌工程師組成的一支團隊奉命為此一系統開發軟體，但是他們根本沒有著手進行。在了解這套系統的目的之後，他們拒絕參與其中。

新年之後，有關此一計畫的消息在公司內部不脛而走，關切谷歌正在幫助國防部發動無人機攻擊的聲浪不斷升高。二月，九名工程師用一篇貼文表達他們的看法，藉由公司內部的社交網路谷歌＋（Google+）傳遍全公司。具有相同觀點的員工熱烈支持他們，並且稱讚他們為「九人幫」。在二月的最後一天，雲端團隊產品經理，同時也是紐約大學今日人工智慧研究所（AI Now Institute）創設人的梅瑞迪絲．惠特克，發表一份請願書，要求皮采取消專家計畫合約。今日人工智慧研究所是致力於追求人工智慧倫理最活躍的組織之一。「谷歌，」請願書寫道，「不應涉足戰爭生意。」

第二天，在谷歌的全員大會上，高層告訴員工，專家計畫的合約頂多只有九百萬美元，而且谷歌只從事「非攻擊性」目的的科技開發。但是疑慮持續增長。當天晚上，有大約五百名員工簽署了惠特克的請願書。翌日，又有一千人左右加入他們的行列。到了四月初，谷歌總共有逾三千一百位員工在請願書上簽下自己的名字。與此同時，《紐約時報》發布了一篇有關此一事件的報導。數日後，雲端團隊的高層邀請惠特克加入在全員大會期間商討專家計畫合約的一個小組討論會。在討論會上，惠特克與另外兩位支持合約的谷歌員工進行了三次辯論，在三個不同時區實況轉播。

在倫敦方面，深度心智有一半以上的員工都簽署了惠特克的請願書，蘇萊曼在這場抗議中居功厥偉。谷歌的專家計畫合約直接挑戰他的基本信念。他視谷歌內部這場抗議是歐洲的善感已傳播至美國，從而迫使科技巨擘改變方向的證明。歐洲迅速高漲的民意是促成一般資料保護規範（General Data Protection Regulation，GDPR）設立的主因，這是強制規定企業必須尊重資料隱私權的法律。如今，在谷歌也有一股力量風起雲湧，迫使公司必須重新思考其在軍事方面的經營方向。隨著爭議持續加劇，蘇萊曼敦促皮采與華克盡快制定定義谷歌應有所為與有所不為的倫理規範。

***

五月中旬，一批獨立學者對佩吉、皮采、李飛飛以及谷歌雲端事業的負責人發表一封公開信。「作為學者、學界人士，以及攻讀、教導與發展資訊科技的研究人員，我們與其他的科技從業人員堅定支持谷歌超過三千一百位的員工，反對谷歌參與專家計畫，」公開信寫道，「我們全心全意支持他們要求谷歌撤銷與國防部間的合約，同時敦促谷歌與其母公司字母承諾不會發展軍事科技，也不會將蒐集到的個人資料使用在軍事目的上。」有逾一千位學者都在公開信上簽下名字，包括班吉歐與李飛飛在史丹佛的幾位同事。

李飛飛陷入兩難的局面，一邊是她在科技產業的老闆，一邊則是在學界的同僚。她的困境也反映出近幾年來兩個世界的拉扯與碰撞。原本僅是學界幾十年來一直在胡整瞎弄的科技，如今突然變成全球規模最大與最有權勢的企業巨頭不可或缺的基本盤。它的未來已由各界角逐獲利的欲望所左右。此一議題引發的情緒導致部分人士轉而責怪辛頓沒有發聲表達他的關切。「我已失去對他的尊敬，」在谷哥多倫多實驗室工作的前史丹佛教授傑克．保森（Jack Poulson）說道，他的辦公室就在辛頓的樓下幾層樓，「他什麼都沒說。」不過其實辛頓曾私下勸布林取消合約。

在這封公開信發表後，李飛飛在中文留言板上遭到死亡威脅，她告訴許多人，她擔心自己的安危，並且強調加入專家計畫並非她的主意。「我完全沒有參與申請與接受專家計畫合約的決策，」她後來表示，並且強調她曾在電子郵件中談到馬斯克與第三次世界大戰，「我對銷售團隊的警告是正確的。」五月三十日，《紐約時報》在頭版刊登了一篇相關爭議的報導，開頭先引用她的電子郵件，結果谷歌內部的抗議聲浪更加高漲。幾天後，谷歌高層告訴員工，公司不會續約。

谷歌的最終決定是大規模抵制政府合約熱潮的一部分。克萊瑞菲的員工也起而反對專家計畫。一位工程師在那三位軍方人員到訪後立刻退出這個計畫，其他幾位也分別在數週與數月後辭職。與此同時，微軟與亞馬遜的員工也群起抗議軍事與監視合約，但這些抗議的效果有限。即使是在谷歌，原本高漲的抗議聲浪也終告消散。該公司內部最初反對專家計畫最熱烈的人先後離開，包括惠特克與保森。李飛飛也返回史丹佛。同時，雖說谷歌拒絕續約，但是該公司並未停止向此一方向前進的腳步。一年後，華克在華盛頓的一個場合與夏納翰將軍並肩站在講台上，他表示專家計畫並不足以代表公司的目標。「這只是針對一筆合約的決策，」他說道，「並非代表我們與國防部的長期合作意願。」 閱讀完整內容