華為的一場大突圍

本文來自微信公衆號:正和島(ID:zhenghedao),內容摘編自:中信出版集團《質量爲綱》,作者:田濤、殷志峯、彭勇(執筆),頭圖來自:視覺中國

這是一個跌宕人心的真實故事。

美國斷供鐵拳襲來,外資合作伙伴被迫分手,華爲不得不爲自己無比龐大的系統和數據自建一套ERP系統。

歷經3年,1700多人共同作戰,他們完成了這個華爲的“兩彈一星”項目,這個業界幾乎公認爲不可能的任務。

這篇長文首度披露完整過程與諸多內幕。從中,你會看到一家優秀企業的文化有多麼大的魅力和感召力,也能看到困境面前,總有不屈不撓的奮鬥和笑看滄桑的豪情。

一、序章

深圳的夏天來得很早,五月中旬,陽光就炙熱起來了。從梅林關沿着梅觀高速向北行駛5公里,有一處繁忙的出口,指示牌上標示:富士康向左,華爲向右。從出口下高速,轉入張衡路,是一條林蔭大道,兩邊高大的鳳凰木開着火紅的花,一樹樹花團錦簇,在陽光的炙烤之下,似乎要燃燒起來。

一側的路上是去往富士康的川流不息的人羣,穿着深藍色制服的年輕人,三三兩兩,快步趕往工廠。

另一側的路上是通向華爲坂田基地的蜿蜒車龍,汽車走走停停,駕駛員在停頓的幾十秒時間裏,還習慣性地刷着手機。

陶景文就被裹挾在車龍之中,臉上寫滿了疲憊。看到人行道上不斷閃過的年輕的面龐,他不禁回想起20多年前的自己,那時他大學畢業不久,隻身來到深圳,也是每天從租住的農民房走路到公司,在食堂買幾個包子後,就一頭扎進軟件代碼之中。

同事都是年輕人,充滿激情地開發新產品,一起熬夜加班,晚上在大排檔喫個夜宵,再打上兩局檯球。現在想起來,那是多麼簡單而幸福啊。

後來,他轉向市場與銷售工作,從中國到非洲,再到歐洲,十多年間跑遍了大半個地球。再次回到深圳時,他被任命爲公司CIO(首席信息官),負責流程和IT(信息系統)建設。

CIO的工作不好乾。日本管理學家大前研一說過:“作爲企業CIO,業務部門要什麼你就做什麼,這不是一個好CIO,早晚得下臺;但業務部門要什麼,CIO不能滿足這些訴求,下臺會更快。”這句話,讓陶景文認識到CIO工作的價值與挑戰,也領悟到IT和業務之間相愛相殺的纏鬥關係,深感責任重大。

尤其是在2019年5月16日,華爲被美國商務部制裁,170多個關鍵IT系統都面臨着中斷風險,全球業務的正常運作受到威脅,他更是感到壓力巨大。

“嘀嘀嘀……”一輛越野車從旁邊插過來,想強行加塞。放在平時,他肯定會踩下剎車踏板,讓它過去。但是今天,他沒有給這個機會。他惦記着一個重要的會議,要見一位老朋友。

這位朋友是美國甲骨文公司(Oracle)的區域負責人,因爲商業關係,陶景文與他結識多年。在華爲被制裁之後,所有與華爲有商業合作的美國公司都開始解讀制裁令,並採取各種措施,以遵從美國政府的規定。作爲華爲ERP(企業資源計劃)系統的供應商,甲骨文公司也在評估實體清單的影響。從前期傳遞過來的消息來看,雙方繼續合作的可能性很小。今天,這位區域負責人將會給他一個正式的答覆。

“陶總,我們和華爲有着20多年良好的合作,從我們的意願來講,是非常希望能繼續爲華爲服務的。”

陶景文知道接下來將是不好的消息,但還是抱着一線希望問:“貴公司是否已經向美國商務部申請許可了?”

“很遺憾,總部通知我們,停止所有與華爲的合作。”

“那我們之前採購的硬件服務器,能不能按時交付?”

“非常抱歉,總部已經取消了這單採購合同。”

“在華爲的30多位維護專家,還能工作多久?”

“作爲朋友,我非常理解你。但沒有辦法,他們已經接到通知,馬上就離場。”

......

送走這位負責人,會議室陷入了長時間的沉默。沒有備件,沒有服務,沒有升級補丁,ERP系統很快就會像一臺年久失修的老爺車,所有人都知道這意味着什麼。

ERP系統是大型企業必不可少的核心管理軟件,其重要性堪比人的神經系統,如果ERP系統崩潰,華爲在170多個國家和地區的業務運作就會停擺,企業管理也會倒退回手工作業時代,公司生存會受到嚴重威脅。

專家撤離得很快。當天下午,平時略顯擁擠的辦公區就變得空空蕩蕩,只剩下寥寥幾位華爲員工站在那裏,不知所措。這些專家都是甲骨文公司在中國本地僱用的工程師,他們與華爲IT人員一起保障着ERP軟硬件系統的穩定運行,面對突如其來的變故,他們儘管內心極不情願就此中斷自己的職責,但是總部的指令必須遵從。

ERP系統的斷供停服,如同奔騰洶湧的大渡河,將困難橫亙在華爲面前,歷史上沒有一家公司面對過這樣的難題。

大渡河,因水流湍急,兩岸陡峭,難以擺渡和架橋,自古被稱爲天塹。160多年前,石達開的隊伍被阻攔在這裏,最終全軍覆沒。80多年前,中央紅軍面對國民黨軍隊的圍追堵截,成功強渡大渡河,創造了戰爭史上的一個奇蹟。

面對IT領域的“大渡河”,華爲同樣沒有任何退路可走,由全球200多家子公司、20多萬名員工組成的主力隊伍,能不能像當年中央紅軍一樣創造奇蹟,突破生死封鎖線?

華爲被迫走上了突圍之路,數千人的團隊即將踏上一段艱苦的征程。在烏雲密佈的茫茫黑夜中,似乎看不到一絲光亮。

二、船和橋在哪裏?

強渡大渡河,關鍵在於解決船和橋的問題。

2019年6月,陶景文團隊在經過多輪討論與分析後,向公司提出了兩個並行計劃:A計劃,保障現有系統穩定運行,並儘可能延長其生命週期,爲突破封鎖贏得時間,由張國斌負責;B計劃,爲ERP系統尋找替代方案,找到船和橋,從根本上解除威脅,由常棟負責。

解決船和橋的問題,無非是兩條路徑,一是尋找國內廠家替代產品,二是自己開發。有關這兩條路徑的討論與驗證,前前後後持續了大半年的時間。

這兩條路都很艱難,如果採用國產軟件包替代,它能否平穩支持華爲如此大體量且複雜的業務?如果自己研發ERP系統,那將是一個巨大的工程,從研發到替換,全世界都沒有先例。

常棟派出一個團隊,與國內ERP系統廠家緊鑼密鼓地進行交流和測試、驗證。由於華爲全球業務場景過於複雜,國內廠家的軟件包難以匹配,團隊經初步評估和測試發現,如果採用國產軟件包替代,則需要進行大量的定製化開發,其工作量和難度可能並不亞於公司自己開發。

所以說,國產替代也好,自研替代也好,實際上都需要華爲來主導這個過程,都要自力更生。

但是,華爲真的具備這個能力嗎?

公司一位領導說:“如果有選擇,我們最不願意啓動的就是ERP項目。當年僅僅是想更換ERP供應商的提議,都被我否決了,更不要說自己開發了。”

一家大型企業的領導聽說華爲想把ERP系統換了,一連說了三四遍“不可能”。

公司內部一位專家有着20年ERP系統使用經驗,聽聞消息後大喫一驚:“這是真的嗎?這怎麼可能?領導們是瘋了嗎?哪來的勇氣和自信?”

還有人質疑,以前我們只是ERP系統的使用者,相當於坐在大船上的乘客,現在要自己造一艘萬噸巨輪,能行嗎?

陶景文自己也沒有信心:“要在不影響業務的情況下替換ERP系統,就像把人的神經系統抽出來,還要在這個人活着的時候把它連接回去,同時保證任何一個器官都不出問題,這是多麼難的一件事。”

1. 坐船變造船

ERP是什麼?爲什麼這麼重要?替換它爲什麼這麼難?

爲了便於讀者理解ERP的概念,我們先舉一個例子。假如一位個體戶經營一個煎餅鋪子,需要管理雞蛋、麪粉、大蔥等十幾種食材,他通過眼看心算就能管得過來;假如他經營一家便利店,涉及幾十、上百種商品的進、銷、存和價格,那光靠他的腦袋就不行了,過去要用賬簿和算盤,現在要用到電腦表格;假如他經營的是一家大型超市,涉及成千上萬種商品的進、銷、存,以及管理、會計,即便他擁有牛頓、愛因斯坦的大腦也算不過來,單純的電腦表格也不夠用了,這時就需要用到類似ERP的管理軟件系統。

諾貝爾經濟學獎獲得者科斯提出,企業的本質就是一種資源配置的機制。ERP系統就是支撐企業資源配置的軟件系統,中文全稱爲“企業資源計劃”。

其雛形誕生於20世紀60年代至70年代,一些製造企業開始採用計算機輔助生產管理,提出了物料需求計劃(MRP)系統,主要功能是管理物料需求與供應;80年代,升級爲製造資源計劃(MRPII)系統,這是一個將生產、財務、銷售、採購等各子系統集成爲一體化的系統;90年代初,高德納諮詢公司(Gartner)提出了ERP的管理思想。

ERP系統綜合了企業各方面的資源,支撐着公司人、財、物的資源配置,實現全員深度參與,成爲現代企業經營管理必不可少的軟件系統。

而用於大型企業的高端ERP系統,更是被視爲企業的神經系統,一旦中斷,業務就會停擺。這些企業規模大、業務板塊多、流程複雜,涉及多語言、多幣種、多會計準則,ERP系統要支撐這個龐大系統的有效運作,適配不同業務場景需要,其複雜度和難度可想而知。

ERP系統的本質,是先進企業管理經驗的軟件化沉澱。企業引入ERP系統,不僅僅是購買一套軟件,更多的是引進軟件所沉澱的流程經驗和管理智慧。

ERP系統還需要產業鏈上游的信息技術支撐,包括服務器、存儲等先進硬件設備,也包括數據庫、操作系統、開發工具等先進軟件系統,而這些底層技術大都爲美國公司主導。如果軟硬件捆綁形成事實標準,替換就會更加困難。

ERP軟件需要長期積累與大量投入,可以說是時間與金錢的積分結果。一直以來,高端ERP系統都由甲骨文、思愛普(SAP)等歐美廠商主導,在中國市場,這兩家公司的產品覆蓋了各行業的龍頭企業,和華爲一樣,這些大型企業也對歐美廠商形成了很強的依賴。

國內廠家在20世紀90年代中期開始ERP系統開發,經過20多年的創新發展,取得了巨大的進步,但在高端ERP系統市場,仍然難以撼動歐美廠商的優勢地位。

華爲自1996年引入甲骨文公司的ERP系統,歷經20多年的應用實施與升級優化,截至2019年,ERP系統數據積累到驚人的150T;全球500多萬份合同履行、6萬多個項目交付、7億多行採購指令、24億多行庫存交易、33億多行發貨訂單、17億多行應付發票、15億多行應收發票......

這個系統承載了華爲多年管理變革所沉澱下來的經驗,支撐了全球業務運作。基於精細化業務管理要求,華爲對ERP系統進行了大量定製開發,代碼高達490萬行。在ERP系統外圍還有300多個作業系統,與ERP系統拉鍊式集成,頻繁進行數據交互,形成了一個錯綜複雜的龐大系統。

華爲在IT建設上的策略是“用歐美磚修長城”,主要IT系統大都使用歐美廠商成熟的軟件包,這對華爲快速引進西方優秀管理經驗、提升企業經營管理水平,起到了非常重要的支撐作用。

但在這個策略之下,流程IT部門的定位更多是一個項目實施、資源管理和系統開發部門,而不是專業的產品研發部門,尤其缺乏大型商業軟件的開發經驗。

這一羣過去習慣了坐大船、過大江的乘客,現在被迫要自己造船了。歷史上沒有哪家公司這樣幹過,連想都沒有想過。

2. 背水一戰

那一天,我不得已上路,爲不安分的心,爲自尊的生存,爲自我的證明。

在陶景文的腦海中,無數次響起劉歡演唱的這首《在路上》。在他看來,ERP系統替換之路的開端,就是不得已而上路。在各種意見和畏難情緒瀰漫的時候,他需要在公司內部爭取到足夠的支持。

公司領導特意邀請他和幾位骨幹一起喝咖啡交流。

交流地點在長廊咖啡廳,它也是一個開放的圖書館,有50多米長,靠牆一側有十多個大書架,擺放了各學科圖書。在長廊入口,陶景文注意到有兩本攤開的書。

一本是《科學:無盡的前沿》,這是二戰之後美國科學家範內瓦·布什提交給總統的一份科技政策報告,對美國日後幾十年的科學研究與創新產生了極大的促進作用。

另一本是羅伯特·卡帕的攝影作品集,卡帕是知名的戰地記者,書中收錄了他在歐洲各國、中國、越南等地拍攝的優秀作品。

“情況很不樂觀,我們必須做一個選擇。”陶景文說,“我見了幾位國內ERP夥伴,儘管他們從來沒有遇到過華爲這麼複雜的場景,但我們還是要團結夥伴一起來幹,要爲中國軟件產業生態的發展架起一座橋。”

領導說:“在當前的形勢下,我們首先要丟掉幻想。這件事情很難,但我支持你們做。公司已經決策,有一筆3.28億美元的專項基金,你們可以拿去用。”

“感謝公司的支持,一些緊急的IT系統替換工作已經啓動了。”

“你們還有其他困難嗎?”

“領導,現在公司凍結了社會招聘,ERP系統替換急需業界專業人才,我們能否申請100名高端人才的招聘名額?”

“那你們現在就寫申請。”

陶景文從筆記本中撕下一張紙,現場寫起了申請:“針對關鍵IT系統面臨的嚴峻情況,特申請補充100名高端及特殊人才編制,用於打贏IT業務連續性及安全防護戰役。請公司批准。”

領導當場簽字:“同意引進300名業界的尖子、中子。”

公司領導給予的傾斜性支持,穩定了團隊信心。

與ERP系統息息相關的業務部門也給予了堅定支持和承諾,讓IT團隊燃起了鬥志。

供應團隊是自研的堅定支持者。自2015年開始,供應鏈啓動了數字化變革項目,對ERP部分外圍系統進行了重構,取得了良好進展。他們認爲,這些數字化系統就是擺脫ERP依賴的底氣,現在要做的是進一步把ERP交易平臺建設好。

財經團隊同樣堅決支持自研,因爲沒有其他更好的選擇。過去10年,他們和多家國內廠商進行過交流,甚至試用過產品,但距離滿足華爲複雜的業務需求還有較大差距,他們不希望華爲ERP系統退回到10年前的水平:“如果要在中國找一家滿足華爲業務需求的供應商,這家供應商可能只能是華爲自己。”業務部門沒有給自己留退路。他們急切的渴望和堅定的決心,讓IT團隊受到了極大的鼓舞。

“寧可向前一步死,絕不退後半步生。”面對前所未有的制裁與打擊,華爲上上下下已經形成共識,堅定信心要繼續前進,求生存、謀發展。

對陶景文來講,也到了下定決心、背水一戰的時候。

但是,有一個擔憂一直縈繞在他的腦海中:“現有ERP系統快到生命週期末期,沒有保修、沒有備件,這臺‘老爺車’到底還能跑多久?”

他心裏完全沒底。如果現有系統用不了兩個月就崩潰了,那任何未來的計劃都沒有意義。他憑直覺判斷,要找到船和橋,至少要3年時間。他對A計劃負責人張國斌說:“你們要和時間賽跑,儘可能延長老系統的生命週期。”

三、與時間賽跑

張國斌是一位資深的IT專家,2005年加入華爲,之前曾在新加坡負責某國際物流公司的IT建設。他的團隊要保障3000多個IT系統的穩定和安全,而ERP系統是排在第一位的。他非常瞭解原廠ERP系統的情況,華爲將其用到了極致,無論是功能、性能還是容量,系統基本處於滿負荷狀態,極易觸發故障。

“我們是帶着榮譽感和使命感來維護這套系統的,把它當作大熊貓一樣悉心看護。”維護團隊對原廠ERP系統有着一種又愛又恨的複雜情感,每一次升級、每一次優化、每一次賬務月結,都如履薄冰。

ERP系統被斷供停服之後,大家都很着急,怕系統突然崩潰。公司的要求是:哪怕是挖溝、建土圍牆,也要把ERP系統先保護起來,不能讓20多萬名員工回到用算盤算賬、用雞毛信傳遞信息的時代。

除了系統本身可能出現故障,張國斌還有一個擔心,就是來自外部的蓄意破壞。系統會不會被人爲切斷?或被黑客惡意攻破?他知道,從技術角度看,凡事皆有可能,不能有任何僥倖心理,IT系統維護也遵循墨菲定律:如果事情有變壞的可能,不管這種可能性有多小,它都會發生。

爲了防止人爲破壞,技術團隊第一時間採取了應急措施:斷網。即通過軟件防護,關閉外網接口;在內網構建頁面保護罩,縮小暴露面,保護系統免受攻擊。

要讓這臺沒有維修保養的“老爺車”繼續跑下去,面臨着三大挑戰。第一是硬件服務器即將到生命週期末期,無維保、無備件,硬件極易損壞;第二是軟件補丁不可獲得,也沒有專家支持,出現問題難以修復;第三是安全漏洞與黑客攻擊風險。

張國斌優先要解決的問題,是組建系統維護團隊。原廠專家撤離後,華爲除了集中自有維護人員,也緊急在社會上招聘業界專家,第一批就招到多位熟悉原廠ERP系統的專家,解了燃眉之急。這個團隊全天候監控,主動運維,保障了系統暫時平穩運行。

技術團隊聯合公司網絡安全部門,在很短的時間內構建了一套有五層圍欄的保護罩,包括防止用戶賬號被盜用的“身份圍欄”,防止網絡滲透的“網絡圍欄”,防止主機軟件漏洞入侵的“主機圍欄”,防止ERP系統原生漏洞入侵的“應用圍欄”,防止數據刪除或篡改的“數據圍欄”。

他們還建立了同城雙活、異地容災、三重備份等機制,保障了老ERP系統的極限生存,即在發生數據刪掉、軟件包甚至備份庫被破壞的情況下,業務數據仍然能夠恢復。

由於系統存儲容量達到極限,爲了給“老爺車”減負,團隊將一些歷史文檔和舊數據進行歸檔,給生產環境留下了更多空間。同時向公司建議,進行合同關閉清理、清除歷史數據,力求把系統總容量使用佔比控制在65%的安全線以下。

經過張國斌團隊的努力,A計劃取得了良好的進展。2019年11月的一個夜晚,他向陶景文報告:“現有系統的穩定性和安全性都得到了有效防護,我們判斷,這臺‘老爺車’至少可以再跑兩年。”

大家都鬆了一口氣。

夜晚的園區燈火通明,後勤部門在辦公樓旁邊的草坪上搭起了“星光夜市”,他們支起帳篷,擺上戶外桌椅,爲大家提供免費的夜宵。忙碌了一天的員工三兩成羣,聚在一起喝咖啡,享用點心和水果。

一旁的步道上,喜歡夜跑的人開始行動了,張國斌也在其中。從他辦公的C區跑到A區,一個來回是兩公里,晚上只要有空,他都會堅持跑兩個來回。跑步的同事不少,在一些有車輛出入的路口,公司貼上了溫馨提示:“星光不問趕路人,夜跑同學請留心。”張國斌留意到路邊新建了一排充電樁,好多員工的新能源車正在這裏充電,聽說還是免費的。他戴着藍牙耳機,聽着音樂,穿過園區小樹林,心想,可真是一條“充電”的好路線。

張國斌並不是一個特別愛運動的人,他跑得很慢,或者說只是比走路要稍快一點,30分鐘跑完兩個來回,已是大汗淋漓。和其他夜跑同事不同的是,他不僅是爲了健身而跑,更是爲了生存而跑。

因爲他患有心血管疾病,那段時期越發嚴重,醫生囑咐他一定要減肥,否則可能會有更壞的情況發生。於是,在給老ERP系統減負載的同時,他也給自己制訂了目標:每個月必須減重一公斤。最終,他成功減重十多公斤。

他說,那段時期,他和公司的目標是完全一致的,就是要活下來。好消息是,兩者都達成了目標。

1. 大機切換

爲了進一步延長現有系統的生命週期,A計劃中還有一個舉措:把原廠的硬件服務器換掉。

替換硬件服務器的任務由周啓濤主導。他是資深ERP專家,在讀研究生期間就學習ERP相關理論,畢業後在業界做了4年ERP系統實施與維護,之後在華爲又做了10年維護工作,對原廠ERP系統有着深刻的理解。

華爲ERP系統數據量大,對硬件性能要求非常高,只有原廠的軟硬件一體的機器才能運轉起來。一體機有着炫酷的設計,外表是銀灰色的工業化風格,鏤空的前櫃門上寫着一個大大的“X”,機器有2米多高,重量接近3噸,因爲體型龐大,所以俗稱“大機”。

大機安裝在華爲的數據中心內,這是一座有着嚴密防護措施的現代化建築,確保機器穩定運行和數據安全。包括周啓濤在內的所有工作人員或其他來訪者要進入機房,都要經過數道門禁認證,簽署承諾書。

在經過堪比機場安檢的程序後,再換上專用反光背心,還要把手機所有攝像頭用貼紙封上。踏入機房,首先會踩到一塊黏糊糊的膠墊,以粘走鞋底的灰塵。接下來便會看到一排排比普通人高出一頭的服務器,64臺一組,排列得整整齊齊,隨着指示燈的閃爍和散熱風扇的嗡鳴聲,這些機器爲華爲全球的IT系統提供着算力與存儲空間。

每次進入機房,周啓濤都有一種強烈的秩序感,空間的規劃、機器的擺放、線束的佈置以及溫度的控制,一切都井井有條。但這種秩序只是一種肉眼可見的表象,在納米尺度的器件之中,在由代碼構成的虛擬空間裏,隱藏着各種看不見的危機,隨時都有可能爆發。

當時正在使用的這組性能強悍的原廠大機,在ERP系統龐大的數據負載之下,也顯得非常脆弱。自2017年春節投入使用以來,它連續跑了1000多天,從未休息過。這些年來,它支撐着ERP系統運行,經歷過無數次數據洪峯,周啓濤團隊小心翼翼地照看着它。

由於被制裁,華爲無法購買新的大機,現有大機也得不到原廠維保,出現重大故障的概率越來越高。周啓濤一直有個大膽的想法,就是用華爲自研的服務器替換掉原廠大機。但自研服務器一直是作爲備用機運行的,從未正式啓用。如果直接替換,服務器CPU(中央處理器)使用率將達到100%,系統可能會立刻崩潰。

面對這個瓶頸,從業界招聘來的技術專家李凌雲通過性能優化攻關,將原廠大機的數據庫負載量降低了40%,這使得大機切換的設想成爲可能。

自研服務器即將“轉正”,這是一次前所未有的嘗試。

2020年8月8日,夜暗如水,辦公樓燈火通明,現場近50人,遠程200多人,等待大機切換時刻的到來。

深夜1點,作爲現場總指揮,周啓濤一聲令下:“啓動大機切換!”

會議室裏異常安靜,只聽見敲擊鍵盤的聲音,大家的關注點都集中到了切換大屏。

一切都在有序地進行:停應用,停服務,停大機數據庫,啓動自研服務器。

“服務器啓動成功!”

“外圍應用連接成功!”

“併發管理啓動正常!”

......

工作組成員逐個檢查驗證任務,外圍系統驗證也同步啓動。

深夜2點,正當大家準備鬆一口氣時,不料各個驗證組陸續爆發問題,

讓技術保障團隊應接不暇,問題遲遲無法解決,現場氣氛頓時緊張起來。

數據庫管理員貝承發緊急進行檢查,發現有部分服務註冊不上,技術人員嘗試各種方法後都不奏效。

深夜2點30分,到了決策點,運維經理請示周啓濤:“併發管理器和服務不可用,存在高風險,如果分析和恢復時間過長,將會造成大範圍的周邊系統不可用,導致業務停頓。原因還需定位,但是時間太緊,請決策是否回退。”

維護團隊近一年的努力,一幕幕在周啓濤眼前閃過,他實在不想就此放棄,還想給技術團隊爭取一點時間。他看了看錶說:“還有時間,大家放鬆些,繼續定位問題。”

周啓濤的鎮定給團隊帶來了信心。

切換團隊開始快速排查各種可能。難道域名解析異常了?但域名、網絡都是正常的,該重啓的都重啓過了。

貝承發突然想到,5年前他遇到過的一個類似問題:數據庫配置與ERP應用配置衝突。這是一個很隱蔽的軟件缺陷。

隨着一串串指令的輸入,系統成功接通,辦公室裏一片歡騰。接下來,團隊齊心協力,完成ERP系統及所有外部應用的驗證,系統運行平穩,無任何異常。

大機切換成功完成!

周啓濤看着這個相識多年的夥伴被替代,心中竟然有些不捨。不過,這臺機器還不會下崗,它將承擔新的使命—作爲自研服務器的備用機。而周啓濤也有了新的使命:從老ERP系統的維護者,變成新ERP系統的建設者。在這一刻,人和機器都在重新定義自身的價值。

周啓濤撫摸着銀灰色的金屬機框,自言自語道:“這真是一臺好機器。”大機的一排指示燈在閃爍,彷彿在回應他說:“你也是一個好人。”

“如果機器擁有意識,你會甘願做一個‘備胎’嗎?”

“我的價值,是使用我的人來評價的。”

“那麼,老夥計,再見了。”

“再見了,我會站好最後一班崗的。”

經過一年多的努力,“老爺車”換了新底盤,煥發出勃勃生機,還可以持續跑下去。張國斌團隊贏得了這場生命與時間的賽跑,爲接下來“渡河”行動暫時解除了後顧之憂,提供了5年左右的時間窗口。

陶景文心裏有底了,終於可以擼起袖子,放手一搏了。

四、大膽的計劃

2019年12月20日,深圳,多雲轉晴。

B計劃負責人常棟在公司食堂喫完早餐,正繞着園區中的天鵝湖散步。

所謂天鵝湖,其實就是一個淺淺的人工湖,因多年前引進了兩隻黑天鵝而得名,現在它們已經繁衍好幾代了。看着紅喙黑羽、優雅美麗的黑天鵝一家在溫暖的陽光中悠閒地划着水,常棟很是感慨。

黑天鵝是原產於澳大利亞的珍貴品種,17世紀以後才被世人知曉,人們常用“黑天鵝”事件來形容那些不可預測、小概率而又影響巨大的事情。

過去半年多來,常棟所負責的IT應用領域發生了太多的“黑天鵝”事件,多家西方公司中斷升級、停止設備供應、撤走維護專家,在他20年的工作經歷中,從未遇到也沒有想到會發生這樣的極端情況,這些難以預測、不同尋常的事件,完全打亂了原有的IT工作規劃,給公司業務運作帶來了致命的威脅。

在他負責的B計劃中,面臨着多座難以逾越的大山:ERP、PDM(產品數據管理)、服務器、存儲、數據庫、操作系統等。每一座大山的背後,都站着一個或幾個美國IT巨頭。華爲曾經站在這些IT巨人的肩膀上,快速提升了全球化經營與管理能力。現在,被迫走下巨人的肩膀,如何替換掉這些產品,還充滿了迷霧。

今天,會有一個重要的決策會議,他將向華爲變革指導委員會彙報 ERP替換的立項申請,如果獲得通過,一場持續幾年的大戰即將拉開帷幕。

“概率,概率,ERP替換成功的概率能有多少?”他在內心問自己。

“或許能有50%的成功率,值得一搏。”一個聲音說。

“這件事情從來沒有人幹過,成功的概率不會超過10%。”另一個聲音反對道。

理智告訴他,ERP替換這條路,不管朝哪個方向走,成功都將是一個小概率事件。但凡事皆有可能,現在已經沒有退路了,只要有1%的可能,就要做100%的努力。這時,湖中的黑天鵝發出嘎嘎嘎的叫聲,似乎在對他說:“事在人爲,只要下定決心,爲什麼就不能逆向創造一個‘黑天鵝’事件呢?”

決策會議在培訓中心召開,這是一處被蔥鬱的樹木和竹林環繞的區域,顯得典雅而幽靜。與會人員都在認真聆聽常棟的每一句話,並不時打斷提問。這個決策很重要,它關係到未來幾年數億美元和數千人力的投入,更關係到公司全球業務的連續性。

常棟是一位專家型主管,任何時候都充滿幹勁。他在華爲流程IT部門工作了20年,負責過架構規劃、應用開發與實施等各環節工作,對ERP 系統有着深入的理解。

他提交的立項申請,實際上也就是“強渡大渡河”的實施計劃。在這個計劃裏,他提出了兩個關鍵步驟:第一步“解耦”,把原廠ERP系統從幾百個業務系統中剝離出來,理順各種接口關係;第二步“換芯”,開發新的ERP系統核心模塊,並在全球200多家子公司裏替換掉原系統。

這兩步看起來簡單,實施起來卻異常複雜。其中最核心的約束條件是:在ERP系統的替換過程中,要保證全球業務運作不受影響,保證數以億計的數據不能出錯。這相當於在飛行中換發動機,在業界完全沒有先例。計劃中需要用到的許多關鍵技術和能力,現在還很不成熟,甚至還沒有被開發出來。

這真是一個大膽的計劃!儘管大家還有很多的顧慮,但委員會經過集體表決,最終同意ERP替換立項,並明確了總體目標:面向未來打造雲化、服務化的泛ERP架構,用3年時間完成新ERP主體建設,5年完成覆蓋。

1. 解開一團亂麻

從規劃到實施是一個艱難的過程,第一步“解耦”工作就面臨極大挑戰。

經過前期摸底,ERP系統和業務系統有着極其複雜的關聯,共計有 3950個業務連接點,2.7萬多個數據進出口,關係盤根錯節,猶如一團亂麻,老系統不解開,新系統就無法啓動重構。這個難題,讓總架構師盧強夜不能寐。

盧強有着20年數字化轉型經驗,經歷了多個變革項目的洗禮,他經驗豐富、視野寬廣,懂業務、懂技術,是一位儒雅的學術型主管。他一直在思考,如何從一團亂麻中理清ERP系統的邊界,能否找到一個簡單易懂的模型,讓所有人都能夠理解、達成共識,並以這個模型爲基礎進行頂層設計。

一天晚上,在項目例會結束之後,他獨自坐在會議室,又陷入了沉思。

這是一間典型的華爲會議室,前方是一塊大型液晶屏,兩側各有兩塊智慧屏,各種音頻、多媒體、網絡和智能化設備一應俱全,能夠支持全球上百人開視頻會議和進行研討。在幾盞明亮的水晶吊燈下,是一張十多米的長條實木會議桌,正對桌子的牆壁上,掛着一個大石英鐘。

“嘀嗒、嘀嗒、嘀嗒”,時間一秒一秒流逝,夜深人靜,石英鐘的嘀嗒聲格外清晰。盧強盯着錶盤上的羅馬數字和交錯的指針,想起了當年在大學物理課堂上,老師講相對論,說時間本質上是不存在的,時間只是人類的幻覺。是啊,時、分、秒,乃至日、月、年,都是基於地球、月球和太陽之間空間運動關係的轉換,是人類定義出來的概念。

因爲有了精確的鐘表,無形的時間才得以直觀地呈現給每個人,大規模的社會分工與協作也才成爲可能。但與此同時,人們的各種活動也被時間所驅動、所約束,被分割成一個個的碎片。

比如說,接到一個電話,你必須在幾秒之內進行思考並給予回應;回一個信息,你有幾分鐘的時間來考慮措辭;開一次會,差不多一兩個小時,你可以接收和處理較多的信息;而對於一些重要且複雜的事情,你必須以日、月甚至年爲單位來應對。

時間,時間,時間,普通而又神祕的時間,這個由人類創造出來又束縛住人的概念,對人也好,對萬事萬物也好,都是一個天然的分割模型。

與ERP相關的數以百計的系統,是不是同樣也可以從時間維度進行分割?有一些系統像秒針一樣,實時刷新數據;有一些系統像時針一樣,可以較長時間不動;還有一些系統介於二者之間,就像分針一樣。

過一次思想實驗,盧強提出了“秒針、分針、時針”的模型,以此來界定 ERP系統的邊界,開展頂層設計工作。

“秒針”指實時交互數據的業務作業系統,包括供應、採購、銷售、財經等200多個自研IT應用,它們與ERP系統相互連接,每一單採購合同的履行、每一個產品的完工下線、每一次庫存的進出貨,都要在ERP系統中進行交易結果的記錄;“時針”指定期披露的報告系統,這部分數據應對的是月報、季報、年報等財務報告系統,並不需要實時變動,只有在特定時間點需要提取;而介於二者之間的“分針”,就是ERP核心系統,負責從交易到覈算的處理,存放的是企業經營管理最核心的主幹數據,要準確地和“秒針”“時針”進行數據交互,以確保業務信息與財務信息的一致。

在老ERP系統中,“秒針”“分針”“時針”是糾纏在一起的,華爲要構建新的ERP系統,首先要順着這個線頭,把業務系統剝離開,即解耦。解耦過程就像庖丁解牛,莊子筆下的庖丁從剛剛入行時“所見無非牛者”,到遊刃有餘時“未嘗見全牛也”,是因爲他已完全洞悉了牛的身體結構。在盧強的腦海中,他已經洞穿了ERP系統這條“整牛”內部的經絡,接下來的解耦工作也就遊刃有餘了。

經過項目組幾個月的努力,“秒針”系統中,3950個集成點減少了 70%。以上,同時490萬行定製代碼精簡了一半;“時針”系統中,7組報告用表(每組共1198張表)合併爲了1組。被解耦的部分迴歸各業務領域,由業務各自管理,ERP系統成功實現了瘦身。

而ERP統核心部分的“分針”,由於各模塊間耦合性很強,專家組在進一步的“換芯”方式上發生了激烈的爭論,最終達成一致,決定以法人子公司維度進行“換芯”,並以此爲基礎設計出新系統上線的切換方案。

一團亂麻終於解開了!20多年來,華爲第一次釐清了ERP系統的邊界,第一次把這塊“歐美磚”抽了出來,這讓大家看到了前方的曙光。

2. “換芯”之路

但是,針對第二步“換芯”的設計,比想象的還要困難。現有項目成員去都是ERP系統的使用者,熟悉原廠ERP架構,最容易想到的方案就是參照原廠系統“照葫蘆畫瓢”。

但原廠ERP系統使用的是軟硬件一體機的設計,其數據庫是全球排名第一的產品,性能強悍,單一數據庫可支撐170T數據量,而華爲受到制裁限制,能夠獲得的開源數據庫只能支撐4T數據量,與原廠有幾十倍的差距,無法按軟硬件一體式的方式來進行設計。

也就是說,“原樣照搬”這條路走不通。“換芯”方向陷入迷茫。

2020年除夕前一天,陶景文召集了一次茶話會,專門討論ERP系統“換芯”的方向。

一位資深專家談起公司過去進行IT建設時,過於強調“用歐美磚修長城”,導致對國外產品的嚴重依賴,而且使流程IT部門在軟件開發能力上的儲備嚴重不足。

“我們不能用今天的變量來談論過去的事情,那個時代華爲採用軟件包驅動是最佳選擇,軟件包承載了業界最佳實踐,即使到今天,如果有合適的可用軟件包,公司仍然堅持與夥伴開放合作的態度。”陶景文說,“公司是希望IT人員聚焦‘修好長城’,而不是聚焦‘造磚’。我們需要思考的是,爲什麼這些磚一塊塊堆疊混亂,別人拿走一塊磚頭,整個長城就要倒了?這對未來我們在架構上、技術上有什麼啓發?”

會議達成了第一個共識:不要抱怨過去,要面向未來。

接下來又有人提議,以當前團隊的能力,在ERP替換上,應該以“逃生”爲主,採取“保守治療”,慎用新技術和新方案。

陶景文不同意這種看法,他說:“ERP系統不是一個新鮮事物,本質是工業化時代的一種計劃管理系統,其精神內核是工業文明。最近10年,智能化、數字化轉型在全世界已呈燎原之勢,但傳統的ERP系統還沒有進行革命性的演進。華爲要替換掉工業時代的成熟軟件產品,是因爲時代環境把我們逼上了梁山,但是站在另外一個角度上看,時代也賦予我們創新和超越的機遇。”

他提議,項目組要在未來3年內,站在數字化、智能化時代的前沿,重新定義ERP,而非照搬西方國家廠家的產品。ERP項目的願景,是要面向未來打造一個真正雲化、服務化、自主可控的核心商業系統!

原樣照搬只能永遠落後,有樣學樣的結果很可能是像邯鄲學步一樣,最後連自己怎麼走路都不會了。重新定義ERP,是一條激盪人心的路,也可能唯一可行的路。

“萬物皆有裂縫,那是光照進來的地方!”(There is a crack in everything, that’s how the light gets in.)萊昂納德·科恩的這句歌詞,就是這一刻的真實寫照。常棟看到了B計劃的曙光。

項目組決定,在基於華爲能夠獲得的軟硬件產品基礎之上,打破原廠 ERP架構的思維慣性,大膽應用雲原生、元數據多租、實時智能等新技術,通過系統工程創新,用“三流器件”打造一流產品,不僅實現“逃生”的目標,還要在產品性能上超越原廠ERP系統。

這是一個宏偉的願景。項目組給華爲未來的ERP系統取了一個響亮的名字:MetaERP。這個ERP將採用元數據(MetaData)驅動的技術架構,大幅提高用戶需求定義和靈活編排的響應效率;同時,“meta”直譯爲“元”,是初始的、爲首的、基礎性的意思,也包含超越的含義,這也意味着,MetaERP將是對傳統ERP的一次超越。

盧強帶領架構師團隊開啓了頂層設計的探索,比如,採取微服務和分佈式雲化的整體架構,借鑑“書同文,車同軌”的思想統一數據標準,採取“總體控制”和“業務流”的設計,保障業務與財務數據的一致。

頂層設計的每一項策略和原則,很多時候都是在各種困難和限制條件約束之下的無奈選擇,也是前人沒有做過的選擇,但專家團隊通過系統性思考,大膽採用新的設計思想,這些被逼無奈的選擇往往又被變成最佳選擇。

爲了驗證這些設想的可行性,項目組決定,先以一家規模中等的子公司作爲標靶,開發出一個輕量級的ERP系統,率先進行“換芯”驗證,“強渡”成功後,再逐步擴展到全球其他區域。

五、強渡

華爲馬來西亞代表處位於馬來西亞首都吉隆坡的市中心,這裏有高聳入雲的地標雙子塔,有綠草如茵的獨立廣場,也有充滿煙火氣的美食街。這裏業務發展迅速,差旅便利,也是華爲亞太區總部、賬務共享中心的所在地。按照ERP項目計劃,ERP替換的首場“強渡”戰役將在這裏打響。

在馬來西亞的首場“強渡”是一項協同作戰任務,主要工作大都在網絡空間完成,吉隆坡、深圳、成都、西安等地的項目成員將用一年的時間來驗證和試點MetaERP。切換時間定2021年中。

號角吹響,倒計時開始,項目組開始緊急動員,從全球各地調集人手,組建起一支支攻堅隊伍。

1. 緊急動員

侯軍是成都賬務共享中心的一名會計,他在華爲財務的不同崗位已經工作了十多年,先後在深圳、阿根廷工作,如今回到成都,這裏的生活節奏讓他很是愜意。他以爲自己會繼續這樣下去,在天府之國過着波瀾不驚的生活。

深秋的一個午後,主管飛哥和他的一次談話,打破了這份安逸和寧靜。

“機關有個項目需要你出差支持一下。”

“具體做什麼呢?多長時間?”

“我也不是很清楚,你去了就知道了。”

“‘猴’哥,你這是要去做祕密工作了。”旁邊的同事笑嘻嘻地對他說。

從成都飛往深圳的途中天氣很好,他透過舷窗看到蜿蜒的河流、連綿的羣山以及一條條高速公路交織而成的優美線條,猜想着此行的種種可能,但一直沒有頭緒。

剛到深圳,侯軍就被叫到一個封閉會議室。滿滿一屋子人,他只和其中一位同事打過照面。雙方眼神一交會,立即明白,兩人都不知道接下來要幹什麼。會議一開始,領導就強調保密原則,並給每人發了一份文件,要求大家現場簽訂保密協議,侯軍腦海中立即浮現出電視劇中研發“兩彈一星”的場景。

就這樣,他開始了神祕的3年ERP之旅。

像侯軍一樣,數以萬計的華爲員工爲保障業務連續,已經習慣了被拉進各種緊急項目,一種在無形中瀰漫的危機感促使大家不問緣由、不講條件地努力工作。那段時間,華爲內部到處都貼着一張“爛飛機”照片,這是二戰中蘇軍的一架伊爾-2飛機,被打得像篩子一樣仍在安全飛行。這張照片激勵着大家努力“補洞”,ERP系統就是這架“爛飛機”上的一個“大洞”。

陳薇林是一個不甘於現狀、喜歡挑戰的人。製造項目接口人找他溝通,問他是否願意加入ERP項目,至於參加項目做什麼,暫時不能透露。聯想到當時的外部環境,他大概猜到了要做什麼,義無反顧地加入了團隊。

一天下午,終端的王如剛突然接到主管的電話:“如剛,有個重要的保密項目需要人牽頭,這個項目要求很高,我們評估你最適合,你有沒有興趣?”王如剛二話沒說,直接應允下來。到了項目組,他才知道自己要負責所有終端相關的ERP系統測試。

姚嬌龍加入項目組的第一感受是“華爲太瘋狂了,太敢了”,她突然覺得自己站在了時代的風口浪尖,內心非常激動。但她很自信:“我們這段工作的小浪花,註定要被寫入華爲公司甚至中國軟件產業的發展史之中。”

唐志高是一個在技術上很有追求的IT男,他認爲,經過多年積累,華爲已經具備了足夠的能力。他在心裏暗暗憋了一股勁兒:我們不比任何人差,要做就做一個超越原有系統的軟件。他在辦公室裏大喊:“程序員的春天來了!”

……

一場大規模的集結和動員,就這樣悄悄地展開了。

財經、供應鏈、採購等業務部門都在盡最大努力調配資源,將資源優先投入ERP項目,大量經驗豐富的業務專家加入了進來。

多家與華爲長期合作的諮詢公司,在短時間內提供了上千份簡歷,協助篩選了近20名來自世界各地的頂級顧問加入項目組。

在軟件上和我們長期合作的夥伴公司,也通過各種渠道挖掘資源,召回有ERP項目經驗的老員工,將優質資源向ERP項目傾斜。

“若有戰,召必回。”退休員工聞訊,也紛紛表示願意貢獻力量,十多位退休員工返回公司,以獨立顧問身份加入了項目組。

各團隊加大了專業人員招聘。流程IT人力資源部組建了一支特別招聘隊伍,通過各種渠道,累計瀏覽了5萬多份簡歷,聯繫了1萬多人,經過面談交流,前前後後共吸引了300多名優秀人才入職。短短幾個月時間,一支上千人的團隊集結到位。

這是一次緊急動員,也是一次自發的動員。華爲過去很多重要的變革項目,大都需要在公司層面大張旗鼓地宣傳動員,項目經理還得拿着“令箭”,請求業務部門投入資源,而ERP項目可能是唯一一個不需要動員的變革項目。

危機下的恐懼感和緊迫感,是變革項目最主要的驅動因素。ERP項目是一個自帶危機感的項目,就像華爲其他很多業務連續性項目一樣,在美國製裁令被簽署的那一刻,主要的動員工作其實就已經完成了。尤其當項目目標與個人價值能夠無縫匹配時,這種危機感就自動轉換爲使命感,即使是一羣平凡的人,也能迸發出巨大的熱情與創造力。

2. 大兵團作戰

ERP項目共設立12個子項目組,投入1800人,高峯期有3000多人,管理體系龐大、運作複雜。由於項目工作具有臨時性、跨領域等特點,如何讓這個超大團隊有序運作、不打亂仗,朝着共同的目標前進呢?

常棟有豐富的變革項目管理經驗,作爲ERP項目一線作戰“司令員”,他知道,變革項目是一把手工程,領導力是變革的第一生產力,當務之急是把項指揮系統建立起來。在華爲,一般變革項目組都會單獨成立一個領導組,負責重大事項決策。常棟一盤點,發現ERP牽涉面太廣,基本涵蓋了公司各大領域,這個領導組不好組建。

“那你乾脆不要搞領導組了,就把ESC(變革指導委員會)作爲項目領導組,我們來給你站臺。”ESC主任對他說,“這是ESC管IFS(集成財經服務)最重要的項目,如果說未來幾年我們只做一個變革項目,那就是 ERP替換。”

有了領導層的堅定支持,常棟和ERP項目經理張曉燕設計了大兵團作戰的三層指揮系統:第一層是ESC會議層,負責項目方向和重大事項決策,並構建ERP項目領導力,凝聚共識;第二層是項目經理會議層,負責方案、範圍及資源投入決策,推動項目關鍵問題解決及風險決策;第三層是項目交付例會層,負責管理項目落地執行,通過縱向產品管理和橫向業務流管理,做好“整車”拼裝。

這是一個高效的扁平化指揮系統,實現了項目從戰略到戰術的執行貫通,保障了項目團隊令行禁止、使命必達。

隨着深入項目,遭遇各種難題,項目組成員最初的熱情開始消退,信心不足的問題開始浮現。上千人的組織運作,如何讓上下形成共識,統一思想,凝聚團隊力量?常棟認識到,各模塊產品經理是團隊執行力的關鍵,把這一層骨幹的思想做通,消除他們的畏難情緒,相應隊伍的執行力就會大幅提升。他決定要不斷地給這一層主管強化項目願景。項目組開展了20多場次的研討會、動員會,不斷凝聚共識,強化信心。

2020年年底,首場“強渡”的各項準備工作正在緊鑼密鼓地推進,一場大規模的“ERP項目啓航大會”召開了。會場設在培訓中心主樓,在能容納200多人的階梯教室裏,紅底白字的大幅標語格外醒目—“不相信有完成不了的任務,不相信有克服不了的困難”。

這次動員會有一個宣誓環節,因此,這些平日裏不修邊幅的IT人都穿上了西裝,打上了領帶,顯得格外精神。有人在座位上不停地轉動脖頸,拉扯襯衣,顯然,他們還沒有習慣穿正裝。

“ERP替換項目的來源是爲了活下去,但我們絕不僅僅是爲了活下去,而是要面向未來,打造全球最具競爭力的雲原生企業管理平臺。”常棟的講話很有鼓動性,“最理解華爲ERP20年建設歷程與發展脈絡的就是我們這羣人,ERP項目相當於華爲的‘兩彈一星’項目,我們不能把這個大難題留給下一個IT人,而是要讓他們從一開始就能夠甩開桎梏,昂首闊步向前走。”

“ERP替換不是逃生,而是新生!”這句擲地有聲的話,獲得了全場與會者的熱烈掌聲。大家起立宣誓:“作爲ERP變革項目組的成員,我們深刻理解項目的願景和使命,我們承諾,保證在2021年完成馬來西亞子公司的切換驗證。除了勝利,我們無路可走,請項目組全體人員監督。”

最後是全體大合唱:“團結就是力量,團結就是力量,這力量是鐵,這力量是鋼……”

每一次會議都像是一次“充電”,鼓舞人心的演講、熱烈的討論,激情與熱忱在會場中瀰漫,團隊成員的畏難情緒逐漸消散。

在大兵團的集結中,每個人都是變革的踐行者,都在積蓄變革的力量。

他們爭執着不完美的方案,精細打磨着每一段代碼;他們參加一個個深夜項目緊急會議,討論着項目關鍵節點;他們分工不同,卻從不計較是臺前還是幕後。會議室的燈光深夜熄滅後,空氣中還留存着剛剛激烈討論的餘溫。

3. 不完美的方案

馬來西亞子公司MetaERP涉及數十個產品模塊的開發,各團隊通過對老ERP系統的解耦,喫透原理,開始構建新產品。承擔產品開發任務的是一支支年輕的初創隊伍,他們沒有豐富的開發經驗,卻無所畏懼。他們通過開發產品和各種測試,在極短的時間內構建出了新系統的雛形。

就在各產品模塊開發同步推進時,2021年1月,財經應付模塊卻傳來了壞消息—上線測試遭遇失敗,有可能拖延整體進度。產品團隊迎來了至暗時刻。

造成測試失敗的原因是方案設計存在缺陷,要修復這個缺陷,項目週期可能需要額外增加3個月甚至更長的時間。

壓力很快傳遞到了兩位女將身上。一位是ERP財經領域負責人劉潤玲,另一位是ERP項目經理張曉燕。

劉潤玲曾做過多個IT產品的架構師,擁有豐富的理論與實踐經驗,也是一位追求完美的方案設計師。她之所以加入華爲,就是因爲心中有一個鑄造殿堂級產品的架構之夢。在她的領導下,財經IT團隊總是能夠從用戶角度出發,用相對完美的方案,實現業務與IT的共贏。

但是,這一次她遇到了挑戰。

應付模塊涉及資金安全,本着謹慎爲上的原則,過去10年都沒有做架構調整,很多新需求是通過不斷打補丁來解決的,因此財經領域希望藉此次機會,進行一次大的架構調整,一次性解決歷史問題。劉潤玲也支持這個完美架構,但由於時間緊迫,方案設計存在嚴重缺陷,無法通過測試。

現在,有兩種選擇:一是繼續修改完美方案,代價是延長MetaERP整體上線時間;二是採取基於原有架構的妥協方案,先保障MetaERP在馬來西亞子公司上線,以後再解決歷史問題。

劉潤玲站在業務角度,堅持完美方案。她初步判斷,妥協方案不足以支持系統上線。

張曉燕是一位理性主義者,作爲ERP項目經理,她的壓力來自項目整體進度和風險管控。她認爲,保障切換時間是第一要務,有多種方法可以使IT系統跑起來,哪怕這是一個不完美的方案。

兩位女將各執一詞,誰也說服不了誰。於是,她們決定各自尋求同盟軍。劉潤玲找到總體組專家溝通,他們也認同新的架構方案,站在了她的一邊。張曉燕去找財經領域主管溝通,優先保障項目按時上線,也得到了對方的理解。

最後的決策時刻到了。

劉潤玲再次提出她的完美方案,張曉燕再次反對:“大家不要把產品架構和功能實現的權重看得過高,ERP是一個系統工程,產品建設只佔三分之一,數據割接和驗證同樣重要。我們要綜合考慮項目進度。”

決策會開了將近三個小時,劉潤玲三次哭着走出會議室,哭完了再回來爭論。最終,她妥協了:“爲了項目的整體進展,我服從集體決策,但是我保留自己的專業判斷。”

劉潤玲哭紅的眼睛裏帶着委屈,但語氣堅定。在集體利益和個人判斷之間,她畫了一條線,接受妥協方案的同時,保留了內心的完美追求。

劉潤玲是一位職業經理人,知道自己必須儘快轉換角色,保證項目成功。應付模塊的七八十名開發人員在武漢辦公,有些還是合作伙伴員工,上線測失敗後,大家都覺得拖了項目後腿,無形的壓力籠罩着團隊。劉潤玲變成了妥協方案的佈道者,不僅給開發團隊宣講方案,還要做大家的思想工作。

爲了給團隊打氣,劉潤玲和常棟一起到武漢和大家溝通。晚上聚餐,到了19點半,飯桌上的大部分人都戴上耳機,開始開例會,盤點當天的測試問題單。常棟站起來說:“弟兄們,大家能不能先停一分鐘,先一起敬杯酒。實在脫不開身的,就趕緊喫飽回去加班吧。”

回到深圳,劉潤玲就大病一場。

應付模塊的測試投入了160多人,使用了5萬多個測試用例,大家都在爭分奪秒,要把耽誤的時間趕回來。

4月14日,第一封用戶驗收測試日報顯示,測試通過率僅19%。

5月23日,用戶驗收測試待IT解決問題數超過300個。

團隊承受着巨大的壓力和矛盾的心理。一方面爲了質量達標,希望做更多更細緻的測試,另一方面是每天都在增長的遺留問題數。

“大家跟我走,一起去武漢現場,將問題攻關清零。絕不能拖項目後腿!”剛接管應付模塊開發的產品經理梁立平帶隊前往中國光谷支援,每天奮戰到凌晨兩三點。光谷位置比較偏,有人家養雞,大家常常是在雞鳴聲中進入夢鄉。

劉潤玲每天都在關注高水位的問題數量,她把自己的辦公位搬到了應付項目組,與團隊一起熬夜測試。她沒有責怪團隊,反而組織部門活動,強制大家休息調整,讓大家緊繃的神經得到放鬆,舒緩了長久以來的疲憊。

張曉燕也搬過來幫忙,她專門組建了一個測試團隊,與劉潤玲並肩作戰,幫她協調周邊資源,緩解應付團隊的壓力。

大家拼盡全力,6月底,待解決的問題數終於降到了20個以內。8月20日,問題清零!

應付產品終於度過了至暗時刻,在最後關頭追趕上了大部隊。這個不完美的方案,經過失敗與重生的重重磨礪,終於站了起來。

沒有完美的方案,也沒有完美的英雄。

後來,在MetaERP於馬來西亞成功上線後的第二天,劉潤玲找到常棟溝,還沒開口,她的眼淚就掉了下來。這時常棟才知道,在項目攻關的關鍵階段,劉潤玲的母親身患重病,她擠不出時間照顧母親,覺得很愧疚。現在,項目有了階段性進展,她申請退休,回家照顧母親。

在大家眼中,劉潤玲是一位廣受尊敬和喜愛的同事。員工們都親切地稱呼她爲潤玲姐,認爲她是最好、最美的領導。即便在團隊有200多人的時候,她仍然記得住每位員工的名字;即使常常忙碌到深夜,她也要擠出就餐時間與團隊成員交流。她的退休決定讓所有人都覺得惋惜……

4. 人拉肩扛

而對張曉燕來說,她即將迎來一次大考——MetaERP在馬來西亞子公司上線。幾千人沒日沒夜的努力,幾千項任務的協同管理,無數缺陷、問題與風險處置,都要在這一刻得到驗證。而馬來西亞子公司的這場首戰,也和真實戰場上的遭遇戰一樣,是在沒有準備好的情況下就打響了。張曉燕心裏清楚,在華爲,任何困難都不是藉口,目標是不能動搖的,人拉肩扛,也要把這個山頭拿下來。

上線前的幾個月是關鍵的測試聯調期。各產品模塊基本就緒,就像是一個個零部件已經運到了總裝廠,要拼裝成一臺可以交付給客戶的整車。作爲“裝配廠廠長”,張曉燕清楚地知道,現在的“總裝線”還處於手工作業階段,只能靠人海戰術進行測試,拼出MetaERP的第一個版本。

何能志是從採購到付款業務流的運營經理,經過親身實踐,他設計出了一個測試程序:在一樓看完採購測試人員完成下單及驗收,立即跑到三樓,跟進財經測試人員完成發票匹配及付款,如果出現故障,就地趕緊解決。

另外,他每天早上9點召開晨會,討論每個場景的測試進展;17點開晚會,討論產品遺留問題,雷打不動。何能志苦中作樂,把這套運作方式命名爲“人肉測試線”。像何能志這樣的“人肉測試線”還有幾十條,供應、採購、工程、行政……涉及公司各部門,還有跨區域的線上接力,每個環節都要跑通。

2021年7月至8月,項目組完成了三輪上線演練。每次演練的夜晚都是一個不眠之夜,近500人投入業務驗證中,全要素反覆驗證和演練,確保所場景都準確無誤。

9月10日14點,MetaERP在馬來西亞子公司上線。張曉燕發佈動員令:“從MetaERP項目立項至今,我們一共走過了630天,一共有 1700人蔘與,這次上線一共有4000個任務項。MetaERP項目是一場大會戰,我們每個人都爲之驕傲與自豪,希望大家共同努力,爲首戰畫上圓滿的句號!”

接下來,項目組成員在“奪取首戰勝利,決勝馬來疆場”的標語上簽名,現場團隊合影、齊聲宣誓。

當天18點,指揮中心宣佈切換正式啓動。

半小時後,完成作業系統凍結。

23點,老ERP系統成功關賬。

次日16點,完成34億行數據的數據遷移及驗證,啓動業務小批量驗證。馬來西亞賬務中心的張磊特意留了自己出差的報銷單,作爲在新系統中的首單作業:填單、審批、發票審覈、支付。“成功了,這是MetaERP付款中心的第一單!”大家歡呼雀躍。張磊說:“這單報銷是我一輩子的記憶和驕傲。”

“首渡”能否成功,最後一錘要看數據湖的切換是否順利。數據湖是業務分析、財務報告的數據源,數據切換如果出錯,業務分析就會中斷,財務報告也將無法出具,這將直接導致ERP切換失敗。

9月11日至12日,數據湖要完成300億行數據的初始化,這是一場耗時30個小時的持久戰。

11日15點,收到總體組通告,交易側已完成初始化,數據湖的切換正式開始。但是,在初始化環節,一個個小問題就不停地出現,一次次敲打着每個人的心絃:

“源系統切換數據庫,數據湖初始化程序報錯。”

“源系統的賬號改了密碼,數據湖初始化程序報錯。”

“源系統有表需要重新初始化,數據湖也需要重新初始化。”

……

張曉燕來到數據湖切換的作戰室,與大家一起審視問題,協同專家解決。好在之前經過多輪演練,大部分問題都有成熟預案,得以逐一解決。

“數據抽取又出狀況了。”12日凌晨4點,在數據整合層的初始化啓動後,還遇到了大表性能問題。

上午10點,張曉燕打電話給項目負責人,詢問數據抽取的預計完成時間,得到的答覆是14點。14點再次詢問,卻說要到16點,實際上18點都沒完成。延遲時間在不斷拉長,2小時、4小時、6小時……張曉燕着急了,把專家們一個個“吼”到了數據湖項目組。

30多人的團隊集中在一起,沿着數據鏈路逐項排查。深夜,萬籟俱寂,ERP作戰室依舊燈火通明,人聲鼎沸,問題排查工作依舊膠着。隨着上億行數據的反覆驗證和執行策略的艱難決策,數據一個一個出來,最後一個數據驗證終於在22點完成,財經月報比對正式啓動。

深夜2點,張曉燕已經連續奮戰了36個小時,安排好後續工作後,她才拖着疲憊的身體來到了公司附近的酒店。

5. 驚險兩小時

才睡了不到3個小時,張曉燕就被一通電話吵醒,迷迷糊糊抓起手機。

“你說什麼?我聽不清,能大點兒聲嗎?出了什麼問題?哪裏錯了?”

好一陣子,她都沒聽清來電在說什麼,只是覺得聲音好小。後來才發現,自己把手機聽筒拿反了。

這次終於聽清楚了—“情況是這樣的,從新系統抓取數據出錯,新老訂單系統的數據無法整合,雖然只涉及38行訂單,但是財務報告容不得半點差異,系統可能面臨回退!”

她當時有點蒙,心裏快速盤算着,系統是不可能回退的,交易已經放開了,回退就意味着上線失敗。她臉都沒顧得上洗一把,就一路小跑回到了切換現場。她環顧了一下四周,看着一張張疲憊的面龐,堅定地對大家說:“沒有退路,只能向前,相信我們一定還有辦法挽救。”

在她的快速統籌下,供應、財經、數據湖領域的專家們迅速集結到位。

大家都是頭一回遇到這個問題,多少有些不知所措。張曉燕結合自己豐富的項目經驗提出:數據問題本質上是數據溯源的問題,只要我們能夠追溯到源頭,就能找到線頭,邏輯自然就能理順了。

在她的啓發下,供應訂單專家快速理清思路,用數據推導的方式快速還原了數據血緣關係,希望瞬間燃起。早上7點,項目組關鍵領導全部到達切換現場,成立了臨時“指揮所”。在華爲,“指揮所”永遠設置在最前線。

問題處置方案迅速形成了兩派。項目組領導建議保險起見,先臨時解決問題,上線成功後再擇機徹底解決;財經領導認爲,此舉可能會留下更大的隱患,還是要一次性解決問題。

雙方一度僵持不下。張曉燕見狀立即提議,成立兩個攻堅隊,給大家兩個小時的時間。其中一隊主導方案優化,一次性把釘子拔掉,徹底解決;另一隊分析臨時方案的可行性,在不影響切換的情況下繞過這個障礙。

作戰室頓時忙碌和熱鬧起來,喊話聲、電話鈴聲、鍵盤敲擊聲,此起彼伏。隨着時間一分一秒過去,方案逐步清晰,攻堅隊員也從最初的焦慮、緊張,逐步恢復了自信。領導們的心情也伴隨着現場氣氛起起伏伏,他們抑制住想要了解方案詳情的急迫心情,沒有去打擾攻堅隊隊員,生怕會打斷隊員們的思路。

兩小時很快就要結束了。張曉燕恨不得這兩個小時有兩天那麼長,這樣就可以給兄弟們更多的時間去思考,讓方案更加穩妥;她又恨不得這兩個小時像兩分鐘那麼短,這樣切換就可以更快一些。

30多位專家聚集,讓這個大作戰室變得非常擁擠,臨時攻堅隊隊長灌了一口功能飲料,開始了推演彙報。張曉燕認真聆聽了兩個團隊的方案推演,並參考現場專家的建議,決定選用臨時方案,該方案充分推演了8種典型場景,最終警報得以解除。

經過一天的平穩運行,15日16點,項目組審視業務驗證情況,一切正常,於是宣佈:馬來西亞MetaERP上線成功!

經過無數的不眠之夜,歷經孕育期的惶恐、不適和分娩前的陣痛,在所有人的期待和手忙腳亂中,MetaERP這個新生命終於誕生了。

在後來的表彰會上,張曉燕帶領大家朗誦了一首集體創作的詩歌,一年多來所有的壓力、焦慮與委屈,在這一刻都得到了完全的釋放。

從沒想過

像我這樣平凡的人

也能書寫一段酣暢淋漓的故事

2019年5月16日  陰

合作多年的駐場顧問全部離開

我們面面相覷

2019年12月20日  陰

ERP項目立項沉甸甸的責任

2020年8月1日凌晨 3點大雨

完成一體機切換

保障了又一次財務月結

喝下又一杯咖啡

2020年9月16日  多雲

產品迭代開發的第一個版本順利上線

今天也是我的生日

我們聊着聊着,哭了又笑了

2021年8月13日  晴

終於將手上最後一個測試案例測試完畢

3萬多個測試用例,100 多個核心用戶

合上電腦的那一刻,猶如寶劍入鞘

2021年9月11日  晴

經歷了上線切換的頭一個24小時

十二點半項目組班車上

身旁的大哥在鼾聲中張大了嘴

2021年10月2日  晴

馬來西亞順利出賬

下班回到家已然熟睡的孩子

電話那頭沒時間聯繫的父母

偶爾抱怨卻默默支持的愛人

感謝你們的理解與包容

我們是父母、子女、妻子、丈夫

我們更是華爲ERP人

我們扛住了狂風驟雨

雄心在路上!

本文來自微信公衆號:正和島(ID:zhenghedao),作者:田濤、殷志峯、彭勇(執筆)

本內容爲作者獨立觀點,不代表虎嗅立場。未經允許不得轉載,授權事宜請聯繫[email protected]
如對本稿件有異議或投訴,請聯繫[email protected]

End

想漲知識 關注虎嗅視頻號!