講師簡介

胡俊亞：攜程高級技術支持工程師

個人簡介：攜程技術支持中心高級技術支持工程師，負責管理公司及其他運維平臺，開發運維自動化工具

與您分享的主題是基于攜程的運維自動化平臺

今年5月，勒索病毒爆發，席卷全球，波及政府部門、醫療機構、公共交通、學校、企業等，給世界帶來巨大損失

如果有投資眼光的人遇到這個問題，他們可能會考慮購買比特幣。作為一名運維工程師，我只考慮如何防止病毒影響我公司的業務。我相信很多運維同事都參與了打擊勒索病毒的斗爭

盡管該病毒傳播范圍廣，似乎很強大，但有許多應對措施。例如，關閉端口445以防止病毒傳播，或在上建立交換機域名以防止病毒運行。當然，這些都是唯一的解決方案。基本上，服務器的安全補丁應該及時更新

如果只有幾個或幾十個服務器，則補丁更新非常簡單。您可以登錄并單擊安裝或單擊命令。當您有數千臺服務器時，不可能依靠手動工作。一次向所有服務器發送命令是不合適的，這可能會對業務產生巨大影響

那么，如何自動修補數以萬計的服務器

讓我們首先看看如何修補服務器

上圖是一個相對簡單的操作過程。首先，檢查服務器是否安裝了修補程序。如果是，則過程結束。如果尚未安裝，請首先將服務器從群集中拉離生產環境，然后安裝修補程序，然后重新啟動服務器以使修補程序生效

在進入集群之前，您可能需要啟動應用程序，例如，讓應用程序構建緩存，將應用程序恢復到正常狀態，然后訪問生產流量。還有一些復雜的問題。例如，集群拉出一些服務器后，其余的服務器可能無法承載它們。應考慮群集可用性

如果要自動化修補服務器的過程，需要完成兩項任務：

自動修補一臺服務器后，它將從1臺擴展到100臺，并修補數千臺服務器。要做的一件事是把重要的事情說三遍

無論您在操作方面有多熟練，在技術方面有多熟練，在開發工具方面有多自信，在進行大規模生產操作和維護時都應該謹慎。批量灰度是一種很好的謹慎方式，可以大大減少對生產的影響，提高網站的可用性

基于以上對數萬臺服務器自動補丁的需求，我們搭建了一個自動運維平臺，包括三個模塊：

這樣的系統不僅可以完成配線功能，而且基本上可以覆蓋日常運行維護的各種自動化要求。因此，它與您共享

下面將詳細介紹這三個方面

遙控器

它是一個開源的遠程管理平臺，可以管理各種操作系統的服務器，主要包括和。它安裝在要管理的服務器上。啟動后，它將與建立長連接，向發送任務，并將任務結果返回給

類似的遠程管理工具包括、chef和。您可以根據實際應用場景進行選擇。去年，我在GOPs北京分享了攜程的一些經驗。你可以參考它。我不再重復了

2.操作流程

從運維的發展過程來看，首先是傳統運維，主要依靠人工操作。例如，啟動服務器時，登錄服務器會根據操作文檔逐步操作。更高級的是，將配置命令寫入腳本，然后運行一個或多個腳本來完成配置

缺點是什么？首先，人們每天重復這樣的工作，這很累，不體現價值。配送效率低。當他們感到疲勞時，很容易出錯并忘記一些配置

使用腳本很容易用相同的函數重復開發。許多腳本沒有專門記錄日志，因此很難找到歷史操作。腳本用于運維操作，出現故障。由于沒有統一的運維操作日志，不可能及時知道誰做了什么

隨著時代的發展，運維已經發展到一個更加先進的時代，我們也處在這個時代。這個時代的一個明顯特征是使用各種開源工具和開發許多工具。該工具提高了效率，大大加快了操作和維護自動化的進程

有這么多可用的工具，將會出現一些問題。例如，以下問題：

為了解決上述問題，我們考慮使用基于事件驅動的開源自動化運維平臺

您有多種工具為許多操作提供API。可以在上實現這些API調用，然后可以將它們組合到復雜的任務中

可實現插件操作，操作邏輯可視化，運維日志統一

提供web界面和API。您可以將各種工具的操作放入其中服務器運維，選擇操作，填寫參數，然后單擊運行

你能用它做什么

在我們的日常生活中有許多不同的變更操作，但我們經常重復做相同的事情，例如安裝軟件、重新啟動服務、拉入和拉出集群等。如果不同的變更操作流程被拆分，那么這些小的操作和維護原子操作將被拆分

相反，我們可以將這些操作和維護原子操作結合起來。例如，樂高積木可以拼出各種模型，我可以將原子操作結合到各種更改過程中。這樣，同一個操作只需實現一次，就可以重用，避免了重復的車輪制造，大大提高了開發效率

在故障處理方面，我們來看一個常規案例

例如，在凌晨2點，有一個關于訂單下降的警報。NOC召開電話會議，并致電相關工程師。接到電話后，工程師們模模糊糊地站了起來，問出了什么問題。國家奧委會需要發表聲明。然后工程師們趕緊打開電腦，通過VPN登錄內網查看相關監控指標，并利用自己的經驗進行故障排除。最終定位故障、修復并最終恢復需要花費大量時間

這種故障處理過程有什么問題

1、修復時間長

半夜處理故障。操作容易出錯，影響第二天的工作

3、隨著業務的增長，警報數量增加，無法及時處理

4、網站可用性降低

如果是，故障排除的過程是什么？您可以監視警報。當報警發送到時，您可以先執行一些分析。根據專家經驗或機器學習，分析完成后，可以判斷報警是否可以自動處理。如果是，您可以執行故障修復和故障恢復

如果您自己無法處理，您將收集故障異常內容和初步分析結果，并發送給相應的工程師服務器運維，這為工程師收集信息和排除故障節省了一些時間，工程師可以快速修復故障。對于一些常見的、多發的故障，如果有固定的處理方法，可以移交給自動處理

可與結合進行日常操作和維護。例如，當您參與GOP時，您可以向您發送警報和初步分析。您可以通過手機向聊天室發送指示以快速修復故障

在了解的一些功能之后，讓我們看看的部署體系結構。圖中黃色部分是的主要模塊，包括身份驗證、API、規則引擎、、webui等。作為引擎，它充當數據庫，存儲定義和日志，是所有任務的消息隊列。這是一個高度可用的體系結構。并在每臺服務器上運行

這是的數據流圖。聊天通過此處的規則引擎映射到操作。上述操作和維護的原子操作被合并到一個工作流中。工作流的解決由完成，每個特定執行由完成

有三個好處：

3.批量灰度

雖然它有很多優點，但當您想要執行