擁抱“Zero ETL”未來，亞馬遜云科技助力樂城堡加速釋放數(shù)據(jù)價值

獲得全球三千五百多萬用戶的認可的移動游戲企業(yè)樂城堡希望通過數(shù)據(jù)分析為游戲業(yè)務提供更好的決策支撐。

樂城堡在亞馬遜云科技上利用Amazon Redshift等服務構建屬于自己的云上游戲數(shù)據(jù)分析平臺，實現(xiàn)復雜查詢，保證游戲運營人員能快速、近實時的獲取所需的數(shù)據(jù)與統(tǒng)計信息，實現(xiàn)產(chǎn)品的持續(xù)優(yōu)化和更新，提升玩家體驗。樂城堡所采用的亞馬遜云科技服務包括Amazon Redshift、Amazon MSK、Amazon S3、Amazon CloudFront、Amazon SageMaker等。

業(yè)務需求與挑戰(zhàn)

北京樂城堡科技有限公司（以下簡稱“樂城堡”）致力于為全球用戶提供精品移動游戲的公司。北京樂城堡科技公司旗下產(chǎn)品已獲得全球三千五百多萬用戶的認可，旗下產(chǎn)品愛麗絲與詞幻境（Alice in Wordland）獲得蘋果商店全球三千多次推薦。

在游戲業(yè)務運營中，樂城堡秉承“好的產(chǎn)品一定是用戶體驗優(yōu)先，創(chuàng)新應來源于對用戶的洞察，細節(jié)決定成敗，精品需要精心打磨才能造就。”的產(chǎn)品理念，不斷創(chuàng)新，為玩家提供優(yōu)秀的智能手機游戲產(chǎn)品。要打造好的游戲作品，需要更好的了解玩家的喜好，因此游戲數(shù)據(jù)分析對于樂城堡來說至關重要。在過去的業(yè)務發(fā)展中，不同的游戲項目團隊采用團隊自己進行數(shù)據(jù)分析的方式，隨著業(yè)務的不斷發(fā)展，企業(yè)需要一種更好的方式來獲得全局能見度。

“我們的游戲業(yè)務中存在各種資源類型，每天會產(chǎn)生大量的數(shù)據(jù)，一段周期之后，數(shù)據(jù)的規(guī)模對于項目組來說就變成了一大挑戰(zhàn)，從觀測的角度來說我們更希望在企業(yè)中設置集中的分析平臺，去為各個游戲項目提供服務。”樂城堡的數(shù)據(jù)總監(jiān)李明說，“在構建企業(yè)自己的數(shù)據(jù)平臺時，我們最為關心的是大數(shù)據(jù)量下的技術靈活度以及相應的人力成本與后期運維成本的控制。雖然市場上有一些第三方的商業(yè)數(shù)據(jù)工具解決方案，但他們能夠提供的分析指標相對固定，很難滿足我們游戲業(yè)務的需求，并且面對大量的數(shù)據(jù)傳輸，也難以達到實時分析的效果。在數(shù)據(jù)安全性可控性和業(yè)務需求上面平衡之后，我們決定在云上構建自己的游戲數(shù)據(jù)分析平臺。”

為什么選擇亞馬遜云科技

（Amazon Web Services）

通過對不同解決方案提供商的評估，樂城堡最終選擇了亞馬遜云科技，基于Amazon Redshift等服務構建屬于自己的云上游戲數(shù)據(jù)分析平臺。在樂城堡看來，亞馬遜云科技的數(shù)據(jù)倉庫與分析解決方案具有以下優(yōu)勢：

·面向行業(yè)需求專門構建并且經(jīng)過大量用戶驗證

亞馬遜云科技面向游戲行業(yè)提供了針對游戲的分析和大數(shù)據(jù)應用解決方案，能夠幫助企業(yè)更好的理解玩家、發(fā)展產(chǎn)品和提升玩家的參與度與保留率，并讓企業(yè)做出更好的設計決策。這些解決方案不僅被眾多的知名游戲工作室所應用和驗證，同時也提供了面向全球市場的數(shù)據(jù)安全性與合規(guī)控制，幫助游戲企業(yè)更好的保護玩家數(shù)據(jù)?！拔覀兊挠螒驑I(yè)務運行在亞馬遜云科技上，包括通過Amazon CloudFront處理訪問日志，選擇在亞馬遜云科技上實現(xiàn)游戲業(yè)務的數(shù)據(jù)分析，不僅能夠獲得更低的延遲，消除大規(guī)模的數(shù)據(jù)傳輸和遷移工作，也能夠讓我們以彈性的方式存儲和處理各類數(shù)據(jù)，降低數(shù)據(jù)分析中的構建和運營開銷?！崩蠲髡f。

·提供易于集成的托管云服務和實時化的分析能力

游戲行業(yè)中數(shù)據(jù)分析對于樂城堡這樣的游戲公司的重要性不言而喻，因此企業(yè)需要兼顧數(shù)據(jù)的準確性和實時性，尤其針對用戶行為的分析。

樂城堡采用Amazon Redshift產(chǎn)品作為企業(yè)的核心數(shù)據(jù)倉庫服務，通過將用戶行為的埋點數(shù)據(jù)寫入到Amazon Managed Streaming for Apache Kafka（MSK），結合Amazon Redshift內置的Streaming Ingestion技術能夠將數(shù)據(jù)以準實時方式的寫入到Amazon Redshift，并在此基礎之上開展后續(xù)所需的數(shù)據(jù)分析。Amazon Managed Streaming for Apache Kafka（MSK）利用完全托管、高度可用的Apache Kafka服務安全地流式傳輸數(shù)據(jù)，是完全托管，無需擔心基礎設施的部署、配置和維護。

它消除了運營開銷，包括預置、配置和維護高度可用的Apache Kafka和Kafka Connect集群的開銷。Amazon MSK使得利用完全托管的Apache Kafka實時攝取和處理流數(shù)據(jù)變得很簡單?！斑@種構建方式簡化了數(shù)據(jù)分析團隊的業(yè)務復雜度，并且在實時性和效率方面上有大幅的提升，幫助我們更快的了解用戶的行為，更及時的調整我們業(yè)務策略，真正的實現(xiàn)讓數(shù)據(jù)驅動業(yè)務?！崩蠲髡劦?。

·廣泛的數(shù)據(jù)與分析服務可滿足當前與未來的業(yè)務需求

亞馬遜云科技提供了從數(shù)據(jù)存儲、數(shù)據(jù)湖、大數(shù)據(jù)分析、流式分析、商業(yè)智能與機器學習在內的一系列廣泛的云上托管服務，能夠滿足不同發(fā)展階段的企業(yè)對于數(shù)據(jù)分析與利用的需求?！拔覀兘⑵髽I(yè)統(tǒng)一分析平臺的初衷之一是消除各項目組自建數(shù)據(jù)庫和自行分析給IT環(huán)境和業(yè)務造成的復雜度，亞馬遜云科技的托管服務讓我們可以輕松的按照業(yè)務的需求進行靈活的組合和構建，在短時間內打造屬于自己的數(shù)據(jù)倉庫和分析能力，因此我們可以更多的去關注于分析的策略和規(guī)則，而不是技術的運維管理?！崩蠲髡劦健?/p>

北京樂城堡科技有限公司數(shù)據(jù)總監(jiān)李明表示：“亞馬遜云科技的托管服務讓我們可以輕松的按照業(yè)務的需求進行靈活的組合和構建，在短時間內打造屬于自己的數(shù)據(jù)倉庫和分析能力，因此我們可以更多的去關注于分析的策略和規(guī)則，而不是技術的運維管理。另外，通過Amazon Redshift結合Amazon MSK的流數(shù)據(jù)實時攝入功能，我們能夠將數(shù)據(jù)攝入延遲從分鐘級別降低到秒級別，大大加快了業(yè)務分析的時效性?！?/p>

獲得的成效

通過采用亞馬遜云科技面向游戲行業(yè)的大數(shù)據(jù)分析解決方案，樂城堡不僅成功的應對了業(yè)務運營中的各類數(shù)據(jù)分析挑戰(zhàn)，也讓企業(yè)獲得了多方面的成效：

首先是將之前分散在各個項目組的數(shù)據(jù)匯總，在企業(yè)內構建服務多游戲產(chǎn)品的統(tǒng)一數(shù)據(jù)分析平臺，為企業(yè)提供數(shù)據(jù)驅動的業(yè)務運營引擎。亞馬遜云科技的眾多服務提供了“開箱即用”的方案以及與開源技術相一致的使用體驗，樂城堡的數(shù)據(jù)分析團隊可以充分利用這些優(yōu)勢在2個月的時間內完成各項目組的數(shù)據(jù)整合、遷移與數(shù)據(jù)倉庫的構建，并根據(jù)不同業(yè)務的需求設計定制化的分析指標，讓游戲項目組成員從復雜的數(shù)據(jù)分析設計和操作中釋放出來，轉變?yōu)榉治鼋Y果的使用者，從而讓有限的人力資源專注于游戲產(chǎn)品的創(chuàng)新。

其次讓企業(yè)更有信心的應對玩家數(shù)量持續(xù)增長所帶來的分析難題?！拔覀冇螒驑I(yè)務所產(chǎn)生的數(shù)據(jù)量一直在增長，并且業(yè)務需要對一定時間的歷史數(shù)據(jù)進行觀測，結合DAU、日志量、時間范圍等因素，僅玩家分析一個場景就需要面對數(shù)萬條記錄，以前無論是自建還是采用第三方的SaaS化方案效率都是極低的?！?/p>

李明說，“Amazon MSK作為全托管、高可用的Apache Kafka服務，幫助我們快速構建流式傳輸?shù)墓艿溃瑢⒅岸说蕉说臄?shù)據(jù)傳輸延遲從分鐘級提升到秒級，使得實時攝取和處理流數(shù)據(jù)變得簡單高效。Amazon Redshift作為企業(yè)級數(shù)據(jù)倉庫，能夠容納規(guī)模至PB級別的數(shù)據(jù)，實現(xiàn)復雜查詢，保證游戲運營人員能快速獲取所需的數(shù)據(jù)與統(tǒng)計信息，無論是規(guī)模還是并發(fā)性能，對于業(yè)務的持續(xù)增長我們都能保持信心?！?/p>

此外，亞馬遜云科技各服務之間的良好集成度和互操作性也讓樂城堡可以更好的降低數(shù)據(jù)分析的成本。與自建Hadoop集群與構建HDFS存儲相比，采用Amazon Redshift與Amazon S3直連的方式可以簡化企業(yè)在數(shù)據(jù)加工和存儲過程中的架構復雜度并實現(xiàn)更好的成本效益，數(shù)據(jù)工程師可以使用熟悉的ANSI SQL直接在Amazon S3中查詢開放文件格式，并可將各類數(shù)據(jù)輕松導出至Amazon S3數(shù)據(jù)湖做進行進一步的加工利用。根據(jù)樂城堡的測算，在同樣數(shù)據(jù)體量下，采用Amazon S3為數(shù)據(jù)倉庫提供存儲支持更具經(jīng)濟優(yōu)勢，能夠幫助企業(yè)將成本控制到自建方式的十分之一。

展望未來，樂城堡將繼續(xù)在游戲業(yè)務運營和數(shù)據(jù)分析場景中與亞馬遜云科技保持密切的合作，以更好的挖掘數(shù)據(jù)所隱藏的價值。目前公司已在業(yè)務中應用Amazon Redshift ML，讓大數(shù)據(jù)團隊的開發(fā)人員能夠在數(shù)據(jù)倉庫中使用熟悉的SQL命令以更加輕松的方式來創(chuàng)建、訓練和應用機器學習模型，樂城堡也將在人工智能與機器學習的應用中整合Amazon SageMaker提供的托管機器學習能力完成模型訓練，幫助企業(yè)實現(xiàn)更加精細化的業(yè)務運營。

關于樂城堡

北京樂城堡科技有限公司是一家全球化的移動游戲開發(fā)公司，成立于2014年，專注于開發(fā)休閑游戲，服務千萬級的全球用戶。我們的夢想是創(chuàng)造出被全球各類人群喜愛和記住的優(yōu)秀游戲。我們秉持著"用心做好游戲，技術引領未來"的理念，這個理念深深地影響了我們的企業(yè)文化和工作方式。

樂城堡的核心價值觀包括自主性、工匠精神、責任感和成長。自主性讓我們在真正重要的事情上越來越優(yōu)秀。工匠精神，即對技能的磨練和執(zhí)著，是成功的秘訣，也是贏得他人尊重的關鍵。我們相信，在長期之中，我們塑造了我們的游戲，我們的團隊，以及我們自己。成長意味著創(chuàng)造游戲的過程是一個永無止境的旅程，我們在其中不斷學習并向前發(fā)展。

我們認識到游戲數(shù)據(jù)分析的重要性，通過深度理解玩家行為、游戲性能和市場趨勢，我們可以持續(xù)優(yōu)化我們的產(chǎn)品，提高用戶體驗，并根據(jù)數(shù)據(jù)反饋調整我們的戰(zhàn)略。