Amazon Redshift：十年持續(xù)重塑實時數(shù)倉能力再升級

十年前，2012年11月，我們在首屆亞馬遜云科技re:Invent大會上，發(fā)布了Amazon Redshift，這是第一個完全托管、PB級的云數(shù)據(jù)倉庫。相對于傳統(tǒng)的本地數(shù)據(jù)倉庫解決方案，Amazon Redshift的發(fā)布徹底變革了行業(yè)的格局。

傳統(tǒng)的本地數(shù)據(jù)倉庫解決方案不僅成本高、缺乏彈性，而且需要很高的調(diào)整和操作技術水平。

在Amazon Redshift的幫助下，使用現(xiàn)有商業(yè)智能工具分析數(shù)據(jù)不僅成本低廉，而且簡單高效。在發(fā)布之后Amazon Redshift成為亞馬遜云科技增長最快的服務之一。如今，全球范圍內(nèi)，數(shù)以萬計的客戶在亞馬遜云科技的中使用Redshift，每天用來處理EB級數(shù)據(jù)。

2013年，Amazon Redshift的主創(chuàng)成員在費城舉行的ACM頂級會議SIGMOD/PODS，發(fā)布了論文《Amazon Redshift re-invented》

在過去的幾年里，Amazon Redshift的用例已經(jīng)發(fā)生變化。為應對這種變化，我們持續(xù)對Amazon Redsfhit進行架構改進，來保持其行業(yè)領先。

通過分層存儲、多集群自動擴展、跨集群數(shù)據(jù)共享以及AQUA查詢加速層等創(chuàng)新，Redshift提高了存儲和計算的可擴展性。

Amazon Redshift Serverless是云原生數(shù)據(jù)倉庫架構創(chuàng)新的集大成者，允許客戶在無需設置和管理數(shù)據(jù)倉庫基礎設施的情況下運行和擴展數(shù)據(jù)分析。Amazon Redshift通過獨有特性（例如使用Spectrum查詢數(shù)據(jù)湖、Redshift ML）與亞馬遜云科技云服務進行廣泛整合與集成，使得它具備承擔超越傳統(tǒng)數(shù)據(jù)倉庫的使用場景對能力。

近日，亞馬遜云科技推出Amazon Redshift流式注入（Streaming Ingestion）功能預覽，讓客戶能夠直接從Amazon Kinesis Data Streams（一項無服務器流式數(shù)據(jù)服務，可簡化任何規(guī)模的數(shù)據(jù)流捕獲、處理和存儲）向Amazon Redshift數(shù)據(jù)倉庫中注入實時數(shù)據(jù)并分析。

Amazon Redshift流式注入功能可以讓客戶無需在Amazon Simple Storage Service（Amazon S3）中暫存數(shù)據(jù)，直接將每秒數(shù)百兆的流數(shù)據(jù)接收到Amazon Redshift數(shù)據(jù)倉庫集群并處理。

在游戲實時數(shù)據(jù)分析、在線廣告點擊流分析、零售POS機數(shù)據(jù)流分析、應用日志和網(wǎng)絡日志分析、物聯(lián)網(wǎng)設備數(shù)據(jù)分析等應用場景中，應用或者終端設備會在短時間內(nèi)持續(xù)生成巨量數(shù)據(jù)流。

這些數(shù)據(jù)流會被送到Amazon Kinesis Data Streams進行實時緩存并最終使用Amazon Redshift完成數(shù)據(jù)分析。

以往，客戶如果想從Amazon Kinesis Data Streams向Amazon Redshift注入實時數(shù)據(jù)，需要先在Amazon S3中暫存數(shù)據(jù)，然后使用Copy命令加載數(shù)據(jù)來構建數(shù)據(jù)管道，這一過程通常需要幾分鐘才能完成。

但越來越多客戶希望能夠分析實時數(shù)據(jù)流以盡早獲得數(shù)據(jù)洞察。

Amazon Redshift流式注入功能的推出，滿足了客戶真實數(shù)據(jù)流對數(shù)據(jù)處理規(guī)模和實時性的要求。

基于這一功能，客戶可以同時連接來自多個Amazon Kinesis Data Streams的數(shù)據(jù)，將實時數(shù)據(jù)直接注入Amazon Redshift?？蛻羰褂矛F(xiàn)有工具和熟悉的SQL執(zhí)行下游處理和轉換，無需額外的成本，在幾秒鐘內(nèi)從數(shù)據(jù)中獲得洞察。

Amazon Redshift流式注入大幅簡化流式數(shù)據(jù)管道構建，加速數(shù)據(jù)處理，支持以低延遲、高吞吐量訪問數(shù)據(jù)倉庫中的實時數(shù)據(jù)，幫助數(shù)據(jù)工程師、數(shù)據(jù)分析師和大數(shù)據(jù)開發(fā)者將數(shù)據(jù)分析從“批量”轉向“實時”。

目前，數(shù)以萬計的客戶每天使用Amazon Redshift處理EB級的數(shù)據(jù)，為高性能商業(yè)智能（BI）報告、儀表板應用程序、數(shù)據(jù)探索和實時分析等分析工作負載提供支持。

Amazon Redshift流式注入功能的推出將進一步豐富客戶的使用場景。客戶可將流式數(shù)據(jù)實時分析與數(shù)據(jù)倉庫中的其它數(shù)據(jù)源相結合，豐富和擴展實時分析應用場景。

例如，游戲運營人員可以分析來自游戲玩家的實時數(shù)據(jù)，優(yōu)化游戲體驗，提高轉化和留存率；營銷部門可以分析在線廣告的點擊流數(shù)據(jù)，評估用戶足跡和行為，及時向客戶投放廣告；分析人員可以實時分析零售POS數(shù)據(jù)，實現(xiàn)零售交易的實時報告、分析和可視化；開發(fā)人員和工程師可以實時分析應用程序日志和網(wǎng)絡日志流數(shù)據(jù)，實時排除故障，采取預防措施，改善產(chǎn)品體驗。

客戶可以將Amazon Redshift流式注入功能與Amazon Kinesis服務一起使用，實時分析IoT數(shù)據(jù)，獲取設備狀態(tài)和屬性（位置和傳感器數(shù)據(jù)），監(jiān)控應用程序，進行欺詐檢測，實現(xiàn)實時排行榜功能等等。

所有企業(yè)的大數(shù)據(jù)分析需求都是動態(tài)的，而大多數(shù)企業(yè)的數(shù)據(jù)戰(zhàn)略并不清晰。企業(yè)需要一套現(xiàn)代數(shù)據(jù)戰(zhàn)略提供管理、訪問、分析和處理數(shù)據(jù)的全面規(guī)劃，以應對大數(shù)據(jù)分析需求的增長，并滿足當前和將來的分析用例。借助亞馬遜云科技智能湖倉架構，用戶可以快速構建可擴展的數(shù)據(jù)湖，使用廣泛而深入的專門構建數(shù)據(jù)服務組合，實現(xiàn)統(tǒng)一的數(shù)據(jù)訪問，保證數(shù)據(jù)安全和治理，以低成本擴展系統(tǒng)的同時而不損及性能，并輕松跨組織邊界共享數(shù)據(jù)，進行快速、靈活地決策與數(shù)據(jù)分析。

Amazon Redshift流式注入功能的推出，進一步豐富了亞馬遜云科技無服務器分析產(chǎn)品服務不同客戶業(yè)務場景的能力，可以讓客戶無需配置、擴展或管理底層基礎設施，即可輕松地處理實時動態(tài)的數(shù)據(jù)同步，為機器學習項目提供兼具性能和成本效益的實時特征數(shù)據(jù)準備。也為企業(yè)打造現(xiàn)代化數(shù)據(jù)戰(zhàn)略，向數(shù)據(jù)驅動型企業(yè)邁進，提供了新的創(chuàng)新方向。

我們已在亞馬遜云科技小程序上線了Amazon Redshift的培訓課程，包含了產(chǎn)品架構解讀、最佳實踐、應用場景、最新功能解讀與五個快速開始的Demo。