MapReduce, Hadoop

5. MapReduce, Hadoop

四, 2008-09-25 15:27 — wea 1.何謂MapReduce?

-是一種軟體框架(software framework)
-這個軟體框架由Google實作出
-運行在眾多不可靠電腦組成的叢集(clusters)上
-能為大量資料做平行運算處理
-此框架的功能概念主要是映射(Map)和化簡(Reduce)兩種
-實作上可用C++、JAVA或其他程式語言來達成

2.何謂映射(Map)?

-從主節點(master node)輸入一組input，此input是一組key/value，將這組輸入切分成好幾個小的子部分，分散到各個工作節點(worker nodes)去做運算

3.何謂化簡(Reduce)?

-主節點(master node)收回處理完的子部分，將子部分重新組合產生輸出

4.MapReduce的Dataflow

-Input reader
-Map function
-Partition function
-Comparison function
-Reduce function
-Output writer
-上面的敘述可以下圖解釋

5.例子：

 引用自：http://blog.jteam.nl/wp-content/uploads/2009/08/MapReduceWordCountOverview1.png
附錄：
1.雲端運算核心技術 MapReduce

雲端運算的關鍵技術是 MapReduce，最早是由 Google 提出，後來也運用在開源的雲端技術 Hadoop 中。

和傳統開發模式相比，開發人員需要先分析問題的解決流程，找出可以利用平行運算來處理資料的部分，也就是那些能夠被切成小段分開來處理的資料，再針對可以採用平行處理的部分寫成 Map 程式。

有了 Map 程式之後，就可以使用大量機器用執行 Map 程式，分別同步處理分析每一段資料，再將每一個 Map 程式分析出來的結果，透過 Reduce 程式進行合併，最後則彙整出完整的結果。

MapReduce 的運作方式很像選舉開票，只要大家都遵守固定的開票程序，那由誰來開票其實都沒有影響。各投票所的開票任務就像是 Map 程式，負責處理少量資料，而 Reduce 程式就是中選會彙整投票結果的動作。

開發者將問題拆解成 MapReduce 的程式後，就可以交由雲端運算的平臺來執行Reduce程式，之後再合併。

2.雲端運算關鍵技術 MapReduce 的執行示意圖 

MapReduce 是雲端運算的關鍵技術，將要執行的問題，拆解成 Map 和 Reduce 的方式來執行，以達到分散運算的效果。

不論 Google 或 Yahoo 所採用的 MapReduce 執行概念相同，只是儲存的檔案系統不同 (Google 是 GFS，而 Yahoo 是 HDFS)。MapReduce 程式的執行過程如下：

1.將要執行的 MapReduce 程式複製到 Master 與每一臺 Worker 機器中。

2.Master 決定 Map 程式與 Reduce 程式，分別由哪些 Worker 機器執行。

3.將所有的資料區塊，分配到執行 Map 程式的 Worker 機器中進行 Map。

4.將 Map 後的結果存入 Worker 機器的本地磁碟。

5.執行 Reduce 程式的 Worker 機器，遠端讀取每一份 Map 結果，進行彙整與排序，同時執行 Reduce 程式。

6.將使用者需要的運算結果輸出。

引用自：http://p.blog.csdn.net/images/p_blog_csdn_net/sithlqf/EntryImages/20090906/implement.jpg

-------------------------------------------------------------------------------------------------------------------------------

1.Hadoop
 -本來是Apache.org在Lucene下的一個專案，由Dong Cutting所開發。
 -用來處理與保存大量資料的雲端運算平台。
 -Apache top-level 專案。
 -是一個開放源始碼的分散式計算系統的JAVA實作，可協助處理大規模的資料集(Data Sets)。
 -一套實現Google Map Reduce及GFS(Google File System)的工具。
 -Map就是將一個工作分到多個Node。
 -Reduce就是將各個Node的結果再重新結合成最後的結果。
 -運算的部分以Map Reduce為架構。
 -特色：分散式運算、運算加速及運算節點備援具穩定性。
 -使用的檔案系統：HDFS。
 -使用的儲存系統：Hbase。


2.Hadoop 簡史
 2003 年   2 月-Google 撰寫第一個 MapReduce 程式庫。
 2003 年 10 月-Google 發表Goofle File System (GFS) 論文。
 2004 年 12 月-Google 發表 MapReduce 論文。
 2005 年   7 月-Doug Cutting 在 Nutch 開始採用 MapReduce 實作。
 2006 年   2 月-Hadoop 程式碼從 Nutch 移至 Lucene 子專案。
 2006 年 11 月-Google 發表 Bigtable 論文。
 2007 年   2 月-Mike Cafarella 發佈第一個 Hbase 程式碼。
 2007 年   4 月-Yahoo! 在 1000 個節點叢集上執行 Hadoop。
 2008 年   1 月-Hadoop 成為 Apache 頂層專案。


3.Hadoop Distributed File System
 -簡稱HDFS。
 -在分散式儲存環境中，提供單一的目錄系統。
 -資料以Write-once-read-many 存取，一旦建立、寫入，就不允許修改。
 -每個檔案被分割成許多block，每個block複製許多複本(replica)，並分散儲存於不同的DataNode上。
 -NameNode：負責維護HDFS的檔案名稱空間 (File System Namespace)。
 -DataNode：實際儲存檔案區塊(Blocks)的伺服器。

 引用自：http://images.cnblogs.com/cnblogs_com/wayne1017/HDFSArch.JPG


4.Hbase
 -以 Hadoop 的 HDFS 為基礎， 提供類 Bigtable 功能。
 -類似表格的資料結構。
 -適用於數量龐大的一般伺服器上，來儲存Petabytes級的資料。
 -不是關聯式(Relational)資料庫系統。
 -表格(Table)只有一個主要索引 (primary index) 即 row key。
 -不提供 join。
 -不提供 SQL語法。


附錄：


Hadoop簡介

Hadoop 是什麼？它本來是Apache.org在Lucene下的一個專案，由Dong Cutting所開發，而在Lucene的發展歷史中，在搜尋引擎的應用上因Google的走紅，而使Dong Cutting也參考了由Google所發表的MapReduce和GFS ( Google File System ) 的發表論文後 ( Google是用這兩樣技術進行電腦的聯合運算，也就是雲端運算技術 )，在Hadoop專案中，將MapReduce及GFS進行了兩方面的實作，從這個開發原始碼的應用，使得大型機器在快速運算的能力延伸到了多台機器的 聯合運算，並且利用分散式的架構概念及日漸成熟的PC運算，達到和大型主機類似的功能。

Hadoop 的專案圖象是一頭大象，在Hadoop的專案網頁裡有它功能的介紹：「Hadoop is a software platform that lets one easily write and run applications that process vast amount of data.」一開始就點明了它用來處理程式在大量檔案的處理。而這個Hadoop專案所要應付和解決的方案是什麼呢？在網頁的簡介下也說明的很清楚：

1. Hadoop can reliably store and process petabytes.用來處理大量的資料和儲存的能力。

2. It distributes the data and processing across clusters of commonly available computers.These clusters can number into                  the thousands of nodes.將資料和處理程序分散到可以使用的電腦上，並且這些電腦的數 量可以達到上千台之多。

3. By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This make it extremely                rapid. 借由分散檔案的處理，Hadoop可以平行的運算這些檔案，並且使得檔案的處理 變的可以快速的回應。

4. Hadoop automatically maintains multiple copies of data and automatically redeloys computing tasks based on failures.這一個機制使得Hadoop成為可以信賴的運算和放置資料的平台，它可以將運算的程式 和放置的資料在每一個可以運行的node間進行複製和自動化的備份，可以避免執行中的程式或存放的資 料，因為電腦的硬體或系統的上的損壞而使程式消失或檔案損毀。

应急电源站柴油发电机组的选用

常用的应急电源包括：独立于正常电源的发电机组、 供电网络中有效独立于正常电源的电池组。由于柴油发电机的容量较大，可并机运行且持续供电时间长，还可独立运行，不与地区电网并列运行，不受电网故障的影 响，可靠性较高。尤其对某些地区常用市电不是很可靠的情况下，把柴油发电机作为备用电源，既能起到应急电源的作用，又能通过低压系统的合理优化，将一些平 时比较重要的负荷在停电时使用，因此在工程中得到广泛的使用。
　　
　　1 紧急用电负载的类型
　　
　　许多现代大型工业企业与民用建筑工程，例如某些化工厂、核电站、卫星发射测控基地、机场、医院、高级宾馆、高层公寓办公大厦、财贸金融大楼、重要科研 楼、图书馆、档案馆、大型体育场馆等，一旦发生停电事故，将引起生产工艺过程的严重混乱、设备破坏、经济损失，甚至人身伤亡。尤其在某些紧急时刻，例如发 生地震、火灾时，火箭发射、机起降时，需要供电电源继续延长一段供电时间。以便按生产程序停机、完成重要测量控制、疏散人员或扑救火灾等。因此，这些企业 或建筑都设有自备的应急柴油发电站或燃汽轮机电站。
　　
　　应急电站主要供给事故停电后允许瞬间停电，并希望迅速恢复延长一段供电时间的用电负载，称一级负载。对断电时间有严格要求的设备、仪表及计算机系统，应设蓄电池或由不间断供电装置(UPS)供电。一般工业企业及民用建筑工程的紧急用电负载大致有以下几种类型:
　　
　　(1)安全停机设备。属于这一类型的装置有专供处理事故的交流电动阀门，包括关闭有毒或有放射性污染危害的液体、气体的电动阀门或开启将易燃、易爆气体放空的电动阀门等。
　　
　　(2)由于工艺流程的要求，在停机时希望在一定时间内继续运行的设备，例如散热或搅拌用的电动机等。
　　
　　(3)当工厂有大型透平时，它们的润滑油泵、密封油泵、电动盘车等交流辅助设备。
　　
　　(4)消防设备，例如消火栓泵，喷洒泵，排烟机，加压风机，防、排烟电动阀门，卷帘门，消防电梯，消防报警装置等。
　　
　　(5)安全保卫及管理系统、通信系统的用电设备。
　　
　　(6)交通事故照明、疏散标志照明、航空障碍灯。
　　
　　(7)生活必须保证的用电负载，例如电梯、饮用水泵、生活给、排水泵等。
　　
　　(8)为了发挥应急电站的作用，平时有的工厂利用应急电站供尖峰负荷用电，以削平日负荷曲线，节约基本电费。市电停电时，有的民用建筑工程利用应急电站供给经济效益高的餐厅、商场、多功能厅、会议厅等的照明及空调用电，以提高应急电站的经济效益。
　　
　　应急电站的工作有两个特点:第一是作应急用，连续工作的时间不长，一般只需要持续运行几个小时，最多不超过l2h;第二是作备用，应急发电机组平时是 处于停机等待应急起动状态，只有当主用电源出现故障断电后，应急发电机组才起动运行供给紧急用电负载。当主用电源恢复正常后，随即切换停机。
　　
　　2 应急电站发电机组容量的确定
　　
　　应急柴油发电机组的额定容量为经大气修正后的l2h标定容量，其容量应能满足全工程紧急用电总计算负载，并按发电机组容量能满足一级负载中，单台最大 容量电动机起动的要求进行校验。应急发电机额定输出电压，通常选定为三相400V，不宜选用高压发电机，个别一级用电负载大、输电距离远的工程可以考虑选 用高压发电机组。
　　
　　3 应急电站发电机组台数的确定
　　
　　多数应急电站一般只设置一台应急柴油发……

云计算数据中心供配电解决方案的四大体现

本文就云计算数据中心的产业环境、发展现状、技术趋势、应用特点等进行了深入地分析与探讨。云计算是一种IT资源的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的硬件、平台、软件及服务等资源。

　　本文就云计算数据中心的产业环境、发展现状、技术趋势、应用特点等进行了深入地分析与探讨。云计算是一种IT资源的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的硬件、平台、软件及服务等资源。
　　“云”中的资源可以是无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。正是基于云计算能给用户带来的这种自由性，云计算被看作 是继个人计算机变革、互联网变革之后的第三次IT浪潮。在产业高速发展，生态环境建设和商业模式构建变革的当下，云计算产业进入其“黄金机遇期”。越来越 多的厂商开始介入，推出大量的应用解决方案，各个地方公有云、私有云、混合云建设齐头并进。
　　在云计算应用模式大发展的背景下，硬件、软件、集成、运营、内容服务等领域的主要厂商纷纷借势转型发展，基于已有的产品及技术优势，推出云计算 服务及解决方案，这使得云计算产业链得以构建。而其中很重要的一环即是云计算数据中心供配电解决方案的优化。目前，市场上云计算数据中心供配电解决方案主 要体现出以下几个方向：

　　智能模块式一体化解决方案得到推崇
　　云计算数据中心配电解决方案主要是指为UPS电源的输入和输出配电提供安全的、可管理的、可扩展的、可维护的的配电一体化系统。随着数据中心建设要求的不断提高，供配电系统基本完成了从设备到系统、从单系统到冗余系统建设的过程。
　　云计算数据中心供配电系统融合了智能、模块、一体化的特点。它集交流输入配电、UPS输入配电和UPS输出配电等各单元于一体，对电流、功率因数、及电量计算等参数做到了智能监测，可灵活的选配各种不同的组件来实现各种功能，使用户的配电设计给出最优的解决方案。

　　高频UPS供电系统成为发展主流
　　近年来数据中心大容量UPS高频化的趋势越来越明显，各大厂家也纷纷推出了自己的高频UPS，前几年，业界关于高频UPS和工频UPS的争论还 一直不断，但近两年，高频UPS供电系统成为大势业界已基本达成共识。与工频机相比，高频UPS具备输入功率因数高、本身功耗小、对外干扰小、体积小、重 量轻、全数字化等优势。在节能减排，降低能耗的大环境下，高频UPS的高效率和低谐波污染决定了其是一个主流发展方向。

　　整体设计意识促使系统融合发展
　　数据中心是一个整体，这一点已越来越多地被用户意识到，尤其是对于云计算数据中心，前期的整体设计决定了后期的维护和管理。整体设计意识的提高 促进了供配电系统与制冷系统、机房环境系统等的融合发展。同时，对于不同行业的数据中心，需要从满足个性化的需求出发，持续对数据中心设备的可靠性、合理 的规划和良好的组织管理的提升来改善数据中心基础设施的可用性。只有在充分了解数据中心整体应用和运营情况的前提下，提出有针对性的供配电解决方案，只有 这样才能实现提高数据中心效率，降低电力损耗的目标。

　　安全性和绿色成为技术革新的两大最主要方向
　　对于云计算数据中心的供配电系统，安全性是用户考虑的首要要素。云计算数据中心往往都是拥有大量IT主设备的新一代大型数据中心，拥有一个持续 安全的供配电系统尤其重要。安全性的技术发展体现在对供配电系统的安全监控功能上的不断探索;同时，绿色节能也是技术革新的另一个重要方向，随着国内外绿 色产业发展的浪潮，对于供配电解决方案在远程监控、实时调节等功能的技术改进得以加强，对不同区域的功能和设备的特点，进行分区温度控制，根据配电室、电 池室、装配间、数据磁带备份室及IT主机房的不同要求控制不同的温、湿度，从而达到最佳的节能效果。

数据中心为节省能源 追求热控制

您的数据中心的最大功率容量必须涵盖服务器和IT设备的能耗和散热要求。随着数据中心的功耗已经从过去的平均每平方英尺500瓦增加到今天的平均每 平方英尺1500瓦，平衡这两个可谓“势均力敌”的需求，近年来已变得更加困难！更高性能密度（HPD）的硬件的热效应，常常导致更大的数据中心产热。
　　解决这个数据中心的产热增加的方法之一，便是要实现一个更有效的散热冷却设施[1]，使用以下新兴的最佳做法进行热监测与控制。

　　建立实时热数据中心地图
　 　启用每一个服务器平台上的实时温度传感器，进行实时数据中心热地图的建设。对单独的服务器和机架的功率和热事件进行实时监控（除了部分房间之外），可以 使您主动发现故障情况，然后针对具体情况采取行动措施，无论是超冷、过度冷却、热点或是计算机房空调（CRAC）运行失败。
　　这些热地图可以被用来创建热剖面、记录，并报告热的趋势以及长远规划。
　　基于实时数据中心环境入口温度的CRAC供应温度监测和控制，可以进一步确定热点。超冷和过度冷却的状况经常是由于缺乏数据中心机架及房水平的实际环境温度有关的信息。
　 　此外，实时热剖面图报告热的趋势，以证明增加多少操作温度可能带来冷却能源成本的显著减少。在位于世界各地的几个数据中心试点项目中，英特尔数据中心管 理器（DCM）解决方案团队已经见证，提高能源效率和提高温度的基础上准确的读数：可以使得数据中心的操作温度每提升一度，净节约大约50000美元/ 年。

　　实际数据与理论数据
　　今天，许多现有的可用功率和热数据是预估的或是基于制造商的额定功率计算的，而不是其实际消费量。这些数据可以与实际消费量的偏差可以高达40％。
　 　实时机架和房间级热映射标识的冷却效率，使您可以根据需要宜早不宜迟的激活适当的冷却行动。Sun微系统公司报告称，他们在温度设定点[2]借助数据中 心管理器每提升操作温度一度，数据中心可以节省能源成本4％。另据报道，冷却可以占到数据中心能源总使用量的40-50％。在这方面提高效率，对于数据中 心整体的经营成本将会产生重大影响。

　　案例研究
　 　微软希望通过提高数据中心的冷却设定温度点找出到底可以节省多少成本。该公司在其硅谷数据中心的进行了稍高温度的影响测试。“我们将地板温度提升了两到 四度，每年节省能源成本达25万美元。”与微软进行该项目合作的LeeTechnologies公司关键设施经理DonDenning说。[3]
　　当首席信息官及其基础设施团队带来了更高性能密度的硬件到数据中心，要求更多的服务器和更大的热冷却效率时，请务必确保上述这些最佳做法成为您热控制规划的一部分。

数据中心的绿思维

文/鲁少堃
　　数据中心朝着大型和超大型发展，对运算能力、存储能力的要求也相应提高，但是随之而来的是能耗的进一步提升和运维成本的不断增加。如何降低能耗、提高资源利用率、节约成本？

数据中心呼唤绿色

斯坦福大学教授Ohnathan G. Koomey的研究数据显示，2010年全球数据中心耗电量达到了惊人的1988亿kWh，约占全球发电量的1.1%至1.5%；而在拥有大量数据中心的 美国，这个比例已经达到1.7%－2.2%。数据中心的耗电支出已经超过对基础设施的投入。
　　随着信息化的不断发展，数据增长越来越快，对数据中心的需求和数据容量也相应地在快速增长。微软公司的Christian Belady最近在其博文中写道，预计到2020年，美国和全球数据中心市场将增长50%，分别达到180亿和780亿美元。
　　数据中心的快速发展对电力等能源的需求也会越来越大，但是能源的紧缺供应，将难以满足这种需求。数据中心工业协会（AFCOM）下属的数据中心 研究所预计，在今后几年里，超过90%的企业数据中心将因为电力不足而至少中断一次。在这种供给与需求的双重压力之下，越来越多的中小企业放弃了自建数据 中心，转而向大型数据中心运营商租用其提供的数据中心服务。
　　数据中心朝着大型和超大型发展，对运算能力、存储能力的要求也相应提高，但是随之而来的是能耗的进一步提升和运维成本的不断增加。如何降低能耗、提高资源利用率、节约成本，建设“绿色”数据中心？

探索“绿色”可行性

绿色数据中心的建设，需要使用新的节能技术与设备，替代原有的低功效设备，以降低能耗、提高能源利用率和减少运维成本。但是在采用新技术和新设备的过程中，不可避免会增加额外的前期投资。
　　因此，对于数据中心的设计者和运营商而言，需要在技术资源、投资回报率、社会效应等多方面考虑，选取最适合的方案，从而达到经济与技术的平衡。
　　绿色数据中心的节能技术很多，但是归根到底在于“开源”与“节流”。我们将从这两方面，介绍一下现在比较主流的技术方案。

绿之“开源”

再生式能源对电力的补充：数据中心运营的基础就是电力。电力保障了数据中心IT业务的稳定运行、制冷系统的冷却降温、管理监控系统的正常运作、室内照明等等。对于传统的数据中心，通过电网获得电力资源是唯一的选择，但是现在，情况却在悄然变化。
　　2007年，Google在其总部安装了太阳能发电系统，约9200块太阳能电池为Google提供了总功率1.6MW的电力。而另一个IT行业巨头微软，则在其位于美国昆西的数据中心采用了水力发电方案。
　　除此之外，风力、地热、潮汐等再生式能源，同样存在为数据中心提供电力资源的可能。再生式能源的使用，降低了数据中心对电网的负荷和CO2的排放，并给数据中心带来了巨大的经济效益和无法估量的社会效应。
　　再生式能源直接提供制冷：太阳能空调是目前应用较为广泛的再生式能源制冷技术。它主要由太阳能集热器和吸收 式制冷机两部分构成。吸收式制冷机利用太阳能集热器为其发生器提供热媒水，来加热发生器，取代了传统吸收式空调用电能加热的方式。并且，太阳能集热器的热 媒水温度越高，空调系统的制冷效率也越高。这种技术在太阳能资源丰富的地区，已经得到很好的推广与应用。
　　目前欧洲最大的太阳能空调系统位于德国Offenburg。通过此系统，Offenburg高等学校每年可以节省500MWh电能。
　　自然冷源的利用：除了太阳能，还有很多资源可以为绿色数据中心提供制冷资源，如江河、湖泊、海洋、地下水，甚至土壤和空气，等等。
　　在气候寒冷的北方地区，室外冷空气可以直接导入数据中心，用于冷却IT设备。微软在爱尔兰都柏林的数据中心将这种技术方案发挥到了极致：整个数据中心使用的是“无冷却器”模式，也就是说，数据中心不需要任何制冷设备，而是使用免费的外部空气进行冷却。
　　除了直接使用室外冷空气，我们还可以将热空气通过换热器，与周围低温水源或地下水，甚至土壤进行换热冷却，也能为数据中心的制冷系统提供额外的冷量。这些资源不仅可以大大降低数据中心的电能消耗和耗电成本，更是一种清洁无污染的能源。
　　选址是关键：美国地产大亨Donald Trump曾经在他的电视真人秀《学徒》中说过，地点选择是商业成败最关键的因素。同样，地点选择也是“绿色数据中心”成败的关键，因为地点决定了是否有清洁、免费的能源供给。
　　目前世界上大规模的数据中心主要集中在北纬44度到北纬46度之间，究其原因可以发现，在此纬度范围的年均日照时间较长、水资源较丰富、冬季较长、年均气温较低，这些条件使提供免费的供电及制冷资源成为可能。

绿之“节流”

与“开源”的“靠天吃饭”相比，“节流”就偏向于“人定胜天”了。“节流”旨在通过技术手段，改造或优化数据机房，从而达到“绿色”的标准。接下来我们看一下IT、制冷、配电、建筑设计这四个能耗大户如何节能：
　　IT系统的节能：IT设备是数据中心的核心设备，又是最大的能耗单元。随着新技术的产生和新产品的应用，IT设备正朝着高效节能的方向发展。
　　比如刀片式服务器，通过对服务器部件的技术升级和优化整合，显著提升性能、降低用电与冷却成本，以及占地空间需求；固态（SSD）硬盘作为存储 单元的应用，使得存储速度更快、能耗更低、发热量更小；虚拟化技术可以将多台物理服务器整合到一台服务器上来，按照5:1的比例，虚拟化技术可以节省最多 80%的物理服务器所消耗的电力和冷却资源。
　　制冷通风系统的节能：制冷系统是数据中心排名第二的能耗大户，消耗的电能一般占到数据中心总耗电量的25%以上，所以在制冷系统方面，同样存在巨大的节能空间。
　　大型数据中心的制冷，可以采用水冷机组代替传统风冷机组，提高制冷机效率，降低制冷设备电能消耗。
　　机房制冷可以采用密闭冷、热通道技术，避免冷热空气混合，达到高效制冷的目的，这种技术至少可以减少25%的制冷系统能耗。同时还可以采用热风循环系统，使用机房热风对办公区域、配套区域进行供暖，达到降低建筑整体能耗的目的。
　　除此之外，精确送风技术也得到越来越广泛的运用，该技术让冷风直接冷却机柜，并根据每个机柜温度的不同，调节进气量，避免资源浪费。
　　此外，使用变频空调，或者在保证设备正常运行的情况下调高空调温度，都可以有效地降低能耗。

　　配电系统的节能：配电系统的重要组成是UPS，它保证了数据中心的电源稳定，但是随着数据中心规模的不断扩大，UPS的耗电也变得越来越多。除了传统的针对UPS和电池的节能技术升级以外，飞轮和高压直流电源成为配电系统节能的两个发展方向。

　　飞轮储能作为一种机械储能的方式，比传统化学蓄电池的效率高8%左右，达到98%。同时，飞轮UPS不需要空调降温，节约了空调的成本和耗电量。另外，它的寿命长达20年，可靠性较高，还节省了更换蓄电池的费用。
　　位于美国科罗拉多州的Broomfield数据中心，是世界上最早同时也是规模最大的使用机架冷却方案的数据中心。该数据中心应用“机架冷却系统+节能冷水机组+飞轮UPS”方案实现了能源的节省和空间的节约。
　　除了飞轮储能，高压直流电源正成为配电系统一个新的发展方向。这是因为服务器在内部使用的是直流电，直接使用直流电源可以减少交流电转换为直流电这一环节，降低了电流转换的损失，实现迅速节能。
　　建筑设计的节能：在建筑设计过程中，有很多技巧可以降低建筑的能耗，比如合理规划建筑朝向、布局、外观、间距、层高；合理选用节能型建筑材料以及规划门窗尺寸、材料；合理设计楼宇通风、采光；在屋顶种植绿色植物等等。
　　随着二氧化碳排放量剧增、对全球气候变暖的影响更加明显，企业或机构无疑都将受到越来越多的成本约束和环境法规限制。作为人类节能减排活动的重 要组成部分，IT企业必将越来越努力建设高效节能的绿色数据中心，更新更优秀的节能技术也将应用在数据中心上，以支持我们创建可持续发展的计算环境。

紀錄

T-state 
1. Overview CPU在C0状态下有两种手段降低功耗的方法，其一是之前介绍过的P-state，另一个就是T-state。T-sate全称就是Processor Throttling States，它为OSPM提供了一种通过降低Processor Performance进而降低系统负载和温度的能力，听上去可能和P-state很像，其实是有区别的，P-state通过调整CPU VID电压进而影响CPU的工作频率的方式调整系统系能，而T-state则是通过调整单位时间内CPU Clock On /（Clock On + Clock Off）的时间（也即Clock On工作占整个CPU工作时间的占空比）的方式 ，影响系统的功耗和温度。



二、應用程式服務 (Application SLA) :

尖峰負載服務品質保證服務 (Peak Load Service Quality Guaranteed Service)。使用者可透過MCloud環境提供服務 (例如網站服務)，並設定服務支品質要求(QoS)，MCloud會提供動態配置資源以保證該服務品質要求。

 ( http://www.syscom.com.tw/ePaper_Content_EPArticledetail.aspx?id=176&EPID=172&j=4&HeaderName=%E7%A0%94%E7%99%BC%E6%96%B0%E8%A6%96%E7%95%8C )

這個問題是類似於電網供需不匹配的問題，和“需求響應”機制，在這方面是類似上述的解決方案。然而，一個解決方案 - 儲能 - 這是正常的電網用於擴增的需求響應的有效性已經在數據中心環境中很少探討。儲能可用於：（一）交易，甚至沒有要求其他反應機制（時間/空間），其中有性能方面的後果，（二）補充現有機制，以提高其療效，在滿足應用程序SLA短/小功率尖峰，（三）提供補救解決方案，即使他們是暫時的，當其他機制可能無法找到可行的方案，以滿足應用程序SLA。

此外，在電網儲能可能是一個昂貴的主張不同，數據中心已經有內置在UPS單元來處理電力中斷的形式存儲 - 我們可以挖掘到這些緊急處理沒有撞擊的可用性任務嗎？


UPS是不间断电源(uninterruptible power system)的英文简称，是能够提供持续、稳定、不间断的电源供应的重要外部设备。

在线式UPS结构较复杂，但性能完善，能解决所有电源问题。如四通PS系列，其显著特点是能够持续零中断地输出纯净正弦波交流电，能够解决尖峰、浪涌、频率漂移等全部的电源问题；由于需要较大的投资，通常应用在关键设备与网络中心等对电力要求苛刻的环境中。

服務器級別的UPS，納入與電源時，可以幫助消除雙轉換的需求和相關的能源損失。我們假設服務器級別的UPS單元，雖然我們的很多想法，也將適用於其他配置。
在一般情況下，UPS電池有助於減少/帽功耗及以上水平，它們被放置在電源層次。

當使用電池超出了他們原來的角色，我們必須確保數據中心的電源可用性（功利中斷），以及電池的正常壽命為鉛酸（3-5歲）不受到損害。由於UPS設備主要是過渡性的設備，暫時處理負載，直到柴油發電機組開始（大約需要15-30秒），我們能夠利用我們的目的，他們為一兩分鐘，而仍然留足夠的充電可用性的目的。 

我們開發的實驗樣機，8個人與單位的UPS的服務器和落實七個控制啟發式。
我們研究中的幾種有代表性的有特色的數據中心工作負載的情況下的緊急情況： 
（一）TPC-W和在SPECjbb基於服務器的負載峰值（例如，閃存人群）， 
（二）一個MapReduce的應用程序，其中的地圖相產生的緊急情況下從工作量介紹了功率峰值大大高於降低相位， 
（三）流媒體服務器處理功率尖峰造成一股新的連接，導致現有流的緊張， 
（四）1多道的GPU+病毒掃描應用程序對捆綁到特定的一組服務器（遷移是不是一種選擇）一起運行時介紹了高功耗要求他們時間間隔。 


我們認為，根據配置的不同程度，表明本身的電池可以維持短期的突發事件（約10-20分鐘，我們的原型）。較長的突發事件（30分鐘或以上），需要遷移當地節流以來持續傷害性能。
另一方面，移民的性能開銷使得它不太縮短緊急情況下的吸引力。我們的電池解決方案，與移民一起，提供一個無縫的橋樑，橫跨這些時間的頻譜，並能減少這些中間期限的性能影響。
在大多數情況下，電池為主的啟發式，這些旋鈕，幫助我們在理論界的10-20％。


基本的想法是利用所有組件/服務器同時出現高峰電力需求的可能性很低。

-------------------------------------------------------------------
我們現有工作量感知反應機制分為兩大類：時間和空間。時空的機制，調整內部服務器資源使用的利率。由於資源使用（尤其是CPU）的速度會影響功耗，它可以用來作為需求響應旋鈕。

兩種常見的顳機制包括：
 （一）調度推遲一些非緊急時期的高峰負荷，
 （二）用人電源狀態 - 動態電壓和頻率縮放（DVFS），時鐘節流，甚至睡眠/關機狀態。




空間機構直接/超負荷遷移服務器和/或地區的數據中心，其功率預算餘量。
在這裡，我們再考慮兩大戰略：
 （一）負載重定向/遷移/整合到一個或多個服務器在C級的層次，讓一些在C服務器被關閉/放緩。
（二）負荷運動/遷移到一個或多個服務器在數據中心（外）增加的負載餘量，其他地方。
許多現有的技術，負載平衡/不平衡能量/功率減少這一類下降。
可以實現這種負荷運動
（一）在許多基於網絡的服務請求重定向
（二）“容錯”應用程序檢測到服務器不可用，可用的服務器之間的自動平衡，
（三）動態過程/ VM遷移。

另一方面，空間技術可以長時間高負荷工作，因為他們可以有足夠的餘量要求移動到數據中心的地區。

然而，這些技術也有其局限性：
（一）他們不到時間的機制，這意味著他們對自己在處理緊急情況的不足，敏捷。緊急情況的反應，可以很長一段時間，其間時間的機制，必須依靠封頂功耗，使它們只適合長時間的緊急情況;

（二）遷移可以是昂貴的，這取決於應用程序的狀態，需要遷移。這不僅可以在遷移過程中（這可能需要幾分鐘）和遷移後的抗衝擊性能（由於所在地損失），但也可以暫時提高功率有關服務器的抽獎;

（三）他們需要淨空，其他地方的數據中心，這可能並不總是可用（有時是不可取的，由於行政區域界線）;

（iv）不適合所有的應用程序遷移，因為他們可能需要的資源（圖形應用程序需要的GPU卡，需要在本地磁盤的病毒掃描）對特定的服務器。

企业IT节能之使用IBM EnergyScale节能技术

http://server.it168.com/server/2008-07-09/200807090907703_1.shtml

   【IT168 特别策划】您的IT系统电费支出是不是越来越大？您是否在为如何降低功耗、节约能源煞费苦心？近期，IT168服务器频道和存储频道将推出“企业IT节能系列文章”专题策划，我们将从芯片、组件、系统、软件乃至数据中心等多个层面、多个角度出发，陆续整理出一系列实用的IT节能妙招，相信总有一招适合你！

    本期节能妙招――使用IBM EnergyScale节能技术
    EnergyScale是IBM在基于POWER6处理器的Power System服务器中 用到的系列节能技术。EnergyScale的一本基本作用在于它可以不停地把计算机的功耗数据收集起来。然后这些数据可以在IBM Systems Director Active Energy Manager功耗管理软件中显示出来。有了这些数据，管理员就可以预测一天、一周或一个月内数据中心的电能消耗情况，当电力要求或成本增加的时候，可以 借此来发现一些异常现象，并对负载进行管理调控。如果所使用的服务器系统支持power capping功能的话，你还可以直接设定一个合适的最高功耗水平，不让系统功耗超过这一设定值。

    需要说明的是，对于9117-MMA（IBM System p 570）或9406-MMA (IBM System i 570)，为了收集这些功耗信息，需要在机柜上安装配电单元iPDU（Intelligent Power Distribution Unit）来给这些服务器供电。对于其他支持功耗监控的系统，功耗信息可以直接通过计算机内部来收集，而无须其他额外的硬件。

Power Saver Mode：启用省电模式

    Power Saver Mode允许将电压和CPU频率下调一个固定的百分比，以此来达到节能的目的。这个百分比是预先定好的，要保证系统运行在安全操作范围内，所以不允许用户随便更改。目前这一设定的百分比是降低14%频率。Active Energy Manager是官方推荐的管理界面，通过它可以来启动或关闭省电模式。

  
 一个可能会用到省电模式的场合是，当负载很小的时候，比如在晚上启动省电模式，到了早晨，然后关闭这一模式。在IBM Director，用户也可以通过一个简单的小程序来监控系统CPU资源的利用率，当利用率很低的时候，会自动进入省电模式。当CPU利用率低时，使用省 电模式可以增加处理器的利用率，这样不会对性能产生影响。根据负载的不同，这可以把处理器的功耗减少20-30%。

    注意，系统只有在启动或重启的过程中不支持对省电模式的操作，其他时候都可以随时激活或关闭省电模式。比如，如果在省电模式下发生重启，那么电压和频率首 先会回到正常水平，在重启之后，当机器开始执行指令时，电压和频率又会回到省电模式。也就是说，不会因为系统启动、服务处理器重置和AC电源断电导致省电模式失效。

   不过，目前省电模式仅仅支持主频在4.0 GHz及以上的处理器。对使用低主频处理器的机器是不支持的。还有需要注意的是，有一些操作系统可能无法报告正常的利用率信息，并不能识别系统是否已经进入省电状态。



Power Capping：将最大功耗控制在一定水平

    Power Capping允许用户把功耗值限定在指定的范围内。用户需要在Active Energy Manager功耗管理软件中来设置和激活Power Cap。在大多数数据中心里，当一个机器安装好后，就会给它配送一定的电力。通常来说，这是一个比较“安全”的电量，会有一定的富余，也许永远也不会用到额外多出来的电力。这些多出来的电力我们不妨把它叫作边际功耗margined power。

    Power Cap的主要目的并不是为了省电，而是允许管理员对当前系统的电能进行重新分配，把现有机器的边际功耗降下来，分配给新的系统。也就是说，在总电力一定的情况下，Power Capping允许用户向数据中心里继续增加新的机器进去。

    以前，数据中心管理人员是根据服务器背面标称的Underwriters' Laboratories (UL)功率级别来计划给数据中心机房、机柜的供电量的。这个UL级别通常指的就是标称功率，是根据服务器电源的功率得出的。因为服务器在设计时，就必须要考虑到，在满配置的情况下，为了支持最大可能的工作负载，需要最高的电量。而实际上，在绝大多数的数据中心里，系统实际所消耗的电力要比UL级别少很多。

    Power Capping现在就可以用来为系统设定一个最大的电耗值。从根本上来说，通过Power Capping可以把数据中心里没有用到的电能释放出来，从而可以支持新增加的系统。最理想的Power Cap值是机器永远也不会达到，但同时又能把数据中心里的边际功耗释放出来。

    这里我们用一个例子来说明。假设某数据中心有12台BladeCenter JS22 (7998-61X)刀片服务器。每个7998-61X的UL标称功率是402w (DC)。基于这个值来考虑，数据中心管理员会规划出4.8KW (DC)的总电力。管理员通过Active Energy Manager可以了解到这12台刀片服务器的历史功耗使用情况。 他们发现，这些系统在运行正常负载时，实际上只消耗了最大308W (DC)的电能。根据具体配置情况，系统会计算出一个最小的Power Cap参考值是368W (DC)，如下图所示。

   
系统管理员根据对历史功耗的考察，发现把Power Cap值设定在368W (DC)是完全可以接受的。于是，管理员可以把这12台刀片服务器的Power Cap值都设在了368W (DC)，以后每个系统的功耗都不会超过这个值。这样，12台刀片总共就释放出了408W(DC)（(402W(DC) – 368W(DC)) * 12 = 408W(DC)）的边际功耗出来，现在，如果有必要的话，管理人员就可以现增加第十三台7998-61X机器了。

    另外，IBM POWER6处理器使用了一种低功耗模式，叫Nap，当处理器内核不工作的时候，会停止处理器的执行，以此来降低功耗。当服务器的操作系统也处于空闲状态时，它能够将能耗降低30%-35%。即使是在操作系统忙的时候，“nap”也能够将能耗降低10%。Power6的另一项节能技术能够动态地调整处理器的频率和电压，降低这二者是能够降低能耗。

    此外，IBM基于POWER6处理器的System i和System p还可以自动地向热插拔的PCI插槽停止供电，大约每个插槽可以节约14W电能。