“一种无处不在、便捷且按需对一个共享的可配置计算资源(如网络、服务器、存储、应用和服务)进行网络访问的模式,它能够通过最少量的管理及与服务供应商的互动实现计算资源的迅速供给和释放。”
—— NIST
互联网自由平等分享
信息技术发展和信息服务需求共同作用下的产物
2010年,微软宣布其90%员工将从事云计算及相关工作。
“数据中心和巨型规模的计算环境中为他人提供计算机硬件定制制造”。
“网络就是计算机”描述分布式计算技术带来的新世界
HDFS是Google File System(GFS)的开源实现;
MapReduce是Google MapReduce的开源实现;
HBase是Google Big Table的开源实现。
集群计算、存储系统
IT作坊到工厂。—— 创业者机遇,小规模和大规模战胜中规模。
从以前分散、高耗能的模式转变为集中、资源友好的模式。
减少硬件成本投入,专业分工由云计算的专业人员提供。
提高资源利用率:峰时用电和谷时用电
通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。达到和“超级计算机”同样强大的网络服务。
特征:
云计算的业务交付模式:IaaS,PaaS,SaaS 的区别:加入你是个pizza创业者
IaaS(Infrastructure as aService):炉子和煤气 —— 软件开发平台
PaaS(Platform as a Service):饼皮 —— 软件部署平台
SaaS(Software as a Service):成品批萨 ——软件
例子:
——非逢年过节时,只有1000~10000的并发数,如果是企业自己投入基础设施构建数据中心的话,可能的投入如下。① 1个负载均衡器。② 8台应用服务器。③ 4个数据库服务器(3个读服务器、1个写主服务器)。
——假设使用云,从云计算服务提供商购买如下服务。非节假日:① 1台应用服务器资源。② 1个读服务器、1个写主服务器。③ 按实际的运行的小时付。
——节假日只要为新扩充的资源单独付费就可以了。
与操作系统相同,中间件为上层服务提供了通用的功能模块,并且隐蔽了实现细节,使得上层软件的开发可以着重于业务逻辑,而非繁琐的底层细节。
缺点:
在分布式存储GFS的基础上提供了NoSQL数据库BigTable来对应用的数据进行持久化。
管理数百台服务器,其感觉就像是一个单一的、大型的存储池设备,是一项相当具有挑战性的工作。
2010年4月,SNIA公布了云存储(CloudStorage)标准——CDMI规范。
比尔 · 盖茨曾经说过的一句话:“云存储的推进速度会比云计算更快。”
连一向相对保守的Gartner分析师也献上赞美之词。
通过集群应用、网格技术或分布式文件系统等功能,将网络中大量不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的系统。—— 方便使用者
当我们使用某一个独立的存储设备时,必须非常清楚这个存储设备是什么型号、什么接口和传输协议,必须清楚地知道存储系统中有多少块磁盘,分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样的连接线缆。
为了保证数据安全和业务的连续性,我们还需要建立相应的数据备份系统和容灾系统。除此之外,对存储设备进行定期地状态监控、维护、软/硬件更新和升级也是必须有的
结构:
架构:
云存储种类:
监控是大量数据写入的典型应用,成千上万的摄像头将数据写到各自的文件中。
数据旧了之后,使用的机会就比较少。可以使用旧的甚至淘汰不用的服务器建立云存储,存放这些旧的数据以供查询。
一个文件同时供很多人读取时,为了应付大量及突如其来的读取需求,云存储会复制多份文件,以满足应用端读取的需求。
应用:
限制
考虑到只有新增的数据才会被迁移至云中,因此支持自动化增量备份的技术最为适宜。
云计算通过使计算分布在大量的分布式计算机上,而非本地计算机或远程服务器中。
企业数据中心的运行将更与互联网相似,通过互联网存储和读取数据。。
产生:
优点:
缺点
四种云部署模型:
虚拟化技术将底层的计算资源切分(或合并)成多个(或一个)运行环境,以实现部分或完全的机器模拟和时间共享。
通常是指计算元件在虚拟的基础上而不是真实的基础上运行。虚拟化技术可以扩大硬件的容量、简化软件的重新配置过程。
具有强大处理能力的x86计算机硬件仅仅运行了单个操作系统和单个应用程序,这使得大多数计算机远未得到充分利用。
区分:
每个虚拟机都有自己的一套虚拟硬件(如RAM、CPU、网卡等),可以在这些硬件中加载操作系统和应用程序。
意义:
服务器虚拟化:
分类:按照虚拟机所在中间层位置的不同,可以将虚拟机划分为
特性
业内
通过在数据中心的服务器运行Windows XP,将用户的桌面进行虚拟化。
用户通过来自客户端设备(瘦客户机或是家用个人计算机)的瘦客户计算协议与虚拟桌面进行连接,
用户访问虚拟桌面就像是访问传统的本地安装桌面一样。
虚拟化桌面后端实现:
VDI:结成成本和能源
实现方案:
缺点:
阻碍其发展的一个重要的因素是初期投资问题。
云计算拥有庞大的计算能力与丰富的计算资源,越来越多的恶意攻击者正在利用云计算服务实施恶意攻击。
虽然利用虚拟机予以隔离,但对于恶意攻击者而言,云端数据依然是极其诱人的超级大蛋糕。
安全框架:
IaaS是所有云服务的基础,PaaS一般建立在IaaS之上,而SaaS一般又建立在PaaS之上。
PaaS和SaaS应用为了实现可扩展、可用性、管理及运行效率等方面的“经济性”,基本都采用多租户模式,因此被云计算应用所用的数据会和其他用户的数据混合存储(如Google的BigTable)。虽然云计算应用在设计之初已采用诸如“数据标记”等技术以防非法访问混合数据,但是通过应用程序的漏洞,非法访问还是会发生的
SSL是大多数云安全应用的基础,目前众多黑客社区都在研究SSL,相信SSL在不久的将来将成为一个主要的传播媒介。
数据隐私、数据容灾。
Google拥有全球最强大的搜索引擎。除了搜索业务以外,Google还有Google Maps、GoogleEarth、Gmail、YouTube等各种业务,包括刚诞生的Google Wave。这些应用的共性在于数据量巨大,而且要面向全球用户提供实时服务,因此Google必须解决海量数据存储和快速处理问题。
Google云计算技术包括
Google官方网站公布了关于GFS的最为详尽的技术文档,它从GFS产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。但是并不开源。
当前主流分布式文件系统有Red Hat的GFS(Global File System)、IBM的GPFS、Sun的Lustre等
GFS的新颖之处并不在于它采用了多么令人惊讶的技术,而在于它采用廉价的商用机器构建分布式文件系统,同时将GFS的设计与Google应用的特点紧密结合,并简化其实现,使之可行,最终达到创意新颖、有用、可行的完美组合
容错的任务交由文件系统来完成,利用软件的方法解决系统可靠性问题。存储的成本成倍下降。
GFS中服务器数目众多,在GFS中服务器死机是经常发生事情,甚至都不应当将其视为异常现象。
GFS的精彩在于它采用了多种方法,从多个角度,使用不同的容错措施来确保整个系统的可靠性。
处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算
Map(映射)、Reduce(化简)的概念和主要思想都是从函数式编程语言和矢量编程语言借鉴来的。
这种编程模式特别适合于非结构化和结构化的海量数据的搜索、挖掘、分析与机器智能学习等。
粗粒度锁服务的一个文件系统
松耦合分布式系统,解决了分布的一致性问题。
只是一种建议性的锁(AdvisoryLock)而不是强制性的锁(Mandatory Lock),
GFS使用Chubby来选取一个GFS主服务器,Bigtable使用Chubby指定一个主服务器并发现、控制与其相关的子表服务器。除了最常用的锁服务之外,Chubby还可以作为一个稳定的存储系统存储包括元数据在内的小数据。同时Google内部还使用Chubby进行名字服务(Name Server)。
Google的很多数据,包括Web索引、卫星图像数据等在内的海量结构化和半结构化数据,都是存储在Bigtable中的。
Bigtable并没有什么全新的技术,但是如何选择合适的技术并将这些技术高效、巧妙地结合在一起恰恰是最大的难点。
Bigtable在很多方面和数据库类似,但它并不是真正意义上的数据库。
它提供了弹性虚拟平台,采用Xen虚拟化技术作为核心,提供了包括EC2、S3、SimpleDB、SQS在内的企业服务,系统是开源的。
可以对企业现有的基础架构进行整合,通过虚拟化技术和自动化技术构建企业自己拥有的云计算中心,实现企业硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份,打破应用对资源的独占,从而帮助企业实现云计算理念。
Oracle为私有云和公有云提供企业级软/硬件产品和服务
移动互联网是指以宽带IP为技术核心,可同时提供语音、数据、多媒体等业务服务的开放式基础电信网络。
移动互联网广义上是指用户可以使用手机、笔记本电脑等移动终端,通过无线移动网络和HTTP协议接入互联网
在全球信息产业中,移动通信和互联网是发展最为迅速和最具增长潜力的两大领域。呈现融合趋势。
移动互联网的主要应用包括手机游戏、移动搜索、移动即时通信、移动电子邮件等。从全球范围来看,社区网络应用和定位导航正在成为新的热点。
2008年第一季度移动互联网的Web流量已占据了总流量的77%,大大超过了WAP流量。
移动互联网的3种商业模式都源自于门户模式的成功实践:
一是“平台+服务”模式,定位于价值链控制力;
二是“终端+应用”模式,定位于用户需求整体解决方案;
三是“软件+门户”模式,定位于最佳产品服务。
物联网与云计算都是基于互联网的,可以说互联网就是它们相互连接的一个纽带。
物联网就是互联网通过传感网络向物理世界的延伸,它的最终目标就是对物理世界进行智能化管理。物联网的这一使命也决定了它必然要由一个大规模的计算平台作为支撑。
物联网有DCM(即感知层、传输层、应用层)的三层划分
部署模式分为公有物联网(PublicIoT)、私有物联网(Private IoT)、社区物联网(Community IoT)和混合物联网(HybridIoT)。
随着物联网的发展,未来物联网将势必产生海量数据,而传统的硬件架构服务器将很难满足数据管理和处理的要求。如果将云计算运用到物联网的传输层与应用层,采用云计算的物联网将会在很大程度上提高运行效率。
物联网指的是将无处不在的末端设备和设施,包括具有“内在智能”的设备,如传感器、移动终端、工业系统、楼控系统、家庭智能设施、视频监控系统等,以及具有“外在使能”的物品,如贴上RFID的各种资产、携带无线终端的个人或车辆等“智能化物件或动物”、通过各种无线和/或有线的长距离和/或短距离通信网络实现互联互通(M2M)、应用大集成(Grand Integration)。
提供安全可控(隐私保护)乃至个性化的实时在线监测、定位追踪、报警联动、调度指挥、预案管理、进程控制、远程维护、在线升级、统计报表、决策支持、领导桌面(Dashboard)等管理和服务功能,实现对“万物”的“高效、节能、安全、环保”的“管、控、营”一体化服务。
结合方式
示例:
是指在一个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统及总线结构。
系统将任务队列对称地分布于多个CPU之上,从而极大地提高了整个系统的数据处理能力。
我们平时所说的双CPU系统,实际上是对称多处理系统中最常见的一种,通常称为“2路对称多处理”,它在普通的商业、家庭应用之中并没有太多实际用途。
但在专业制作,如3DMax Studio、Photoshop等软件应用中获得了良好的性能表现,是组建廉价工作站的不二选择。
几百或几千台处理机组成的大规模并行计算机系统
处理器数目巨大,整个系统规模庞大,许多硬件设备是专门设计制造的,开发起来比较困难,通常被视为国家综合实力的象征。
通常只有石油、气象等需要进行大规模运算的部门配备了MPP。
是目前实现高性能计算的一种新主流技术,是由两台或多台节点机构成的一种松散耦合的计算节点集合,为用户提供网络服务或应用程序(包括数据库、Web服务和文件服务等)的单一客户视图,同时提供接近容错机的故障恢复能力。
每个群集节点都是运行自己进程的独立服务器。这些进程可以彼此通信,对网络客户机来说就像是形成了一个单一的系统,协同起来向用户提供应用程序、系统资源和数据
是目前应用较广泛的一种并行计算软件环境,是在集群系统上实现并行计算的软件接口。
MPI不是一门新的语言,确切地说它是一个C和Fortran的函数库
MPI事实上只是一个消息传递标准,并不是软件实现并行执行的具体实现,目前比较著名的MPI具体实现有MPICH、LAM MPI等
服务端:
1. 编译安装MPICH2
2. 设置NFS
3. 设置SSH
4. 修改环境变量:profile
5. 配置文件
6. 主机名
客户端:
1. 挂载NFS
2. 环境变量
作业管理、监视资源使用状况。
一种编译指导语句,指导多线程、共享内存并行的应用程序编程接口(API)。
是由大型计算设备提供商IBM开发的一套集群管理套件。
管理计算节点。
在网络的数据链路层实现将存储资源以设备文件即设备访问入口的形式提供给远端GNBD客户端,客户端可像本地设备一样使用GNBD资源。
与传统的NFS不同,NFS将资源以文件系统的方式提供给客户使用。GNBD却直接将资源以设备文件的方式共享出去,故NFS只是提供一个挂载点供客户端使用,客户端无法改变这个挂载点的分区格式,而GNBD客户端可以根据自己的需要完全掌控如何对此设备进行规划使用。
RAID将普通硬盘组成一个磁盘阵列,在主机写入数据时,RAID控制器把主机要写入的数据分解为多个数据块,然后并行写入磁盘阵列;主机读取数据时,RAID控制器并行读取分散在磁盘阵列中各个硬盘上的数据,把它们重新组合后提供给主机。
服务端
客户端
对磁盘分区进行管理的一种机制。
通过LVM可将若干个磁盘分区连接为一个整块的卷组(Volume Group),形成一个存储池。
可以在卷组上随意创建逻辑卷(Logical Volumes),并进一步在逻辑卷上创建文件系统。
快照:
1. 备份
2. 回溯
便于使用者管理虚拟机和其他虚拟化功能,如存储和网络接口管理等。
一个OpenNebula私有云为平台基础设施的用户提供了一个快速交付和可扩展性的平台
上一篇:科普 | 什么是云计算
下一篇:云计算的核心技术有哪些?