HBase | Jimey’s Life && Jimey’s World

2010-04-22

Big Data in Real-Time at Twitter

http://www.slideshare.net/al3x/building-distributed-systems-in-scala

主要分析了功能上需求与分散系统采用所能完成的目的的合理搭配.

个人觉得是很不错的几篇slide有助于对twitter的一个基本了解,当然是背后构架的基本了解,各个功能与服务是通过什么来实现以及达到一个怎么样的高度

具体内容各位还是看slide吧,谁看谁知道.

^^^^^^^^^^^^

再记下来本书名叫

Programming Scala (O’Reilly 2009)

Tags: Big Data,Cassandra,distributed,FlockDB,hadoop,HBase,Pig,real-time search,SlideShare,Twitter.

类归于： Cloud Computing,Internet — jimey @ 16:02 评论 (0)

2008-11-18

关于下下周cloud computing讨论课程的一些想法

当然，下周课程不上，去参观庆南地区最大的网络管理中心

晚上回家的路上，胡思乱想下下周的课程讨论内容，还好晚上回家之前带了便签纸和笔，就一边走，一边想，一边乱画，于是才会有这么一些想法能够得以记得，否则…… hmm 回家大脑一片空白的可能性也不是没有

一.为什么会出现cloud computing这个东西

cloud computing 나와는이유?

1.computer 价格降低

컴퓨터 가격이 내려가다

由于电脑价格的降低，平民化产品才得以进入一般家庭，这样上网人数才有可能增加

尤其是硬盘这类存储设备的价格大幅下降，目前已经是人民币将近1块钱2的水准，这样给cloud computing提供存储服务方面，成本大幅度降低

2.网络速度的增加

从之前的一般拨号，到现在的adsl或者FTTH的应用，用户网络速度增加，一些网络应用得以实现，比如上传数据，或者下载数据，尤其是在观看在线视频网站，得以满足

3.web开发技术的发展

从web1.0到web2.0的更新换代，从一般的html语言到现在的多样化动态语言，ajax的应用，提供了更好的用户体验

4.数码设备的发展

DC和DV的出世，不仅仅使人人都可以做摄影师成为可能性，带来的其他好处就是，更便捷的分享，不再通过扫描仪的形式把一般的胶片转换为数字式这样繁琐的步骤

5.网络用户教育水平的发展

从各个国家积极的英语教育，到广大青年多国语言掌握的现状，导致一些国际性的网络服务得以推广，即使没有语言本地化，也可以拥有广泛的市场

6.并行计算技术的发展

由于使用者人数庞大，上传的数据庞大，一般的计算无法满足需求，而由于并行计算技术的发展，可以满足Large-Scale Data-Intensive computing的需要，所以才使得cloud computing得以实现

其中代表性的一些例子,mapreduce,bigtable,hadoop,gfs,hdfs,hbase

7.待考虑

二.教材中暂时没提到的内容

至于那本书我已经在熬夜熬夜，精神来了，想睡也不行

这文章进行了一阵强烈的批评

1.svn的概念

软件开发时候需要使用的subversion，在一定程度上也可以属于cloud computing的概念内，协同作业，共享机制，权限设定等等

2.google rss reader

在这个rss聚合的时代，获取知识的站点越来越多，如何便捷的，快速的，高效的来从这些越来越多的站点中获取，那就要依靠rss订阅的方式

相对于 office和Online office 概念比较做法一样

可以用客户端的rss订阅软件以及在线式的rss订阅方式来做一个简单的比较

我比较喜欢用live mail的订阅，当然也有人会用ie自带的，或者firefox或者其他一些

这里主要拿在线形式做对比的，还是最伟大的web2.0站点 google所提供的 www.google.com/reader

具体方式，可以在课堂做一个简单的使用演示即可

3.youtube这种在线视频网站的大量出现

书中，主要讲了照片的分析，貌似对视频没提。。所以……简单的提一下这部分好了

4.Twitter 模式

一句话博客，以及实时性的新闻形式，比如可以在Twitter进行球赛的实时文字转播等等等这个应该可以归类于SNS的范畴内

三. cloud computing的问题/缺点

三.一.cloud中存储的文件的安全性

1.数据备份的必要性

这里可以提到hadoop的备份机制，举例一个简单的例子就是

文档1.2.3.4.5 5个文档

如果备份数是2，有3台机器可以做如下方式的备份机制

135 234 1245

如此类似的存储，这样3台机器中有一台爆了，其他2台还可以保证数据的完整性

2.hacker的存在

文件存储在cloud 中，跟Internet始终保持连接，那么就会有被hack的可能性

相当于一些存储一些重要文档的电脑禁止上网的措施，这种cloud存储的方式自然不是一个安全的选择，所以cloud机制对于保密性较强的存储不适用

3.cloud computing服务器提供商倒闭的状况

对于一些财力雄厚的cloud services提供商，可以安心使用，但是对于处于VC投资下，随时有可能倒闭的cloud services提供商们，使用者又如何会安心的选择他们呢？

4.盈利模式

2005年google以16.5亿收购了youtube 但是近观近几年的发展，似乎youtube依然还没找到盈利的方式

对于flickr等一些站点采用pro和一般用户区别，提供差异性服务的盈利模式，以及最新的imdb.com也在一步一步的走向这种pro和一般的差异性服务模式

这些站点的盈利模式依然还不是那么的宽广

5.最大的问题，著作权问题

对于cloud这种开放性的平台，任何人只要可以上网，都可以上传任何东西到cloud里面去，如果传了有著作权的文档，视频，照片怎么办？比如上传一部小说到docs.google.com或者传burn-e到youtube,当然这部burn-e在wall-e蓝光没出来之前是被人传到Youtube了，但是很快被迪斯尼告之之后很快视频被youtube删除，对于照片的问题，可以参考这个例子 Toyota Claims Ownership of Fan Wallpapers 由于爱好者上传了有toyota标志的壁纸到http://www.desktopnexus.com/ 所以toyouta也告之desktopnexus把那些含有标志的壁纸删除

所以著作权问题，是cloud services提供商们尤其是提供存储服务的cloud services提供商们所面临的最大挑战

——–

关于韩国的cloud computing技术发展动向

目前，我暂时关注的2位:

http://blog.udanax.org

http://freesearch.pe.kr/