2010-05-05

http://cacm.acm.org/blogs/blog-cacm/83396-errors-in-database-systems-eventual-consistency-and-the-cap-theorem/fulltext

Let’s start with a discussion of what causes in databases. The following is at least a partial list:

1) Application . The application performed one or more incorrect updates. Generally, this is not discovered for minutes to hours thereafter. The must be backed up to a point before the offending transaction(s), and subsequent activity redone.

2) Repeatable . The crashed at a processing node. Executing the same transaction on a processing node with a replica will cause the backup to crash. These have been termed Bohr bugs. [2]

3) Unrepeatable . The crashed, but a replica is likely to be ok. These are often caused by weird corner cases dealing with asynchronous operations, and have been termed Heisenbugs [2]

4) Operating system . The OS crashed at a node, generating the “blue screen of death.”

5) A hardware failure in a local cluster. These include memory failures, disk failures, etc. Generally, these cause a “panic stop” by the OS or the . However, sometimes these failures appear as Heisenbugs.

6) A network partition in a local cluster. The LAN failed and the nodes can no longer all communicate with each other.

7) A disaster. The local cluster is wiped out by a flood, earthquake, etc. The cluster no longer exists.

8) A network failure in the WAN connecting clusters together. The WAN failed and clusters can no longer all communicate with each other.

 

很经典的8种分类,甚至包括了地震和洪水…

Tags: ,,,,,,.
2009-12-02

Sample screenshot

Karmasphere Studio for is a MapReduce development environment (IDE) based on . It enables you to rapidly prototype MapReduce jobs without the need for a cluster, and to deploy, monitor and debug jobs on clusters or Amazon Elastic MapReduce clusters, all from within a desktop IDE.

Tags: ,,,,,,.
2008-11-10

算是总结吧

从1号忙完论文的事情,2号又准备了3号周一我教授课的发表 顺带又看了下书,改了改论文

周一 上我教授的课做了一次发表,教授想叫我讲20分钟,结果连讲到提问耗了将近50分钟,不过基本上把我想讲的东西都讲了,教授看表情也还算满意

周二上的权教授的课, 和computability logic 讲了linear text的问题,基本上算是理解了,符号那些东西以前没见过,不过教授举了几个例子还算清楚明白,下周二要讲我选的那个论文题目 based internet search

周二下午还在忙着做那个程序的文档,周三起来就中午了,跑来学校跟着去开会,万幸朴教授不在,然后又有时间回实验室准备周三下午另外一个朴教授的移动多媒体的期中考试,当然也就复习了不到半个小时就去考试,还好看了卷子之后觉得复习跟没复习没啥区别,完全是靠上课听的来回忆着写了,我感觉写的还不错,不过错了几个题比如mpeg-7还是多少?那个

周三下午上完课,接着周三晚上又转入mapreduce的研究去了 –_-

后来coder同学给我发了一个美国的网址,蛮不错的 专门的cloud computing的会议,不过水平不怎么样,上面的论文,有几篇是一稿多投的,以前投了的又拿来再投,还有几篇格式乱七八糟的,图也做都的很乱,不过有一篇感觉不错,理由jxta做mapreduce在广域网上,不过今晚我做试验效果来看,真是垃圾啊……,如果在广域网上做mapreduce那个效果……我要疯掉了… 晚些再说这个试验

当然花了一天时间看了下论文,各有千秋,不过很细致的讲的论文不多,很闪光的论文基本没有。

周五又转去看java去了,发现实验室还是有蛮多不错的java书,不过我自己本身也搞了一大堆电子版的java书 –_-!! 周五算是看了一天书,看到头晕眼花

周六起来都已经是中午了,跑来学校做下周一我教授课的课程发表,当然很轻松不到20分钟做完,都是一些很平淡的例子,到时候上课直接举例即可,基本不用做什么ppt,然后又修改了下论文投了那个冲绳的,后来又继续看书去了 –_- 看到凌晨5点才爬去隔壁实验室睡觉 –_- 真的好久好久没在他们实验室睡了

周日,也就是今天了,又转战mapreduce了,coder同学发了一个网址给我,蛮不错的 http://public.yahoo.com/gogate/hadoop-tutorial/start-tutorial.html  白天算是看了一天,晚上又到机房搞那些机器去了,机器基本上搞了3个小时4个小时,太烦了,机房那网络一直变……有几台机器一直连不通,后来搬来搬去终于可以全部连好了,然后设置,做记录,下数据,整个进行的还算顺利,当然中间出现一个大错误,看了半天才知道是那个site.xml设置的问题,dfs路径有很严重的错误…… 最终还是搞定了

当然,要说什么呢,就是那个实验,其实是做了一个最基本的测试而已,,看整个系统能不能跑起来,结果是跑起来了,但是效率实在是太低下了……

一台机器做 不到3分钟就搞定,10台机器一块做,结果做了20分钟……

100M网络,5400转硬盘,我设置了备份3遍文件,都是瓶颈 效果上不来 不过唯一值得欣慰的就是跑起来了

—-

基本上,上一周看了蛮多的书,实例也做了几个,效果还不错,基本上都出来了,当然也浪费了几次时间,比如机房的网络一直烂掉,找网络找了蛮久,然后昨天晚上装机器也装了蛮久时间……

下周继续努力吧,真是一转眼,又马上11月中旬了,时间过的真快

明天或者后天要去买火车票了,周五也许周四跟明瑾同学去汉城开学术会议去,又将近3个月没去汉城了,不知道这会有啥好玩的

另外教授组织的那个学术会议17号截止的论文,我还没一点点头绪,不知道写点什么好,如果单纯的写一篇介绍的文章……那又是多么的无聊吧 如果下周拼一拼把弄下 也许会有点啥东西可以写写 教授搞这个会 ubiquitous computing 貌似到时候有个人来讲 hmm 跟写个东西还是不错的 下周再熬一周再说

Tags: ,,,,,,,,,,,,,.

1. 采用ubuntu8.04系统

2.sudo apt-get install sun-java6-jdk 等以及相关连文件

3 sudo apt-get install   安装服务,并且 

-keygen -t rsa -P ""
cat $HOME/./id_rsa.pub >> $HOME/./authorized_keys

然后 localhost  测试

4.修改/etc/

master 192.168.0.200

slave1  192.168.0.1

slave2  192.168.0.2

5.下载 Apache Download Mirrors

6.解压之后 修改-0.1x.x文件夹名为

7.进入/conf/ 修改-site.xml 和 -env.sh

8.创建dfs文件夹  mkdir /home/xxxx//hdfs (注意自己的-site.xml中关于dfs的路径设置)

9.打包.tar.gz

10.用scp .tar.gz user@slavex:.的方式发送.tar.gz到各个机器上去

11.在各个机器上解压.tar.gz

12.修改master机器中/home/user//conf 下的master文件 把localhost改为master以及修改slaves,把localhost改为master  slave1 slave2 等等等

13.运行 bin/start-all.sh

14.可以做简单的测试

Tags: ,,,,.

首先,机器配置一样,在其中一台机器安装好ubuntu,当然也可以选择其他linux版本,

安装java环境,设置好的配置文件 /conf/-site.xml 以及 -env.sh 2个配置,另外修改/etc/

按ip顺序

我是采用内部ip地址的形式

master 192.168.0.200

slave1  192.168.0.1

slave2  192.168.0.2

等等等一系列往下,我排到了slave20

然后sudo apt-get install

-keygen -t rsa -P ""
cat $HOME/./id_rsa.pub >> $HOME/./authorized_keys

然后是 localhost

然后采用 Clonezilla-Clone System 来克隆系统,把其他机器的硬盘拿过来做系统对拷贝

这样做的好处有几个,首先不用单独再对各个机器进行配置,之后只要修改master那边的master文件和slaves文件以及master对各个之间的都完全通过没任何问题……不用再拷贝那public_key private_key乱七八糟的认证了……

不过之前克隆的时候版本还是18.1现在新出版本18.2

所以在master那台机器做修改之后,文件打包.tar.gz,用命令 scp .tar.gz userid@192.168.0.1:. 如此到 scp .tar.gz userid@192.168.0.10:.

接着把各个slaves机器上的.tar.gz解压缩,再次修改master机器上的master和slaves文件内容即可

-site.xml的配置还是蛮有讲究的,稍微有点问题就会出错

不过基本上还是可以运行了。

理下思路:

———

1. 装系统,做好环境配置

2.配置

3.克隆系统

4.修改master的/conf/masters和/slaves

5.运行

———–

tips:运行多台之前,先在一台运行一下看-site.xml配置是否妥当…

Tags: ,,,,,.
2008-10-31

发现白天实在效率很低,也许真的是美国人为啥比较发达的原因吧?人效率高的那会,都是美国的白天?我们都在效率高的时候睡觉所以啥也干不了??

所以今晚又熬了一夜,花了3个小时找的办法,花了一个小时想如何破解学校那个装补丁才可以上网的绝招,学校那监控补丁没linux版本…所以,hmm 只能郁闷或者想绝招了,当然我还是很快想到了上网的绝招滴

至于的办法可以参看 Clonezilla-Clone System

当然前面3个小时都在玩这个 How to clone your bootable Ubuntu install to another drive 被这个误解了……那个该死的dd复制个系统要半个小时都不会复制完,实在是不如 2分钟一个系统

另外一个 系统不错的好处就是,之前由于要配置的publish key和private key,如果有15台机器的话,要来回复制c15 2大概 hmm 我个人理解要有 15x 14 x 13 x 12 x 11 x 10等等等之类次的来回cp了,估计如果搞这个可以搞一天,而且逻辑上哪台跟哪台没弄肯定会记错…… 现在好了 key都是一样的,只要原始版本的linux的 server安装之后 localhost 可以,这样基本上 网内 出来的机器都不没问题了

晚上在机房把所有的机器都拆了,硬盘全部拆出来,真的是拆的手指痛,有15台机器,每台机器1个硬盘,拆掉15次,然后装上15次,再拆掉15次,再装15次,一共60次……电源线+数据线……真是bt。估计今天白天大家要是看到肯定会疯掉的,估计这帮韩国人计算机系的没几个人会这么拆电脑来玩,都是疯子电脑坏掉就直接丢掉等教授换新的……

搞了一晚上,基本上流程是在之前写好了计划,把都已经修改过,slave1 192.168.0.1 这样的方式依次类推 然后每个机箱上都贴了一个ip地址最后一位数

唯一遗憾的就是 的site-config.xml那暂时没配置,等下次上机做实验的时候我再教那些人一块来搞吧

暂时写这么多,等我详细试验过之后,如果没什么问题,我会把今晚详细配置15台机器组一个cluster系统的办法和流畅写一下的

先不去睡觉了,把我那台ubuntu升级到8.10去…之前升级过一次beta版本 差点疯掉…这回正式版应该会好一些吧,不过之前beta版本gnome界面超漂亮……看这回有没跟之前的beta不同咯

今晚又要借着我们实验室那小伙去澳大利亚语言研修的东风,又有饭吃了,昨天是土木系那边教授请客吃生鱼片,今天就是我们教授请吃烤肉去了……hmm

Tags: ,,,,,,,.