2010-05-05

http://cacm.acm.org/blogs/blog-cacm/83396-errors-in-database-systems-eventual-consistency-and-the-cap-theorem/fulltext

Let’s start with a discussion of what causes in databases. The following is at least a partial list:

1) Application . The application performed one or more incorrect updates. Generally, this is not discovered for minutes to hours thereafter. The must be backed up to a point before the offending transaction(s), and subsequent activity redone.

2) Repeatable . The crashed at a processing node. Executing the same transaction on a processing node with a replica will cause the backup to crash. These have been termed Bohr bugs. [2]

3) Unrepeatable . The crashed, but a replica is likely to be ok. These are often caused by weird corner cases dealing with asynchronous operations, and have been termed Heisenbugs [2]

4) Operating system . The OS crashed at a node, generating the “blue screen of death.”

5) A hardware failure in a local . These include memory failures, disk failures, etc. Generally, these cause a “panic stop” by the OS or the . However, sometimes these failures appear as Heisenbugs.

6) A network partition in a local . The LAN failed and the nodes can no longer all communicate with each other.

7) A disaster. The local is wiped out by a flood, earthquake, etc. The no longer exists.

8) A network failure in the WAN connecting clusters together. The WAN failed and clusters can no longer all communicate with each other.

 

很经典的8种分类,甚至包括了地震和洪水…

Tags: ,,,,,,.
2008-11-10

算是总结吧

从1号忙完论文的事情,2号又准备了3号周一我教授课的发表 顺带又看了下书,改了改论文

周一 上我教授的课做了一次发表,教授想叫我讲20分钟,结果连讲到提问耗了将近50分钟,不过基本上把我想讲的东西都讲了,教授看表情也还算满意

周二上的权教授的课, 和computability logic 讲了linear text的问题,基本上算是理解了,符号那些东西以前没见过,不过教授举了几个例子还算清楚明白,下周二要讲我选的那个论文题目 based internet search

周二下午还在忙着做那个程序的文档,周三起来就中午了,跑来学校跟着去开会,万幸朴教授不在,然后又有时间回实验室准备周三下午另外一个朴教授的移动多媒体的期中考试,当然也就复习了不到半个小时就去考试,还好看了卷子之后觉得复习跟没复习没啥区别,完全是靠上课听的来回忆着写了,我感觉写的还不错,不过错了几个题比如mpeg-7还是多少?那个

周三下午上完课,接着周三晚上又转入的研究去了 –_-

后来coder同学给我发了一个美国的网址,蛮不错的 专门的cloud computing的会议,不过水平不怎么样,上面的论文,有几篇是一稿多投的,以前投了的又拿来再投,还有几篇格式乱七八糟的,图也做都的很乱,不过有一篇感觉不错,理由jxta做在广域网上,不过今晚我做试验效果来看,真是垃圾啊……,如果在广域网上做那个效果……我要疯掉了… 晚些再说这个试验

当然花了一天时间看了下论文,各有千秋,不过很细致的讲的论文不多,很闪光的论文基本没有。

周五又转去看去了,发现实验室还是有蛮多不错的书,不过我自己本身也搞了一大堆电子版的书 –_-!! 周五算是看了一天书,看到头晕眼花

周六起来都已经是中午了,跑来学校做下周一我教授课的课程发表,当然很轻松不到20分钟做完,都是一些很平淡的例子,到时候上课直接举例即可,基本不用做什么ppt,然后又修改了下论文投了那个冲绳的,后来又继续看书去了 –_- 看到凌晨5点才爬去隔壁实验室睡觉 –_- 真的好久好久没在他们实验室睡了

周日,也就是今天了,又转战了,coder同学发了一个网址给我,蛮不错的 http://public.yahoo.com/gogate/hadoop-tutorial/start-tutorial.html  白天算是看了一天,晚上又到机房搞那些机器去了,机器基本上搞了3个小时4个小时,太烦了,机房那网络一直变……有几台机器一直连不通,后来搬来搬去终于可以全部连好了,然后设置,做记录,下数据,整个进行的还算顺利,当然中间出现一个大错误,看了半天才知道是那个site.xml设置的问题,dfs路径有很严重的错误…… 最终还是搞定了

当然,要说什么呢,就是那个实验,其实是做了一个最基本的测试而已,wordcount,看整个系统能不能跑起来,结果是跑起来了,但是效率实在是太低下了……

一台机器做wordcount 不到3分钟就搞定,10台机器一块做,结果做了20分钟……

100M网络,5400转硬盘,我设置了备份3遍文件,都是瓶颈 效果上不来 不过唯一值得欣慰的就是跑起来了

—-

基本上,上一周看了蛮多的书,实例也做了几个,效果还不错,基本上都出来了,当然也浪费了几次时间,比如机房的网络一直烂掉,找网络找了蛮久,然后昨天晚上装机器也装了蛮久时间……

下周继续努力吧,真是一转眼,又马上11月中旬了,时间过的真快

明天或者后天要去买火车票了,周五也许周四跟明瑾同学去汉城开学术会议去,又将近3个月没去汉城了,不知道这会有啥好玩的

另外教授组织的那个学术会议17号截止的论文,我还没一点点头绪,不知道写点什么好,如果单纯的写一篇介绍的文章……那又是多么的无聊吧 如果下周拼一拼把弄下 也许会有点啥东西可以写写 教授搞这个会 貌似到时候有个人来讲 hmm 跟写个东西还是不错的 下周再熬一周再说

Tags: ,,,,,,,,,,,,,.