先是准备工作,需要java5和apache-forrest-0.8

基本上也是问题一堆,因为ubuntu9.10开始不支持java5所以装java5-sun-jdk稍微麻烦了一下

可以参考这篇文章 http://blog.csdn.net/sunrock/archive/2010/04/29/5542989.aspx

修改源改成9.04的源然后安装java5-sun-jdk

接着

安装apache-forrest-0.8

http://forrest.apache.org/mirrors.cgi For UNIX operating systems: apache-forrest-0.8.tar.gz
解压后 我放在 /home/cloud/apache-forrest-0.8

直接下载来hadoop-0.20.2+228.tar.gz 解压缩即可

然后修改3个地方

1.修改$HADOOP_HOME/src/contrib/build-contrib.xml
增加一行：<property name=”eclipse.home” location=”/usr/lib/eclipse”/>

2.修改 $HADOOP_HOME/src/contrib/eclipse-plugin/src/java/org/apache/hadoop/eclipse/launch/HadoopApplicationLaunchShortcut.java
注释掉原来的//import org.eclipse.jdt.internal.debug.ui.launcher.JavaApplicationLaunchShortcut;
改为import org.eclipse.jdt.debug.ui.launchConfigurations.JavaApplicationLaunchShortcut;

3.修改$HADOOP_HOME/build.xml

增加

<property name=”java5.home” location=”/usr/lib/jvm/java-1.5.0-sun-1.5.0.19/”/>
<property name=”forrest.home” location=”/home/cloud/apache-forrest-0.8/”/>

这2行

然后ant compile

ant package 应该是没问题了

生成的eclipse plugin是在$HADOOP_HOME/build/contrib/eclipse-plugin/

或者直接去 http://hadoop-eclipse-plugin.googlecode.com/files/hadoop-0.20.3-dev-eclipse-plugin.jar 下载吧

http://cacm.acm.org/blogs/blog-cacm/83396-errors-in-database-systems-eventual-consistency-and-the-cap-theorem/fulltext

Let’s start with a discussion of what causes errors in databases. The following is at least a partial list:

1) Application errors. The application performed one or more incorrect updates. Generally, this is not discovered for minutes to hours thereafter. The database must be backed up to a point before the offending transaction(s), and subsequent activity redone.

2) Repeatable DBMS errors. The DBMS crashed at a processing node. Executing the same transaction on a processing node with a replica will cause the backup to crash. These errors have been termed Bohr bugs. [2]

3) Unrepeatable DBMS errors. The database crashed, but a replica is likely to be ok. These are often caused by weird corner cases dealing with asynchronous operations, and have been termed Heisenbugs [2]

4) Operating system errors. The OS crashed at a node, generating the “blue screen of death.”

5) A hardware failure in a local cluster. These include memory failures, disk failures, etc. Generally, these cause a “panic stop” by the OS or the DBMS. However, sometimes these failures appear as Heisenbugs.

6) A network partition in a local cluster. The LAN failed and the nodes can no longer all communicate with each other.

7) A disaster. The local cluster is wiped out by a flood, earthquake, etc. The cluster no longer exists.

A network failure in the WAN connecting clusters together. The WAN failed and clusters can no longer all communicate with each other.

很经典的8种分类,甚至包括了地震和洪水…

http://www.slideshare.net/kevinweil/nosql-at-twitter-nosql-eu-2010

http://www.slideshare.net/ryansking/scaling-twitter-with-cassandra

http://www.slideshare.net/nkallen/q-con-3770885

Big Data in Real-Time at Twitter

http://www.slideshare.net/al3x/building-distributed-systems-in-scala

主要分析了功能上需求与分散系统采用所能完成的目的的合理搭配.

个人觉得是很不错的几篇slide有助于对twitter的一个基本了解,当然是背后构架的基本了解,各个功能与服务是通过什么来实现以及达到一个怎么样的高度

具体内容各位还是看slide吧,谁看谁知道.

^^^^^^^^^^^^

再记下来本书名叫

Programming Scala (O’Reilly 2009)

其实题目想叫着医疗信息系统云计算化或者叫医疗信息化云计算

不过 – - 都觉得无法表达我想说的意思,所以把仨题目都丢这

昨晚本来是睡觉的时候,在构思了下我之前曾经发过的一篇blog 韩国医院看病流程 也许不是普遍事例

关于医疗系统的云化构思,在床上想了差不多一个小时,又来又爬起来

在医院信息系统云计算,不同于现有的OA,ERP,SQL数据库的模式.基于纯web的模式

下午在跟davidpanchina同学探讨关于这个云的具体实施想法

我才明白.医生工作站在国内没有市场，因为卫生部不认可电子病历。国内的情况是HIS+影像库，HIS应用主要是挂号，收费，药房，财务系统。

我曾经的理解是: 现在老外做云OA已经是蛮成熟了.我个人理解现在的医院信息系统都是医生桌面软件+远端DB,桌面软件开发大多都是采用vb;vc;.net之类.而云的话,就是软件处理+DB全部在云端.医生这边只用web来和云做沟通.

果然到国内去就变样了.当然目前从我观察来看,韩国应该是可以这样做

有几个问题:

1.对比国内医生部分不会使用电脑,韩国医院基本上已经实现了信息化

2. 数据安全,数据隐私

3. IC病历卡与整个系统连结

4. 医生无盘工作站的桌面 (cost可以节约一些)

5. 投入与产出,国内医院目前应该还是个卖方市场,对于IT行业的投入与倾向的喜好?

6. 各个医院数据的统一与协调,当然这个数据即使不统一,对于云数据库来说,其实是个很容易解决的问题,反正都是key-value存储,即使value短那么一截,也没什么大不了,把能对得上的对上即可

7. 如果采用private cloud 在医院内部解决数据隐私的问题的话, 与现有的集群服务器又有什么差别? 答案: 如果采用Open Source的软件的话,价格上可能会有优势

另外接着说那个影像库

1. 其实就是个存储系统,说白了,如果往云上靠,那么可以用hdfs来做,用分布式存储的模式来 vs 目前的集群服务器容错机制

^^^^^^^^^^^^^^^^

最后讨论到最后也没什么特别的结论

当然我自己个人主要是想挂靠几个理念,1.云, 2.绿色IT, 3.技术革命, 4.成本, 5.高效率

至于谁优谁劣倒是没说太多,只是想说云可以满足今后医疗信息系统的需求,当然目前来看可能国内还不太需要这个玩意,但是,相信经过一段时期发展,比如医生基本上都可以独立操作电脑,病患者可以独立操作IC卡读卡器,无人充值机,以及医院领导层对医院执行效率的提升的需求,另外是领导层对科技的倾向,软件正版化趋势(比如目前的产品采用盗版的话软件成本当然会低很多),

心中构思的未来医院是:

先说门诊部:

1. 病人进入医院,有几位引导人员对看病流程做一个介绍,并且帮助不会使用无人挂号机的病人

2. 病人带着IC病历卡在门诊前台无人机挂号(类似目前地铁IC卡无人充值机默认),目的是解决医院挂号窗口少,队伍长排队的问题

3. 门诊医生在遇到病人的时候,拿病人的IC病历卡插入读卡器,在无盘工作站上登入云,针对病人病情做出诊断,然后把诊断情况存入云端数据库,比如需要进一步化验的话,可以请病人进一步化验

4. 病人拿着IC卡到化验处插卡,比如验血,化验部抽血病人即可离开,化验部门会通知病人几点几分到专用设备前查看结果

5. 化验部门把化验结果数据全部存入云端数据库,并且通知门诊医生,门诊医生在针对化验结果上做出自己的判断,比如开处方,比如再见面,比如化验其他项目

6. 待到几点几分的时候,病人带上IC卡可以在医院专用无人读卡设备前查询化验结果和门诊医生的意见or处方,可以打印结果,等等功能

7. 如果是处方的话,病人可以打印处方然后在外面药店自己买药,或者不打印处方,在医院内部联网的处方药窗口,递卡买药即可

住院部:

1. 医生不再拿着病历一个床一个床的看,直接弄台手持设备即可,比如ipad,比如各种table的笔记本

2. 各个病人有RFID tag,或者戴手腕上的条形码或者其他快捷识别方式,住院医生只需手持装置能够读取即可

3. 住院医生可根据病人状况,通过手持装置把数据写入云数据库

…………………

当然这些都是我不成熟的想法,可能很多就现实来说先决条件也许都是错误的, 我只是想来一个Brainstorm

最后,此文内容少许有保留,如果你想继续探讨,请留下你的看法与见解.

Karmasphere Studio for Hadoop is a MapReduce development environment (IDE) based on NetBeans. It enables you to rapidly prototype MapReduce jobs without the need for a cluster, and to deploy, monitor and debug jobs on Hadoop clusters or Amazon Elastic MapReduce clusters, all from within a graphical desktop IDE.

http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617

这篇文章已经叙述的很不错了

采用eclipse3.3 暂时是不会有任何问题，执行run as hadoop 那个wordcount会有错误提示

09/10/09 17:17:25 WARN conf.Configuration: DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override

properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively
Usage: wordcount <in> <out>

代码问题，可以暂时不用管

另外文章中给出的

JarFile="sample-0.1.jar"
MainFunc="Sample.WordCount"
LocalOutDir="/tmp/output"

all:help
jar:
  jar -cvf ${JarFile} -C bin/ .

run:
  hadoop jar ${JarFile} ${MainFunc} input output

clean:
  hadoop fs -rmr output

output:
  rm -rf ${LocalOutDir}
  hadoop fs -get output ${LocalOutDir}
  gedit ${LocalOutDir}/part-r-00000 & 

help:
  @echo "Usage:"
  @echo " make jar     - Build Jar File."
  @echo " make clean   - Clean up Output directory on HDFS."
  @echo " make run     - Run your MapReduce code on Hadoop."
  @echo " make output  - Download and show output file"
  @echo " make help    - Show Makefile options."
  @echo " "
  @echo "Example:"
  @echo " make jar; make run; make output; make clean"

这个makefile很不错，复制的时候注意使用tab

然后运行编译在eclipse3.3和3.4版本都很正常

目前有几个问题就是eclipse3.4版用hadoop-0.20.0-eclipse-plugin.jar 我这边出错，读不到这个插件，
用hadoop-0.19.2-eclipse-plugin.jar的时候连接不到本地的hadoop服务

还好用我最新编译的hadoop-0.20.1-eclipse-plugin.jar 可以正常使用，不过蛮搞笑的是用了这个，
在perspective添加了MapReduce的时候那个Map/Reduce Locations不会显示出来，要手动添加，
我不知道是我个人问题，还是普遍情况

目前都可以连接到我的hadoop服务上，可以在eclipse里面查看上传文件

eclipse3.3版本我是用0.20.0的eclipse-plugin

eclipse3.4版本我是用我自己编译的0.20.1的plugin  下载hadoop-0.20.1-eclipse-plugin.jar