Jimey’s Life && Jimey’s World » Internet

MocoSpace Architecture – 3 Billion Mobile Page Views a Month

jimey — Wed, 05 May 2010 05:58:24 +0000

原文转自 http://highscalability.com/blog/2010/5/3/mocospace-architecture-3-billion-mobile-page-views-a-month.html

This is a guest post by Jamie Hall, Co-founder & CTO of MocoSpace, describing the architecture for their mobile social network. This is a timely architecture to learn from as it combines several hot trends: it is very large, mobile, and social. What they think is especially cool about their system is: how it optimizes for device/browser fragmentation on the mobile Web; their multi-tiered, read/write, local/distributed caching system; selecting PostgreSQL over MySQL as a relational DB that can scale.

MocoSpace is a mobile social network, with 12 million members and 3 billion page views a month, which makes it one of the most highly trafficked mobile Websites in the US. Members access the site mainly from their mobile phone Web browser, ranging from high end smartphones to lower end devices, as well as the Web. Activities on the site include customizing profiles, chat, instant messaging, music, sharing photos & videos, games, eCards and blogs. The monetization strategy is focused on advertising, on both the mobile and Websites, as well as a virtual currency system and a handful of premium feature upgrades.

Stats

3 billion page views a month
Top 4 most trafficked mobile website after MySpace, Facebook and Google (http://www.groundtruth.com/mobile-is-mobile)
75% mobile Web, 25% Web
12 million members
6 million unique visitors a month
100k concurrent users
12 million photo uploads a month
2 million emails received a day, 90% spam, 2.5 million sent a day
Team of 8 developers, 2 QA, 1 sysadmin

Platform

CentOS + Red Hat
Resin application server — Java Servlets, JavaServer Pages, Comet
PostgreSQL
Memcached
ActiveMQ’s job + message queue, in Red Hat cluster for high availability
Squid – static content caching, tried Varnish but had stability issues
JQuery + Ajax
S3 for user photo & video storage (8 TB) and EC2 for photo processing
F5 BigIP load balancers – sticky sessions, gzip compression on all pages
Akamai CDN – 2 TB a day, 250 million requests a day
Monitoring – Nagios for alerts, Zabbix for trending
EMC SAN – high IO performance for databases by RAIDing (RAID 10) lots of disks, replacing with high performance Fusion-io solid-state flash ioDrives, much more cost effective
PowerMTA for mail delivery, Barracuda spam firewalls
Subversion source control, Hudson for continuous integration
FFMPEG for Mobile to Web and Web to mobile video transcoding
Selenium for browser test case automation
Web tier
1. 5x Dell 1950, 2x dual core, 16G RAM
2. 5x Dell 6950/R905, 4x dual core, 32G RAM
Database tier
1. 2x Sun Fire X4600 M2 Server, 8x quad core, 256G RAM
2. 2x Dell 6950, 4x dual core, 64G RAM

Architecture

All pages are dynamic, with user data and customizations as well as many browser and device specific optimizations. Browser and device fragmentation issues are much greater on mobile than on the Web. Many optimizations, adaptations required based on browser capabilities, limited support for CSS/JavaScript, screen size, etc. Mobile Web traffic is often served via network proxies (gateways), with poor support for Cookies, making session management and user identification a challenge.
A big challenge is handling the device/browser fragmentation on the mobile Web – optimizing for a huge range of device capabilities (everything from iPhones with touchscreens to 5 year old Motorola Razrs), screen sizes, lack of / inconsistent Web standards compliance, etc. We abstract out our presentation layer so we can serve pages to all mobile devices from the same code base, and maintain a large device capabilities database (containing things like screen size, supported file types, maximum allowed page sizes, etc) which is used to drive generation of our pages. The database contains capability details for hundreds of devices and mobile browser types.
Database is sharded based on a user key, with a master lookup table mapping users to shards. We rolled our own query and aggregation layer, allowing us to query and join data across shards, though this is not used frequently. With sharding we sacrifice some consistency, but that’s Ok as long as you’re not running a bank. We perform data consistency checks offline, in batches, with the goal being eventual consistency. Large tables are partitioned into smaller sub tables for more efficient access, reducing time tables are locked for updates as well as operational maintenance activities. Log shipping used for warm standbys.
A multi-tiered caching system is used, with data cached locally within the application servers as well as distributed via Memcached. When making an update we don’t just invalidate the cache and then re-populate after reading again from the database, rather we update Memcached with the new data and save another trip to the database. When updating the cache an invalidation directive is sent via the messaging queue to the local caches on each of the application servers.
A distributed message queue is used for distributed server communication, everything from sending messages in realtime between users to system messages such as local cache invalidation directives.
Dedicated server for building and traversing social graph entirely in memory, used to generate friend recommendations, etc.
Load balancer used for rolling deploys of new versions of the site without affecting performance/traffic.
Release every 2 weeks. Longer release cycles = exponential complexity, more difficult to troubleshoot and rollback. Development team responsible for deploying to and managing production systems ¿ ¿you built it, you manage it¿.
Kickstart used to automate server builds from bare metal. Puppet is used to configure a server to a specific personality i.e. Webserver, database server, cache server etc, as well as to push updated policies to running nodes.

Lessons Learned

Make your boxes sweat. Don’t be afraid of high system load as long as response times are acceptable. We pack as many as five application server instances on a single box, each running on a different port. Scale up to the high end of commodity hardware before scaling out. Can pick up used or refurbished powerful 4U boxes for cheap.
Understand where your bottlenecks are in each tier. Are you CPU or IO (disk, network) bound? Database is almost always IO (disk) bound. Once the database doesn’t fit in RAM you hit a wall.
Profile the database religiously. Obsess when it comes to optimizing the database. Scaling Web tier is cheap and easy, database tier is much harder and expensive. Know the top queries on your system, both by execution time and frequency. Track and benchmark top queries with each release, need to catch and address performance issues with the database early. We use the pgFouine log analyzer and new PostgreSQL pg_stat_statements utility for generating profiling snapshots in real-time.
Design to disable. Be able to configure and turn off anything you release instantly, without requiring a code change or deployment. Load and stress testing are important but nothing like testing with live, production traffic via incremental, phased rollouts.
Communicate synchronously only when absolutely necessary. When one component or service fails it shouldn’t bring down other parts of the system. Do everything you can in the background or as a separate thread or process, don’t make the user wait. Update the database in batches wherever possible. Any system making requests outside the network need aggressive monitoring, timeout settings, and failure handling / retries. For example, we found S3 latency and failure rates can be significant, so we queue failed calls and retry later.
Think about monitoring during design, not after. Every component should produce performance, health, throughput, etc data. Set up alerts when these exceed thresholds. Consolidated graphs showing metrics across all instances, rather than just per instance, are particularly helpful for identifying issues and trends at a glance and should be reviewed daily — if normal operating behavior isn’t well understood it’s impossible to identify and respond to what isn’t. We tried many monitoring systems – Cacti, Ganglia, Hyperic, Zabbix, Nagios, as well as some custom built solutions. Whichever you use the most important thing is to be comfortable with it, otherwise you won’t use it enough. It should be easy, using templates, etc to quickly monitor new boxes and services as you throw them up.
Distributed sessions can be a lot of overhead. Go stateless when you can, but when you can’t consider sticky sessions. If the server fails the user loses their state and may need to re-login, but that’s rare and acceptable depending on what you need to do.
Monitor and beware of full/major garbage collection events in Java, which can lock up the whole JVM for up to 30 seconds. We use Concurrent Mark Sweep (CMS) garbage collector, which introduces some additional system overhead, but have been able to eliminate full garbage collections.
When a site gets large enough it becomes a magnet for spammers and hackers, both on site and from outside via email, etc. Captcha and IP monitoring are not enough. Must invest aggressively in detection and containment systems, internal tools to detect suspicious user behavior and alert and/or attempt to automatically contain.
Soft delete whenever possible. Mark data for later deletion, rather than deleting immediately. Deletion can be costly, so queue up for after hours, plus if someone makes a mistake and deletes something they shouldn¿t have it¿s easy to rollback.
N+1 design. Never less than two of anything.

I’d really like to thank Jamie for taking the time write this experience report. It’s a really useful contribution for others to learn from. If you would like to share the architecture for your fablous system, please contact me and we’ll get started.

^^^^^^^^^^^^^^^^^^^^^^

很实际的经验分享,值得被转载下.尤其是各个平台的搭配与使用目的,很清晰明确,看来Amazon的S3应用是越来越广泛了.目前我发现的不仅仅是twitter的头像icon的存储,又加上这个MocoSpace了.

几篇关于twitter,hadoop,Cassandra,Pig,FlockDB的slide

jimey — Thu, 22 Apr 2010 07:02:02 +0000

http://www.slideshare.net/kevinweil/nosql-at-twitter-nosql-eu-2010

http://www.slideshare.net/ryansking/scaling-twitter-with-cassandra

http://www.slideshare.net/nkallen/q-con-3770885

Big Data in Real-Time at Twitter

http://www.slideshare.net/al3x/building-distributed-systems-in-scala

主要分析了功能上需求与分散系统采用所能完成的目的的合理搭配.

个人觉得是很不错的几篇slide有助于对twitter的一个基本了解,当然是背后构架的基本了解,各个功能与服务是通过什么来实现以及达到一个怎么样的高度

具体内容各位还是看slide吧,谁看谁知道.

^^^^^^^^^^^^

再记下来本书名叫

Programming Scala (O’Reilly 2009)

Marketing in Twitter

jimey — Fri, 02 Apr 2010 18:56:04 +0000

之前对这方面也算有所了解,但是今天真真正正的被我撞到了,确实很惊讶,很震撼,有点迷茫有点觉得技术的力量是强大的,当然这都是我单反面猜测的结果.

我下午在twitter发了一条这个消息

哪位对#SXSW 2010这个会议有了解呢?能否大概介绍下今年都有啥闪光的? http://sxsw.com about 9 hours ago via Echofon

然后就刚刚…收到了slideshare的email

Dear jimeyren,
We know not everyone can make it out to Austin for SXSW, so we’ve compiled as many SXSW presentations as possible. Hope you enjoy!
Cheers,
SlideShare Team

………………………………………………

我不能说这是巧合了.只能怀疑slideshare肯定语义分析了我今天发的tweets了,要不然不可能知道我想要找SXSW的资料啊,竟然给我发email提醒.忒诡异了

修复Lifestream时区设定

jimey — Mon, 29 Mar 2010 11:53:09 +0000

LifeStream作者为 David Cramer | 访问插件主页

俺这是9时区设置,8时区的话,请自行修改

修改lifestream\themes\default\main.inc.php

主要需要修改5个地方, today yesterday 以及下面3个timestamp

[code lang="php"]

$day = '';
if (count($events))
{
$today = date('m d Y', time() - 54000);
$yesterday = date('m d Y', time() -140400);
if ($has_paging)
{
if ($has_prev_page) {
echo '

Newer Entries

';
}
}
?>

foreach ($events as $event)
{
$timestamp = $event->get_date();
if ($today == date('m d Y', $timestamp -32400)) $this_day = $lifestream->__('Today');
else if ($yesterday == date('m d Y', $timestamp-32400)) $this_day = $lifestream->__('Yesterday');
else $this_day = $lifestream->__(ucfirst(htmlentities(date($lifestream->get_option('day_format'),

$timestamp-82400))));
if ($day != $this_day)
{
?>

$day = $this_day;
}
..............
[/code]

纯idea 时间流+空间流

jimey — Mon, 29 Mar 2010 06:16:28 +0000

有foursquare这样的空间流应用

具体可以查看http://foursquare.com/

不知道能否有个timeline+spaceline 的应用?

即:记录每天24小时,在什么地方待了多久,在什么地方待了多久如此记录下每天的行程

虽然对于个人隐私来讲,这些数据不便公开,但是就好比车载gps一样,来一个人载gps记录下自己每天的行程

犹如目前已有的记录自己每天做什么事情的录像记录模式一样,其实待今后退休,闲暇的时候均可以翻出来回忆

随着越来越繁忙的生活,越来越没办法闲暇来记录自己的点点滴滴的时候在如此越来越开放如此越来越没隐私的社会,也许将会有如此产品推出吧?

NATE的twitter商业模式

jimey — Sat, 26 Dec 2009 09:45:25 +0000

NATE就好比中国国内的移动梦网

韩国最大的手机通信商SK开设的服务

之前一直不知道

http://twitter.com/natetweeting

今天在twitter上收到RT才发现

@tweeting_event: [트위팅 고객님이라면 모두 받으세요!] 스타벅스까페라떼 100%당첨 + 이 글을 RT하면 Sony VAIO 넷북,햅틱 아몰레드폰까지~ http://j.mp/4TbI97

基本上就是勾引人加入NATE提供的twitter服务，然后给点小奖励与优惠

加入了以后

有一个月300条免费往手机上发送的功能，就是读取你twitter上的消息发送给你

1.全部好友

2.部分好友

3.关闭好友

4.只发@自己的

5.发送时间段设置

6.暂时关闭这个功能

当然也给了一个号码可以往twitter上发

*1234 这个号码即可

另外

http://hantweet.com/

看来这个服务要……被取代了。不过LGT和KT还可以用这个服务应该

……………………………………………………………………

SKT NATE目前不足之处

1.twitter 认证采用id & pw, 没采用目前流行的Oauth方式……

2.还没在twitter上申请自己的API地址…默认还是API方式，这个比较丑…

优势：

1.目前一个月300条免费发送到手机上，发送的消息都是abstract,如果想看全文，需要在手机登录NATE，那都是要给钱的……流量费啊流量费……钱就是这么赚出来了

2.hantweet 如果要收消息，也是要给钱的，

包月制：

4900원/월
월 최대 200건까지 한트윗의 답글과 DM을 전달해줍니다

9900원/월
월 최대 500건까지 한트윗의 답글과 DM을 전달해줍니다.

按条：

3300원
토큰 100개를 구입합니다.

100条3300 200条6600 300条9900这样

……………………………………………………………………………………

twitter search result -> language filter

jimey — Thu, 24 Dec 2009 18:45:35 +0000

没中文，没韩语

泰国语都有- - 难道twitter有泰国的员工？

twitter rss 提醒

jimey — Fri, 18 Dec 2009 12:23:04 +0000

今天话比较多，所以博客发的也比较多 – - 希望不会骚扰到太多人

这篇内容是关于，如何利用twitter来做monitor

基本上本人目前都是用twitter来监控，比如我的博客评论，比如我msn live空间的评论，比如某些人在网上的一些行为，只要有rss，就可以用twitter来干这个监控！

之前我是用twitterfeed的，不过这2天全部改成feedburner了，大同小异

在这里我只说方法

比如：我的博客评论

我是另外申请了个twitter的小号来做监控，抓取我博客评论的rss来自动发消息到twitter上，但是发消息的时候，加一个 @jimey的前缀，这样我在看我主号jimey的@的时候，就可以看到消息了。这样不会错过消息。

其他类似都可以采用如此办法

feedburner – To be more social

jimey — Fri, 18 Dec 2009 12:09:12 +0000

数据为王，google又一次胜利了

收购了feedburner，等于拿到了源

而这次，12.14 feedburner宣布支持在twitter上同步rss更新的时候，也就是提供与twitterfeed rss2twitter 等一些网站功能完全一致的服务的时候

我就知道google 又要胜利了

由于当时已经是韩国时间12.15了我要准备去首尔，所以没怎么来得及测试

只是匆匆的把其中一个博客评论监控的功能加了一下，就闪人了

后来17号在首尔看到，这个feedburner的发布twitter功能，要比twitterfeed快2个小时。这个时候我才真真正正的明白，google的服务器力量是强大的

当然pubsubhubbub 这项google原创的技术google自己在自己的服务上应用起来也是得心应手的

而google新开启的短域名服务http://goo.gl 则也是完全的市场布局

feedburner的高效服务，会把大家从twitterfeed或者rss2twitter的应用上拉走造成的后果

1.feedburner用户的增加

2.很多原生的rss本来在twitterfeed, rss2twitter上是可以直接用的，而这里就不得不先要burn下才可以使用了，增加了google收集的信息量

3.短域名服务http://goo.gl 对于连接点击的跟踪，从而也可以更加好的进行 web analysis

把数据都掌握在自己手中，依然是google的一贯风格，而广大消费者，面对着这高速的服务，基本上无间隔就会post到twitter上的高效，都会忍不住转到feedburner来。这也许是大家双赢的结局。而最终悲惨出局的，还是twitterfeed和rss2twitter等这些小型服务提供商。。

ytet upload user guide

jimey — Tue, 17 Nov 2009 13:32:51 +0000

首先，注册之后，然后把用户名QQ给我，我开通发文权限

开通后登陆，显示出的页面，其他部分可以不用理，主要点那个add new 即可

需要关注几个部分

部分1.标题

部分2是附件上传

部分3是内容，这里就随便填了

部分4是tag标签，如果可能，尽量多填写一些，各个关键词用英文逗号分开

部分5是分类，一般来讲，什么剧目归到什么剧目名下，如果没该剧目的分类，请添加，添加的时候注意该剧目名的父类

比如24 的父类是0-9

American Idol 的父类是A-F

然后完成以上5项目之后，点6即可完成一次发布，个中最难的是上传附件的2部分

下面具体来讲解这个2的使用

点那个向下的箭头

即可出来这个画面

首先是附件的标题，即该字幕文件名是什么，这里不推荐使用@ #这些字符，所以我们之前的字幕命名方式

xxx.group@YTET 这样的方式现在不推荐，因为这个@有可能导致字符换算丢失路径

其他项目可以不用填

往下拉滚轴，可以找到这个Upload File的选项，即上传文件选择了，相信这地方大家基本上都操作过，我就不细说了

唯一需要注意的是这里文件需要用.zip的方式而不再推荐我们字幕组常用的.rar的方式，这点也是比较…麻烦的地方

具体zip的方式如果生成，可参看博客 use winrar to zip something http://jimey.com/2009/11/17/use-winrar-to-zip-something.html

添加完文件之后，就最下面那个深蓝色按钮按了即可

接着会到下面这幅图

如果有时候也许会看不到这副图，那么就跳过这副图，看下一步骤教程

这里，直接按这个Insert into Post 就会把刚刚上传的字幕附件给粘贴到刚刚要post的文章里面去了。

如果没那个上面那个图，得把框拉到最上面，选择View Doadloads 会有一排文件列表，选择你要insert的文件即可

use winrar to zip something

jimey — Tue, 17 Nov 2009 12:59:32 +0000

选要打包的文件

然后是弹出的框的设置

伊甸园字幕博客站和伊甸园美剧百科站成立说明

jimey — Tue, 17 Nov 2009 05:14:47 +0000

^^^^^^^^^^^^^续^^^^^^^^^^^^^^^^^^^
由于长期以来伊甸园没有自己的字幕站，不得不挂靠在射手上，在高峰时期射手字幕站挂机也有发生导致我们无法下载字幕，所以从那时候起想一个办法，就是用ftp更新字幕，把做好的字幕都放到ftp作为我们备用，由于ftp使用的局限性，无法搜索，只能按字幕文件夹名找，效率不高。
半年前我有一个想法，就是用wordpress博客程序来做我们的字幕站，每一篇博客文章来作为我们的一个字幕更新帖用
字幕组每个成员可以申请一个id，该id可以获得发字幕修改文件等权限，另外可以给字幕组组长更高的，修改字幕附件，修改帖子内容等权限
当初在论坛帖了这个想法，响应的同学也有，只是一直没人来做，半年之后，也就是今天，在跟卡口以及干活的沟通之下，终于把这个想法给实现了。

^^^^^^^^^^^^^用途^^^^^^^^^^^^^^^^^^^
1、初期我只是想拿来做单纯的字幕站
2、后来我觉得其实也可以用来作为我们官方的博客站，比如宣传下字幕组内部的八卦，奇闻轶事、字幕组下季度的做剧目的计划、一些技术性的文章等等
3、再到后来我觉得，我们可以利用这个博客站来做一个媒体工作，比如针对每个剧的点评，可以接收会员和成员的投稿，选择优秀的文章帖到我们的博客分享出去
4、跟论坛的结合，各分版版主可以每周，或者几周，来一个本分版内的精华帖推荐，在博客发布

^^^^^^^^^^^^^^好处^^^^^^^^^^^^^^^^^^
1、在续中已经解释了，有自己的字幕站的好处。另外由于博客有rss订阅功能，这样可以更加友好的往外推广，更加方便各会员获取字幕信息，从论坛单纯的pull方式，到现在的push方式，由于人的懒惰性的存在，目前push才是更加适合发展。结合twitter等微博，可以把字幕更加广泛的散播出去
2、官方博客站，目前很多大的公司，政府，组织都有在做自己的博客，开放性的发展是当今网络发展的一个元素之一，可以拉近与会员的关系
3、关于媒体工作，这个也是一个目前论坛其实可以做，但是效果不够好的一个事情，在论坛做，由于是pull的方式，有人可能会漏掉，大量的贴会把这些贴埋没。而在博客发的话，push的方式，利用rss可以给所有订阅读者看到，由于是精选剧评，不会被埋没
4、跟论坛的结合，其实也是跟论坛互动的结果，在论坛宣传博客，在博客宣传论坛，论坛人多，宣传博客会有效果，而博客的push方式，会让我们推荐的精华被更多订阅读者看到，增加论坛精华帖的阅读量
5、搜索功能强大，不会给会员带来找不到字幕的麻烦，利用博客的搜索，tag 标签功能，Categories分类功能，可以很方便很快捷的给会员找到自己需要的字幕
当然，我个人还是最喜欢用 Categories 分类，可以分3层，又可以做到我们论坛最喜欢的，按数字和字母A-Z的方式，来把剧名按名一个一个的排列下来，效果如下所示
Categories

0-9
- 24
- 30 Rocks

另外关于这个地方的rss订阅 0-9这个目项可以有个RSS订阅， 24可以有个RSS订阅只显示24的内容更新 30 Rocks可以有个RSS订阅来只显示30 Rocks的内容更新

而 0-9的RSS显示24和30 Rocks 内容的更新

(这个地方看不懂就算了 -_-!!) 主要是用来给一些同学比如，有人喜欢24，不喜欢30 Rocks，有人喜欢24 又喜欢30Rocks 有人喜欢30 Rocks 不喜欢24 这样的情况下怎么解决RSS订阅的问题

^^^^^^^^^^^^^^如何用^^^^^^^^^^^^^^^^^^^
1、字幕的更新需要各位工作人员的支持和协助
2、官方的博客站，字幕组内部的事情需要字幕组内部来协调，我这只是提个建议
3、媒体工作，这个我主要是在豆瓣看到一些兄弟贴过一些美剧的剧评，所以才想到这条
4、这个也需要各位美剧分坛版主来协调

^^^^^^^^^^^^^目前的缺点和问题^^^^^^^^^^^^^^
1、操作的问题，需要首先添加字幕文件，然后再插入文件到博客文章中
2、字幕文件格式，不支持.rar打包，只支持.zip的打包方式由于linux系统对rar支持的不够好，所以才不得不使用.zip的方式

……………………………………………………………………………………………………………………………………………………………………

再来美剧百科站
由于论坛的美剧百科板块，过于依靠版主，只有版主才能更新帖子，劳动量过大，且无法发动广大劳动人民的积极性，所以我们采用维基百科，人人都可以编辑的方式来建立了这样一个美剧百科
这个是初衷，具体内容该如何建立，还需要跟广大童鞋门讨论之后再决定，目前只是平台已经搞定。

……………………………………………………………………………………………………………………………………………………………………

Firefox.Ubiquity 用的scholar和shooter的2个搜索的命令

jimey — Fri, 13 Nov 2009 10:53:53 +0000

CmdUtils.CreateCommand({
names: ["scholar"],
arguments: [ {role: 'object', nountype: noun_arb_text, label: 'search_string'}],
description: "show results in new tabs.",
preview: "Searches for google’scholar.",
icon: "http://www.google.com/favicon.ico",
execute: function(searchterms) {
    var finalterms = encodeURIComponent(searchterms.object.text);
    Utils.openUrlInBrowser("www.google.com/scholar?q=" + finalterms);
}
})
CmdUtils.CreateCommand({
names: ["shooter"],
arguments: [ {role: 'object', nountype: noun_arb_text, label: 'search_string'}],
description: "Searches subs in new tabs.",
preview: "Searches for subs on shooter.cn.",
execute: function(searchterms) {
    var finalterms = encodeURIComponent(searchterms.object.text);
    Utils.openUrlInBrowser("http://www.shooter.cn/search/Sub:" + finalterms + "/?x=0&y=0&");
}
})

照着一个搜索种子的改的

适用于 Ubiquity 0.5.4!

bt软件uTorrent支持伊甸园bt下载站资源“全自动”下载教程

jimey — Fri, 13 Nov 2009 07:57:43 +0000

本教程的好处和优点
1. 全自动下载自己想要的剧模式
可以全自动下载设置好自己想要的剧，完全不用去盯着发布站看。你想要的片子一被发布，就可以自动开始bt下载。
2. 手动下载模式
可以采用这样订阅的方式，就不用登陆bt.sfileydy.com看更新，在bt软件这里看有啥剧目更新即可根据自己所需手动下载
…………………………………………………以下为所需软件和链接…………………………………………………………………………………………………
伊甸园bt下载站连接
http://bt.sfileydy.com/
伊甸园bt下载站的rss链接
http://feed.feedsky.com/btsfileydy
bt软件uTorrent下载链接
http://www.utorrent.com/downloads
该下载链接中还有个语言包Language pack 下载
如果你想用中文版的uTorrent的话推荐下载语言包
把uTorrent的语言包拷贝到%AppData%\uTorrent目录
打开%AppData%\uTorrent目录的办法 ——> 开始 ->运行-> 在框里面输入 %AppData%\uTorrent 按回车键即可打开目录
…………………………………以上为软件下载和需要的链接………………………………………………………
…………………………………以下为图示教程……………………………………………………………………………
……………………………………前期准备工作，在uTorrent添加伊甸园bt发布站rss订阅………………………………………………………………………………

具体图示内容

还是去论坛看吧 http://bbs.sfileydy.com/viewthread.php?tid=305477&page=1&extra=#pid11307810

bt软件uTorrent支持伊甸园bt下载站资源“全自动”下载教程

jimey — Thu, 12 Nov 2009 11:05:14 +0000

伊甸园bt下载站连接
http://bt.sfileydy.com/
伊甸园bt下载站的rss链接
http://feed.feedsky.com/btsfileydy
bt软件uTorrent下载链接
http://www.utorrent.com/downloads
该下载链接中还有个语言包Language pack 下载
如果你想用中文版的uTorrent的话推荐下载语言包
把uTorrent的语言包拷贝到%AppData%\uTorrent目录
打开%AppData%\uTorrent目录的办法 ——> 开始 ->运行-> 在框里面输入 %AppData%\uTorrent 按回车键即可打开目录
…………………………………以上为软件下载和需要的链接……………………………………………………………
…………………………………以下为图示教程…………………………………………………………………………………………

把下载时保存目录设置好，这样所有下载的内容都会下载那个文件夹，另外那个手动添加时显示对话框，可以不要选

然后在那个订阅下面的伊甸园美剧bt下载区那点右键选择编辑订阅

选择自动下载即可
…………………………………提示和问题…………………………………………………………
1. 可以采用这样订阅的方式，就不用登陆bt.sfileydy.com看更新，在bt软件这里看有啥剧目更新即可
根据自己所需手动下载
2. 可以自动下载
这个自动下载目前暂时还不能实现uTorrent的智能过滤，所以导致的后果就是bt发布页发布的所有美剧全部都会下载 -_-!!
关于这个智能过滤，我们将继续研究解决办法，会在不久的一段时间内解决掉这个问题，这样开着bt软件挂着不用管，如果你想要的那个剧在bt发布站发布，那么就会被自动下载
比如，你要上班，你要出行，你要上课，即使人不在电脑旁边，你的电脑也可以自动帮你下载好你想要的剧集
3.关于下载完毕自动做种和以及自动停止做种，可以在设置中看到
分享率设置百分比或者做种多少分钟以后自动暂停种子上传
当然还是鼓励大家多多上传为好，只是这些自动设置功能，会更加节约我们的时间

又收到google wave 30个邀请

jimey — Tue, 10 Nov 2009 12:40:05 +0000

用了google wave一个月

上周才刚刚收到20个邀请，一会儿就派完

刚刚莫名登陆又有30个邀请

没有的兄弟，留言留email (最好是gmail的)俺赠送

预计赠送会在后天开始,大概会经过google 3 –5 天的审查才会收到开通google wave的邀请

NATE ON 某新功能?or 我以前没发现的功能

jimey — Sun, 08 Nov 2009 07:47:42 +0000

nateon是韩国常用的聊天工具，就好比QQ在中国的地位一样

刚刚无意中发现的一个功能

就是可以把比较常聊的人，丢到桌面去，然后就不用打开nate 然后在好友列表里面找那个人再双击对话框开聊了

如图所示

图中右上角那2位同学就被我抓出来贴到桌面去了。嘿嘿

Flickr Pro帐号使用经历

jimey — Thu, 05 Nov 2009 09:36:53 +0000

1.之前都是免费用户，一个月100M 只能看到最新的200张照片

现在付费之后无限量上传，全部照片都可以看到

2.上传软件选择，之前用flickr官方出的desktop uploadr 上传了一些还可以，后来就挂了！不知道怎么了api key那些总是出错停在processing的地方一直停住不动，看consol界面显示出错。后来上twitter问童鞋门，推荐ACDsee，于是就找个了来用

ACDsee效果很不错，上传照片很舒服，很快就上传完毕，强烈推荐

3.Flickr的pro账号买了之后，是不能取消的，就是说不会再有把钱退回来的可能性

目前有个问题就是，买pro的时候，我是通过visa卡买的，会扣1美元，然后再扣，我买了2年扣了47.99美元

由于被多扣1美元，所以搜索flcikr帮助文档上，有一些同学也是这样的问题，被扣1美元，据说会在24小时内退回，目前俺已经过了快36小时，暂时没有发现那1美元有被退回的迹象

继续微博客，继续同步消息

jimey — Sat, 31 Oct 2009 04:50:32 +0000

太多微博客，懒得每个都更新，但是每个地方都有不同的朋友

想是在一个地方发消息，更新所有的微博客，所以就不得不想这个同步的办法了

目前我是用这样的流程

twitter (主号) -> ping.fm -> custom.url -> 火兔(嘀咕) -> 新浪微博

同时这个ping.fm 也一块更新我一个备份我发过twitter的另外一个账号以及facebook

主号往ping.fm发消息的时候过滤了RT 和 @ , 这样我的主号跟人聊天打屁扯蛋八卦的内容就不会传播出去了

我养了3个twitter的账号目的有几个

1.主号：发一些有价值的，有营养的，顺便跟人打屁 RT 扯蛋聊天吹牛八卦的
2.机器人号：用twitterfeed 抓取我博客的comment rss 然后加上前缀 @ 主号的方式发放消息，这样如果有人在我博客评论，我在我的主号上查看 @me 就可以知道有评论了，我加了我的wordpress的评论rss以及live space的

3.备份消息号：备份主号发的消息，还有一些，比如我睡觉了，我起床了，我吃饭了这样无聊的信息，我想这样记录下看看我天天都在干啥的时候，又对别人没任何意义的时候，就把内容保存到这个号就可以了，今后多年以后再看过来，也是蛮有意思的一件事情

twitter -> ping.fm 主要是用python脚本来实现

有个ping.fm的python库，安装之后就很简单了

具体代码可以参看

#!/usr/bin/python

from xml.dom.minidom import parseString
import urllib
import urllib2
import sys
from pyngfm import PyngFM

def post_to_pingfm(msg):
    pfm = PyngFM()

    pfm.setApiKey(‘xxxxxxxxxxxxxxxxx’)
    pfm.setUserAppKey(‘xxxxxxxxxxxxxxxxxxxxxxx’)

    pfm.user_post(‘default’,'%s’%msg)

def main():
    f = open(‘last.txt’,'r’)
    maxid = int(f.read())
    f.close()
    if maxid < 1166717326:
        print ‘error’
        sys.exit(-1)
    params = urllib.urlencode({‘since_id’:maxid})
    f = urllib.urlopen("http://twitter.com/statuses/user_timeline/jimey.xml?%s" % params)
    xmltext = f.read()
    dom = parseString(xmltext)
    statuses = dom.childNodes[0]
    messages = []
    s = 0
    for node in statuses.childNodes:
        if node.nodeName == ‘status’:
            status = node
            for snode in status.childNodes:
                if snode.nodeName == ‘id’:
                    n = int(snode.childNodes[0].nodeValue)
                    if n > maxid:
                        maxid = n
                elif snode.nodeName == ‘text’ and snode.childNodes[0].nodeValue[0:2] != ‘RT’ and snode.childNodes[0].nodeValue[0] != ‘@’:
                    messages.append(snode.childNodes[0].nodeValue.encode(‘utf-8′))
    while len(messages) > 0:
        post_to_pingfm(messages.pop())
        s = s + 1
    f = open(‘last.txt’,'w’)
    f.write(str(maxid))
    f.close()
if __name__ == "__main__":
    main()

ping.fm 到自定义网页

可以查看这个网页 http://www.williamlong.info/archives/1961.html

修改那个microblog.php 添加你的火兔帐号密码，然后随便丢到一个支持php的网站去就好了

在ping.fm cunstom url添加这个microblog.php 即可同步更新

然后在火兔那边添加新浪微波即可

目前唯一比较麻烦的是豆瓣的我说

我想把豆瓣的我说广播也一并给同步了

搞了一天的oauth 还不是很得法…

python俺那个认证header实在是不知道咋弄了..

php版本的好像得自己的php服务器了因为还要装Zend Gdata，网上的php网站好像都不支持这玩意..

Feedsky Feed 插件插件会导致wp的预订任务执行失败

jimey — Thu, 22 Oct 2009 17:37:30 +0000

该插件导致其他插件的自动更新失效

导致在线插件查找安装功能失效

导致数据库定期备份功能失效

导致lifestream定期抓feed的功能失效

总之该插件很强大。我不得不停用了…

Jimey’s Life && Jimey’s World » Internet

MocoSpace Architecture – 3 Billion Mobile Page Views a Month

Stats

Platform

Architecture

Lessons Learned

相关博文

几篇关于twitter,hadoop,Cassandra,Pig,FlockDB的slide

相关博文

Marketing in Twitter

相关博文

修复Lifestream时区设定

相关博文

纯idea 时间流+空间流

相关博文

NATE的twitter商业模式

相关博文

twitter search result -> language filter

相关博文

twitter rss 提醒

相关博文

feedburner – To be more social

相关博文

ytet upload user guide

相关博文

use winrar to zip something

相关博文

伊甸园字幕博客站和伊甸园美剧百科站成立说明

相关博文

Firefox.Ubiquity 用的scholar和shooter的2个搜索的命令

相关博文

bt软件uTorrent支持伊甸园bt下载站资源“全自动”下载教程

相关博文

bt软件uTorrent支持伊甸园bt下载站资源“全自动”下载教程

相关博文

又收到google wave 30个邀请

相关博文

NATE ON 某新功能?or 我以前没发现的功能

相关博文

Flickr Pro帐号使用经历

相关博文

继续微博客，继续同步消息

相关博文

Feedsky Feed 插件插件会导致wp的预订任务执行失败

相关博文