浅谈创业早期技术实现思路

20130108093351_79502-1068x784

浅谈创业早期技术实现思路

创业最开始的时候,是最难的时候,此时,从0到1,从无到有,做的是自己不曾做过的事情,所以,我们称之为创业。

对于早期的技术而言,不要大而全,不用高精尖,先按需求实现,活下来再说。我们需要考虑的是哪些可以用云服务,哪些可以直接用现成的开源方案或技术,哪些需要自己开发; 我们可以粗旷一些,要的是快速出活,让产品活下来。

前期那么几杆枪,就技术而行,要用团队成员最熟悉的,要有人能全盘掌控所有的技术栈。虽然我们用的是最熟悉的东西,但是在整个技术选型和开发过程中,需要有以下几个基本的思路:

1. 原则和规范

  • 注意解耦,分层,动静分离、轻重分离的原则;
  • 开发的规范,代码及代码分支管理规范、发布流程;
  • 在开发过程中,对于公共的操作要抽象成组件,即我们常说的职责单一,如缓存操作,数据库操作等等都封装成组件,一边开发一边封装;

2. 保留水平扩展的能力

  • 业务服务端无状态,会话通过 memcache 等来管理;
  • 数据库设计考虑到一定时间内的容量,做好必要的分库分表,如1到2年的容量规划;
  • 热点数据缓存起来,将大量请求打到缓存而不是数据库;

3. 业务隔离

  • 隔离关键业务和非关键业务;
  • 隔离主业务系统与旁路上报、日志上报等周边系统;如果是 HTTP 服务,至少要在域名级别保证其隔离;
  • 不同端业务的隔离; 如 PC 侧的业务和 H5 的页面可以是同一套代码,但是域名不同,接入点不同,后端机器相同;

4. 用好开源的轮子

  • 在满足现有业务需求的情况下,对业界开源的轮子做技术选型,在能驾驭的前提下尽量使用已有的,成熟的,经过了大量公司实践的开源组件,如nginx,redis,elk等等。

5. 必要的安全策略

  • 安全是互联网应用无法回避的问题,我们需要在框架或基础组件层面引入常见的 XSS 、CSRF 和 SQL注入等安全问题的过滤;
  • 对于静态的能放到CDN的内容尽量放到CDN,一是就近接入,提高访问速度,二是减少后台的服务压力;
  • 保留快速切到云服务防 DDoS 的能力;
  • 在业务层面实现一定的规则以及联合 WEB 容器实现一定程度上的防 CC 攻击能力;

6. 备份、备份、备份

  • 宕机、不同城市的机房同时起火、光缆被挖断、数据错乱等等各种神奇的事情都有可能出现,此时备份就显示出其价值。我们不仅仅是要备份业务数据库,还要备份代码,备份部署脚本等等;
  • 当所有的不幸都发生的时候,我们所有的东西都不见的时候,我们能够很快的将应用恢复到上一个可预见的备份版本,即我们有灾备方案,最好是能够提前演练过;

7. 监控可能出现的异常

  • 使用第三方的监控服务监控网站的访问可用性,服务的可用性等;
  • 对业务的数据和关键的节点进行监控,比如做金融的需要确认每个用户的进出钱要对得上账,在这里至少要有一个监控;

8. 灰度发布

  • 前期按机器做灰度发布,一个简单的脚本就可以搞定,后期可以实现按用户灰度等,以此提高业务的连续性,保证业务的可用性;

从 0 到 1,不管是技术还是业务都是不成熟的,大家都是摸着石头过河,所以我们需要快速的试错,需要快速的反馈。

在技术层面,在保证以上一些原则的同时,快速迭代,实现产品需求,对于一些出错统计类的东西直接交给第三方来实现;在业务层面,如果是网站,一些流量分析直接也是直接交给第三方,比如百度统计,Google Analytics等,对于具体的业务,一个脚本每天早上跑出报表以邮件的形式发到指定邮件组,将相关人加入邮件组列表接以能接收到报表邮件。

以上是最开始需要注意的原则和必须要实现的东西,在此之外,还有很重要的需要搭建的内容需要持续搭建和实现,包括但不限于以下一些:

  1. 降级服务能力:在遇到正常或不正常的大流量时,可以在一定范围内将业务降级,业务降级可以前期提供手动降级能力,后续实现自动降级;
  2. 第三方服务可替换:花钱能解决问题,但花钱一般不能真正的解决问题,因为花钱买来的可能是一个坑,还是一个需要自己填的坑。在使用第三方服务时,需要多家备用可替换,如短信服务,多接两家,平时两家均衡分发,或者按业务分发,当某一家出问题时,直接切到正常的那家;
  3. 日志中心:日志是定位问题的必备工具,当后台服务有多台机器时,就不能一台一台的用 grep 搜索了,需要有一个集中存储的地方,直接上一个 elk 也许能解决大部分的问题;

创业要的是活下来,技术要的是产生价值。 架构会随着业务的发展而不断的演化。


除了眼前的苟且,还有架构与远方。

介绍创业路上的技术选型和架构、大型网站架构、高性能高可用可扩展架构实现,技术管理等相关话题,紧跟业界主流步伐。

qrcode_for_gh_5d3f534e15fe_344 (1)

50天1个亿,不曾到过的世界-创业半年小结

 

2015年过完年,er又打来了电话,从去年开始,已经是第6次了,包包已经会走了,开始学会通过撒娇、大哭达到自己的目的。和er聊了1个小时,答应晚上和夫人商量一下,心已动摇。这个问题和夫人已讨论多次,还是在犹豫,不知是对未知的恐惧,还是对当下的不舍。

最终决定去上海,和er一起创业。梦想还是要有的,万一实现了呢。

选择离开

”橘子红了,是该摘了。“ -- 《橘子红了》

在腾讯的生活充实,有序,领导重视,同事nice,一切的一切都显示得让人无法离开。

创业是选择要未来,而不是现在--冯仑。

这样的当下,这样的现在,真的舍得?

和leader面谈、和总监面谈、和HR面谈、和GM面谈,惭愧,愧疚,不舍……

一切显示如此匆忙,在腾讯的日子越来越少,看着周围的同事都在忙活,心里不免有一些失落……

离别总是别样的风景,在腾讯的682天,2次晋升、3次发文奖励、1次优秀员工,得到了自己想得到的,遇见了自己该遇见的。在腾大7楼退掉工卡,慢慢走出腾讯大楼,回头看去,有些模糊了。

重新启程

”天青色等烟雨,而我在等你。“——《青花瓷》

3.31号,愚人节的前一天,从上海浦东机场转磁悬浮,5站地铁,到了世纪大道,在2号口见到了依稀有些丰满的er,在网上认识很多年,一直未曾见过面,总算见到活的张er。第一次见面,仿佛现实中认识了很多年,是如此熟悉。

到了办公室,略拥挤,er说已经在张罗新的办公场地了,先将就下,研发部20多人,移动开发,后台、前端、设计、测试。已经是下班时间了,还有一半的人在,有新版本准备上线。

之前已经了解过后端的代码了,对于数据库结构及代码基本已经摸清了,后面就是人员的磨合,对具体业务和流程的熟悉,紧张而忙碌。

一晃一月过去了,经历了几次问题,幸运的是最终都得以妥善解决。在此期间日志系统、监控系统、数据监控系统等周边系统逐步上线,一切朝着稳定的方向前进。

新的挑战

”谁的江山,马蹄声狂乱,我一身的戎装,呼啸沧桑“——《菊花台》

搬到新的办公场地,还没有装修好,一切从简。

面对着黄浦江,看着江上船来船往。

有一天,er忽然抬头笑道:你看,这江边有很多树啊

我道:嗯。 

er道:你可知道有多少棵 

我道:三十七棵。 

er的心沉落了下去,笑容也冻结。 

因为他数过江边的树。他了解一个人在数树时,那是多么寂寞。

4月25日,火理财项目正式启动,第4天后台所有接口ready,第8天,iOS版本出企业版,第10天,安卓版上线,创业的速度,创业的激情,狼性的团队,已不再是寂寞。

内测版通过,公测版通过,5月正式上线。

不曾到过的世界

“有的人求名,有的人求利,我求的是什么呢?”  -——《陆小凤传奇》

第1期,1万

第2期,50万 144小时

第3期,100万 14小时

第4期,100万 10小时

……

……

第65期,700万 12小时

到第40期,项目投资总额就已经超过了1个亿。

见或不见,一个亿就在那里,不悲不喜

念或不念,一天700万就在那里,只增不减

跟或不跟,各种问题就在那里,不增只减

这样的一个世界,光怪陆离,不曾到过,曾想过,只是没想过会来得这么快。

手机24小时开机,电脑24小时在身边,快速处理所有发生的问题,我们做的是金融,过手的都是钱,不能有个万一,兢兢业业,诚惶诚恐。

新版快速迭代,两周一个版本,每天后端都有迭代发布,新的规划正在实现,如此滚动……

后记一 关于技术

  • 当业务需要时,使用数据库的最高级别的事务机制保证数据的完整性;
  • 在数据库层面制定好数据约束,即使代码出错最终也不会影响数据;
  • 用户的操作最好在数据中体现出来,确保数据的完整性,关键性操作数据需要有日志类结构存在
  • 如果有第三方接口、服务或数据,在离这些接口、服务最近的地方我们需要有一个完整的日志,忠实于数据的出和入。
  • 初期个人分支开发,主干发布,中后期版本分支开发,主干发布,确保主干的持续可用。
  • 如果可以用人肉临时去解决,而技术要花比较大的成本或难度,那么直接用人去解决吧。
  • 在做方案时需要考虑数据的可追溯,特别是重要数据,简单一点留个操作日志,复杂一些,从数据结构上保证数据的可追溯。

后记二 关于管理

  • 不认同,但是执行
  • 我们要依次管理好人、产品(包括技术)和利润
  • 项目管理方式得看人,员工能力不足管理跟上,员工能力足够可以粗放管理
  • 打工要nice,创业要狼性,一团和气,必然低效
  • 当团队成员能力不齐,有高有低时,需要采用不同的管理方式,对于水平高的要多放手,少跟进,关注结果,对于水平不高的,要排期到天,多跟进。
  • 创业时需要考虑人力成本,以及人的投入产生比,重要的人做重要的事情,让其发挥其应有的价值,不合适的人要早点淘汰。
  • 管理者的分工是让大家更好,更流畅的协同工作,向同一个目标前进。团队成员可以个性鲜明,但是不能让大多数人迁就极个别的人。
  • 上层看问题,下层做事情
  • 管理者的工作:收集信息,决策

最后 招聘

开发经理

我们希望你是:

  • 能cover住20人+的团队的能力,不仅仅是某种技术
  • 能cover住每天上千万的资金流
  • 能够把握住项目的节奏,对项目结果负责

除了开发经理,我们还需要更多的PHP、安卓、iOS、前端、UI、Java、测试。欢迎推荐和自荐,base in 上海。

我的QQ:81894135

数据集合类系统如何架构

数据集合类系统如何架构

以下内容来源于QCon某高可用架构群聊天记录整理

如果携程网想把旅游信息展示到另一平台上 平台和他们的系统数据对接,pull好一些还是post好一些?或者说一个系统只是把好多其他商家的数据集合展示到统一的系统上,这样的系统一般如何架构?

先回答第一个问题:数据对接是pull好一些还是post好一些,这里需要根据实际业务做权衡,如果平台系统很大部分是通过聚合第三方数据再展示,那么比较推荐让第三方post数据,自己设计统一数据规则接口。这种情况,需要考虑自身服务的稳定性了,预防第三方误调用,击垮自身系统。如果只有小部分内容聚合第三方,那就pull,比较好保证自己系统稳定性,不过最终还得把所有的数据转换成自己格式,需要自己开发团队做这块工作。

相比较而言,post时效性高,数据交互少,如果系统会需要各个源的信息,最终也不会只是展示那么简单。如果使用post方案,则需要在接入,数据,读取等方面做隔离,在接入使用mq可以提高吞吐,在读的时候用Cache抗。并且在前期需要考虑好数据存储和数据的量级,因为是第三方的数据,在存储的扩展性方面要有比较好的方案。

最终落地的方案可能是:

按业务隔离,不同的业务相互不影响,拆分子系统;
使用redis和kafka保障高性能,kafka主要一方面用到日志上 一方面用到缓解数据库并发上;
使用nginx和lvs保障高可用;
在后期所有数据进hbase然后用storm做数据流处理和分析

以上这些并不需要一次性做到位,不要过早优化,只需要有一些大的原则,比如隔离,扩展等。小系统会随着业务慢慢演变,最终会变成大系统。在演变的过程中,可能会需要读写分离、业务分布式,分服务,架构就是在这样演变的路上成长起来的。