报表系统回忆录

去年前半年的主要工作就是报表系统,整理个方法论,留待以后回忆,整体分为3个阶段:

刚开始的时候,海音提了一大堆的需求,洋洋洒洒好多页,看的我眼睛都花了,直接心情就到了谷底,因为感觉写到年底也很难完成;所以当时做了第一个决定,就是定需求优先级!然后潇洒的砍了一半需求,那个酸爽呀。。不过做起来还是发现比较苦逼,因为还是很多,稍微数数,也有40几张报表,7,8百个指标。。。

接下来就是选型,首先去北京调研大数据的报表方案,稍微研究了一下,发现公司的报表体系由好多个系统组成;于是又花了一个星期的时间去申请权限,摸清楚怎么搞的,最后得出的结论是:这个不行,还是得自己搞。主要的问题无非3个:1、异地沟通,2.做起来慢,3.别人对我们的优先级响应起来不够高,我们的报表是星辰大海。。。数都数不完,用那套系统,大概至少3天才能做一张。。我估计到现在还在吭哧吭哧的写报表;

决定自己做的同时,其实就是要定整个系统的方案了,主要解决两个问题:快速有效的搭建网站系统和报表系统;

最后一番衡量下来,首先网站决定上discuz,当然我自己的系统也可以。。不过考虑到discuz涛哥用的比较熟嘛。。而哥要留点时间思考问题。。所以很愉快的妥协了,权限系统直接用的discuz的用户系统,然后权限接公司;报表系统主要是借鉴了公司的系统,然后做了一个极简版,展现做了展现和存储分离,抽取做了一个统一的抽取工具,因为这两块是相对独立的,不同的报表基本上都一样,至于统计就大家随意了,php,python,java都有,一番倒腾下来,至少项目的前期还是进展顺利的,9月份的时候基本上第一版就上线了,基本解决了各个老板和运营的核心需求;

第二个阶段就比较痛苦了,项目上线之后,引申出一大堆的临时的新需求。。我和涛哥也是不胜其烦,每天都是晕头转向,不知道要做什么。。所以就定了两个事情,写story进行开发以及数据工具,写story被好多人质疑过,确实是放慢项目的进度,但是带来的收益是事情可以预期,也同时增加了更多的思考时间,事实证明这个还是很有效的,后面的几个重要的推动,也发挥了很重要的作用; 另外一个事情是数据工具,主要解决的是把统计分出去的问题,因为2个人毕竟能力还是有限的,最好的还是把很多统计任务给更关注的人来用或者写;数据工具就考虑两件事情,1是降低开发的门槛,2是保证系统的稳定性,前者搞了一堆的事情,比如描述表的结构、沟通培训、预览呀什么的,后者就比较简单了,加一个监控就可以了,超时的sql我都kill掉,这两个一做基本上能保证系统的问题,很多的任务都分出去了,可以做更多策略思考的问题了,到昨天为止,这一块出了250+的报表;

目前要解决的是第三个阶段的事情了,就是解决报表间依赖的问题,这是个基础问题,事件依赖很重要,可以解决重跑的问题,以前的系统基本上都是手动操作,但是实际上当上游出现问题的时候,整个系统都是崩溃的,因为要么全部重跑,局部重跑肯定会漏掉一些报表,所以打算做个自动检查相关依赖的工具,可以自动发现问题并进行重跑;

今年的计划主要是几个,一个是来做机器学习平台,打算花上一年的时间,把机器学习这个事情做细做透,搭一些通用的论坛出来,kaggle做上50道题,人会有一个长足的成长,今年工作的目标是在机器学习基础上打的比较好,会一般的方法论,然后想通运营的方法论,并且推动机器学习和运营方法论的结合,如果有机会的话,做两个基础平台出来;

风控的事情也想做一做,如果补充的话,今年也会搭一个风控相关的框架;

时间的话,上半年做机器学习,代码重构,风控和运营理出文字和图形的方法论,下半年把风控和运营基于机器学习的过程做出来

发表评论

电子邮件地址不会被公开。 必填项已用*标注