老和山下云儿飞 » 阅读

大模型2023

liyunfei — Wed, 03 Jan 2024 11:19:31 +0000

从前年11月份开始，gpt带来的这股浪潮，我相信最终会把整个业界都完全彻底的改变掉，但是国内其实相对来说，还是落后太多，主流的玩家基本没有；

晚了一年，我也想踏上这一路晚风，主要关注于大模型的应用；

留给以后看

liyunfei — Tue, 24 Nov 2020 08:50:58 +0000

密码保护：抖抖

liyunfei — Thu, 11 Jun 2020 19:26:59 +0000

标签系统架构

liyunfei — Wed, 18 Mar 2020 07:04:18 +0000

一个成熟的标签系统在公司进行到一定阶段，是一定需要有的，这样可以减少大量的重复劳动，然后同时保证公司可以更有效的利用资源，避免各部门重复造轮子，产生较多的人群包。在我理解中，这个系统应该包含几个功能：

标签管理：主要涉及标签树的建立，底层标签的管理

人群抽取&人群配置：主要涉及根据标签生成对应的配置，

查询引擎：主要涉及根据人反查标签，以及根据标签反查人，

人群分析：主要涉及各人群的聚集分析，行为漏斗，行为轨迹分析等等

标签管理，主要解决两个问题，工程上，解决标签按照标准格式录入，策略上，解决标签体系的建立。

工程上主要是涉及到如何通过标准化导入，将不同类型的数据以标准化的形式接入到系统，中间有个中间层做transfer，通过transfer之后，统一以标准化的方式转入数据引擎，同时在标签体系加上一个标签ID，这个标签ID就是我们日常维护标签体系，也是我们日常维护的基础集合。

策略上，如何从建立用户画像这个问题去思考这个事情，首先分为两类，一类是通用的用户画像，包括年龄地域性别等等，另外一类是定制化的用户画像，可以按分APP或者分组的方式来做这件事情。用户画像，这个也可以完整的分享一下。

人群抽取和人群配置，这个是一个页面配置平台，主要是交互的设计，主要操作时如何通过配置的方式将标签的操作生成一个json出来，这个会涉及几块，一块是人群抽取的交互逻辑，一块是任务管理，人群抽取主要解决根据目前已有的标签系统来生成对应抽取的配置代码（包括标签之前逻辑，抽取的频率，标签功能提供出来的方式），之后任务调度根据这个配置来产出人群结果文件，并提供服务；

查询引擎，主要指当我们产出文件之后，以什么样的形式提供给用户，他可以有以下方式，文件，hive表，服务，广告平台的url，主要由两部分组成，一部分是调度系统，通过人群包的配置，把相关的的人群包生成，这一块主要解决的是性能问题，尤其对一些更新频率较高的人群包，解决性能问题是这个事情的关键，第二部分是提供服务，文件，url，表这一块主要是一些调用接口，只是工作量的问题，另外一块是提供线上查询服务，这一块比较难一点，主要是在线性能的问题。主要解决两类问题：

A) 检查某个device是否在指定人群包里，

B) 检查某个device所在的人群包；

A比较好做，应用面也比较广，比如rta的各种查询等等，b可能会有性能的问题

人群分析是第四部分，这一块主要要解决的问题，是如何通过快速的计算，重新聚拢出相同的逻辑出来，这一块的核心关键是把原来的逻辑能够抽象出来，生成以device id维度的底表，在根据底表做一层一层的聚合，从感觉上来说，更加适合用流式计算来做；

以前我是自己写脚本出来做的，但是目前这个场景感觉更加适合流式计算，其实底表做流式是更加合适一点，当然这个是数据平台做的事情，人群包其实主要还是产出一些统计数据，+漏斗数据，用来分析人群的特点；

知易行难

liyunfei — Tue, 07 May 2019 04:08:55 +0000

我年轻的时候犯过很多问题，其中最大的一个问题是自制力不行，所以在一个重复的坑里跌倒了好多次，差不多10年吧，比较坑，也比较扯淡，浪费了人生很重要的10年，那10年我特别痛苦，因为我知道我在犯错，但是我也不知道怎么爬起来，尝试了很多遍，然后最后终于通过一个特别被动的方式来实现了，这种一定不是我想要的方式，

现在其实是第二个阶段，最近5年，虽然很多事情有了挺大的进步，但是又进入了一个误区了；发现最近5年好像每年都是在原地转圈圈，每年列差不多相似的计划，然后每年也没有怎么执行，一年又一年，时间很快就过了，最近5年看似发生了好大的变化，但是目前来看，还不如之前5年进展快，因为没有多少实质性变化；

你在原地停留的时间越长，你发现自己的进步不是提升了，而是在下降；逆水行舟，不进则退，所以要做新的5年计划；

然后我觉得其中最重要的区别是在于，我没有分阶段来看这些事情，所有的事情都是起个临时计划，然后临时计划做到一半，就不做了，下次又重新开始做新的，所以基本上等于老是在做重复运动，所以还是要按阶段来做事情

process on

liyunfei — Sun, 05 May 2019 09:44:36 +0000

参考这个

时间简史

liyunfei — Tue, 04 Dec 2018 11:41:08 +0000

生命在于折腾，这是昨天晚上想的，你说哥本来上海待的好好的，然后跑到杭州来，天天拖着大富富加班到12点多，这是为什么了，还不是折腾自己，折腾别人么；

然后言归正传，我们还是要学点东西的，这个是昨天临时看的，就凑合在这里写吧；

昨天看的文章是时间简史的介绍，主要说了以下几个点；

我们的物理学是定义在一系列公理上面的，而这些公理基本上都是人类观察的结果；所以最开始，我们是从天圆地方到地球是圆的都是观察的结果；再到牛顿的那个时期，我们观察宇宙认为是静止的，但是我们又观察到一个现象，我们发现从遥远的星球来的光，是有红移的，红移就是说光谱的波长会变长，表现为在光谱上会向红外线那边移动；这个物理现象，之前一开始是没有办法解释的，但是后面有人说了个例子；比如说一个气球，在上面画两个点，然后吹气球，然后随着气球的增大，球面的两个点是距离越来越远的，这个例子，其实想说的是，红移其实说明的是我们的宇宙不是静止的，我们的宇宙是在膨胀的；

在这个基础上，提出了一个新的观点，就是我们的宇宙最开始是一个奇点生成的，由这个奇点膨胀为今天的宇宙，所以开始宇宙是很热的，而今天宇宙是很冷的，基本是接近于绝对0度，这是解释今天宇宙生成的最主流观点；刚开始其实是没有人承认的，因为即使证明宇宙是膨胀的，宇宙诞生也有很多种解释方法；霍金最重要的一点，就是他用广义相对论等理论证明了大爆炸的观点，并让他成为当前的主流观点；就是宇宙来源于一个体积无限小，密度无限大的点；

在霍金在证明了这个理论之后，他又想了一个新的观点，叫做无边宇宙理论；这个和大爆炸是有一定歧义的，目前也还是在讨论中；主要的观点是认为在接近奇点或者奇点的时候，我们的目前的科学理论是不生效的，所以大爆炸理论在这种场景下，其实是有一定疑问的；比如奇点之前是什么，所以科学家很多人都相信神学的，因为确实是很难解释的，科学家也没办法去解释；所以又提出了另外一个理论，叫做无边宇宙理论的；因为大爆炸说的是我们的宇宙是边界的，但是有一些莫可名状的理论，宇宙是没有边界的；举个例子，从一个点开始，我们一直往一个方向走，按理说是越走越远的；但是如果在地球走，最后是会走回来到同一个点的；宇宙如果是这样，你一直往一个方向走，会不会也能走到过去去呢？这样的话，他其实用二维的来讲，是不是就是个环，只是在4维或者5维的角度上去看问题了，在这种场景下，是不是就不一定要一开始收缩到一个奇点，因为我们可能就是一个圆；

最后一个点，是说黑洞的，我们的星球之所以稳定存在，是因为对内有引力，对外有斥力或者爆炸的冲击力，当恒星内部的能量烧完了之后，就会受到引力作用收缩；随着质量的大小，会缩小成白矮星，中子星和黑洞；既然黑洞连光都跑不出去，质量无限大；但是根据热力学第二定律，有温度的物体都会向外辐射，那黑洞连光都跑不出去，他的辐射在哪里；所以提出了一个霍金辐射；就是在黑洞边缘的真空地带，有一些粒子是一部分是被黑洞吸进去，另外一部分释放出去，看起来就像辐射了；

其实最后一个我也不太明白，就不多说了；总结一下，本文主要讲了以下几点，第一个宇宙是奇点大爆炸生成的，第二个无边宇宙定论，第三个是黑洞辐射；相关内容，抽空再百度研究一下，：）；

海盗精神和黄金圈法则

liyunfei — Fri, 24 Aug 2018 05:47:15 +0000

最近听了一些讲苹果的文章，有一些和我自身的想法是一致的，还有一些和我的想法是不一致的，但是不管怎样，我在这里都分享出来，希望对大家有帮助；

在苹果的早期，有一个黑色星期三的事件，讲的是当时的ceo在下午的时候，看到有30几个人在外面闲逛，然后他觉得这些人无组织无纪律，工作时间闲逛，就一股脑把这30+人全部开了，因为发生在周三，所以称为黑色星期三，这个事情影响很大，最后包括开除这些人的ceo，也被离职了；这件事是讲这篇文章的引子，因为后面乔布斯在苹果的时候，感觉随着苹果规模的增大，大公司的气氛越来越严重，大家更像是海军，规模化，体制化，但是没有生气，没有创造性；乔布斯不喜欢这种状态，他希望团队更有创造性，所以他想了一个方案，就是海盗精神，因为海盗是没有保障的，自由的，拼搏的去完成目标的，同时海盗对每个人的要求更高；他觉得海盗精神是更适合苹果的，我理解的海盗精神的制度主要是几点：
1.让团队更加的扁平化，支持小团队；
2.每个小团队会追求自己的个性，向往自由，鼓励创新；
3.让团队更有挑战性，同时带来更强的团队凝聚力；
海盗精神追求的不是平凡的团队，一定是优秀的团队

另外一个法则是黄金圈法则，他讲了一堆的废话，这里主要总结一下，我们大部分人做事的时候，做事就是做事，这是一个do what的过程，这个过程是一个执行的过程；我是不建议大家都去做执行者，在what更高一点，是how，就是我们怎样做这件事，这个比what会更好一点，因为我们知道通过什么样的方式去改进他，其实是想办法的过程；在这个阶段再高一点，是why,就是为什么，我觉得这是大家可以都去学习的方向；我们在做任何事情的时候，应该先想想为什么要做这件事的原因，因为只有了解了这个原因，才知道我们的出发点是什么；

举个例子，介绍人说他之前公司给实习生派了一个任务，让他去学校里发传单，如果只是个工作的话，他可能就是在学校门口使劲发传单，发完就结束了，这样的效果不能说不好，只能说他挺好的完成了任务，但是实习生怎么做的，他首先想发这个传单的目的是什么，发现是校园招聘会，在这个原因下，那我们的目的其实是招人嘛，那怎么办呢，他找到校园负责招聘的老师，让他们帮忙协助处理；又找到专门招聘的地方，在门口放了一些；最后发现当次招聘会的效果会好很多；

这个例子就是一个典型的想想为什么，再想怎么做，最后做的例子，相信对我们的工作会有比较好的指导意义；

最后总结一下，主要讲两个，一个是希望我们通过小团队，开发、自由、努力的方式，去增加团队竞争力；第二个是希望我们做事之前，先想为什么，再根据为什么去想怎么做，最后完整的执行；希望对大家有帮助；

梦幻西游杂谈

liyunfei — Fri, 24 Aug 2018 05:46:07 +0000

从开始玩梦幻西游已经是03,04年的时候，到最近又开始玩，这个游戏已经经历了14-15年的时间，作为网易一直以来最赚钱的游戏，也可以说是网易这10几年来的命脉，其实梦幻西游已经是非常经典的游戏了，游戏设计可以好好看看；

1. 第一点，他的用户分层做到了极致，在这个系统里，不管你是花几千块还是几十万，还是不花钱，都在里面有自己的位置；而为了做最细致的用户分层，他把用户分成卡69，89,109三个级别的选手，每个级别又用装备、修炼、法宝、宠物等等将用户分成不同的层级，而为了混的稍微好点，比如我来算个帐:在69，你如果想在日常活动有所收获，点修，点宝石，点法宝，这三个点完，差不多就是500万金币，一个神兽+打书大概500万金币，其他几个配速宠物，隐攻，法宝宝，大概300-400万，装备一套普通的300-400万金币，上简易的话，500-600万，加起来大概2000万金币，你就可以成为69级别的每周活动的入门用户了，也就是可以和大家一起玩活动，而如果没有，日常没问题，活动的话，大部分情况都是属于别人不带你玩，或者就算你进去，也是炮灰，会带着大家一起团灭的角色；然后2000万大概对应多少钱了，差不多2万人民币左右，也就是充了2万块，你在69级别里面可以作为入门选手了，在冷门的门派，比如狮驼可以排前50，热门门派比如大唐，至少也是100以后了，当然你不花钱也是可以玩的，按每天可以赚个2-3万金币来看，差不多2-3年的勤奋努力，你可以成为这里面的一员，当然你在这中间的所有阶段，这些都是可以玩的，只是会根据不同的活动，有不同的挑战性；而89和69比，大概也就是4倍的差距，也就是89差不多10万起，109差不多50万起。。。梦幻西游15个门派，每个门派有top100,简单算，69级排名用户就是15*100*2w=3000w的收入,89就是1.2亿，109就是5亿，尾部所有炮灰加起来差不多还能翻个倍，头部大概还能多贡献个50%，所以一个服务器的生命周期就有（0.3+1.2+5）*（1 + 1 +0.5） = 16亿的收入。。。这么高的收入，我们按15年梦幻西游手游开始来计算，半年流水大概60亿，开了80个区，按等级限制，差不多就是80个69满级别的服务器，就是（0.3）*(1+1+0.5)*80=60亿，基本符合预期，而随着16年，大部分服务器进入89级满级和109满级的状况，16年就是高峰，根据用户衰退，17年就会开始逐步降低，这个从网易的财报就可以看出，基本是符合预期的（不过以上纯属拍脑袋，不经过任何思考）

2. 金融系统做的贼溜，所有的游戏都是亡于通货膨胀，梦幻西游是唯一几个没有出现膨胀的游戏，其实像王者荣耀都是一样（很快就会发现钱没啥用），梦幻西游里面的钱一直都是很稀缺的，不管是开服1个月还是开服1年。。
3. 排行榜，这个深度刺激我不断的升级装备，修炼，法宝啥的。。。
4. 自动和手动错开（日常的都可以自动，要获取装备的都得手动），日常是自动解决的用户懒的问题，活动都是手动，任务都有一定的挑战性，不仅是装备上，还有技巧上也是不小的技巧；
5. 社交，帮会是强社交系统，通过和活动的结合，基本一个帮派的人员在日常都会有或多或少的沟通；
6. 活动设计不错，既考虑了合作，又有个人独立的活动，比较多姿多彩，分为固定活动和节日活动，类比于当前的营销，有比较强的认知性，而且活动的奖品大部分都是消耗品，不太会产生通货膨胀；
7.其他像秒杀，抽奖这些我就不说了，属于运营最基本的要求

2,3,4,5,6基本上都是根据人的弱点来设计的，不过大部分的运营也是根据这些来设计的；其实之前看过一篇文章，游戏运营是所有运营最牛逼的方向，不管是用户分层还是活动设计，还是功能设置，还是用户粘性，都是往极致里做，而梦幻西游作为经典的经典，有太多可以学习的地方了，这样看来，我打算过段时间，再认真的研究一把，看看对一个完整的营销系统是否有祝益；

客服系统设计

liyunfei — Thu, 22 Mar 2018 08:19:31 +0000

本周的比赛内容是客服系统设计，所以这次文章我们就写一下这个系统；

这个系统简单理解了一下，大概分为3个部分：
1. 线下的mis管理：主要涉及问题的输入和答案的编写
2. 线上的展示，主要涉及问题按分类进行输出，已经点赞等功能的支持
3. 自动答复功能
第一部分:faq的后端mis管理，主要是由两个表组成，主要是分类和问题编写，分类是多级的，主要考虑到之后可能会用在多个业务线，以及问题会属于不同的类目，方便进行筛选；

第二部分:faq的前端展示，主要是模板的编写，页面根据mis管理功能进行展示，然后以及一个点赞功能；

前两部分基本上都是一些数据表的增删改查，我就不在这里细说了，主要说第三部分的事情；

第三部分是自动答复功能，主要由3个模块来构成，分别是语义解析，后端搜索，排序截断这三个功能（因为时间有限，所以比较简单）：
语义解析主要是涉及到一个切词的功能，这个开源的切词模块都有，百度也有，切完之后，将高频词什么的都删掉，留下一些特征比较明显的名词或者形容词，另外这个切词的模块，最好自己用训练集训练出来，这样的话得到的结果会更加优美；

根据第一块切出来的词，我们会将这些词去做一个检索功能，检索功能是分开的，一部分是建索引，另外一部分是查询，建索引的操作和语义解析类似，其实也就是把问题和答案进行切词，把高频词去掉，留下特征词，可以根据需求，判断索引key的长度，最好是不要建单个字的索引，那样的话找出来的结果非常不好，建立好索引之后，查询这里的功能其实就是把各个切词拿出来的结果做个merge返回给前端；

第三个模块是排序和截断，排序主要是用来判断相关性什么的，另外还可以根据这个回答的点赞数，优先级进行加权平均，另外考虑到用户的个人属性，还可以把用户之前问的问题，做切词来进行查询做一个补充；根据排序会做一个截断，返回3-5条的答案返回回去，并给用户一个反馈的功能，好或者不好，用来优化下次功能；

这三部分做好了之后，一个基本的faq就做出来了，剩下的就是一些问题的补全等等；除此之外还可以接入一个聊天机器人，当后端能回答的用faq，不能回答的用人工，其他场景下用机器人

时间有限，就写这么多了；