晚了一年，我也想踏上这一路晚风，主要关注于大模型的应用；

这是一篇受密码保护的文章，您需要提供访问密码：

密码：

一个成熟的标签系统在公司进行到一定阶段，是一定需要有的，这样可以减少大量的重复劳动，然后同时保证公司可以更有效的利用资源，避免各部门重复造轮子，产生较多的人群包。在我理解中，这个系统应该包含几个功能：

标签管理：主要涉及标签树的建立，底层标签的管理

人群抽取&人群配置：主要涉及根据标签生成对应的配置，

查询引擎：主要涉及根据人反查标签，以及根据标签反查人，

人群分析：主要涉及各人群的聚集分析，行为漏斗，行为轨迹分析等等

标签管理，主要解决两个问题，工程上，解决标签按照标准格式录入，策略上，解决标签体系的建立。

工程上主要是涉及到如何通过标准化导入，将不同类型的数据以标准化的形式接入到系统，中间有个中间层做transfer，通过transfer之后，统一以标准化的方式转入数据引擎，同时在标签体系加上一个标签ID，这个标签ID就是我们日常维护标签体系，也是我们日常维护的基础集合。

策略上，如何从建立用户画像这个问题去思考这个事情，首先分为两类，一类是通用的用户画像，包括年龄地域性别等等，另外一类是定制化的用户画像，可以按分APP或者分组的方式来做这件事情。用户画像，这个也可以完整的分享一下。

人群抽取和人群配置，这个是一个页面配置平台，主要是交互的设计，主要操作时如何通过配置的方式将标签的操作生成一个json出来，这个会涉及几块，一块是人群抽取的交互逻辑，一块是任务管理，人群抽取主要解决根据目前已有的标签系统来生成对应抽取的配置代码（包括标签之前逻辑，抽取的频率，标签功能提供出来的方式），之后任务调度根据这个配置来产出人群结果文件，并提供服务；

查询引擎，主要指当我们产出文件之后，以什么样的形式提供给用户，他可以有以下方式，文件，hive表，服务，广告平台的url，主要由两部分组成，一部分是调度系统，通过人群包的配置，把相关的的人群包生成，这一块主要解决的是性能问题，尤其对一些更新频率较高的人群包，解决性能问题是这个事情的关键，第二部分是提供服务，文件，url，表这一块主要是一些调用接口，只是工作量的问题，另外一块是提供线上查询服务，这一块比较难一点，主要是在线性能的问题。主要解决两类问题：

A)    检查某个device是否在指定人群包里，

B)     检查某个device所在的人群包；

A比较好做，应用面也比较广，比如rta的各种查询等等，b可能会有性能的问题

人群分析是第四部分，这一块主要要解决的问题，是如何通过快速的计算，重新聚拢出相同的逻辑出来，这一块的核心关键是把原来的逻辑能够抽象出来，生成以device id维度的底表，在根据底表做一层一层的聚合，从感觉上来说，更加适合用流式计算来做；

以前我是自己写脚本出来做的，但是目前这个场景感觉更加适合流式计算，其实底表做流式是更加合适一点，当然这个是数据平台做的事情，人群包其实主要还是产出一些统计数据，+漏斗数据，用来分析人群的特点；

现在其实是第二个阶段，最近5年，虽然很多事情有了挺大的进步，但是又进入了一个误区了；发现最近5年好像每年都是在原地转圈圈，每年列差不多相似的计划，然后每年也没有怎么执行，一年又一年，时间很快就过了，最近5年看似发生了好大的变化，但是目前来看，还不如之前5年进展快，因为没有多少实质性变化；

你在原地停留的时间越长，你发现自己的进步不是提升了，而是在下降；逆水行舟，不进则退，所以要做新的5年计划；

然后我觉得其中最重要的区别是在于，我没有分阶段来看这些事情，所有的事情都是起个临时计划，然后临时计划做到一半，就不做了，下次又重新开始做新的，所以基本上等于老是在做重复运动，所以还是要按阶段来做事情

光阴似箭，距离工单系统上线6,7个月了，扪心自问，我觉得这个设计并不是特别的好，或者说是比较的糟糕；当时主要有三个问题，第一个是设计了一个系统，这个系统过设计了；第二个是在于人被划走之后，还是选择继续操作，所以导致时长特别长；第三个问题在于当人员减少的时候，没有快速的降低标准，把人招进来，不管在任何场景下，人都是第一位的；

所以我以后就只做两件事么，一个是长远来看有意义的事情（加上方法论），每天都要做一点点，一个是人,人主要是招人，一定要把人放在一个比较重要的位置；

所以工单没啥好总结的，不要过设计，要想一个长期的计划，然后看他的每一步都有哪些亮点，然后逐步去实现他；

营销这个其实也没啥好说的，过去说的都是比较简单的营销系统，裂变什么的一定要搞清楚；其实城市模型，这样也没有什么好说的，无非就是自动化一件事情；所有的事情，都要站在以后ai的角度去看，这样得到的结果可能会更好；什么都想想，如果以后这一个用机器来做了，怎么办；搞一些糙的方法论；

我觉得之后最重要的事情，还是今日事今日毕；

process on

1. 每天早上想5件事，然后当天把这5件事做完，今日事今日毕
2. 给一个3个月目标，一个月计划，然后拆成可执行点，给排期，去做；
3. why,how,what
4. pdca,plan,do,check,act
5. 金字塔，scqa,背景，冲突，疑问，回答
6. 用户价值，商业价值，用户价值，可复制
7. 使命，愿景，多个目标（安全，体验，效率，产品），每个目标的核心问题，每个问题的抓手，基石，团队
8. 数立方
9. 营销，新老用户分层,乘推乘，交接瑞幸，vipkid，ofo，摩拜等的操作手法
10. 运营组织架构，
11. 配置化思想
12. Omega.js abtest
13. 常见机器学习方法kmeans,knn
14. 节奏，终局目标，中间目标，节奏
我的用户价值：
1. 不错的技术功底，从0到1和从1到N的系统都能很快的适应；有技术积累，执行力强，可以很快的搭基础系统；搭建稳定性强；
2. 从技术出发，对产品&业务都有较强了解，可以从更高角度看问题，知道如何用技术能够最快的推动业务
我的商业价值：帮助业务推动产生的价值远远高于我的薪水
我的可复制性：营销+行业

我们那159915的数据，然后根据过去3年的数据，每100天作为一个图像输入，第一个作为基准输入，然后从节点200开始，每20天作为一个时间切片的起始点，来算两段图像的相似度，把距离最短的保存起来，然后用于展示，最后的图像如下图所示；

目前来看，狗绳算法效果稍微好一点；

接下来，我说另一个数据处理一定会做的事，就是归一化，常用的归一化方式可以百度
我这里用的Min-Max Normalization，也就是x∗=(x−min)/(max−min)，这样就把x归到0-1之间去了，这个算法不好的地方，就是一旦有一个极值，数据就不好看了，因为分母特别大；

其他算归一化的方式，还有zscore（x∗=(x−μ)/σ），这是认为数据符合正态分布的；这些实现numpy里面都有，然后得到了下图；


还是有点不像，所以说曲线相似也不好搞，而且股票还有一些问题，因为你不能用全部的股票集来算训练，因为很容易过拟合（想想为啥容易过拟合），我一般做到这里，然后用相似函数作为核函数用kmeans来聚类，或者直接选取几种图形来算相似度，也是解法，
发现字数够了，然后后面的事，我抽空继续写写