大模型术语人话版:把LLM当成一个打工人
前言
大模型一年之内名词井喷:预训练、SFT、RAG、多模态、Agent……每个词都认识,连起来就看不懂。这篇用一个人话版的比喻把它们串起来——把大模型当成一个打工人,你会发现所有概念都顺理成章。
一、模型本体:这是个什么样的打工人
大模型:一个替代人来打工的打工人。知识工作者他基本都能替代——设计师、客服、文员,顶多缺点创意;体力活也能干,但需要一副好身体(机器人硬件)。
……一位Java开发者,喜欢研究技术,同时也在学习Golang和Python中,对服务器、Linux使用比较熟悉。欢迎添加技术交流QQ群:655158296
大模型一年之内名词井喷:预训练、SFT、RAG、多模态、Agent……每个词都认识,连起来就看不懂。这篇用一个人话版的比喻把它们串起来——把大模型当成一个打工人,你会发现所有概念都顺理成章。
大模型:一个替代人来打工的打工人。知识工作者他基本都能替代——设计师、客服、文员,顶多缺点创意;体力活也能干,但需要一副好身体(机器人硬件)。
……因项目需要,整理下mysql迁移postgresql的常用工具搜集
开发的pgloader是一个mysql迁移到pg的工具,性能和表现都良好,开发和测试环境迁移已经验正,github地址: https://github.com/dimitri/pgloader
|
|
执行迁移,观察日志没有报错正常结束即可
……手上一批老服务还跑在 JDK 8 上,Oracle 的免费更新早就停了,趁着最近有空把几个服务迁到 21 试了试,过程不算复杂,但坑主要在两个地方:老参数会直接启动失败,还有依赖库的字节码兼容。把迁移过程和注意事项记录下,方便后来者。
站内 tomcat-jvm 那篇有 JDK21 的参数对照,oom 那篇有 OOM 新旧形态对照,这篇侧重怎么迁。
……Python 里到处都是双下划线:__name__、__init__、__all__、__getattr__……刚学的时候只知道 if __name__ == '__main__' 这么抄,不清楚背后的整套设计。这篇把双下划线家族(俗称 dunder,double underscore 的缩写)按用途全面整理一遍,每个都带小样例,有版本要求的标明版本。
先给个总原则(PEP 8 的原话):__xxx__ 这种前后双下划线的命名权属于 Python 解释器,自己写类不要发明这种名字,想表达内部属性用单下划线 _foo 或者双下划线前缀 __foo(后面讲它的改写机制)。
6月16日晚,一位朋友咨询说私有云机房服务器有占用cpu比较高的进程无法kill,我通过向日葵远程跳板机分析了下,发现一些不同于以往挖矿病毒有趣的现象,总结下
初步筛查,发现crontab、top如其他挖矿病毒差不多
初步看进程名kthreaddk,这个挖矿的进程名挺像内核进程kthreadd,但是系统内核进程不太可能cpu占用异常,就继续往下检查
查看crontab,发现异常,结果多次执行,发现路径会变……,总结下规律,发现一直在/dev/cpu/、/dev/mapper/、/dev/disk/、/dev/一直出现在这几层跳跃
单人项目里 git 怎么提交都行,团队协作时就需要约定:commit 怎么写、分支怎么建、一台机器上公司账号和个人账号怎么共存。这篇把这几件事一次说清。
commit 一共由五部分组成:
(1)type:提交类型
feat: 新功能fix: 修复问题docs: 修改文档style: 修改代码格式,不影响代码逻辑refactor: 重构代码,理论上不影响现有功能perf: 提升性能test: 增加修改测试用例chore: 修改工具相关(包括但不限于文档、代码生成等)deps: 升级依赖(2)scope:修改文件的范围(包括但不限于 doc、middleware、core、config、plugin)。
……因公司项目加班,跟开发、测试同学差点通宵,也不幸羊了,发现周边的人几乎羊了个遍,最后还是没苟住进决赛圈,修整一段时间…
……git如果碰到敏感信息提交,需要清理历史提交记录,在不删库的前提下,如何亡羊补牢呢?可以用下面的重写分支操作清理提交历史记录
|
|
python多版本管理工具整理介绍
| 序号 | 工具名称 | 安装方式 | 说明 | 备注 |
|---|---|---|---|---|
| 1 | pyenv | curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash | 比较早出现的 python 多版本管理工具,目前不太活跃了 | |
| 2 | virtualenv | pip install virtualenv | 通过创建虚拟机方式管理 | |
| 3 | anaconda | https://repo.anaconda.com/archive/ | 带了很多科学计算包的发行版,包含conda | |
| 4 | miniconda | https://repo.anaconda.com/miniconda/ | 不带科学计算包的mini版本,只有python和conda | |
| 5 | miniforge | https://github.com/conda-forge/miniforge | miniforge是由社区赞助、领导的,并且用GitHub托管所有的包,使用 (而且只用)conda-forge 作为(默认)下载channel,避开了Anaconda的repository | - |
|
|
|
|
|
|
|
|
|
|
虚拟环境不会在当前环境下创建虚拟环境目录,所有的虚拟环境目录默认放在:/root/anaconda3/envs/
……springboot日常使用中有一些兼容性的错误,有时候没遇见过会让人无法摸到头脑,这里记录一些问题,后续不定期补充
因为更换了数据源才发现并记录,之前用的是mariadb8正常,换了docker mysql8就报错,不过为了减少无法定位的错建议采用完整的url连接串。
|
|
原因:
spring.database.url连接串需要增加useSSL=false