设为首页收藏本站|正體中文

天機易學論壇(風水168)

 找回密码
 註冊
查看: 149|回复: 11

浅谈如何通过微调大语言模型建立基本术数模型的方法

[复制链接]
信誉:
好评率:80.00%
差评率:0.00%
质量:4.40分
交流:3.80分
附件:3.20分

浏览他的专栏

发表于 2025-1-17 08:22:40 来自手机 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?註冊

x


AI的时代已来,万物皆可AI。
阿尔法狗早已击败人类的围棋大师,未来的人工智能将全面超越人类历史上各行业的巨匠大师。术数界如何建立人工智能体,小弟认为利用大语言模型微调是当下比较简单的方法。


0人打分
|
好评率:100.00%
|
差评率:0.00%
质量:5.00分
交流:5.00分
附件:5.00分
楼主其他發帖
 楼主| 发表于 2025-1-17 08:54:26 来自手机 | 显示全部楼层
第一步,你得要有一定的计算机软硬件操作能力。你要有一台具有较强算力的电脑主机或云主机,至少要懂得如何将一种大语言模型部署到本地计算机,或者利用云服务在云端部署大语言模型。
估计第一步就会劝退90%以上的易友。
 楼主| 发表于 2025-1-17 08:57:54 来自手机 | 显示全部楼层
第二步,要下载和安装针对你准备微调的大语言模型的各种插件和环境依赖。
 楼主| 发表于 2025-1-17 09:03:44 来自手机 | 显示全部楼层
第三步,你要准备用来训练模型的术数数据集,这步是最为关键的一步,你想让微调模型具备哪方面的推理能力,就要准备哪方面的数据集。这步需要的术数数据集就是小弟之前发帖讨论的统一的术数数据,需要注意的是不要把不同的术数和门派的数据格式混用,不然你将得到一个没用的模型,就像你学了各种门派的技术后感觉更加混乱,一无是处。
 楼主| 发表于 2025-1-17 09:13:15 来自手机 | 显示全部楼层
第四步开始训练,整个过程取决于你的训练数据集的大小和电脑显卡的算力,如果训练一个基本的术数数据集,大概几十分钟就可以了,如果训练稍微高级点的术数数据集,大概也需要几个小时。但是在第三步的数据集准备阶段,你将耗费数十倍的时间。
 楼主| 发表于 2025-1-17 09:15:56 来自手机 | 显示全部楼层
最后一步就是用你训练好的模型进行术数推理,这步就是各位大师熟悉的操作了。
 楼主| 发表于 2025-1-17 09:16:57 来自手机 | 显示全部楼层
最后祝大家玩的开心!
发表于 2025-1-17 10:19:46 | 显示全部楼层
无可避免的大课题
 楼主| 发表于 2025-1-17 11:42:47 | 显示全部楼层

AI在媒体行业早已兴起炼丹之风,这股风什么时候才能刮到传统术数行业,毕竟这才是炼丹的起源地啊。
 楼主| 发表于 2025-1-24 11:17:42 | 显示全部楼层
欢迎对术数模型炼丹感兴趣的易友参与讨论!请多指教!
发表于 2025-1-27 00:51:02 | 显示全部楼层
cnfhy 发表于 2025-1-24 11:17
欢迎对术数模型炼丹感兴趣的易友参与讨论!请多指教!

这一块我一直在研究跟进,其实最大的问题还是语料建立的问题,要有一个根据案例建立完整的COT才行,另外微调不太可取,因为基本的知识注入非常重要,但全调模型会面临算力问题。
 楼主| 发表于 2025-1-30 15:36:08 来自手机 | 显示全部楼层
踏古古 发表于 2025-1-27 00:51
这一块我一直在研究跟进,其实最大的问题还是语料建立的问题,要有一个根据案例建立完整的COT才行,另外 ...

确实如兄台所言,全参数微调需要更大的算力,但是效果未必理想。小弟认为关键还是选择合适的微调方法,以及根据模型的应用场景来制作训练数据集。

本网免责声明|Archiver|手机版|網站索引|百度Sitemap|谷歌Sitemap|天機易學論壇(風水168)

GMT+8, 2025-2-8 04:30

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表