炼数成金 门户 培训 查看内容

《AI技术前瞻:Mamba》

2024-1-30 09:50| 发布者: 岸岸| 查看: 4783| 评论: 0|原作者: 岸岸

快速报名入口
      2018年transformer诞生后,迅速成为各种大模型的基础结构,于是有了ChatGPT,有了以AGI为最终目标的快速发展。但受限于transformer对算力的要求,以输入token序列的长度的平方为增长级数。因此它无法处理超长序列。像ChatGPT目前文本长度限制为32k。对于纯文字,当有很多个回合的对话时,会突破这个上限。对于多模态的情况,高分辨率图片,一段音频、视频可能就轻易突破这个限制了。对于科学应用,对人的基因进行全序列测序会形成数G数据。以上序列,如果截断成短的片段,又难以捕捉长程依赖,这类问题,一直是序列型数据处理的核心困难所在。

      炼数成金新课程中的“AI技术前瞻”系列,捕捉当前技术热点,这些技术犹如当年的transformer,我们判断对将来的技术发展方向可能有重要的影响,在当下应用可以带来算力效率、结果准确度等方面带来优势,进行持续长远的研究,可能有积跬步成千里,滴水石穿的效果,给场景和基础结构带来革命性的突破,犹如transformer之相对于ChatGPT和AGI。本课程涉及的mamba,是由斯坦福和卡内基梅隆发起的项目,起源于SSM(状态空间模型),其演进过程深刻而简洁,让人拍案叫绝。可以极大降低所需要的算力,同时又能处理困难的超长序列问题,目前普遍被业界看好,认为是transformer的潜在替代。其作者已经开设了创业公司,围绕mamba研发新一代大语言模型,与OpenAI及一众行业巨头掰手腕。通过了解mamba,我们可以对大语言模型的核心问题有更深刻的理解,为创新应用场景和基础设施做知识准备,这是值得学习,并向同事、上司、老板、同行们炫耀的技术知识。

课程亮点:
1 详细剖析transformer原理和优缺点2 深度讲解mamba的前世今生(目前市面上还没见到有能深入讲解的同类课程)
2 应用实际部署,代码实战
3 提供A100服务器和其它充足的算力资源作为实验支撑

课程大纲:
第一章:序列型问题,RNN,LSTM与Transformer
1 从金融数据到自然语言处理,从语音分析到视频生成,序列型数据无所不在
2 循环神经网络RNN及其硬伤
3 LSTM
4 几乎解决所有传统难题的Seq2Seq,注意力机制
5 AGI的基石transformer与自注意力详解

第二章 flashattention
6 transformer和自注意力的算力瓶颈
7 利用硬件特点的优化
8 flashattention9 flashattention2

第三章 从SSM到S4
10 状态空间模型
11 连续形式的神经网络
12 HiPPO
13 SSM升级版S4

第4章 mamba
14 超长序列一直是序列型问题的核心困难。完整音视频,DNA等超长序列并不适用于transformer去解决
15 S4的梦幻版升级mamba
16 mamba实战:构造大语言模型与聊天机器人
17 用统计学的观点重新审视SSM到mamba

授课时间:
课程将于2024年03月16日开课,课程持续时间大约为5周。

授课对象:
深度学习,对大语言模型有初步认知的朋友

课程所需环境及软件版本:
python 3.x

收获预期:
熟练掌握mamba原理,代码,部署,并应用到实际问题中。实际上所有用transformer完成的项目都可以平替为mamba试水一下

讲师简介:
tigerfish,知名数据库网站ITPUB创始人,知名数据分析网站炼数成金创始人。数据库专家,数据分析专家,有丰富的IT领域、数学领域的知识经验。他将带领他的数据分析团队完成整个授课工作。

学习形式及报名须知:
新颖的课程收费形式:“逆向收费”约等于免费学习,仅收取100元固定收费+300元暂存学费,学习圆满则全额奖励返还给学员!

本门课程本来打算完全免费,某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动,为了防止一些朋友在学习途中半途而废,浪费了讲师的付出,为此我们计划模仿某些健身课程,使用“逆向收费”的方法。
在报名时每位报名者收取400元,其中100元为固定 收费,另外300是暂存学费,即如果学员能完成全部课程要求,包括完成全部的书面和互动作业,则300元全款退回,优秀的学员还可以获得礼品奖励。如果学员未能坚持到完全所有的学习计划任务,则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力!

课程授课方式:
1、 学习方式:老师发布教学资料、教材,幻灯片和视频,学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、 学习作业:老师每周布置书面及互动作业,学员需按时按质完成作业。
3、 老师辅导:根据作业批改中发现的问题,针对性给予辅导,帮助大家掌握知识。
4、 结业测验:通过测验,完成学业。

您是否对此课程还有疑问,那么请 点击进入 FAQ,您的问题将基本得到解答
全国统一咨询热线 4008-010-006


课程现开始接受报名,报名方式
网上报名 请点击 本页上方报名入口
咨询Email :edu01@dataguru.cnedu02@dataguru.cn
课程入门讨论咨询微信群:(群内将会不定期分享炼数成金内部学习资料)


技术热点、 行业资讯,培训课程信息,尽在炼数成金官方微信,低成本传递高端知识!技术成就梦想!欢迎关注!
打开微信,使用扫一扫功能,即刻关注炼数成金官方微信账户,不容错过的精彩,期待您的体验!!!



快速报名入口

 

GMT+8, 2024-4-27 14:46 , Processed in 0.306949 second(s), 34 queries .