MLSys

Learning Roadmap

• AI-Infra: ML System学习计划
• Machine Learning Engineering Open Book
• 对大规模机器学习和MLsys感兴趣，学习路线是什么？ - Sunt的回答 - 知乎
• 重点看这个：ML system 入坑指南 - Fazzie的文章 - 知乎
• 重点看这个：ML system 入坑指南
• 机器学习系统研究到底能做点啥 - 魏嘉的文章 - 知乎
• 我的MLsys学习与秋招之路——写在 AI Infra 大基建的黄金时代 - MisakiQAQ的文章 - 知乎

Course

• MIT6.5940 TinyML and Efficient Deep Learning Computing
• UCB CS294-162 Machine Learning Systems
• CMU10-414/714 Deep Learning Systems
• CMU15-884: Machine Learning Systems

Book

• 《机器学习系统：设计和实现》

方向综述

• MLsys各方向综述
• 目前围绕AI的软件工程领域主要有mlops，mlsys，AI infra，他们三者的区别是什么呢？ - 乌鸡的回答 - 知乎
• Awesome-MLSys-Blogger
• 在“AI HPC”领域中的小算力场景下，有哪些适合作为博士生研究的课题？ - EyeSight1019的回答 - 知乎
• 机器学习系统领域（MLSys）有哪些顶级的实验室呢？ - Hsword的回答 - 知乎
• 【领域论文】软硬件协同设计(Co-design)论文总结 - EyeSight1019的文章 - 知乎
• CNCC｜软硬件协同设计：通往高效智能计算之路 - CCF的文章 - 知乎

AL Infra

• AI Infra入门系列之1: 推荐关注列表 - 古希腊掌管代码的神
• AI Infra入门系列之2: 推荐论文列表 - 古希腊掌管代码的神
• AI Infra入门3: 推荐论文（训练优化） - 古希腊掌管代码的神
• AI Infra入门系列之4: 最新进展清单 - 古希腊掌管代码的神
• AI Infra入门系列之5: 入门项目推荐 - 古希腊掌管代码的神
• AI Infra入门系列之6: 入门项目推荐之二 - 古希腊掌管代码的神

如果你还没确定好方向。我建议你:1、实现一个无锁队列。2、深入学习内存一致性协议。3、计算flashattention的访存比。4、计算一个conv算子的极限访存比。5、学习一个万卡集群的通信协议(nccl)和调度策略。如果你能做到，我觉得Ai infra已经没有你不理解的东西了。