LLM Platforms
阿里云百炼
Learning
Epoch多大合适？
训练 epoch 数量的选择没有固定答案，主要取决于数据规模、模型复杂度和任务难度。以下是系统性的判断方法和实践建议：
一、常见任务的参考范围
任务类型
典型 epoch 范围
说明
简单二分类（小数据集）
10-50
如文本情感分析（数据集<10万条）
复杂多分类（中数据集）
50-200
如新闻分类（数据集100万条左右）
图像分类（ImageNet）
50-120
需要配合学习率衰减
生成任务（GAN/VAE）
100-500
需要更长时间稳定训练
预训练模型微调
3-20
通常少量epoch即可收敛
二、判断训练是否足够的4个信号
Loss/Accuracy 收敛
当验证集loss连续3-5个epoch不下降（或accuracy不提升）时，可停止训练。
示例：# 早停机制（PyTorch伪代码）if val_loss > best_loss for 5 epochs: stop_training()
过拟合迹象
训练集accuracy持续上升，但验证集accurac ...
MLSys
Learning Roadmap
AI-Infra: ML System学习计划
Machine Learning Engineering Open Book
对大规模机器学习和MLsys感兴趣，学习路线是什么？ - Sunt的回答 - 知乎
重点看这个：ML system 入坑指南 - Fazzie的文章 - 知乎
重点看这个：ML system 入坑指南
机器学习系统研究到底能做点啥 - 魏嘉的文章 - 知乎
我的MLsys学习与秋招之路——写在 AI Infra 大基建的黄金时代 - MisakiQAQ的文章 - 知乎
Course
MIT6.5940 TinyML and Efficient Deep Learning Computing
UCB CS294-162 Machine Learning Systems
CMU10-414/714 Deep Learning Systems
CMU15-884: Machine Learning Systems
Book
《机器学习系统：设计和实现》
方向综述
MLsys各方向综述
目前围绕AI的软件工程领 ...
TinyML: Pruning
Over parameterization helps with optimization and after the optimization we can prune them away. (redundency is helpful for us to get away from local minimum)
Diffusion for Empathetic Response Generation
为DIFFUSEMP寻找创新点可以从以下几个方面入手，结合当前的研究趋势和技术发展，提出改进或扩展的方向：
噪声调度，引入更多控制信号（情感原因、心理技能）
依据
引入更多细粒度的控制信号（如情感原因分析、心理技能、常识知识）作为DIFFUSEMP的改进方向，确实有理论依据和研究支持。以下是对这些方向的详细分析和依据：
1. 情感原因分析（Emotion Cause Analysis）
• 理论依据：
◦ 情感原因分析是情感计算（Affective Computing）和自然语言处理（NLP）中的重要研究方向。情感原因指的是引发某种情感的具体事件或因素。例如，用户说“我很难过，因为我的宠物去世了”，其中“宠物去世”就是情感原因。
◦ 研究表明，理解情感原因对于生成更具针对性和共情性的回应至关重要。例如，Zhang et al. (2021) 提出了情感原因提取任务，并将其应用于对话系统中，显著提升了回应的质量。
• 研究支持：
◦ 在情感对话生成领域，情感原因分析已被证明可以提高模型的共情能力。 ...
Diffusion for NLP
攻略
Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion 2024年了diffusion还有什么可做的？ - ACER的回答 - 知乎
Diffusion LLM 会不会是未来？ - YSUN LIN的文章 - 知乎
diffusion-nlp-paper-arxiv
Diffusion 在NLP方向相关工作追踪(持续更新) - Snail的文章 - 知乎
扩散模型（DM）在自然语言处理（NLP）领域相比大语言模型（LLM）有什么优势？ - Zephyr的回答 - 知乎
思路
基于Diffusion的对话模型确实是一个热门方向，但创新确实需要大量工程和理论工作。你提到的Diffusion Forcing和ICML 2024的最佳论文提供了新的思路，以下是一些可能的方向：
1. Diffusion Forcing
核心思想：通过外部信号引导生成过程，提升生成质量。
创新方向：
对话中的情感控制：利用情感标签作为引导信号，生成符合特定情感的回复。
主题一致性 ...
