深入理解 Self-Attention 与 FFN (Transformer 核心)
1. 简介 在自然语言处理与推荐系统中，Transformer 已经成为了主流的骨干网络。它的核心在于两个关键组件：自注意力层 (Self-Attention) 和 前馈神经网络 (Feed-Forward Network, FFN)。 ...
Posts
我的第一篇技术博客：从零搭建个人履历网站
大家好，我是刘时宇。 这是我的第一篇技术博客。为了在寻找推荐系统或后端研发相关实习工作时，能够更好地展示我的技术积累和实验室经验，我决定使用 Hugo 和 GitHub Pages 快速搭建了这个个人博客。 ...
机器学习 & 大模型微调 面试八股文完整指南 涵盖 传统机器学习 和 LLM Post-Training 微调 两大核心板块，适用于算法工程师 / AI 工程师面试准备。 第一部分：传统机器学习 一、核心基础概念 1.1 监督学习 vs 无监督学习 vs 半监督学习 类型 定义 典型算法 监督学习 训练数据有标签（输入-输出对） LR、SVM、决策树、随机森林、XGBoost 无监督学习 训练数据无标签，发现隐藏结构 K-Means、DBSCAN、PCA、GMM 半监督学习 少量有标签 + 大量无标签数据 标签传播、自训练 强化学习 智能体与环境交互，最大化累积奖励 Q-Learning、PPO、DQN 1.2 偏差-方差权衡（Bias-Variance Tradeoff）⭐ 超高频 偏差（Bias）： 模型预测值与真实值之间的差距。高偏差 = 模型太简单 = 欠拟合。 ...