首页

持节云中，何日遣冯唐？会挽雕弓如满月，西北望，射天狼。
— 苏轼

近日适逢求职，回望历代宦海沉浮者，但逢不如意时，或醉卧瑶台，或舞文弄墨；我既不善饮酒，又苦人工智能时代更迭变迁，渐而手无缚笔之力，思量良久而无从写起。不知为何，时常夜深忽梦少年峥嵘岁月，尝思是否能够坦荡而对昔日之我。今重拾纸砚，作此序以自勉，十年饮冰，难凉热血，当仿东坡、稼轩之不坠青云之志，末效乐天之幽愤而终。

# 面试经历

# 腾讯：

# 8.21 一面

  • Attention 架构公式，为什么要除以根号 d，cross-attention 和 self-attention，Attention Mask 有哪几种
  • 场景：包含多种用户，视频等的社交与用户偏好网络，当新用户与新视频进入时如何准确为用户画像与推荐视频
  • 代码题：数组的最大能被 3 整除的子数组和

# 8.27 二面

  • 项目对 Out-of-distribution 的理解，真实场景中不同地域背景的分布外数据如何处理
  • 项目对分子结构与大模型输入对齐的理解，对齐的只是分子的表征，没有自然语言含义的合理性
  • 项目的 Loss 函数，训练目标等

二面挂

# 9.15 一面

  • 检索增强的方式
  • 大模型后训练的方式，使用的是什么方式（SFT），对强化学习方法（RLHF，PPO）后训练大模型的理解
  • 市面上具有代表性的多模态大模型，多模态大模型的架构
  • 生数科技实习的经历

一面挂

# 9.22 一面

  • 项目中大语言模型的角色感不强，什么场景下能够体现大语言模型的能力
  • 目前解决构建全领域（AI4Science）多模态大模型主要的瓶颈
  • 接触过 Agent 相关的一些工作和辅助道具
  • Agent 大模型的 Eval
  • 执行轨迹评估
  • 对 LLM，Graph，Diffusion Models，RL 的了解程度

一面挂

# 10.9 一面

  • 项目中 Neural Architecture Search 为什么可以称之为一个 Search
  • 图神经网络如何得到具体的图表征
  • 代码题：由外到内输出一个矩阵的数（顺时针）
  • 代码题：给定一个升序数组，它在未知的点上发生了旋转，如何在 O (logn) 时间复杂度下找到目标值
  • 介绍一下 GRPO 的机制和损失函数

# 蚂蚁：

# 9.24 一面

  • 项目提问：神经架构搜索为什么能解决 OOD 问题
  • 现有的基础大模型主要有哪些架构
  • 图像与视频编码的模型，如 ViT，VQ，VQ-VAE 等
  • 基础大模型中的 Positional Encoding 有哪几种，例如 context length 从 4K 扩展到 16K 的时候如何处理这种 Positional Encoding
  • 什么是 Sparse Attention，什么是 Linear Attention，和 Causual Attention 的区别和联系
  • 手撕 Multi-head Attention
  • 什么是 GQA，MHA 修改到 GQA 需要怎么修改

一面挂

# 元理智能：

# 10.8 一面

  • Instruction Tuning 为什么能够激活 LLM 的垂类能力
  • 项目的大模型实际运用过程中如何进行 RL 的扩展，有什么难点
  • 为什么使用文本的形式输出一个数值，而不是在最后一层接入 MLP 输出
  • 使用 CoT 进行最终分数输出的推理是否有 Ablation Study
  • Agent 相关的工作如何扩展到更复杂的业务场景

# 10.9 二面

  • 如何保证其中的 Projector 能够得到充分的训练
  • （没什么印象了，好像就问了这一个，何意味）
更新于