人大高瓴

赵鑫课题组

一面

• 6分钟内代码相关项目介绍
• 基础问题
  • 什么是贝叶斯公式、有什么应用
  • 求数组第 $k$ 大数
• 保研和直博意向相关（为什么加入课题组和直博等等）

二面

基础论文阅读

任选下面论文列表中的论文，做一个严格控制在10分钟的展示，重点展示你的思考、猜想、探究等等（内容不限），可以有侧重性，自由选择论文即可。

论文列表（个人归类）：

• 强化学习与复杂推理

  • R1-searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning
  • R1-Searcher++: Incentivizing the Dynamic Knowledge Acquisition of LLMs via Reinforcement Learning
  • DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
  • What’s Behind PPO’s Collapse in Long-CoT? Value Optimization Holds the Secret
  • An Empirical Study on Eliciting and Improving R1-like Reasoning Models
  • DAPO: An Open-Source LLM Reinforcement Learning System at Scale

• 预训练与模型架构

  • Attention Is All You Need
  • LoRA: Low-Rank Adaptation of Large Language Models
  • RoFormer: Enhanced Transformer with Rotary Position Embedding
  • Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
  • DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
  • Mamba: Linear-Time Sequence Modeling with Selective State Spaces
  • How Does Sequence Modeling Architecture Influence Base Capabilities of Pre-trained Language Models? Exploring Key Architecture Design Principles to Avoid Base Capabilities Degradation
  • Beyond Induction Heads: In-Context Meta Learning Induces Multi-Phase Circuit Emergence
  • AttentionInfluence: Adopting Attention Head Influence for Weak-to-Strong Pretraining Data Selection

• 多模态

  • Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
  • DeepEyes: Incentivizing “Thinking with Images” via Reinforcement Learning

• 推荐系统

  • A Bi-Step Grounding Paradigm for Large Language Models in Recommendation Systems
  • Self-Attentive Sequential Recommendation
  • Recommender Systems with Generative Retrieval

领域技能考察

根据组内的研究方向，任选一个或多个（不限）方向的相关材料，我们会针对性地提问。因为要求会略高一些，所以可以不做，根据个人时间和兴趣自由决定即可。

1. 强化学习与复杂推理

   a. 材料：verl代码库 [https://github.com/volcengine/verl

   b. 大致考察内容：ppo，GRPO基本原理与实现；RL时Environment交互实现方法；RL训练指标含义（reward、length等）

2. 预训练

   a. 材料：Megatron代码库 https://github.com/NVIDIA/Megatron-LM；

   PyTorch自定义操作 https://zhuanlan.zhihu.com/p/344802526

   b. 大致考察内容：如果想改进Attention结构，具体应该如何修改；用autograd.Function写一个激活函数是ReLU的FFN，带重计算

3. 信息检索

   a. 材料：RAG Survey https://dl.acm.org/doi/pdf/10.1145/3637528.3671470

   b. 大致考察内容：RAG系统搭建需要什么组成模块，有什么核心的可提升点；如何设计多轮搜索规划流程？（训练时和测试时）

4. 推荐系统

   a. 材料：RecBole代码库 https://github.com/RUCAIBox/RecBole

   b. 大致考察内容: DeepFM，SASRec，LightGCN基本原理与实现；BPR损失原理与实现；推荐训练指标（AUC，NDCG，Recall等）

5. 模型架构

   a. 材料：A Survey on Inference Optimization Techniques for Mixture of Experts Models

   b. 在GPU显存不足以存放完整的MoE的情况下，如何再保证性能和吞吐率的同时，实现加载和推理，请给出几种解决方案

6. 多模态

   a. 材料：Why are Visually-Grounded Language Models Bad at Image Classification?； https://github.com/LLaVA-VL/LLaVA-NeXT

   b. 大致考察内容：如果研究多模态模型的知识边界，应该如何定义问题，设计实验？；如何实现图像编码的any resolution 方法？

许可协议

本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。

分享文章