+ 计算集群通常分为登录节点和计算节点. 为了数据安全，通常只有登录节点有网，而计算节点没网。
+ 可以使用```module load xxx```来加载一些软件的环境包.
+ 使用sinfo查看可用的计算节点
![](https://ys.al/static/img/59cdf6b28f87354b4eed24112215dbf6.image.webp)
+ ssh连接上的一般是登录节点，可以使用sbatch或者srun提交作业. srun是交互性的命令, sbatch是批处理命令
+ 一个sbatch脚本案例:
```bash
#!/bin/bash
#SBATCH -o job.%j.out 
#SBATCH -p gpu
#SBATCH -J train_test
#SBATCH --nodes=1 
#SBATCH --ntasks-per-node=1
#SBATCH -G 1
#module load miniconda
#module load cuda/12.2
nvidia-smi
```
解释:
```bash
-p 即计算节点的分区
-o 计算作业的输出重定向到哪个文件
--nodes 一共需要几个节点
--ntasks-per-node 一个节点几个人物
--G 需要几张显卡
```
+ 也可以使用srun:
```bash
srun --gres=gpu:1 --pty xxx
```

高性能计算集群使用指北

# 强化学习基本组件
+ Actor 你的策略 (一般来说你只可以控制这个)
+ Environment 环境
+ Reward Function 奖励函数



# Policy Gradient 学习Actor
+ 策略Policy一般用$$\pi$$表示, 用$$\pi_\theta$$来表示参数为$\theta$的策略
+ 策略的输入通常是对环境的一个观察，输出是动作的概率分布
+ 我们可以这样建模一次完整的轨迹Trajectory(也许是你玩游戏的一次通关过程)
    + $s_i$ 第i次的环境状态
    + $a_i$ 第i次针对$s_i$采取的动作
    + $\tau=${$s_1$,$a_1$,$s_2$,$a_2$,...}就建模出了一个轨迹
    + $p_\theta(\tau) = p(s_1) p_\theta(a_1|s_1) p(s_2|s_1, a_1) p_\theta(a_2|s_2) p(s_3|s_2, a_2) \cdots = p(s_1) \prod_{t=1}^{T} p_\theta(a_t|s_t) p(s_{t+1}|s_t, a_t)$
+ 在轨迹的中间可能会有Reward, 我们将这条轨迹上的所有Reward相加就是这条轨迹的总Reward, 称为$R(\tau)$
+ 很显然，我们想优化参数$\theta$下的所有轨迹的期望Reward, $\overline{R}_\theta = \sum_{\tau} R(\tau) p_\theta(\tau) = \mathbb{E}_{\tau \sim p_\theta(\tau)} \left[ R(\tau) \right]$
+ 如果我们对$R_{\theta}$求梯度
$$
\nabla \overline{R}_\theta = \sum_{\tau} R(\tau) \nabla p_\theta(\tau)
= \sum_{\tau} R(\tau) p_\theta(\tau) \frac{\nabla p_\theta(\tau)}{p_\theta(\tau)}
$$

$$
= \sum_{\tau} R(\tau) p_\theta(\tau) \nabla \log p_\theta(\tau)
$$

$$
= \mathbb{E}_{\tau \sim p_\theta(\tau)} [R(\tau) \nabla \log p_\theta(\tau)]
\approx \frac{1}{N} \sum_{n=1}^N R(\tau^n) \nabla \log p_\theta(\tau^n)
$$

$$
= \frac{1}{N} \sum_{n=1}^N \sum_{t=1}^{T_n} R(\tau^n) \nabla \log p_\theta(a_t^n | s_t^n)
$$
+ 从而通过$log$的求导性质，我们将一个求和的期望变成了概率分布下的和，从而可以用蒙特卡洛等方法来获取奖励，而不用每次求Reward都遍历所有轨迹
+ 更新时我们就使用$\theta \leftarrow \theta + \eta \nabla \overline{R}_\theta$更新即可
# Policy Gradient的一些可能问题及解决方法
### 1
+ 假如所有的Reward都是正的, 那根据上述式子，我们会根据梯度增大所有采样到的$p_\theta$的值。 但是，没有采样到的动作的概率就会下降，但也许没有采样到的动作更好.
+ 所以我们可以对于Reward设立一个Baseline，采样到的Reward减去baseline再代入到式子中：
$$
\nabla \overline{R}_\theta \approx \frac{1}{N} \sum_{n=1}^{N} \sum_{t=1}^{T_n} \left( R(\tau^n) - b \right) \nabla \log p_\theta(a_t^n | s_t^n)
\qquad
b \approx \mathbb{E}[R(\tau)]
$$
这里的$R(\tau^n) - b$被称为优势,Advantage,用A表示
### 2
+ 如果以轨迹为单位来分配Reward，一条轨迹上的所有动作的Reward都相同, 不利于细粒度的优化. 实际上，通常一条轨迹上的不同动作的贡献都是不同的. 我们可以采用每个动作的奖励是这个动作的所有Reward之和.
![](https://ys.al/static/img/88d79c9a13a0b1d25d8661c4c53cffab.image.webp)
+ 当然, 第一个动作可能不会对最后一个奖励产生特别大的影响, 所以也可以在求和项之前加上指数衰减的权重，但这个权重还是得看实际情况.
# Off-Policy学习
+ 概念: On-Policy: 和环境互动的Agent和与训练的Agent相同; Off-Policy: 和环境互动的Agent与训练的Agent不同
+ 如果我们使用on-policy的话, 每次更新Agent的参数, 我们就要重新收集一遍数据。我们希望使用另一个Agent去收集数据并复用.
$$
\mathbb{E}_{x \sim p}[f(x)] 
= \int f(x) p(x) dx
= \int f(x) \frac{p(x)}{q(x)} q(x) dx
= \mathbb{E}_{x \sim q} \left[ f(x) \frac{p(x)}{q(x)} \right]
$$
这样就把服从q分布的数据迁移到p分布上了
+ 这样做有一个问题: 这样增大了f(x)的方差, 假如p和q分布有很大的不同，采样可能出现错误的结果

![image.png](/static/img/0ccaf79bf6e229c99ad2ac389c57955f.image.webp)
如图，本来是负的期望因为采样原因，如果根据q分布全部采样到了右边的点，可能误把期望变成正值
# PPO/TRPO

### KL散度
衡量的是“用分布Q去近似分布P时，所造成的信息损失。  
$$
D_{KL}(P \| Q) = \sum_{x} P(x) \log \frac{P(x)}{Q(x)}
$$
### PPO
$$
J^{\theta'}_{PPO}(\theta) = J^{\theta'}(\theta) - \beta KL(\theta, \theta')
$$
PPO2: 裁剪了比例，防止更新过大
$$
   L^{CLIP}(\theta) = \mathbb{E}_t \left[ \min(r_t(\theta) \hat{A}_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_t) \right]
$$
### TRPO
$$
J^{\theta'}_{TRPO}(\theta) = \mathbb{E}_{(s_t, a_t) \sim \pi_{\theta'}} \left[ \frac{p_{\theta}(a_t|s_t)}{p_{\theta'}(a_t|s_t)} A^{\theta'}(s_t, a_t) \right]， 
KL(\theta, \theta') < \delta
$$
PPO将KL散度作为惩罚项，而TRPO只计算KL散度较小部分区域.
# Q-Learning
Q值估计了一个Actor在某个状态后的表现会有多好.

暂时掠过

# RLHF
RLHF会有两阶段的训练: 第一阶段训练出一个奖励模型，用于奖励人类所偏好的答案; 第二阶段根据训练出的模型来后训练模型.

Reward Model

$$
\text{loss}(\theta) = -\frac{1}{\left(\frac{K}{2}\right)} \mathbb{E}_{(x, y_w, y_l) \sim D} \left[ \log \left( \sigma \left(r_{\theta}(x, y_w) - r_{\theta}(x, y_l) \right) \right) \right]
$$

Post-train(最好和原数据一起训练，防止灾难性遗忘)
$$
\begin{aligned}
\text{objective}(\phi) = & \; \mathbb{E}_{(x, y) \sim D_{\pi_\phi^{\text{RL}}}} \left[ r_{\theta}(x, y) - \beta \log \left(\pi_\phi^{\text{RL}}(y \mid x) / \pi^{\text{SFT}}(y \mid x)\right) \right] \\
& + \gamma \mathbb{E}_{x \sim D_{\text{pretrain}}} \left[ \log\left( \pi_\phi^{\text{RL}}(x) \right) \right]
\end{aligned}
$$
# DPO
具体原理没看懂，简单来说就是不训练Reward Model了，直接在原模型上SFT.

$$
\mathcal{L}_{\text{DPO}}(\pi_\theta; \pi_{\text{ref}})
= -\mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}}
\left[
    \log \sigma \left(
        \beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)}
        - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}
    \right)
\right]
$$

# GRPO
让大模型生成多条回,用这几条回答的平均值作为baseline, 然后和PPO差不多

$$
\mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}\Big[q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\theta_{\text{old}}}(O|q)\Big] \\
\frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} 
\left\{
    \min \left[
        \frac{\pi_\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q,o_{i,<t})} \hat{A}_{i,t},
        \operatorname{clip} \left(
            \frac{\pi_\theta(o_{i,t}|q,o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q,o_{i,<t})},
            1-\epsilon,\, 1+\epsilon
        \right) \hat{A}_{i,t}
    \right]
    - \beta \mathbb{D}_{\text{KL}} \left[ \pi_\theta \| \pi_{\text{ref}} \right]
\right\}
$$

$$
\hat{A}_{i,t} = \tilde{r}_i = \frac{r_i - \operatorname{mean}(\mathbf{r})}{\operatorname{std}(\mathbf{r})}
$$

$$
\mathbb{D}_{\text{KL}} \left[ \pi_\theta \| \pi_{\text{ref}} \right] = 
\frac{\pi_{\text{ref}}(o_{i,t}|q,o_{i,<t})}{\pi_\theta(o_{i,t}|q,o_{i,<t})}
- \log \frac{\pi_{\text{ref}}(o_{i,t}|q,o_{i,<t})}{\pi_\theta(o_{i,t}|q,o_{i,<t})} - 1
$$

强化学习入门

回忆版


# 1 
1. 什么是操作系统
2. 什么是文件描述符
3. 为什么说linux的管道是一种进程间通信的机制?
4. 为什么要避免数据竞争？
5. 什么是设备驱动程序
# 2 
1. 简述mmap的作用(无须写出定义)
2. 有人说1号进程是/usr/bin/systemd, 有人认为是/usr/bin/init, 怎么判断1号进程到底是哪一个二进制文件?
3. 除了用户定义的全局变量，libc维护了哪些全局变量? 
4. System V ABI规定进程的初始栈中有一些auxiliary vector entries. 根据你对操作系统的理解，可以有哪些辅助数据，又有什么作用?
# 3
readelf -a filename如下
```
rela.text:
记不得offset R_X86_64_PC32 x-8
记不得offset R_X86_64_PLT32 foo-4
```
1. 这个文件是什么ELF文件? R_X86_64_PC32和R_X86_64_PLT32各自是什么意思?
2. 写出main三参数的函数。解释每个参数的含义.
3. 动态链接的a.out执行到main函数之间的过程?
4. LD_PRELOAD可以指定预先加载的动态链接库，你可以想到一个用它做什么有意思的应用?
# 4 并发编程
有字符串a,b，并行地做Longest Common Sequence
```C
void Tlcs(int i, int j){
    if(i==0 || j==0) return;
    // TODO
    dp[i][j] = max3(dp[i-1][j],dp[i][j-1],dp[i-1][j-1]+(a[i]==b[j]))
    // TODO
}

int main(){
    for(int i=1;i<=n;++i){
        for(int j=1;j<=m;++j){
            spawn(Tlcs,i,j);
        }
    }
    join();
    printf("%d\n",dp[n][m]);
    return 0;
}
```
添加代码，使得可以正确同步. 允许添加初始化代码
# 5
1. 什么是RAID技术? 有什么应用
2. 如果要对一个文件进行保存，并希望在系统崩溃（断电等）之后数据仍然正确。进行的系统调用的顺序应该是怎样的?
3. Linux的inode存放着用户的uid,如果硬盘被偷走，则可以读取所有文件。如何保护高度机密的文件?
4. readdir函数可以遍历一个目录,在面对有上百万个文件的目录时，会遇到性能瓶颈。你觉得该如何添加新的API?

jyyos期末考试

> 在具身智能成为国家新型发展战略的当下，本文尝试完整梳理具身智能的技术路线。




# 声明
本文大部分观点出自：https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List

# 具身机器人
具身机器人作为智能和外界互动的主要部分。
### 固定底座机器人
+ 优点：精确、稳定
+ 缺点：灵活性低
+ 有精确的传感器，通常和人类和其他机器人一起使用
### 轮式机器人
+ 优点：可以面对更多使用场景、移动效率更加高
+ 缺点：在复杂地形移动性不足（不平的地面）、负载能力有限
+ 通常会配备感知模块和高精度传感器
### 履带机器人
+ 优点：在复杂地形上可以移动，风险小，在特殊场景应用广
+ 缺点：能效低、在平坦路面上较慢
+ 常常被用于军事用途
### 四足机器人
+ 优点：稳定、适应性高、适合复杂地形
+ 缺点：电池续航时间短、贵
### 人形机器人
+ 优点：模仿人类动作、可以利用手臂执行复杂任务
+ 缺点：贵、控制系统复杂、易出错
+ 常常用于服务业
### 仿生机器人
+ 优点：能耗低、在动态复杂环境中表现好
+ 缺点：设计制造复杂、耐久性低

# 具身模拟器
仅对部分进行梳理
### General Simulator
### AI2-THOR 
+ 使用Unity3D实现，面对居家场景，有高度互动性的物体和物理属性（开、关、冷、热等等）
+ 两部分组成：iTHOR和RoboTHOR.
+ RoboTHOR对应现实世界的真实场景
### Matterport 3D
+ 是一个大型的2D-3D数据集，包含90个室内场景，10800全景照，194400RGB-d图像（包含深度信息）。
+ 把3D场景变成一个个离散的"viewpoint", 在每个viewpoint都有全景照
+ 是最重要的具身导航benchmark
### Virtualhome
### Habitat
### iGibson
### TDW

#  具身感知
因为Agent还需要在环境中移动和交互，所以在识别物体之外，更需要对3D环境和动态环境有更深的理解。

## 主动视觉感知(Active Visual Perception)
主动视觉感知需要状态估计State Estimation、场景感知Scene perception、环境探索environment exploration能力。主要有视觉同步定位与建图*Visual Simultaneous Localization and Mapping*(vSLAM)、3D场景理解*3D Scene Understanding*和主动探索*Active Exploration*
### vSLAM
根据视觉信息，机器人定位自身位置并构建环境地图。
+ 使用距离进行感知的SLAM使用测距仪为环境创造点云表示，但代价较高且环境信息有限
+ 视觉的SLAM使用相机捕捉相片并为当前环境创造出一种表示形式，其硬件成本较低、在小场景准确率较高且能够捕获丰富的环境信息
+ 传统的vSLAM方法通过图像信息和多角度的几何规则来创建一个低层次的**点云**地图，常见的方法有**filter-based**(MonoSLAM, MSCKF), **keyframe-based**基于关键帧、**direct tracking**直接跟踪。点云地图并不和物体直接对应，因此具身机器人很难利用理解这种地图。
+ 语义的vSLAM方法semantic vSLAM让机器人能够更好理解并在未探索过的环境中导航。对于物体级别的SLAM, 可以对它利用几何物体进行建模，建立物体关系图、考虑物体间的关系（共线共面）来更好地建模环境。对于动态环境，利用语义分割识别动态物体，保证更加精确的定位和建图。
### 3D环境理解
3D环境理解旨在从3D环境数据中区分物体的语义、识别他们的位置并推断出几何属性。可以分为基于投影*projection-based*的方法、基于立体像素的方法*Voxel-based*和基于点的方法*point-based*. 
+ 基于投影的方法通常把3D图像投影到好几个2D平面上并利用2D的CNN方法来进行特征提取
+ 基于立体像素的方法通过把点转换成规则的立体像素放个来使用3D的卷积方法
+ 基于点的方法直接对点云进行操作

### 主动探索
前文介绍的方法主要是机器人通过被动感知的方法来理解环境。因为机器人可以移动并交互，所以他们也可以主动地做到这一点。
+ Jayaramen的工作提出了一种强化学习的方式，Agent通过不断地获取视觉信息来减少其对未观察部分的未确定性。使用RNN来进行主动的全景图像补全和3D物体建模
+ Hu的工作提出了一个机器人探索的算法。该算法利用状态价值函数预测未来状态的价值，将离线蒙特卡洛训练、在线时序差分自适应以及基于传感器信息覆盖的内在奖励函数相结合。
+ 为了解决在开放世界的意外输入的问题，Fan的工作将主动识别当做一个顺序的收集证据的过程。通过精心设计的奖励函数来刻画开放环境中某一个动作的价值，结合证据提供了可信的预测。

## 3D 物体标定
简单来说，就是在3D环境下，根据自然语言来找到物体。可以简单分为单阶段和双阶段方法。
### 双阶段方法
双阶段方法先在场景中给出物体候选，再根据描述进行匹配。
+ 通常研究的着重点在第二阶段。ReferIt3D不仅使用文字Embedding来匹配，而且利用GNN来编码了物品之间的关系。FFL-3DOG
+ 使用Transformer架构: 逐步引入Transformer以提升特征融合和跨模态推理能力，同时通过多视角学习和2D特征辅助，进一步增强模型的鲁棒性和准确性。
+ 已有的方法常常依赖大规模人工标注的数据集并在处理复杂语言提问时有一些不足。可以通过LLM来分解queries并生成计划；甚至直接使用LLM来识别物体，将整个过程变成一个脚本化的程序并生成可执行的python代码来预测位置。
+ **双阶段的不足**：对于第一阶段的候选者的粒度有两难处境：粒度较大的物体候选可能会把目标物体忽略、粒度较小的物体候选会带来很多无关的物体，需要在小粒度物体上建立关系才能正确识别。
### 单阶段方法
将目标检测和特征提取一起做。
+ 3D-SPS和BUTD-DETR.
+ 上述工作只关注句子层面的信息, 会失去word-level的信息。EDA通过将调整后的语言和点云上的物体严格对齐来解决这一点。
+ ReGround3D通过加入多模态大模型和Chain of Grounding来提升标定能力
## 视觉语言导航
根据语言指令让agent在未知环境中导航。需要机器人能够懂得复杂的视觉信息并从不同粒度来理解指令。通过现在的观察、历史信息和自然语言指令来做出动作。
+ 评估方法： **SR**(Sucess Rate), **TL**(Trajectory Length轨迹长度), **SPL**(Success Weighted by Path Length)是最常用的指标
### 常用数据集
+ R2R, 基于Matterport 3D. R4R扩展了R2R，路径长度更长了。
+ VLN-CE拓展了R2R和R4R到连续的环境中（前文提到Matterport 3D是在许多viewpoint上做文章）。
+ TOUCHDOWN在谷歌街景的New York上进行导航并找到特定地点。
+ SOON数据集中agent需要接受一串复杂且长的指令来找到目标物品
+ DDN不具体指出明确的物品，只给出了人类指令
+ ALFRED数据集基于AI2-THOR模拟器，聚焦完成家居任务
+ OVMM基于Habitat, Behavior-1K 基于人类需要提出了1000个长序列复杂的任务。
+ CVDN需要agent基于对话历史找到目标，并可以问问题求助。
+ DialFRED拓展了ALFRED数据集，也可以问问题
### 方法
分为两种：Memory-Understanding Based和Future-Predicition Based. Memory-Understanding更注重对过去的学习和对当前环境的理解，而Future-Prediction based更注重建模和预测未来的状态。Memory-understanding一直是主流.
+ **Memory-understanding.** 通常把每个信息编码成图上的一个节点。使用图相关的学习方法。LVERG将每个节点的语言信息和视觉信息单独变矮，设计出了一种新的语言和视觉关系图。
+ 虽然导航图会离散环境，但同时理解和编码环境本身的信息也很重要。FILM利用RGB-D观察和语义分割在导航中建立了一个语义地图。VER通过把物理世界分成有结构性的3D单元来提供细粒度的细节和语义。
+ 如何利用之前的历史信息十分重要。可以通过模仿学习、对抗学习等方式来利用之前历史中做的好的动作。
+ **Future-Prediction.** 同样也会使用图学习。根据已有的导航图节点预测一个可以移动的路径。也可以通过更好地利用未来的环境来建立一个导航路径。当然，也可以使用强化学习。
+ MCR-Agent从过去动作、指令、预测未来三层来进行导航。是二者的结合。

### 触觉识别
未完待续

# 具身互动
分为具身问题回答和具身抓取两个部分。

## 具身问题回答(Embodied Question Answering)EQA
Agent不仅需要知道采取什么动作，还需要知道何时停止探索来回答问题
### 数据集
+ EQA v1在3D合成场景上制作的包括四种问题类型：location, color, color_room, preposition(介词)。有超过5000个问题和750种环境。这些问题是自动构造的。
+ MT-EQA拓展了EQA v1的问题，从单一物体到多物体间的关系。
+ MP3D-EQA有3种类型: location, color, color_room.
+ IQUAD V1有超过75000个多选题目
+ VdeoNavQA只包含视觉推理部分。仅需要模型根据现有视频进行推理，有大约101000对视频和问题。
+ SQA3D只有问答。
+ K-EQA
+ OpenEQA支持事件记忆和主动探索两种任务场景。事件记忆EQA任务要求智能体通过自身的事件记忆来理解环境并回答问题，这类似于VideoNavQA。在主动EQA任务中，智能体则需要通过探索性行动收集所需信息来回答问题。
+ HM-EQA和S-EQA都是利用GPT4创建的数据集

### 方法
+ 传统方法：Das et al.是EQA任务的提出者。其组合RNN和CNN将视觉、语言、导航、回答四个部分分开训练。后续工作将一些模块合并训练
+ 还有一些工作尝试提高任务的复杂性和完备性。尝试将任务提高到多目标或者多个Agent合作，这需要模型能够记忆和整合探索过程中的信息。还有工作允许Agent利用外部知识去获得物体特征。
+ LLMs/VLMs的方法。
### 评估方法
+ 通过走过的距离评估或者通过位移评估导航系统，通过Mean Rank来评估回答系统。

### 不足
+ 缺少大规模数据集
+ 模型训练结果仍然远远小于人类水平

## 具身抓取(Embodied Grasping)

### 抓取
可以通过双指或者五指抓取。双指可以有4或者6个自由度，而五指有多达26个自由度，对模型能否生成有效的抓取指令提出挑战。

### 数据集
+ 常见的数据集会基于点云、图像和3D场景给出抓取数据。然而在MLM和语言模型的出现，急需包含语言信息的数据集。

### 方法
+ 语言指导的抓取： 从明确/不明确的指令中产生语义，明确什么需要抓取，而且需要空间推理和逻辑推理。例如，如何根据物体之间的关系来确定抓取什么物体或者抓取物体的部分。逻辑推理需要根据用户的指令来推理出用户需要什么。
+ 端到端方法：CLIPORT是一种基于语言条件的模仿学习智能体，它将视觉-语言预训练模型CLIP与Transporter Net结合，创建了一个用于语义理解和抓取生成的端到端双流架构。(Transporter Net 是一种用于机器人操作的深度学习模型)SemGrasp是一种基于语义的抓取生成方法，它将语义信息融入抓取表示，用于生成灵巧的手部抓取姿态。该方法引入了一种离散表示，将抓取空间与语义空间对齐，使得可以根据语言指令生成相应的抓取姿态。为了促进训练，还提出了一个大规模的抓取-文本对齐数据集CapGrasp。
+ 模块化的方法: GaussianGrasper 利用三维高斯场来实现语言引导的抓取任务。其方法首先构建一个三维高斯场，然后进行特征蒸馏。接着，利用提取的特征进行基于语言的定位。最后，基于一个最先进（SOTA）的预训练抓取网络生成抓取姿态。
### 不足
+ 需要更多数据
+ 泛化能力不足
# Emodied Agent
多模态大模型使得Agent在物理世界成为了可能。 通常需要以下能力：
1. 将复杂抽象的任务分解成特定的子任务， High-level Task Planning. 
2. 利用具身感知或者具身交互模块逐步完成这些任务，Low-level Embodied Action Planning.

Task Planning通常发生在虚拟世界，而Action Planning需要现实世界的反馈来调整。

## 具身多模态基础模型
Agent基础模型需要多种感知模态和自然语言处理功能。Google根据**Robotic Transformer(RT)** 做出了一系列工作。
+ SayCan是第一个做工作的人。它使用三个不同的模型用于计划、了解可以做什么affordance和low-level policy. 
+ Q-Transformer合并了affordance和low-level policy, PaLM-E合并了planning和affordance.
+ RT-2将所有三个功能合并到一起,引入了Vision, language, action（VLA）模型，具备ChainOfThought能力，使其能够进行多步语义推理，例如在不同情境下选择替代工具或饮品。最终，RT-H实现了一个具备动作层级的端到端机器人Transformer模型，能够在细粒度层面对任务规划进行推理。
+ Google牵头创建了Open X-Embodiment数据集并创造了RT-X.
+ 不足: Transformer因为具身模型需要长上下文而表现出不足和记忆确实。RT-2推理速度只有1-3Hz. SARA-RT和RoboMamba分别采用了线性注意力和Mamba架构。
+ 不足：生成模型在high-level的task planning上表现优异但在low-level的action planning上表现不足。生成模型无法精确地给出动作的参数。所以需要有层次的模型架构。
+ 不足：VLA模型只在high-level的planning和affordance的任务中显示出了涌现能力，它们在low-level的物理互动方面不能展现除了数据集之外的新技能。
## Task-planning
例子： 任务目标：把桌上的杯子放进柜子里。

任务规划步骤：
1. 移动到桌子旁
2. 识别并定位杯子
3. 抓取杯子
4. 移动到柜子前
5. 打开柜门
6. 将杯子放入柜子
7. 关闭柜门

+ 传统工作常常基于显性规则和逻辑推理，泛化能力不足
+ 现在主流使用LLM或者将传统方法和LLM结合的方法。

### 方法
+ 在LLM scale-up之前，planners通常使用BERT在具身指令数据集上训练。但这种训练的方法局限于训练集且和物理世界不能很好的对齐。 现在LLM方法通常会把复杂的任务分解成具体的步骤，有些甚至会将基础功能作为API提供给LLM。也可以进行多轮次的推理。

+ 不足： 执行时有可能会失败。由于视觉信息的缺失，计划的子任务可能和物理世界相差甚远。

+ 一些工作通过物体检测器来查询视野中的物体并把标签信息喂给LLM，另外一些工作通过3维场景图来提供环境信息。

+ 这些工作都没有克服复杂的环境和动态变化。例如：当毛巾被锁在厕所柜子中，agent可能一直在厕所里搜索。
+ VLM在潜在空间中表示出视觉信息，尤其是无法通过标签表示的一些上下文信息。（比如毛巾有可能存在柜子里）EmbodiedGPT在task-planning中将具身、视觉和文字信息对齐。RT系列、PaLM-E和Matcha等工作同样做到了具身场景下文字和视觉信息的对齐。


## Action Planning
通常，智能体可以通过两种方式实现动作规划：
+ 将预训练的具身感知模型和具身交互模型作为工具，通过API逐步完成任务规划指定的各个子任务；
+ 利用VLA模型本身的能力直接推导出动作规划。
此外，action-planning执行的结果会反馈给task-planning，以便调整和优化。
### 方法
+ 通过向LLM提供API：通过代码的形势进行交互；同时为了适应环境的不确定性，也可以在互动过程中赋予LLM不同的角色并在互动过程中使得LLM学会新技能
+ 利用VLA模型：减少交流延迟并提升系统响应速度（不需要和LLM交互）。**不足**：复杂、不能真正的模拟物理世界。

# 从模拟到现实
从仿真环境中学到的能力用在现实世界中。

## Embodied World Model
机器人或智能体在与真实或虚拟环境交互过程中，所学习或内建的一个“世界内部表征模型”，用于理解、预测和推理环境中的物体、关系、变化和自身行为的结果。
+ 和VLA的区别：VLA先在大规模网络数据上训练并出现涌现能力，然后在真实世界上微调。而World Model直接在物理世界数据上训练。
+ 不足：由于训练数据的缺失，只能对物理世界进行low-level的模拟。更适合相对结构性的输入输出，如自动驾驶等。泛化能力不足。
+ 分为Generation-based, Prediction-based, Knowledge-based. 具体方法先略过。

具身智能技术概述

# PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment
+ 为了解决多语言大模型对齐问题，前面的工作常常是在预训练中或者预训练后注入对齐信息，这使得预训练早期的知识不能很好的共享
+ 本文提出PreAlign, 在预训练前就注入多语言对齐信息。
+ **数据准备**：通过GPT-4翻译多语言数据信息。
+ **初始化**:通过对比学习使得模型对于对齐的单词产生相似的encoding, 获取Encoder架构的每一层表示（如果一个单词会被tokenize到多个subword，取平均）
+ 为了保证初始化的结果对于语言模型不太差，再加了一个5%的Language modeling loss.
+ **训练过程中**：为了保证对齐不被遗忘，再在训练过程中对于输入加了一个codeswitching(部分替换为另一个语言)
+ **评估方法**：合成了一种语言**ENCLONE**, 对于English的每个词的embedding加上60000变成另一个语言，保证语言逻辑、架构相同，仅仅评估对齐效果。从目标语言语言能力本身、zero-shot模型跨语言能力（在源语言上微调并在目标语言评估）、跨语言知识能力。


# Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment
+ https://aclanthology.org/2023.acl-long.346.pdf
+ 主要在In-Context Learning时改善对齐问题。
+ 解决问题：为了解决从高资源语言的上下文中解决低资源语言问题时的不足。
+ 采取方法：主要采取了两个方法：语义对齐和任务对齐。
+ **语义对齐**：在随机Sample时，选取相似语义的例子。 
+ Example: 任务：跨语言情感分类（英语->西班牙语）

    测试输入（西班牙语）："no me llego el articulo me lo mando por correos normal sin seguimiento y nunca me llego tota un desastre"（快递没到，很糟糕）

    随机选择法的示例可能是：

        Review: "The color is great!" Rating: good
        Review: "It works as expected." Rating: good

    语义对齐法的示例会是：

        Review: "It never came in the mail I never got it and they charge me" Rating: bad
        Review: "I never received this product and it never came in the mail. It was never delivered to my address" Rating: bad

    可以看出，后者与目标评论描述的“没收到货”高度相关，模型能更好地推断其情感。
 + **任务对齐**：在示例最后加上一个人工的statement，明确教会模型目标语言标签和源语言标签的对应关系，防止标签空间的割裂。
 ```
    In Española, bad means malo and good means bueno.
```
+ 通过对比实验：如只告诉语言信息、全部使用源语言标签进行预测、错误的标签对齐、使用第三方语言进行对齐、自动生成statement发现其具有一定效果。
+ 更多像是prompt engineering.