# PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment
+ 为了解决多语言大模型对齐问题，前面的工作常常是在预训练中或者预训练后注入对齐信息，这使得预训练早期的知识不能很好的共享
+ 本文提出PreAlign, 在预训练前就注入多语言对齐信息。
+ **数据准备**：通过GPT-4翻译多语言数据信息。
+ **初始化**:通过对比学习使得模型对于对齐的单词产生相似的encoding, 获取Encoder架构的每一层表示（如果一个单词会被tokenize到多个subword，取平均）
+ 为了保证初始化的结果对于语言模型不太差，再加了一个5%的Language modeling loss.
+ **训练过程中**：为了保证对齐不被遗忘，再在训练过程中对于输入加了一个codeswitching(部分替换为另一个语言)
+ **评估方法**：合成了一种语言**ENCLONE**, 对于English的每个词的embedding加上60000变成另一个语言，保证语言逻辑、架构相同，仅仅评估对齐效果。从目标语言语言能力本身、zero-shot模型跨语言能力（在源语言上微调并在目标语言评估）、跨语言知识能力。


# Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment
+ https://aclanthology.org/2023.acl-long.346.pdf
+ 主要在In-Context Learning时改善对齐问题。
+ 解决问题：为了解决从高资源语言的上下文中解决低资源语言问题时的不足。
+ 采取方法：主要采取了两个方法：语义对齐和任务对齐。
+ **语义对齐**：在随机Sample时，选取相似语义的例子。 
+ Example: 任务：跨语言情感分类（英语->西班牙语）

    测试输入（西班牙语）："no me llego el articulo me lo mando por correos normal sin seguimiento y nunca me llego tota un desastre"（快递没到，很糟糕）

    随机选择法的示例可能是：

        Review: "The color is great!" Rating: good
        Review: "It works as expected." Rating: good

    语义对齐法的示例会是：

        Review: "It never came in the mail I never got it and they charge me" Rating: bad
        Review: "I never received this product and it never came in the mail. It was never delivered to my address" Rating: bad

    可以看出，后者与目标评论描述的“没收到货”高度相关，模型能更好地推断其情感。
 + **任务对齐**：在示例最后加上一个人工的statement，明确教会模型目标语言标签和源语言标签的对应关系，防止标签空间的割裂。
 ```
    In Española, bad means malo and good means bueno.
```
+ 通过对比实验：如只告诉语言信息、全部使用源语言标签进行预测、错误的标签对齐、使用第三方语言进行对齐、自动生成statement发现其具有一定效果。
+ 更多像是prompt engineering.

多语言大模型对齐

> 本文尝试梳理在前大模型时代的机器翻译实现




大部分来源于黄书剑老师的PPT.

# 发展历程
+ 规则机器翻译
+ 实例机器翻译
+ 统计机器翻译
+ 神经网络机器翻译
+ 多语言大模型

![image.png](/static/img/f0ff425ec1c8953170476fc160fdb4ba.image.webp)

# 基于规则的机器翻译
+ 由语言学的专家进行规则制订，语言分析往往采用规则方式进行
+ 规则示例：
    + 我 => me(宾语); I(主语)
    + 汉语主谓宾结构->英语主谓宾结构
+ 最有影响力的例子为Georgetown–IBM experiment，将60个俄语句子翻译为英文. [论文链接](https://aclanthology.org/www.mt-archive.info/Ornstein-1955.pdf)


![image.png](/static/img/15a753246c06cbf757c9bbd9b1315b5a.image.webp)

+ 南京大学日汉规则翻译系统


# 基于实例的机器翻译
+ 储存巨量的翻译实例，每次翻译时在存储中寻找接近的翻译实例，逐词替换完成翻译
+ 受到**数据规模限制**
+ 我 来自 南京 大学 <==> I come from Nanjing University 

    我 来自 X ~ I come from X

    南京 大学 ~ Nanjing University

# 统计机器翻译
+ 很显然上述的两种机器翻译模式都不够“智能”
+ 未完待续。。。

机器翻译发展历程概述

> This article explains sizeof and variable length array.




In ```C```, **sizeof** is mostly evaluated at compiler time. However, C99 introduces variable length of array. Thus, in rare cases of variable length array, sizeof is evaluated at runtime.

There comes another question. Where is the length stored? In C99, **only** a variable array will store its length in an implicit variable. 

```C
#include <stdio.h>

int main(){
	int n;
	scanf("%d", &n);
	int a[n];
	printf("%d\n",sizeof(a));
	return 0;
}
```

The corresponding assembly code is like:
```asm
movl	-76(%rbp), %ecx        # Load the value of `n` into %ecx
movslq	%ecx, %rax             # Sign-extend `n` to 64 bits in %rax
salq	$2, %rax               # Multiply `n` by 4 (size of `int`), equivalent to `sizeof(int) * n`
movq	%rax, %rsi             # Store the calculated size
```

sizeof

> 本文旨在总结在阅读多智能体协作相关论文时的感想



# AutoAgents: A Framework for Automatic Agent Generation
- 论文链接: https://arxiv.org/pdf/2309.17288
- 总结： 文章提出了一种多智能体协作的框架。通过将任务分解为起草阶段和执行阶段，通过预定智能体来创造更多细化智能体并进行评估，在多轮迭代后得到答案。

![image.png](/static/img/e1fa47cbfe634bfe5008c63d39b57e3a.image.webp)
- 具体实现细节： 
    - 在起草阶段，```Planner```会创造一个Agent队伍和计划。计划把整个任务分成几个小部分。
    - 对于每个agent, ```Planner```需要规定```A={P, D, T, S}``` P是Prompt指定角色, D是Description描述, T是Toolset可以使用的工具, S是suggestion对于任务执行的一些建议
    - ```Agent Observer```会给出当前这个Agent是否符合任务要求，并给出反馈。```Planner Observer```会根据Agent列表来决定子任务是否满足要求。
    - ```Planner```和```Agent Observer```在对话至多$n$轮后，结束。
    - 在执行阶段，框架会维护三种记忆：短期记忆，长期记忆、动态记忆。其中短期记忆只记忆这一轮中所有Agent的执行结果，长期记忆维护所有的执行结果，动态记忆在长期记忆的基础上添加了一些为action调整的辅助信息。
    - 每一轮次对于一个子任务，```Action Observer```会分配完成这个任务的Agent并为这个任务更新动态记忆。每个Agent会根据动态和短期记忆和计划，执行当前分配的任务，并把结果更新到短期记忆中。最后```Action Observer```会更新长期记忆。
 
![image.png](/static/img/9c963fe5b96b6bb858235011b9c04153.image.webp)
- 感想：感觉有点水，需求的时间和轮次过长，结果并没有过于优势。
# Blind Judgement: Agent-Based Supreme Court Modelling With GPT
- 论文链接: https://arxiv.org/pdf/2301.05327
- 总结： 文章提出了一个建模最高法院的模型。通过对9位大法官进行分开建模来模拟最高法院的判决。它可以根据判别书学习到法官的意见。

![image.png](/static/img/c5c99d2c3cf5dabfe1498765b8d87329.image.webp)
- 具体实现细节
  - 作者以2003-2022的判决书为数据集。一共145MB.
  - 数据集样式：{
	’issue’: ’Lorem ipsum...’,
	’topic’: ’Lorem ipsum...’,
	’opinion’: ’Lorem ipsum...’
	’decision’: ’Lorem ipsum...’
	}用gpt-3总结的topic， 法官提出的opinion和是否赞同决议decision
  - 训练 作者以gpt2为基础模型进行微调，一共训练了30个epoch。先以Robert IV的法庭形成一致意见的case为数据训练一个base model，然后根据每个法官各自对case的判罚来独立训练模型。模型最终loss为1.5, 仍有很大优化空间。
  - 结果：平均60%,仅仅比随机高50%. Pearson coefficient在-0.03~0.30之间，仍有很大优化空间。
- 总结： 非常好的idea， 由于基础模型和训练数据不足等问题仍需改进。

# 总体总结
多智能体协作中如何共享信息是一个很重要的点。AutoAgents通过长短期记忆相结合的方式克服了上下文不足的问题，通过多个leader来把任务切分成小点并给予评估。

而Blind Judgement则是一篇很有意思的文章。与其说是多智能体，不如说是单智能体的组合，信息的共享体现在训练数据中。当然，法院的判决是一个能够非常好以自然语言体现出的方面，通过最高法院数据的注入实现了知识的表示。

多智能体协作论文阅读

# 简答
- 文件描述符是什么
- 在静态链接的ELF a.out加载后的初始状态中，栈中存放着什么?
- 简述mmap的行为
- 为什么有些程序（比如vim）ctrlc退出不了?

# fork
- fork之后的文件描述符（和偏移量）会怎样？
- 可能会输出几个.
```C
void foo(){
    int x = fork();
    int y = fork();
    if (x >= y) fork();
    sys_write(STDOUT_FILENO, ".", 1);
}
```

# pipe
- 如果忽略stdin/stdout/stderr中的缓冲区，直接close会怎样?
- 如何利用C写这样一个程序：fork之后父进程的输出作为子进程的输入

利用```int pipe(int pipefd[2])```和```int dup2(int oldfd, int newfd)```