PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment

• 为了解决多语言大模型对齐问题，前面的工作常常是在预训练中或者预训练后注入对齐信息，这使得预训练早期的知识不能很好的共享
• 本文提出PreAlign, 在预训练前就注入多语言对齐信息。
• 数据准备：通过GPT-4翻译多语言数据信息。
• 初始化:通过对比学习使得模型对于对齐的单词产生相似的encoding, 获取Encoder架构的每一层表示（如果一个单词会被tokenize到多个subword，取平均）
• 为了保证初始化的结果对于语言模型不太差，再加了一个5%的Language modeling loss.
• 训练过程中：为了保证对齐不被遗忘，再在训练过程中对于输入加了一个codeswitching(部分替换为另一个语言)
• 评估方法：合成了一种语言ENCLONE, 对于English的每个词的embedding加上60000变成另一个语言，保证语言逻辑、架构相同，仅仅评估对齐效果。从目标语言语言能力本身、zero-shot模型跨语言能力（在源语言上微调并在目标语言评估）、跨语言知识能力。

Multilingual LLMs are Better Cross-lingual In-context Learners with Alignment

• https://aclanthology.org/2023.acl-long.346.pdf

• 主要在In-Context Learning时改善对齐问题。

• 解决问题：为了解决从高资源语言的上下文中解决低资源语言问题时的不足。

• 采取方法：主要采取了两个方法：语义对齐和任务对齐。

• 语义对齐：在随机Sample时，选取相似语义的例子。

• Example: 任务：跨语言情感分类（英语->西班牙语）

  测试输入（西班牙语）："no me llego el articulo me lo mando por correos normal sin seguimiento y nunca me llego tota un desastre"（快递没到，很糟糕）

  随机选择法的示例可能是：

    Review: "The color is great!" Rating: good
    Review: "It works as expected." Rating: good
  

  语义对齐法的示例会是：

    Review: "It never came in the mail I never got it and they charge me" Rating: bad
    Review: "I never received this product and it never came in the mail. It was never delivered to my address" Rating: bad
  

  可以看出，后者与目标评论描述的“没收到货”高度相关，模型能更好地推断其情感。

• 任务对齐：在示例最后加上一个人工的statement，明确教会模型目标语言标签和源语言标签的对应关系，防止标签空间的割裂。

   In Española, bad means malo and good means bueno.

• 通过对比实验：如只告诉语言信息、全部使用源语言标签进行预测、错误的标签对齐、使用第三方语言进行对齐、自动生成statement发现其具有一定效果。
• 更多像是prompt engineering.