Guidelines

任务介绍

您的任务是为给定句子对中目标词的语义相似度进行打分。如例 (1)所示, 您需要判断目标词病毒(1a)(1b)中的语义相似程度。


    1. 这些病毒 在田间由叶片接触或蚜虫传播,并通过块茎传给后代。
    2. 病毒 运行时会感染系统的可执行文件,并将系统的.exe文件改名为.com,从而造成应用程序无法正常使用,系统出现错误。

准备工作

用户在DURel平台完成注册后可进入“中文词汇语义相似度任务”的试标注阶段。用户通过试标注考核后方可进入正式标注阶段。试标注阶段的设置旨在让标注者熟悉任务并协同打分者之间对打分规则的理解。

标注流程

在正式标注阶段,您可以先在主菜单下选择待标注的目标词。点击“开始标注”按钮, 即可对目标词在给定的两个句子中的语义相似度进行打分。 如例A所示,目标词一般以加粗的形式凸显。
由于语言表达存在模糊性, 我们强烈建议您在做判断之前阅读完整个句子。

打分量表

本次任务设置的打分量度为从1到4, 用以表示目标词在两个句子中的语义从"不相关"(unrelated,1分)到"一致"(identical,4分)的相似度差异。分数及其对应的解读见表 1


  • 4. 完全一致(Identical)
  • 3. 紧密相关(Closely related)
  • 2. 有点相关(Distantly related)
  • 1. 不相关(Unrelated)
  • - 无法判断

表1: 语义相似度打分量表


其中,分数 1 和分数 4 分别代表的语义相似度具有较为显著的辨识度, 而对分数 2 和分数 3 的理解则存在主观差异性。本项打分任务没有对错之分,但打分者应在整个过程中尽可能保持对打分规则理解的一致性。除此之外,如遇到无法判断的情况,打分者可以选择 -

标注示例

请注意,这些句子对中的语义相似度的判断无绝对正确错误之分,存在一定的主观差异。
目标词 包装例 A 中都表示“封装打包”这一动作,因此被判为“一致”(打分:4),。
而目标词消化例 B 中的语义相似度被判为“紧密相关但非一致”(打分: 3), 因为 消化 在句子1中可以理解为“消化食物”, 但在句子2中表示“理解吸收所学的知识”。

Annotation

Sentence 1

我国制炼熟桐油已数千年,用以涂饰房屋车辆船只,久成习惯,农村喜用,且用纸袋竹篓包装,不必用马口铁,可以节省外汇。

Sentence 2

上图:去年二月投入生产的广西贵县糖厂,每年能生产三万余吨优质砂糖,这是工人在包装白砂糖。

例 A: 4分 (identical)。

Annotation

Sentence 1

因此,他吃了面片和馄饨,根本消化不了。

Sentence 2

首先要认真地学习,很好地应用,加以消化、掌握,然后有所改进,有所创造,这才能赶超世界先进水平。

例 B: 3分(closely related)。

例 C中, 病毒 在两个句子中的语义相关, 打分为2分。与上述例句中的吸收 相比, 病毒 在这里的语义差异更为明显。这两处的“病毒”虽然都具有“传播性”和“伤害性”,但是语义上的差异较大,分别用来表示“病原体病毒”和更为抽象的“电脑病毒”。

Annotation

Sentence 1

对乙肝病毒携带者的歧视和恐惧,都缘于对相关知识的不了解。

Sentence 2

照每年增长速度推算,一九九九年美国国防部计算机系统遭受病毒袭击的次数将增加到一点四万次。

例 C: 2分 (distantly related)。

1分表示目标词在所给句子对中语义完全不相关, 例如例 D中的机制 。 请注意,这里机制的语义不相似度要高于例 C 中的 病毒。例 D 中,“机制”分别表示“机器制造”与“规律、相互作用的过程和方式”,二者之间的语义相关性不大。

Annotation

Sentence 1

这些糖厂在今冬明春建成投入生产以后,全区机制糖的生产能力将比去年增加85%。

Sentence 2

在打破种子、块茎的休眠中对呼吸机制有什么影响

例 D: 1分 (unrelated)。

如遇“所给例句难以理解, 或目标词在当前语境中有歧义, 或者句子对中的目标词不一致”,您可以选择“无法判断(-)”(cannot decide)。

疑问

如遇疑问, 请联系 jing95.chen@connect.polyu.hk.