MUC是最早进行信息抽取评测任务的会议,它的发展使得信息抽取成为自然语言处理的一个重要分支。MUC 要求参与评测的系统从文本中抽取信息填入预定义模板中所对应的槽,这些槽表达了实体及其属性、实体间关系、事件及充当事件角色(元素)的实体。从 1987 年到 1997 年,MUC 共举办了 7 次。其评测内容主要围绕以下五个方面:①命名实体(Named Entities)识别。②共指(Coreference)关系确定。③模板元素(Template Element)填充。④模板关系(Template Relation)填充。⑤模板场景(Template Scenario)填充。
第一届消息理解会议(MUC-1)是一次探索性的会议,没有明确任务定义,也没有制定相应的评测标准,每一支参赛队伍从文本中抽取的信息的格式都各不相同,大会也不对这些结果进行任何评测。MUC-2 中有了明确的任务定义,统一定义了模板以及槽的填充规则,目标是从海军军事情报中抽取事件填入预定义的模板中。该模板包括了事件类型、施事者、时间、地点等等共10个槽。此外,MUC-2还初步提出了抽取结果的评估方法,用召回率(Recall)和精确率(Precision)评估各个参赛队伍的系统性能。MUC-2以后几届会议,参加的系统越来越多,抽取任务和模板也越来越复杂。MUC-3采用了拉丁美洲的恐怖袭击的报道作为评测语料,模板的槽增加到了18个。MUC-4仍然沿用了MUC-3的语料,不过模板的槽增加到了24个。除了英文之外,MUC-5中还加入了对日文的评测。抽取目标包括了两类文本:金融领域中的公司合资情况和微电子技术领域中芯片技术的进展情况。MUC-5提出了嵌套的模板结构,增加了抽取任务的复杂性。其中,金融领域的信息抽取任务一共定义了11个模板47个槽,而语料则长达40页。与往届评测任务相比,MUC-5最为复杂。MUC-6评测的目标强调系统的可移植性以及对文本的深层理解能力。在这次评测中,分别提供不同场景的语料用于训练和测试,并提供自动进行评测计分的软件。除了增加汉语、日语、西班牙语作为评测内容之外,语料的标注愈发正规和成熟。MUC-7在MUC-6己有的四项评测任务外,又增加了模板关系抽取,要求抽取实体之间与特定领域无关的关系。