第90章 顶尖算法团队的赞叹(上) (第6/10页)


    在现今评估自动文本摘要质量的两种方法：人工评价方法和自动评价方法。

    人工评估就是邀请若干专家人为制定标准进行人工评定，这种方法比较接近人的阅读感受。

    但是耗时耗力，不但无法用于对大规模自动文本摘要数据的评价，和自动文本摘要的应用场景也并不符合。

    最关键的是以拥有主观思想的人进行摘要的评价的话，很容易出现偏差，毕竟一千个人眼里有一千个哈姆雷特，每个人对新闻摘要的衡量都有自己的准绳，或许一个衡量团队可以制定一个统一的衡量标准，但换一个衡量团队很可能衡量标准便不一样。

    这就很容易导致在评判准确度的时候因为评判团队的不同，同一次的摘要结果会得到截然不同的评价。

    评判团队千差万别，很容易导致一些明明有实力做好算法的团队却因为评判团队拉跨出师未捷身先死。

    伊芙·卡莉他们团队的文本摘要算法之前一度能够在全球领先。

    跟他们和牛津、哈佛、耶鲁三所大学的语言学方面深度合作有着很大的关系。

    但这终究不是长久之计，人工的评估方法因其固有的局限性注定了走不远。

    因此，文本摘要算法研究团队积极地研究自动评价方法。

    自上世纪九十年代末开始，一些会议或组织开始致力于制定摘要评价的标准，他们也会参与评价一些自动文本摘要。

    比较著名的会议或组织包括SUMMAC、DUC、TAC（TextAnalysisConference）等。

    尽管相关的团队在积极研究自动评价方法，在现今评估