自然语言处理中的技术评测及关于英语专业考试的思考Technical Evaluations in Natural Language Processing and Implications for TEM
柏晓静,俞士汶,朱学锋
摘要(Abstract):
本文概要介绍自然语言处理的研究内容、主要成果及应用,特别关注自然语言处理领域中的主要技术评测、评测的意义和方法以及评测对英语专业四、八级专业考试的启示。作者尝试从"测试"这一层面探讨自然语言处理与语言教学之间可能存在的结合点,期待两者的相互借鉴、共同发展。
关键词(KeyWords): 自然语言处理;评测;语言教学;英语专业考试
基金项目(Foundation): 国家社会科学基金(项目编号06CYY006);; 教育部人文社科研究青年基金(项目编号05JCZH028);; 国家自然科学基金(项目编号60970083)的支持
作者(Author): 柏晓静,俞士汶,朱学锋
参考文献(References):
- [1]参见网页http://www.engkoo.com/。
- [2]参见网页http://www.itl.nist.gov/iad/894.02/related_projects/ muc/。
- [3]该图引自http://www.itl.nist.gov/iad/mig/publications/ASRhistory /index.html。STT是SpeechToText的缩写,即语音识别。
- [4]参见网页http://www.itl.nist.gov/iad/mig/tests/。
- [5]参见网页http://www.itl.nist.gov/iad/mig/tests/rt/。
- [6]参见2009年RT评测大纲http://www.itl.nist.gov/iad/mig/ tests/rt/2009/docs/rt09-meeting-eval-plan-v2.pdf。
- [7]参见网页http://www.itl.nist.gov/iad/mig/tests/lre/。
- [8]参见网页http://www.itl.nist.gov/iad/mig/tests/sre/。
- [9]参见网页http://www.itl.nist.gov/iad/mig/tests/std/。
- [10]参见网页http://www.itl.nist.gov/iad/mig/tests/mt/。
- [11]参见网页http://www.nap.edu/catalog.php?record_id=9547 toc。
- [12]引自《2005年度863计划机器翻译评测大纲》,参见:http:// nlp.ict.ac.cn/demo/cwrnt/data/2005/2005_HTRDP_MT_Evaluation_ Guidelines(Chinese).pdf
- [13]参见《21世纪英语教育周刊》第168期http://www. 21stcentury.com.cn/story/52850.html。
- [14]同上。
- [15]2009年的专四作文评分标准引自邹申教授在南京会议上的主题报告《TEM考试评分效度与计算机辅助评卷——TEM考试评卷改革方案》,限于篇幅,本文没有一一列举其具体内容,仅在表4中概要说明。
- [16]专八翻译题评分标准详见http://www.hjenglish.com/tem/ page/33465/。
- [1]Hutchins,John.ALPAC:the(in)famous report[J].MT News International, 1996,14.
- [2]Papineni,Kishore,Salim Roukos,Todd Ward and Wei-Jing Zhu. BLEU:a Method for Automatic Evaluation of Machine Translation [A].Proceedings of the 40~(th) Annual Meeting of the Association for Computational Linguistics(ACL),Philadelphia,July 2002.
- [3]Yu,Shiwen.Automatic Evaluation of Output Quality for Machine Translation Systems[J].Machine Translation,V8,1993.
- [4]Zhou,Ming,Bo Wang,Shujie Liu,Mu Li,Dongdong Zhang and Tiejun Zhao.Diagnostic Evaluation of Machine Translation Systems Using Automatically Constructed Linguistic Check-Points[A].Proceedings of the 22nd International Conference on Computational Linguistics (Coling2008),Manchester,August 2008.
- [5]冯志伟.澄清对机器翻译的一些误解[J].现代语文,2004.
- [6]刘群.自然语言处理技术评测综述[R].北京:清华大学,2008.
- [7]刘群.面向自然语言处理的中文语言资源建设概述[R].国家语言资源监测与研究中心暨平面媒体分中心成立五周年纪念学术会议,2009.
- [8]钱跃良,刘群,林守勋.自然语言处理与人机交互技术评测综述[J].信息技术快报(中国科学院计算技术研究所内部刊物), 2005,3(8):.
- [9]俞士汶,柏晓静.计算语言学与外语教学[J].外语电化教学,2006 (5).
- [10]俞士汶,段慧明,朱学锋,等.综合型语言知识库的建设与利用[J].中文信息学报,2004(5).
- [11]俞士汶,段慧明,朱学锋.计算语言学基础研究成果及其在语言教学中的应用[A].语言·认知·信息处理.北京:外语教学与研究出版社,2007,5.
- [12]俞士汶,朱学峰.计算语言学浅介[J].术语标准化与信息技术, 2009(3).