人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载导读Anthea 是 Google Research 开源的一款翻译质量评估工具它以自然、连贯的并排对照方式呈现源文本与译文而非生硬的表格排版让评测员以段落/句组为单位对翻译质量进行标注。Anthea 专为MQMMultidimensional Quality Metrics多维质量指标评估流程设计内置多个可直接使用的 MQM 模板并可在浏览器本地存储中自动保存评估进度、以 JSON 文件导出评估结果。本文将带你从零完成 Anthea 的本地部署掌握项目 TSV 数据文件的格式规范、评估模板的选择与自定义方法并结合源码理解其分段标注与错误分类的底层机制。Anthea 是什么核心设计理念从 anthea/README.md 的定义可以看出Anthea 的定位非常聚焦自然流式对照源文本与译文以自然、连贯的阅读方式并排展示区别于人为强制的表格化排版评测员可以像阅读真实文档一样评估翻译可配置粒度的分段评估文本按段segment组织段的大小可配置通常是一个句子或一个段落面向 MQM 设计内置多套 MQM 评估模板开箱即用。快速部署两种方式Anthea 是一个纯前端应用HTML CSS JavaScript不需要构建、不需要后端服务只需通过 Web 服务器托管若干静态文件即可使用。方式一完整自托管将以下文件从仓库根目录anthea/目录拷贝到任意 Web 服务器目录下文件作用anthea-eval.css评估界面的样式表anthea-eval.js评估界面的核心逻辑anthea-help.html内置用户指南同时作为工具菜单项展示anthea-manager.css项目管理菜单的样式表anthea-manager.js项目创建/加载/下载等管理逻辑anthea.htmlAnthea 的主页面template-mqm.js标准 MQM 模板template-mqm-cd.js简化版 MQM-CD 模板template-mqm-paragraph.js段落级 MQM 模板template-mqm-webpage.js网页片段 MQM 模板template-mqm-monolingual.js单语仅评估译文模板同时还需要同级项目 Marot的 5 个文件Anthea 使用 Marot 做评估结果的可视化分析marot.css、marot.js、marot-histogram.js、marot-sigtests.js、marot-utils.js本仓库中位于 marot/ 目录。方式二使用精简版 anthea-lite.html如果不想维护上述文件可直接使用 anthea-lite.html。该文件把所有 CSS 与 JS 改为从https://gstatic.com/anthea/加载因此只需托管这一个文件即可运行全部功能。仓库中另有 anthea-staging-lite.html 供预发布场景使用。注意anthea-lite.html 依赖外部的 gstatic.com CDN 资源若部署环境无法访问外网应使用方式一进行自托管。项目数据格式TSV 文件规范Anthea 的评估项目通过项目 TSV 文件创建其格式规范在 anthea-help.html 中有完整定义1. 文件头HeaderTSV 文件的第一行必须是文件头内容为一段 JSON 编码的对象用于标识源语言与目标语言例如{source_language: [language-code-BCP47], target_language: [language-code-BCP47]}其中语言代码使用 BCP47 格式。该对象还可携带其他元数据例如note_to_raters一段纯文本会显示在评估说明底部。2. 数据行四个必填字段从第二行起每行必须依次包含以下四个字段制表符分隔字段说明source segment源语言句组target segment译文句组document name文档名system name系统名如某个 MT 系统或人工翻译标识3. 第五个可选字段JSON 注解第五个字段可选内容为一个 JSON 编码的对象可携带特定键值信息包括references参考译文名称到参考译文文本的映射primary_reference主参考译文的名称若存在references则必填。4. 特殊解析规则空行表示段segment之间的段落分隔只含两个字段即文档名与系统名的行也按空行处理源/译文字段中的\\n会被反转义为换行\n\\t反转为制表符\t段内句末若出现连续两个或更多换行渲染为段落分隔单个换行则渲染为换行line-break。5. 词与句子边界Anthea 通过两个分隔字符完成分词空格与零宽空格\u200b。多数场景仅靠空格分词即可对于 CJK中日韩语言或需要将标点单独切分时应在提供给 Anthea 的 TSV 文件中预先用外部工具完成分词并插入零宽空格。此外两个连续的零宽空格\u200b\u200b用于在文本中标记句子边界。评估流程项目生命周期管理项目管理菜单点击页面左上角的Anthea按钮可打开下拉菜单按顺序支持四项操作Create创建选择评估模板并打开项目 TSV 文件来新建项目Load加载从浏览器本地存储恢复已保存的项目Download下载将评估结果导出为 JSON 文件View查看查看已保存的评估 JSON 文件只读。创建项目新建项目需先选择评估模板下拉框中列出再打开项目 TSV 文件。创建成功后项目配置会显示在右上角。从 anthea.html 的源码可以看到主页面通过new AntheaManager()初始化并支持?testtest-xxx.js的 URL 参数加载测试脚本仓库中 test-mqm.js、test-mqm-ja.js、test-rtl.js 等即为此用途。状态自动保存与恢复Anthea 使用浏览器localStorage自动保存评估状态。anthea-manager.js 中遍历window.localStorage枚举已存项目并通过localStorage.setItem(activeKey, JSON.stringify(activeData))将当前评估数据持久化。因此刷新页面、关闭浏览器都不会丢失进度重新打开时选择相同模板与项目配置即可恢复。下载评估结果评估过程中的任意时刻都可以将评估结果导出为 JSON 文件下载时可选择下载后保留评估或下载后删除评估见 anthea.html 中的keep/close选项。查看评估结果打开评估 JSON 文件可回看历史评估内容为只读。若打开的文件中包含 MQM 评估Anthea 会在独立标签页中展示基于Marot的分析结果聚合分数、显著性检验等。评估模板体系内置模板用户指南与 anthea.html 中的option列表一致内置以下模板模板说明MQM主 MQM 模板错误类型最完整MQM-Target-First变体先展示译文侧再展示源文MQM-CD简化模板仅有 accuracy准确性与 fluency流利度两类错误MQM-WebPage面向网页文本片段的简化模板需提供源网页与译文的图片渲染作为评测上下文MQM-Monolingual仅评估译文侧的单语模板仓库实际还包含更多模板变体template-mqm-sxs.js并排双译文、template-mqm-shared-source.js、template-mqm-quality-score.js、template-mqm-source-media.js、template-mqm-speech-to-speech.js、template-mqm-image.js。标准 MQM 模板的错误体系以 template-mqm.js 为例其错误类型errors体系由大类accuracy / fluency / style / terminology / locale_convention / other / non_translation / source_error→ 子类subtypes两级结构构成Accuracy准确性译文未准确反映源文。子类包括 Creative Reinterpretation创造性重释、Mistranslation误译、Gender Mismatch性别不一致、Source language fragment未翻译的源语言片段、Addition增译、Omission漏译标记为source_side_onlyFluency流利度与源文无关的译文形式/内容问题。子类包括 Inconsistency、Grammar、Register、Spelling、Text-Breaking、Punctuation、Character encodingStyle风格Unnatural or awkward、Bad sentence structure、Archaic or obscure word choiceTerminology术语Inappropriate for context、InconsistentLocale convention本地化惯例Address、Date、Currency、Telephone、Time、Name 格式Other其他需附加说明needs_note: trueNon-translation!非翻译整句完全不是对源文的翻译该特殊类别强制major严重度、覆盖该句其他所有标记错误并将整句译文设为错误跨度override_all_errors: trueSource issue源文问题仅标记在源文侧source_side_only: true。严重度severities默认两级Major快捷键M粉色高亮与Minor快捷键m#fbec5d黄色高亮二者的判定标准均以是否显著改变源文含义或显著降低文本质量为界。模板的关键配置项模板是挂在全局antheaTemplates对象上的 JS 配置可配置常量包括配置项含义VERSION模板版本标识如v1.00-Mar-24-2025SIDE_BY_SIDE为 true 时并排展示两个译文COLLECT_QUALITY_SCORE为 true 时收集每段质量评分同时禁用子段落切分TARGET_SIDE_ONLY为 true 时仅评估译文侧单语模板使用MAX_ERRORS每句最多可标记的错误数0 表示不限MQM-WebPage 设为 5SKIP_RATINGS_TABLES为 true 时不自动向说明中追加错误/严重度列表ALLOW_SPANS_STARTING_ON_SPACE是否允许错误跨度以空白开头FLATTEN_SUBTYPES是否以扁平短列表展示错误类型/子类超过 10 种组合时避免使用USE_PAGE_CONTEXT是否使用网页截图渲染作为上下文需 TSV 注解提供图片 URL 与包围盒box共享的说明文本Overview、General Guidelines、Navigation、Annotation Process 等定义在 template-base.js 的antheaTemplateBase.instructions_section_contents中模板可继承或覆盖。创建自定义模板用户指南给出了明确的四步流程为模板取一个唯一名称如MQM-My-Template-Name在 anthea.html 的模板下拉框中新增一行option valueMQM-My-Template-NameMQM-My-Template-Name/option注意保持名称有序复制现有模板文件template-*.js为新文件mqm-template-my-template-name.js修改新文件将其注册到全局模板表antheaTemplates[MQM-My-Template-Name] { // 覆盖 severities、errors 以及各配置常量 };其中errors结构可直接参考 template-mqm.js 的两级嵌套写法而简化模板只有 accuracy / fluency 两类错误、并在instructions中自定义任务说明可参考 template-mqm-cd.js。标注操作细节评测员在评估时的标注流程定义于模板说明与 template-base.js 的 Navigation / Annotation Process 章节如下选中错误跨度点击错误起始词、再点击结束词单个词需双击选择严重度使用右侧列中的 Major / Minor 按钮或快捷键M/m选择错误类别从错误类型树中选定大类与子类删除错误点击错误左侧的x按钮翻页导航使用左右方向键或界面按钮在句组间前进/后退可随时返回已标注句子增删错误跨侧跳转Tab键在源文侧与译文侧之间跳转上下文意识标注时应结合整篇文档上下文判断——若某处译文单独看存疑、但置于文档语境中可接受则不应标记为错误。仓库中的测试与验证资源anthea 目录下还包含大量用于验证功能的测试脚本通过?test参数加载可作为理解数据格式与模板行为的活文档test-mqm.js标准 MQM 模板的基本标注流程test-mqm-ja.js日语CJK 分词场景测试test-rtl.js从右向左书写语言如阿拉伯语、希伯来语的测试test-paragraph.js段落级分段测试test-missing-target-segment.js译文段缺失场景test-document-as-segment.js整篇文档作为一个段落的场景test-mqm-sxs.js、test-mqm-tgt1st.js、test-mqm-shared-source.js、test-mqm-source-media.js、test-mqm-quality-score.js各模板变体的专项验证。小结Anthea 的价值在于把翻译质量评估这一需要评测员深度参与的任务做成了一个零后端、零构建、纯浏览器的轻量工具通过规范的 TSV 数据文件驱动项目、以可插拔的 MQM 模板覆盖从完整 MQM 到单语、网页片段等不同评估场景再借助浏览器 localStorage 实现断点续评、以 JSON 导出结果并由 Marot 完成聚合分析。如果你想在自己的翻译质量评测流程中落地 MQM从本仓库的 anthea/ 目录出发按本文的部署与数据格式规范即可快速上手。赞分享人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载相关推荐如何提升OpenSpeedy社区翻译质量完整评估指南与实用工具如何提升OpenSpeedy社区翻译质量完整评估指南与实用工具 OpenSpeedy作为一款开源游戏变速工具其多语言支持对于全球用户体验至关重要。本文将系统桌面应用游戏开发hacktronian漏洞利用工具详解sqlmap、commix与ATSCAN的高级用法hacktronian漏洞利用工具详解sqlmap、commix与ATSCAN的高级用法 Hacktronian是一款集成多种渗透测试工具的综合平台专为安全COMET翻译质量评估终极免费工具完整使用手册COMET翻译质量评估终极免费工具完整使用手册 在当今全球化时代机器翻译已成为跨语言沟通的重要桥梁。然而如何准确评估翻译质量一直是技术领域的核心挑战。CO创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Anthea：基于 MQM 的翻译质量评估工具部署与使用全指南
人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载导读Anthea 是 Google Research 开源的一款翻译质量评估工具它以自然、连贯的并排对照方式呈现源文本与译文而非生硬的表格排版让评测员以段落/句组为单位对翻译质量进行标注。Anthea 专为MQMMultidimensional Quality Metrics多维质量指标评估流程设计内置多个可直接使用的 MQM 模板并可在浏览器本地存储中自动保存评估进度、以 JSON 文件导出评估结果。本文将带你从零完成 Anthea 的本地部署掌握项目 TSV 数据文件的格式规范、评估模板的选择与自定义方法并结合源码理解其分段标注与错误分类的底层机制。Anthea 是什么核心设计理念从 anthea/README.md 的定义可以看出Anthea 的定位非常聚焦自然流式对照源文本与译文以自然、连贯的阅读方式并排展示区别于人为强制的表格化排版评测员可以像阅读真实文档一样评估翻译可配置粒度的分段评估文本按段segment组织段的大小可配置通常是一个句子或一个段落面向 MQM 设计内置多套 MQM 评估模板开箱即用。快速部署两种方式Anthea 是一个纯前端应用HTML CSS JavaScript不需要构建、不需要后端服务只需通过 Web 服务器托管若干静态文件即可使用。方式一完整自托管将以下文件从仓库根目录anthea/目录拷贝到任意 Web 服务器目录下文件作用anthea-eval.css评估界面的样式表anthea-eval.js评估界面的核心逻辑anthea-help.html内置用户指南同时作为工具菜单项展示anthea-manager.css项目管理菜单的样式表anthea-manager.js项目创建/加载/下载等管理逻辑anthea.htmlAnthea 的主页面template-mqm.js标准 MQM 模板template-mqm-cd.js简化版 MQM-CD 模板template-mqm-paragraph.js段落级 MQM 模板template-mqm-webpage.js网页片段 MQM 模板template-mqm-monolingual.js单语仅评估译文模板同时还需要同级项目 Marot的 5 个文件Anthea 使用 Marot 做评估结果的可视化分析marot.css、marot.js、marot-histogram.js、marot-sigtests.js、marot-utils.js本仓库中位于 marot/ 目录。方式二使用精简版 anthea-lite.html如果不想维护上述文件可直接使用 anthea-lite.html。该文件把所有 CSS 与 JS 改为从https://gstatic.com/anthea/加载因此只需托管这一个文件即可运行全部功能。仓库中另有 anthea-staging-lite.html 供预发布场景使用。注意anthea-lite.html 依赖外部的 gstatic.com CDN 资源若部署环境无法访问外网应使用方式一进行自托管。项目数据格式TSV 文件规范Anthea 的评估项目通过项目 TSV 文件创建其格式规范在 anthea-help.html 中有完整定义1. 文件头HeaderTSV 文件的第一行必须是文件头内容为一段 JSON 编码的对象用于标识源语言与目标语言例如{source_language: [language-code-BCP47], target_language: [language-code-BCP47]}其中语言代码使用 BCP47 格式。该对象还可携带其他元数据例如note_to_raters一段纯文本会显示在评估说明底部。2. 数据行四个必填字段从第二行起每行必须依次包含以下四个字段制表符分隔字段说明source segment源语言句组target segment译文句组document name文档名system name系统名如某个 MT 系统或人工翻译标识3. 第五个可选字段JSON 注解第五个字段可选内容为一个 JSON 编码的对象可携带特定键值信息包括references参考译文名称到参考译文文本的映射primary_reference主参考译文的名称若存在references则必填。4. 特殊解析规则空行表示段segment之间的段落分隔只含两个字段即文档名与系统名的行也按空行处理源/译文字段中的\\n会被反转义为换行\n\\t反转为制表符\t段内句末若出现连续两个或更多换行渲染为段落分隔单个换行则渲染为换行line-break。5. 词与句子边界Anthea 通过两个分隔字符完成分词空格与零宽空格\u200b。多数场景仅靠空格分词即可对于 CJK中日韩语言或需要将标点单独切分时应在提供给 Anthea 的 TSV 文件中预先用外部工具完成分词并插入零宽空格。此外两个连续的零宽空格\u200b\u200b用于在文本中标记句子边界。评估流程项目生命周期管理项目管理菜单点击页面左上角的Anthea按钮可打开下拉菜单按顺序支持四项操作Create创建选择评估模板并打开项目 TSV 文件来新建项目Load加载从浏览器本地存储恢复已保存的项目Download下载将评估结果导出为 JSON 文件View查看查看已保存的评估 JSON 文件只读。创建项目新建项目需先选择评估模板下拉框中列出再打开项目 TSV 文件。创建成功后项目配置会显示在右上角。从 anthea.html 的源码可以看到主页面通过new AntheaManager()初始化并支持?testtest-xxx.js的 URL 参数加载测试脚本仓库中 test-mqm.js、test-mqm-ja.js、test-rtl.js 等即为此用途。状态自动保存与恢复Anthea 使用浏览器localStorage自动保存评估状态。anthea-manager.js 中遍历window.localStorage枚举已存项目并通过localStorage.setItem(activeKey, JSON.stringify(activeData))将当前评估数据持久化。因此刷新页面、关闭浏览器都不会丢失进度重新打开时选择相同模板与项目配置即可恢复。下载评估结果评估过程中的任意时刻都可以将评估结果导出为 JSON 文件下载时可选择下载后保留评估或下载后删除评估见 anthea.html 中的keep/close选项。查看评估结果打开评估 JSON 文件可回看历史评估内容为只读。若打开的文件中包含 MQM 评估Anthea 会在独立标签页中展示基于Marot的分析结果聚合分数、显著性检验等。评估模板体系内置模板用户指南与 anthea.html 中的option列表一致内置以下模板模板说明MQM主 MQM 模板错误类型最完整MQM-Target-First变体先展示译文侧再展示源文MQM-CD简化模板仅有 accuracy准确性与 fluency流利度两类错误MQM-WebPage面向网页文本片段的简化模板需提供源网页与译文的图片渲染作为评测上下文MQM-Monolingual仅评估译文侧的单语模板仓库实际还包含更多模板变体template-mqm-sxs.js并排双译文、template-mqm-shared-source.js、template-mqm-quality-score.js、template-mqm-source-media.js、template-mqm-speech-to-speech.js、template-mqm-image.js。标准 MQM 模板的错误体系以 template-mqm.js 为例其错误类型errors体系由大类accuracy / fluency / style / terminology / locale_convention / other / non_translation / source_error→ 子类subtypes两级结构构成Accuracy准确性译文未准确反映源文。子类包括 Creative Reinterpretation创造性重释、Mistranslation误译、Gender Mismatch性别不一致、Source language fragment未翻译的源语言片段、Addition增译、Omission漏译标记为source_side_onlyFluency流利度与源文无关的译文形式/内容问题。子类包括 Inconsistency、Grammar、Register、Spelling、Text-Breaking、Punctuation、Character encodingStyle风格Unnatural or awkward、Bad sentence structure、Archaic or obscure word choiceTerminology术语Inappropriate for context、InconsistentLocale convention本地化惯例Address、Date、Currency、Telephone、Time、Name 格式Other其他需附加说明needs_note: trueNon-translation!非翻译整句完全不是对源文的翻译该特殊类别强制major严重度、覆盖该句其他所有标记错误并将整句译文设为错误跨度override_all_errors: trueSource issue源文问题仅标记在源文侧source_side_only: true。严重度severities默认两级Major快捷键M粉色高亮与Minor快捷键m#fbec5d黄色高亮二者的判定标准均以是否显著改变源文含义或显著降低文本质量为界。模板的关键配置项模板是挂在全局antheaTemplates对象上的 JS 配置可配置常量包括配置项含义VERSION模板版本标识如v1.00-Mar-24-2025SIDE_BY_SIDE为 true 时并排展示两个译文COLLECT_QUALITY_SCORE为 true 时收集每段质量评分同时禁用子段落切分TARGET_SIDE_ONLY为 true 时仅评估译文侧单语模板使用MAX_ERRORS每句最多可标记的错误数0 表示不限MQM-WebPage 设为 5SKIP_RATINGS_TABLES为 true 时不自动向说明中追加错误/严重度列表ALLOW_SPANS_STARTING_ON_SPACE是否允许错误跨度以空白开头FLATTEN_SUBTYPES是否以扁平短列表展示错误类型/子类超过 10 种组合时避免使用USE_PAGE_CONTEXT是否使用网页截图渲染作为上下文需 TSV 注解提供图片 URL 与包围盒box共享的说明文本Overview、General Guidelines、Navigation、Annotation Process 等定义在 template-base.js 的antheaTemplateBase.instructions_section_contents中模板可继承或覆盖。创建自定义模板用户指南给出了明确的四步流程为模板取一个唯一名称如MQM-My-Template-Name在 anthea.html 的模板下拉框中新增一行option valueMQM-My-Template-NameMQM-My-Template-Name/option注意保持名称有序复制现有模板文件template-*.js为新文件mqm-template-my-template-name.js修改新文件将其注册到全局模板表antheaTemplates[MQM-My-Template-Name] { // 覆盖 severities、errors 以及各配置常量 };其中errors结构可直接参考 template-mqm.js 的两级嵌套写法而简化模板只有 accuracy / fluency 两类错误、并在instructions中自定义任务说明可参考 template-mqm-cd.js。标注操作细节评测员在评估时的标注流程定义于模板说明与 template-base.js 的 Navigation / Annotation Process 章节如下选中错误跨度点击错误起始词、再点击结束词单个词需双击选择严重度使用右侧列中的 Major / Minor 按钮或快捷键M/m选择错误类别从错误类型树中选定大类与子类删除错误点击错误左侧的x按钮翻页导航使用左右方向键或界面按钮在句组间前进/后退可随时返回已标注句子增删错误跨侧跳转Tab键在源文侧与译文侧之间跳转上下文意识标注时应结合整篇文档上下文判断——若某处译文单独看存疑、但置于文档语境中可接受则不应标记为错误。仓库中的测试与验证资源anthea 目录下还包含大量用于验证功能的测试脚本通过?test参数加载可作为理解数据格式与模板行为的活文档test-mqm.js标准 MQM 模板的基本标注流程test-mqm-ja.js日语CJK 分词场景测试test-rtl.js从右向左书写语言如阿拉伯语、希伯来语的测试test-paragraph.js段落级分段测试test-missing-target-segment.js译文段缺失场景test-document-as-segment.js整篇文档作为一个段落的场景test-mqm-sxs.js、test-mqm-tgt1st.js、test-mqm-shared-source.js、test-mqm-source-media.js、test-mqm-quality-score.js各模板变体的专项验证。小结Anthea 的价值在于把翻译质量评估这一需要评测员深度参与的任务做成了一个零后端、零构建、纯浏览器的轻量工具通过规范的 TSV 数据文件驱动项目、以可插拔的 MQM 模板覆盖从完整 MQM 到单语、网页片段等不同评估场景再借助浏览器 localStorage 实现断点续评、以 JSON 导出结果并由 Marot 完成聚合分析。如果你想在自己的翻译质量评测流程中落地 MQM从本仓库的 anthea/ 目录出发按本文的部署与数据格式规范即可快速上手。赞分享人工智能深度学习NLP计算机视觉强化学习【免费下载链接】google-researchGoogle Research项目地址https://gitcode.com/gh_mirrors/go/google-research点击查看免费下载相关推荐如何提升OpenSpeedy社区翻译质量完整评估指南与实用工具如何提升OpenSpeedy社区翻译质量完整评估指南与实用工具 OpenSpeedy作为一款开源游戏变速工具其多语言支持对于全球用户体验至关重要。本文将系统桌面应用游戏开发hacktronian漏洞利用工具详解sqlmap、commix与ATSCAN的高级用法hacktronian漏洞利用工具详解sqlmap、commix与ATSCAN的高级用法 Hacktronian是一款集成多种渗透测试工具的综合平台专为安全COMET翻译质量评估终极免费工具完整使用手册COMET翻译质量评估终极免费工具完整使用手册 在当今全球化时代机器翻译已成为跨语言沟通的重要桥梁。然而如何准确评估翻译质量一直是技术领域的核心挑战。CO创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
