talents ai 速通+ 出题经验篇 在官网完成注册后,先在职位列表根据自己的专业申请(目前大部分项目关联的都是【AI出题专家】-不同同专业),申请完职位后就可以在工作台看到自己能够参与的、正在进行的项目了;接下来是完成入项考试,考试的过程也是帮助理解规则的过程~;考试通过后即可出题(出题之前多研究出题手册,了解该项目的出题要求、侧重点及红区,第一道题为试标,正常结算,优先质检),通过后就恭喜您成为正式出题专家啦~ (欢迎大家一起交流经验,能回答的问题我也会进行非官方回复哈哈哈) 不同项目通用经验: !!题目不能有歧义 !!文件及出题场景的真实性!! 这两点我觉得是各个项目都需要注意的,不要为了出题而出题去编造一些不真实的场景、也不要为了难道模型在题目中故意埋坑或者隐藏某些信息; 进行中的项目相关经验: 【VLM图文】单轮封闭题:(弱识别,强推理!!) - 最新规则仅允许使用一张图片出题; - 模型不引用外部资料,不搜索其他信息,仅通过图片上的内容,以及专业知识就能解答该题目; - 若图片来源于论文中,避免基于论文中直接能搜索到的结论出题,适当进行二次创造或挖掘隐含结论; 【棱镜计划】多格式封闭项目 —— 基于一组真实文件,在其全部内容中,完成精确召回+ 推理出唯一答案。 - 需要是逻辑错误而非指令错误; - 目前我感觉跨文件提取、识别错误、推理含量高的题更容易把模型难到; 【千寻计划】search 方向(英文) - 其实没有想象中的难!反倒非常适合新手小白去做!! - 多找一些特色国内外可访问的官方网站,完全可以难道模型的 【openclaw】小龙虾养殖计划 —— 首题20% bonus已经延长至06-30啦 - 三期取消了工具限制,需要公开文件,所以其实非常适合理科生出一些实验数据处理分析相关的(当然可以进行适当改编、模糊处理;理科生冲啊冲啊); - 参考做法逻辑及表述要清晰,用了xx文件/工具,进行/处理了xx,得到的结果是xx;目前质检已大幅提速 【领航计划】 - 该项目专业性稍强,当然收获也是无比的;个人觉得很难以现场编造题目来难住模型,基于自己真实的科研/工作中会遇到的难题会更得心应手一些, #大模型 #ai标注 #标注平台#talents-ai