尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
GeoJSEval: An Automated Evaluation Framework for Large Language Models on JavaScript-Based Geospa...
文章主要内容和创新点主要内容本文针对大型语言模型(LLMs)在基于JavaScript的地理空间计算与可视化代码生成任务中的表现,提出了首个多模态、函数级自动评估框架GeoJSEval。该框架包含三个核心组件:标准化测试套件(GeoJSEval-Bench):基于5个主流JavaScript地理空间库(Turf.js、JSTS、Geolib、Leaflet、OpenLayers)构建,包含432个函数级任务和2071个结构化测试用例,覆盖25种地理空间数据类型;代码提交引擎:引导LLM生成代码并执行,存储输出结果;评估模块:从准确性、输出稳定性、资源消耗、执行效率、错误类型分布等多维度量化评估,并集成边界测试提升鲁棒性。研究使用GeoJSEval对18个最先进的LLM进行了全面评估,发现这些模型在空间语义理解、代码可靠性和函数调用准确性方面存在显著性能差异和瓶颈,为地理空间代码生成模型的标准化评估和优化提供了基础方法与工具。创新点首个针对性评估框架:提出GeoJSEval,是首个针对JavaScript地理空间代码生成的端到端自动评估框架,实现了从提示输入、代码生成到执行、结果比较和错误诊断的全自动化流程。全面的基准测试套件:构建并开源GeoJSEval-Bench,涵盖432个函数级任
RELATED

相关推荐

OpenAI API 错误响应排查保姆级指南

OpenAI API 错误响应排查保姆级指南

OpenAI API 错误响应排查保姆级指南 【免费下载链接】openai-openapi OpenAPI specification for the OpenAI API 项目地址: https://gitcode.com/GitHub_Trending/op/openai-openapi 第一次调用 OpenAI API,终端吐回 401 Unauthorized,错误体里一…

📅 2026/10/21 11:14:55
Notepad-- -- 跨平台文本编辑器:目录查找替换、文件对比和大文本模式一次配齐

Notepad-- -- 跨平台文本编辑器:目录查找替换、文件对比和大文本模式一次配齐

Notepad-- -- 跨平台文本编辑器:目录查找替换、文件对比和大文本模式一次配齐 【免费下载链接】notepad-- 一个支持windows/linux/mac的文本编辑器,目标是做中国人自己的编辑器,来自中国。 项目地址: https://gitcode.com/GitHub_Trending/…

📅 2026/10/21 11:14:55
UniHacker Unity 破解完整指南:3 步免费解锁 4.x 至 2022.1 与 Unity Hub

UniHacker Unity 破解完整指南:3 步免费解锁 4.x 至 2022.1 与 Unity Hub

UniHacker Unity 破解完整指南:3 步免费解锁 4.x 至 2022.1 与 Unity Hub 【免费下载链接】UniHacker 为Windows、MacOS、Linux和Docker修补所有版本的Unity3D和UnityHub 项目地址: https://gitcode.com/GitHub_Trending/un/UniHacker Unity 商用授权贵、免费…

📅 2026/10/21 11:14:55
MORE NEWS

更多资讯

📰

视觉表达SFT:让多模态模型从“看得懂”到“说得好”

开头部分:我把这套多模态模型从预训练一路搭到推理能出结果的时候,遇到一个非常尴尬的局面:输入一张图,问模型“这是什么”,它能把“猫”“狗”“桌子”这样的名词说对,但让它描述画面里的位置关系、颜色细…

📰

多用户远程桌面环境下软件打不开?进程残留与会话管理排查指南

处理多用户远程桌面环境里的“软件打不开”工单时,最容易被绕进去的一个坑就是:用户明明说“我把程序关了”,任务管理器里却还躺着一堆同名进程,再双击桌面图标又毫无反应。我在服务器运维里反复遇到这种场景——终端服务器上装的…

📰

Python Selenium 调用 Firefox 报错?geckodriver 配置与版本匹配指南

简介:这份资源面向Python初学者与Web自动化测试开发者,解决环境搭建中运行库与浏览器驱动缺失的问题。压缩包内包含Python运行环境相关文件及Firefox浏览器的WebDriver实现Geckodriver,配合Selenium库即可编程控制Firefox完成点击、填表等自动…

📰

视觉表达SFT实战:多模态大模型从感知到表达的微调关键

最近带一个多模态项目,正好走到“视觉表达SFT”这一步。我一开始以为这不过是给多模态大模型做一次普通的有监督微调——把图像特征接进语言模型,训几步就完事。真正跑完一轮实验之后才发现,这个阶段才是决定模型“看着一张图能不能说出人话”…

📰

Sora 2 API零代码批量生成视频:从提示词模板到电商量产实战

视频生成赛道现在卷到什么程度?上个月我还在为外包视频一单300块的报价肉疼,这个月已经看到不少同行在用生成式视频 API 批量出片了。特别是这款 ACE Data Platform Sora 2 API,主打的"0代码量产"直接把门槛砍到几乎不存在——不需…

📰

宠物行为AI实时分析:从行为标签体系到兽医诊断辅助落地

宠物行为AI实时分析这个方向,我最早是持保留态度的。原因很简单:行为学这个概念在兽医诊室里太容易被当成“玄学”,不同医生对同一只狗的行为解读经常不一样,更别提让机器来打分。直到我把这个模拟项目从采集端一路做到评估&#…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬