尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
关于BGE
1. 本周任务确定《M3-Embedding》文章期刊BGE模型是否必须用大语言模型。下载BGE模型2. 查阅《Bge m3-embedding》是一篇发表在国际自然语言处理顶级会议ACL 2024上的会议论文。根据中国计算机学会的推荐目录ACL会议属于最高级别的A类会议。引用次数754关于数据隐私问题如果只是在本地部署模型数据只是在本地被转换为向量存储在本地不会存在数据泄露的风险。如果把数据发送给云端大模型生成一个更加流畅、生成式的答案或者使用云端API调用BGE模型才会发发生数据泄露的可能性。3. bge-large-zh-v1.5因为bge-large-zh-v1.5是专门处理中文的所以这周先下载这个模型来测试一下。链接在https://ai.gitcode.com/BAAI/bge-base-zh-v1.5BGE还有其他特别多的模型也表现的比较好可以后面再尝试一下。BGE提供两种安装包括需要微调和不需要微调。如下详情见https://github.com/FlagOpen/FlagEmbedding/blob/master/README_zh.md安装依赖pip install FlagEmbedding加载模型# 加载BGE模型 try: self.bge_model FlagModel( BAAI/bge-large-zh-v1.5, query_instruction_for_retrieval为这个句子生成表示以用于检索相关文章, use_fp16True if self.device cuda else False ) print(BGE模型加载成功) except Exception as e: print(fBGE模型加载失败: {e})第一次使用时会自动下载模型。测试bge原来bge原来由于在系统里面测试的效果不好而且对比不明显下面单独写几个python文件来测试1BERT vs BGE关于上面的测试前三个是高度相似的文本中间三个是中等相似的文本最后三个是低相似度的文本。可以看到BGE相似度一直比BERT模型低对于高相似度文本这是比较不好的地方。但是也注意到对于中等相似和低相似度可以说是不相关的文本bert也是相似度在95%以上。原本的BERT模型几乎将所有文本都映射到非常相似的向量空间。2BERT模型微调过关键词 vs BGE仅计算相似度之前测试过的一部分例子可以看到经过微调之后BERT的相似度会有所下降没有原来一直在一个很高的范围但是相比较来说几乎也是在70%以上。而BGE的总体相似度是会比BERT更低但是对于比较不相关的相似度比比较低区分度比较大。最后一张图片是随便输入的两个比较不相关的例子可以看到两个模型的表现也是和测试过的差不多。3BERT模型微调过关键词 vs BGE仅计算相似度关键词上面加了和原BERT一样的关键词处理的结果但是BGE好像并不需要这样的处理因为BGE模型原本就可以比较好的理解语义而且加了之后根据结果看出并没有提升相似比。4. 小结1. 关于BGE与BERT的对比结果可以看出BGE的所有相似度都略低于BERT包括相关文本和不相关文本。2. 上面是还没有微调的模型测试的结果接下来可以尝试微调模型测试结果。3. 最后分享一个视频关于词向量的演进https://www.bilibili.com/video/BV1CWV6zKEBn/?spm_id_from333.1007.top_right_bar_window_history.content.clickvd_source55c13df40a8e87fe0644fd9fe14daf44
RELATED

相关推荐

Wand-Enhancer|Wand (WeMod) 本地补丁工具,自己构建、免订阅

Wand-Enhancer|Wand (WeMod) 本地补丁工具,自己构建、免订阅

Wand-Enhancer|Wand (WeMod) 本地补丁工具,自己构建、免订阅 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/GitHub_Trending/we/Wand-Enhancer Wand&#xff…

📅 2026/10/29 10:25:05
第一次 iOS 侧载不用命令行:iloader 3 个按钮装好 SideStore、导入 IPA

第一次 iOS 侧载不用命令行:iloader 3 个按钮装好 SideStore、导入 IPA

第一次 iOS 侧载不用命令行:iloader 3 个按钮装好 SideStore、导入 IPA 【免费下载链接】iloader User friendly sideloader 项目地址: https://gitcode.com/GitHub_Trending/iloa/iloader iloader 是一款免费的 iOS 侧载工具,把签名、安装、放配…

📅 2026/10/29 10:20:05
3 步搞定网盘直链下载:LinkSwift(Online-disk-direct-link-download-assistant)完整安装与使用指南

3 步搞定网盘直链下载:LinkSwift(Online-disk-direct-link-download-assistant)完整安装与使用指南

3 步搞定网盘直链下载:LinkSwift(Online-disk-direct-link-download-assistant)完整安装与使用指南 【免费下载链接】Online-disk-direct-link-download-assistant 一个基于 JavaScript 的网盘文件下载地址获取工具。基于【网盘直链下载助手】…

📅 2026/10/29 10:20:05
MORE NEWS

更多资讯

📰

SSRF漏洞实战指南:协议绕过、内网探测与WAF突破

1. 项目概述:为什么SSRF是靶场里绕不开的“必修课”“靶场练习day12--SSRF”这个标题看似平淡,但背后藏着渗透测试工程师日常最常遭遇、也最容易被低估的一类漏洞——服务端请求伪造(Server-Side Request Forgery)。我带过不少刚入…

📰

AI听声辨位技术:原理、实现与应用场景

1. 项目概述 "听声辨位"这个项目听起来像是某种利用声音进行定位的技术实现。作为一个在音频处理领域摸爬滚打多年的从业者,我见过太多关于声音定位的尝试,但真正能做到实用化的并不多。这个项目标题虽然简短,但包含了几个关键信息…

📰

强化学习在医疗影像标注中的应用与优化

1. 项目概述:当强化学习遇上医疗影像标注 医疗影像数据标注一直是AI落地医疗领域的核心瓶颈。传统人工标注不仅成本高昂(单个CT扫描标注费用可达数百元),更面临专业医师资源稀缺的困境。我在参与某三甲医院肺部结节检测项目时&…

📰

基础算法专项训练:高效刷题方法与实战解析

1. 国庆做题记录:基础算法专项训练的价值与方法 作为一名算法工程师,每逢长假我都会给自己安排专项训练。去年国庆期间,我集中刷了87道基础算法题,收获远超预期。这种短期高强度的刻意练习,对夯实基础、突破瓶颈有奇效…

📰

达梦数据库核心技术解析与应用实践

1. 达梦数据库技术概述:国产数据库的崛起之路 达梦数据库作为国产数据库"四朵金花"之一(与OceanBase、GaussDB、TiDB并列),已经悄然走过了三十余年的发展历程。这个源自华中科技大学的数据库项目,如今已成长…

📰

信号与系统知识地图:三层响应驱动的时频域分析框架

简介:本资源是一份面向电子信息类专业本科生与考研学生的《信号与系统》核心考点精要复习文档,聚焦课程重难点突破与应试梳理。全文系统覆盖信号分类与典型奇异信号(阶跃、冲激及其性质)、时域运算(移位、反褶、尺度变…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬