尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
解决ValueError: too many values to unpack (expected 2)
报错ValueError: too many values to unpack (expected 2)复现RGCL模型遇到的问题该代码里面报错原因是collate_fn里的tokens是多层嵌套列表每个样本是分词后的 token 列表batch 打包后变成[[token1,token2...], [xxx]]但旧版 transformers3.1.0在is_pretokenizedTrue时内部解包逻辑不兼容或者数据里混入了非法空样本、维度错乱。解决方案原 collate_fndef collate_fn(data): u, i, r, tokens zip(*data) encoding bert_tokenizer(tokens, return_tensorspt, paddingTrue, truncationTrue, is_pretokenizedTrue) return torch.Tensor(u), torch.Tensor(i), torch.Tensor(r), \ encoding[input_ids], encoding[attention_mask]改成下面版本去掉is_pretokenizedTrue改用字符串拼接 / 直接传原文本彻底规避解包 bugdef collate_fn(data): u, i, r, token_lists zip(*data) # 把分词列表还原成字符串不用is_pretokenized text_list [ .join(toks) for toks in token_lists] encoding bert_tokenizer(text_list, return_tensorspt, paddingTrue, truncationTrue, max_lengthargs.review_max_length) return torch.Tensor(u), torch.Tensor(i), torch.Tensor(r), \ encoding[input_ids], encoding[attention_mask]infact,在修改代码之前我还多次尝试改变transformers的版本但是还是报一样的错误可能是没有改到正好可以用的那个版本。ps.之前跑自己的模型也遇到过版本问题修改transformers的版本就重新运行了完整报错(base) rootautodl-container-6d25459816-01b42b10:~/Work/ReviewGraph-main/BERT# python bert_whitening.py libgomp: Invalid value for environment variable OMP_NUM_THREADS 2026-07-06 00:23:43 - Load_Data - Start reading data to pandas. Clean string: 100%|███████████████████████████████████████████████████████████████████████| 963441/963441 [01:3600:00, 9971.91it/s] Delete unused words: 100%|██████████████████████████████████████████████████████████████| 963441/963441 [00:0800:00, 107299.97it/s] 2026-07-06 00:25:55 - Load_Data - Truncate review length to 56 words Delete unused words: 100%|██████████████████████████████████████████████████████████████| 963441/963441 [00:0300:00, 255554.45it/s] check data split: 770753it [00:33, 23069.12it/s] /root/Work/ReviewGraph-main/BERT/../load_data.py:190: FutureWarning: The frame.append method is deprecated and will be removed from pandas in a future version. Use pandas.concat instead. train_data train_data.append([valid_data.loc[valid_drop_user_data_index], pre tokenize: 100%|███████████████████████████████████████████████████████████████████████| 973763/973763 [09:0400:00, 1789.32it/s] 0%| | 0/7608 [00:00?, ?it/s] Traceback (most recent call last): File bert_whitening.py, line 175, in module save_sentence_feat(args) File /root/miniconda3/lib/python3.8/site-packages/torch/autograd/grad_mode.py, line 27, in decorate_context return func(*args, **kwargs) File bert_whitening.py, line 149, in save_sentence_feat for u, i, r, input_ids, mask in tqdm(data_loader): File /root/miniconda3/lib/python3.8/site-packages/tqdm/std.py, line 1185, in __iter__ for obj in iterable: File /root/miniconda3/lib/python3.8/site-packages/torch/utils/data/dataloader.py, line 530, in __next__ data self._next_data() File /root/miniconda3/lib/python3.8/site-packages/torch/utils/data/dataloader.py, line 570, in _next_data data self._dataset_fetcher.fetch(index) # may raise StopIteration File /root/miniconda3/lib/python3.8/site-packages/torch/utils/data/_utils/fetch.py, line 52, in fetch return self.collate_fn(data) File bert_whitening.py, line 100, in collate_fn encoding bert_tokenizer(tokens, return_tensorspt, paddingTrue, File /root/miniconda3/lib/python3.8/site-packages/transformers/tokenization_utils_base.py, line 3021, in __call__ encodings self._call_one(texttext, text_pairtext_pair, **all_kwargs) File /root/miniconda3/lib/python3.8/site-packages/transformers/tokenization_utils_base.py, line 3109, in _call_one return self.batch_encode_plus( File /root/miniconda3/lib/python3.8/site-packages/transformers/tokenization_utils_base.py, line 3311, in batch_encode_plus return self._batch_encode_plus( File /root/miniconda3/lib/python3.8/site-packages/transformers/tokenization_utils.py, line 886, in _batch_encode_plus ids, pair_ids ids_or_pair_ids ValueError: too many values to unpack (expected 2)
RELATED

相关推荐

STAR RNA-seq比对工具:从零开始掌握转录组数据分析的终极指南

STAR RNA-seq比对工具:从零开始掌握转录组数据分析的终极指南

STAR RNA-seq比对工具:从零开始掌握转录组数据分析的终极指南 【免费下载链接】STAR RNA-seq aligner 项目地址: https://gitcode.com/gh_mirrors/st/STAR 在转录组学研究领域,RNA-seq数据分析的核心挑战之一是如何将测序reads精准比对到参考基因…

📅 2026/10/9 21:04:53
MHMarkets迈汇:“纳指纳入效应或较短暂”

MHMarkets迈汇:“纳指纳入效应或较短暂”

SpaceX将于IPO后不久被纳入纳斯达克100指数,Yahoo Finance称被动基金可能因此产生集中买入需求,MHMarkets迈汇表示,指数纳入效应确实可能带来短线关注,但持续性需要谨慎评估。文章测算,跟踪纳斯达克100的基金资产规模超…

📅 2026/10/29 19:13:40
传统制造业数字化转型有没有成熟的Agent方案?——主流企业级Agent技术路径与落地实践全景评测

传统制造业数字化转型有没有成熟的Agent方案?——主流企业级Agent技术路径与落地实践全景评测

传统制造业的数字化转型正处于从“流程信息化”向“系统智能化”跨越的关键窗口期。在过去十余年中,尽管企业普遍部署了ERP、MES及WMS等离散型管理系统,但由于各系统接口不兼容、底层数据未打通,企业内部不可避免地形成了难以逾越的数据孤岛。…

📅 2026/10/24 10:24:31
MORE NEWS

更多资讯

📰

EasyU优启通PE维护盘实战指南:制作、启动与核心操作全解析

1. 为什么一个PE维护盘值得单独拿出来聊装系统、修引导、救数据、清病毒,这些活儿但凡干过几次的人都知道,真正决定效率的往往不是你手速多快,而是手边那套PE环境靠不靠谱。EasyU(圈内习惯叫优启通)就是在这个场景下被…

📰

Rust原来很简单二:所有权系统

Part 2 核心篇 —— 所有权系统 本篇覆盖 第 6 ~ 10 章:所有权、借用与引用、生命周期、字符串与切片、内存模型。 ⚠️ 这是全书最重要的一篇。 把它吃透,Rust 从此“很简单”;跳过它,你会处处碰壁。请慢下来,动手敲每一段代码。 第 6 章 所有权:Rust 的第一性原理 6…

📰

基于Hadoop+Spark的民宿智能推荐系统设计与实现

1. 项目概述:大数据时代的民宿智能推荐这个毕业设计项目融合了当前大数据领域最主流的技术栈,构建了一个完整的民宿推荐系统解决方案。作为一名长期从事大数据系统开发的工程师,我认为这个选题非常贴合实际应用场景——随着旅游业的复苏和共享…

📰

ADS122U04IPWR+STM32F427ZI工业级温度测量信号链设计

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

UART接口24位ADC搭配RS485,解决远距离温度监控难题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

UART接口24位ADC搭配PIC18F46K22的RTD与热电偶测温实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬