尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
在保证线性一致性的情况下如何写Kv
要在 Raft 系统中保证 KV 写操作的线性一致性最核心的原则是RPC 收到Put/Append后不能直接修改 KV也不能在写入 Leader 本地日志后立即返回成功必须等命令被 Raft 提交并应用到 KV 状态机后才能返回OK。一、完整写入流程假设客户端发送Put(x, 100) ClientId C7 RequestId 12完整过程应该是客户端发送写请求 ↓ Leader调用Raft::Start() ↓ 写入Leader本地日志 ↓ 复制给Follower ↓ 多数节点复制成功 ↓ 日志变成Committed ↓ 通过applyChan交给KVServer ↓ KVServer检查请求是否重复 ↓ 真正修改KV数据库 ↓ 更新lastRequestId ↓ 通知等待中的RPC线程 ↓ RPC返回OK对这个项目来说最直观的线性化点就是已提交命令在GetCommandFromRaft()中真正应用到 KV 状态机的时刻。二、RPC线程不能直接写KVPutAppend()收到请求后只负责构造命令Op op; op.Operation args-op(); op.Key args-key(); op.Value args-value(); op.ClientId args-clientid(); op.RequestId args-requestid();然后提交给 Raftm_raftNode-Start(op, raftIndex, term, isleader);这里的Start()通常只表示Leader接受了命令并尝试把它追加到Raft日志它不代表命令已经得到多数节点确认 命令已经提交 KV数据库已经修改因此不能这样写m_raftNode-Start(...); reply-set_err(OK); // 错误此时还没有提交否则 Leader 可能刚写入本地日志就宕机命令后来被新 Leader 覆盖但客户端已经收到成功线性一致性就被破坏了。三、真正修改KV的位置项目是在收到 Raft 的ApplyMsg后修改 KVvoid KvServer::GetCommandFromRaft(ApplyMsg message) { Op op; op.parseFromString(message.Command); if (!ifRequestDuplicate(op.ClientId, op.RequestId)) { if (op.Operation Put) { ExecutePutOpOnKVDB(op); } if (op.Operation Append) { ExecuteAppendOpOnKVDB(op); } } SendMessageToWaitChan(op, message.CommandIndex); }对应代码[kvServer.cpp (line 166)](C:/Users/LENOVO/Desktop/KVstorageBaseRaft-cpp-main/src/raftCore/kvServer.cpp:166)这里先去重再执行Raft已经提交 ↓ 检查是否重复 ↓ 修改KV ↓ 通知RPC线程这才是正确的写入路径。四、图片中的timeOutPop()是什么RPC线程把命令交给 Raft 后会通过日志下标找到对应的等待队列chForRaftIndex-timeOutPop( CONSENSUS_TIMEOUT, raftCommitOp );它在等待Raft 应用线程通知我这个日志位置上的命令已经提交并应用了。这里存在两种结果。情况一等待到了Apply消息也就是进入图片的elseif (raftCommitOp.ClientId op.ClientId raftCommitOp.RequestId op.RequestId) { reply-set_err(OK); } else { reply-set_err(ErrWrongLeader); }为什么不能只看到相同的raftIndex就返回成功假设旧 Leader 在日志位置 10 写入index10客户端C7的请求12但还没提交旧 Leader 就失去领导权。新 Leader可能用另一条命令覆盖这个位置index10客户端C9的请求20此时 RPC线程等到了index10的应用通知但应用的不是自己的命令。所以必须检查raftCommitOp.ClientId op.ClientId raftCommitOp.RequestId op.RequestId只有两者都相同才能证明被应用的确实是当前客户端的当前请求然后才能返回OK。五、情况二等待超时图片中的代码是if (!chForRaftIndex-timeOutPop(...)) { if (ifRequestDuplicate(op.ClientId, op.RequestId)) { reply-set_err(OK); } else { reply-set_err(ErrWrongLeader); } }超时只表示RPC线程在规定时间内没有收到Apply通知不表示命令一定失败。命令可能已经成功应用只是Apply通知到达得比较晚 等待队列通知丢失 RPC线程恰好先超时 网络或线程调度发生延迟因此超时后再次检查ifRequestDuplicate(op.ClientId, op.RequestId)它的判断逻辑是return RequestId m_lastRequestId[ClientId];已经执行过如果返回truelastRequestId[C7] 12说明状态机已经执行过这个请求所以可以返回reply-set_err(OK);注意这不是“把重复请求重新执行一次”而是请求已经执行过这次只补发成功响应尚未确认执行如果返回false只能说明目前没有证据证明请求已经应用不能确定它最终会不会提交。因此不能返回OK而是返回一个可重试错误reply-set_err(ErrWrongLeader);这里的ErrWrongLeader不一定真的表示“节点不是 Leader”更多是在告诉客户端当前执行结果不确定请使用相同的ClientId RequestId重试。六、客户端怎么重试客户端创建一个新逻辑请求时只增加一次RequestIdm_requestId; auto requestId m_requestId; while (true) { args.set_clientid(m_clientId); args.set_requestid(requestId); // 不断尝试不同节点 }比如第一次发送(C7, 12) 超时后重试(C7, 12) 换Leader重试(C7, 12)不能变成第一次发送(C7, 12) 第一次重试(C7, 13) 第二次重试(C7, 14)否则服务端会把它们当成三个不同操作导致Append重复执行。七、KV和去重表必须一起更新执行Put时void KvServer::ExecutePutOpOnKVDB(Op op) { m_mtx.lock(); m_skipList.insert_set_element(op.Key, op.Value); m_lastRequestId[op.ClientId] op.RequestId; m_mtx.unlock(); }这里同时更新KV数据 lastRequestId去重信息这是必要的。不能出现KV已经修改 但lastRequestId没有更新否则同一个请求重试时会被再次执行。逻辑上它们应该是状态机的一次原子状态转换(KV状态, 去重状态) ↓ 同时应用一条已提交命令 ↓ (新KV状态, 新去重状态)八、这段代码保证成功写入的依据只有下面两种情况能够返回OK1. 等到了Apply消息并且ClientId、RequestId都匹配 2. 等待超时但去重表证明这个请求已经应用过以下情况不能返回成功刚调用Start() 只写入了Leader本地日志 只知道自己目前是Leader 等待到相同日志下标但不是相同请求 超时且去重表里找不到请求
RELATED

相关推荐

Raft如何做到线性一致性

Raft如何做到线性一致性

一、为什么需要请求去重考虑一次 Append("name", "A"):1. 客户端发送 Append 请求 2. Leader 将请求提交到 Raft 日志 3. KV 状态机执行成功,name 变成 "A" 4. 服务端返回响应 5. 但响应在网络中丢失 6. 客户端超时&#…

📅 2026/11/16 18:33:12
线性一致性

线性一致性

线性一致性(Linearizability)**是分布式系统中的一种强一致性模型。一句话定义:所有操作看起来都像是在某个唯一时间点瞬间完成,并且这个时间点必须位于操作发起和响应之间,同时不能违背现实时间顺序。核心要求假设有多…

📅 2026/11/16 18:33:11
赏金不买漏洞——四个关于黑客价值的观点

赏金不买漏洞——四个关于黑客价值的观点

一句话定位赏金不是奖励,是赎金——厂商买的不是漏洞,是漏洞持有人本来可以造成的灾害。先讲清楚一个前提:黑客的能力,永远以破坏能力为尺度。无论破坏是否已经发生。发现一个能瘫痪全国电网的漏洞,和实际上有没有去瘫…

📅 2026/9/18 12:58:06
MORE NEWS

更多资讯

📰

工地太忙根本没时间复习考试?北京电工证办理点怎么报名全攻略

工地太忙根本没时间复习考试?北京电工证办理点怎么报名全攻略 工地太忙根本没时间复习考试,你不是一个人。每天早上五点起床赶班车,晚上十点才回宿舍,中间还要抢时间吃口饭、打电话给家里报平安。这种情况下,还要抽时间准备电工证考试,真的太难了。但现…

📰

电工证异地不给复审千万别踩坑 从业者怎么破局

电工证异地不给复审千万别踩坑 从业者怎么破局 你是不是正在为找工作发愁?急需特种作业证才能上岗找工作,偏偏电工证异地不给复审,搞得你到处碰壁?别急,这事儿我见过太多人踩坑了,今天就把实打实的经验告诉你,别再走弯路。…

📰

长春初级电工证在哪考保姆级教程:想上岗必须搞定的电工证全攻略

长春初级电工证在哪考保姆级教程:想上岗必须搞定的电工证全攻略 你还在为找工作发愁吗?是不是听说现在电工证是很多岗位的硬门槛?长春初级电工证在哪考?这个问题,直接关系到你能不能顺利上岗、拿到第一份工资。今天这篇保姆级教程,就帮你把所有问题说透…

📰

电工证3年免复审条件你知道吗?全国通用的政策你别再搞错了

电工证3年免复审条件你知道吗?全国通用的政策你别再搞错了 怕考不过白交培训费?别急,今天就给你讲清楚电工证3年免复审条件到底怎么算,以及怎么选靠谱机构,别再花冤枉钱。 电工证到底有多“硬”?全国通用的它到底值不值?…

📰

电工证异地不给复审,不知道在哪考?三门峡应届生看这篇就够了

电工证异地不给复审,不知道在哪考?三门峡应届生看这篇就够了 你是不是也遇到过这样的情况:手头有个电工证,想换个地方工作,结果一问, 异地不给复审 ?更糟的是,你根本不知道 在哪考 ,生怕被中介坑了一把?别慌,这篇文章就是为你准备的。…

📰

池州电工证在哪办理怎么拿电子证书?急需特种作业证才能上岗找工作

池州电工证在哪办理怎么拿电子证书?急需特种作业证才能上岗找工作 你是不是正为找工作发愁?是不是手里攥着一堆简历却找不到合适的岗位?别急, 池州电工证在哪办理…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬