大模型推理服务的吞吐量上不去，绝大多数时候不是模型本身的问题，而是调度策略把它拖住了。我见过不少团队在单卡上跑一个7B模型，显存明明还剩一大截，QPS却死死卡在个位数，调大batch size也没用——因为请求是一个一个来…
1. 为什么我要自己封装一层 OkHttp做过几个线上项目之后，我对“网络层”这件事的看法会变得很务实：它不该是每次开新项目都要重新纠结一遍的东西，也不该是随手在 Activity 里 new 一个 OkHttpClient 就完事的临时方案。OkHttp 极简封装这个事…
1. 项目背景与市场定位这个年收入18万美金的设计工具案例，完美诠释了独立开发者如何在小众垂直领域找到商业机会。作为一款设计类工具，它避开了与Adobe、Figma等巨头的正面竞争，而是瞄准了一个特定用户群体的高频痛点需求。从收入规模来看&am…
1. 项目背景与核心价值去年双十一大促期间，某头部MCN机构首次采用驭影系统后，单场直播GMV突破2.3亿，场观转化率提升47%，退货率下降12个百分点。这套系统究竟藏着什么黑科技？作为深度参与过三个版本迭代的实操者&#x…
大模型参数量的膨胀速度，这两年大家有目共睹。从早期几亿参数的小模型，到现在动辄千亿甚至万亿参数的庞然大物，单卡显存早就装不下了，多卡并行训练也变得越来越吃力。但有意思的是，真正跑推理的时候，模型并…
1. 项目背景与核心价值最近在开发AI Agent类应用时，发现一个普遍存在的痛点：大多数Agent在对话过程中缺乏连贯性，每次交互都像初次见面。这种"记忆缺失"问题严重影响了用户体验和任务完成效率。传统数据库虽然能存储数据࿰…
1. 项目概述：当气象数据遇上云端计算干旱监测一直是气象学和农业领域的重要课题。标准化降水指数（SPI）作为世界气象组织推荐的干旱评估指标，通过统计方法将降水数据转换为标准正态分布，使得不同地区、不同时间尺度的干…
1. 那场风波到底怎么回事先把时间线捋清楚。Zcode 这个工具刚在圈子里传开的时候，口碑是相当不错的——一个面向开发者的 AI 编程助手，能接各种模型，能跑 agent 任务，安装也不算复杂。我自己大概是在它热度起来后没多久就装上了&a…
半夜被叫起来处理线上问题，很多人的第一反应不是打开监控面板，而是先敲一条curl。把接口原样打一遍，看一眼返回码和响应体，心里立刻就有底了。curl这个命令行工具在整个研发链路里的位置其实很特殊：它足够底层…
1. 项目背景与核心价值技术决策一直是研发团队面临的重大挑战。随着技术生态的快速演进，技术栈的选择、维护和迭代变得愈发复杂。我们团队在过去两年里，先后经历了三次重大技术栈迁移，每次都需要投入大量人力进行技术评估和风险分析。直到去年…
1. 从"生成文字"到"拍板决策"：Jev 到底在解决什么问题大多数人第一次接触大模型，脑子里建立的模型是"输入问题、输出文字"。你问它今天天气怎么样，它给你一段描述；你让它写个周报，它给你…
想在一台 32G 统一内存的小主机上把大模型跑成"日常可用"，这件事我前后折腾了小半年。标题里说的这台 Mac mini M6，是我们这次讨论的目标平台，具体到手规格以实物为准；但下面这套推算方法和实测思路，对任何统…
在智慧养宠时代，基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而，与配合度高的人类不同，宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态，更无法控制光照环境。实际应用中，我们常…
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
在智慧养宠时代，基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而，与配合度高的人类不同，宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态，更无法控制光照环境。实际应用中，我们常…
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …
/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …