尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
5分钟跑通 tinygrad:一个小到能读完的深度学习框架
5分钟跑通 tinygrad一个小到能读完的深度学习框架【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad第一次接触 tinygrad你可能会被它的名字骗到——以为它只是 PyTorch 的缩水玩具。其实它是个完整能用的深度学习框架自带带自动求导的张量库、能把算子融合成单个 kernel 的编译器、JIT 加速还有训练神经网络要用的 nn 层和优化器。和 PyTorch 最大的不同在于它的编译器源码短到你能真的读完。如果你正在找一个不用背文档、改起来不心虚的训练框架它值得一试。它比 PyTorch 到底小在哪一句话PyTorch 像盖好的房子tinygrad 像给你图纸让你自己砌。你平时写 PyTorch 训练循环代码几乎能原样搬过来——TensorAPI、backward()、optim、数据集加载这些都在。但有几个体感上的差别没有 nn.Module模型就是一个普通 Python 类用__call__代替forward。想要卷积就直接写x.conv2d(w, b)不用为它专门开一个类。懒执行你写a b时其实什么都没发生要等realize()才真正算。看着怪但好处是相邻算子能被融成一个 kernel。看得见的编译器算子怎么变成 GPU 代码全程可查。右边就是 tinygrad 的全部家当框架层直接下到 kernel没有 cuDNN、cuBLAS 那一大坨黑盒。不想配环境直接跑起来要几步三步全程没有 CUDA 工具链的麻烦git clone https://gitcode.com/GitHub_Trending/tiny/tinygrad cd tinygrad python3 -m pip install -e .装完先确认它默认用哪块卡这行命令会打印CUDA、CPU、AMD之类的结果from tinygrad import Device print(Device.DEFAULT)确认无误后直接跑官方那个手写数字例子几秒内就能到 98% 准确率完整代码不到 50 行python3 examples/beautiful_mnist.py想要更细的分步教程看 MNIST 手册 或 快速上手 就行。第一次训练这么慢正常吗正常而且这恰恰是 tinygrad 的设计。现象你在 MNIST 手册 里按步骤训练一个 step 大概 75ms比 PyTorch 慢得多。原因tinygrad 没在派发速度上花心思它把加速的活儿交给了一个装饰器TinyJit。怎么解决给训练步套上 JIT同一个例子直接降到 1.0ms官方实测快了 75 倍from tinygrad import TinyJit jit_step TinyJit(step) # 或写成 TinyJit 装饰器原理很好理解前两次正常运行并把 kernel 录下来之后只回放 kernel、跳过 Python 开销。注意它会连优化器一起 JIT所以第二次之后会影响 kernel 的普通 Python 值会被冻住——Tensor的随机数不受影响照常工作。它真能跑大模型吗能showcase 里给的都是实打实的例子不是 demo 级别的YOLOv8python3 examples/yolov8.py直接出目标检测框。️WhisperSMALL1 python3 examples/whisper.py做语音转写。Stable Diffusionpython3 examples/stable_diffusion.py跑文生图。LLaMApython3 examples/llama.py能聊天还支持--quantize把权重压到 int8 或 nf4 塞进显存。也就是说视觉、音频、生成式、大语言模型这几条线它都有现成脚本权重格式统一走 safetensors能直接读 HuggingFace 的模型。换块卡要改代码吗不用。tinygrad 已经支持一批后端同一个Tensor代码切卡就行OpenCL、CPU、METAL、CUDA、AMD、NV、QCOM、WEBGPU。想自己接一块新卡门槛比想象中低——它只需要你实现大概 25 个底层算子。换句话说硬件适配的活儿是被刻意压得很薄的这也是它小而可改的底气。怎么看到它内部在干什么调试是 tinygrad 最顺手的一块几个环境变量就能打开透视镜完整列表见 环境变量说明DEBUG2 python3 examples/beautiful_mnist.py # 每个kernel的耗时、显存、带宽 BEAM2 python3 examples/beautiful_mnist.py # 自动搜最快kernel实现DEBUG2打印每个 kernel 跑多久、吃多少显存。DEBUG4直接看生成出来的 kernel 源码配合懒执行看融合效果最直观。BEAM2让它对 kernel 做束搜索挑你机器上最快的实现结果会缓存下次不用重搜。️VIZ1把计算图画出来调试网络结构特别有用。上手前必须知道的几件事⚠️它还没到 1.0API 已经稳定一阵了但偶尔还会动生产前多跑跑 test/ 里的回归测试。⚠️懒执行别忘 realize忘了realize()就print()大概率拿到的是个还没算的东西numpy()和item()会自动触发。️多卡就两行把模型和 batch 分别.shard到各卡即可官方在 MNIST 手册里留了道你能找到这两行吗的题。改 bug 是真能改的它纯 Python 且短官方明确鼓励你直接修库里的 bug 并补测试。最直接的下一步把仓库拉下来先跑通beautiful_mnist.py再打开DEBUG4盯着它生成的 kernel 看一遍——看懂那一刻你就真的拥有这个框架了。【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

用Python复盘WTT乒乓球赛:从事件表到视频抽帧的完整流程

用Python复盘WTT乒乓球赛:从事件表到视频抽帧的完整流程

这次 WTT 横滨冠军赛,我本来是当普通比赛看的,结果看到一半,思路完全跑偏了。脑子里一直冒出几个问题:转播画面里的得分率、落点分布、发球轮次是怎么算出来的?这些数据能不能拆下来,自己用来复盘比赛&…

📅 2026/10/3 11:37:26
文旅景区结构化数据集解析:JSON与Excel双格式工程实践

文旅景区结构化数据集解析:JSON与Excel双格式工程实践

简介:这是一份面向旅游行业数据分析、地理信息系统开发及文旅类课程教学的全国旅游景区结构化数据集,覆盖2022年6月前全国约12000个A级景区(1A至5A),解决景点空间分布建模、等级可视化分析、城市旅游资源评估等实际需求…

📅 2026/9/15 11:47:38
Windows 版 Czkawka 视频查重:从零安装到清掉重复视频的完整教程

Windows 版 Czkawka 视频查重:从零安装到清掉重复视频的完整教程

Windows 版 Czkawka 视频查重:从零安装到清掉重复视频的完整教程 【免费下载链接】czkawka Multi functional app to find duplicates, empty folders, similar images etc. 项目地址: https://gitcode.com/GitHub_Trending/cz/czkawka 硬盘被重复视频塞满&a…

📅 2026/10/30 11:12:12
MORE NEWS

更多资讯

📰

淮南电工证复审在哪保姆级教程:学历不高怕报不上名也能顺利通过

淮南电工证复审在哪保姆级教程:学历不高怕报不上名也能顺利通过 你是不是也在担心自己学历不高,连电工证复审都报不上名?别急,这篇【淮南电工证复审在哪保姆级教程】就是为像你这样的工友量身打造的,看完就能轻松搞定复审流程,顺利拿到证书。…

📰

英德安监局电工证年审新规下电工证含金量还有多少?

英德安监局电工证年审新规下电工证含金量还有多少? 怕考不过白交培训费?英德安监局电工证年审新规下,证书含金量到底还有多少?别急,咱们今天就来聊聊这个事,讲讲新规怎么影响你手里的电工证,以及怎么避免掉坑。…

📰

周至电工证在哪报名?怕考不过白交培训费?这几点必须知道

周至电工证在哪报名?怕考不过白交培训费?这几点必须知道 怕考不过白交培训费?周至电工证在哪考?这个问题几乎是每个想考电工证的人都会问的,尤其是在你已经投入了培训费的情况下,担心一场考试失利,就等于浪费了时间和金钱。别急,今天咱们就来聊聊周至…

📰

湖北考电工证培训学校怎么考?电子证书过期了怎么办

湖北考电工证培训学校怎么考?电子证书过期了怎么办 证书过期了不知道怎么复审延期?别急,这波操作你得知道。最近有不少学员在问,自己手里的电工证已经到期了,却不知道怎么处理,特别是电子证书的复审流程,更是让人一头雾水。其实,湖北考电工证培训学校…

📰

江门市低压电工证复审怎么操作?上岗必备的实操考试别怕挂科

江门市低压电工证复审怎么操作?上岗必备的实操考试别怕挂科 实操考试心里没底怕挂科,这是很多准备复审低压电工证的朋友最真实的感受。特别是像我们这种从其他岗位转岗过来的,比如洛阳涧西区的转岗从业者,对流程、培训内容甚至考试方式都不太熟悉。其实,…

📰

现在可以买电工证吗在哪考学历不高怕报不上名

现在可以买电工证吗在哪考学历不高怕报不上名 你是不是也这样想: 学历不高怕报不上名 ,想学电工又怕流程复杂?其实,现在是可以考电工证的, 关键是你得知道【在哪考】…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬