股票 
板块 
用户 
资讯 01
一个“非技术背景”团队
为什么敢碰芯片
先交代一下我们的背景：建筑、设计、生物、哲学。在做冰箱精灵之前，我们没有一个人写过代码，更没碰过硬件和嵌入式开发。
按照传统的思路，搞设计和技术开发好像天然就是两条互不相交的路。但在 AI 时代，这两条路之间开始出现越来越多的交叉点。
上海海思这样的技术平台，会建设自己的开发者社区，在上面提供SDK、知识库和基础的模组开发板；再加上AI Agent的辅助，没有技术背景的人，也可以一步步上手开发。
那些曾经看起来很高的壁垒，正在慢慢坍塌。我们越来越相信，接下来会是一个百花齐放、百鸟争鸣的新创造时代。
冰箱精灵，就是我们在这个时代里的一次尝试。
图｜冰箱精灵团队
02
从一块开发板开始
先过烧录这一关
团队队长沈彦廷在国外留学时，常为“今天吃什么”发愁，也时常忘了冰箱里的食材，等想起来已经过期。我们便想做一个小助手，帮人记录食材、提醒保质期、推荐菜谱。
带着这个想法，我们参加了杭州的一场AI黑客松，用四天做出“冰箱精灵”的软硬件原型，也在那里结识了上海海思HiSpark生态的老师们。
今年八月，上海海思HiSpark生态的老师们给我们寄来了一块基于越影（视觉类）芯片的开发板。
讲实话，刚打开时，有点懵。拿到的这套硬件由主开发板、星闪与 Wi-Fi 扩展模块、屏幕三个部分组成，需要自己组装。板上还有网口、串口、Type-C 和 USB 接口，光是分清各个接口的用途、该接哪根线，就花了不少时间。
对我们来说，最难的是最开始的烧录，也就是把编译好的程序写进开发板，让它真正运行起来。我们一边查HiSpark社区的开发文档，一边借助 AI 理解操作步骤，遇到问题再向生态老师们请教。即使有这些帮助，第一次烧录仍然磕磕绊绊。好在跨过这一关之后，后续结合文档和 AI 做功能开发，就顺畅了很多。
这也是我们对这套开发板最直接的评价：模块和接口丰富，给屏幕、联网、摄像头等功能留下了组合空间。但作为小白第一次接触时，确实需要花时间理解它们的分工。对非技术背景的开发者来说，清楚的接线说明、烧录步骤和能运行的示例，与硬件性能一样重要。
图｜冰箱精灵开发记录
03
AI 写代码
我们拿着实物反复测试
回头估算，除了我们比较熟悉的设计和建模，整个项目约九成的开发环节都有 AI 参与。
从理解 SDK、编写代码，到分析报错、修改程序，我们几乎一直在和 AI agent 配合。以当时的知识和经验，没有 AI，我们很难独立完成这次软硬件开发。
上海海思提供的开源文档、SDK 和示例代码也在这里起了作用。
它们让 AI 能参照这块板子的实际接口和编译方式工作，帮助我们准备应用程序和烧录镜像。我们则把想要的功能说清楚，再把运行结果和遇到的问题反馈给它。
我们还做不到逐行读懂所有代码，因此把大量时间放在实物测试上。能不能正常开机，屏幕点下去有没有反应，手机和板子的库存能不能同步，断网再连后数据还在不在，语音能不能完成一次操作，都要拿着设备反复试。代码生成之后，功能是否好用，最终还是要靠实际操作来判断。
04
把语音和视觉
用到食材管理里
在“冰箱精灵”里，AI 也直接参与了产品功能。
我们利用开发板的音频能力，配合唤醒软件和语音服务，实现唤醒、收音、调用大语言模型理解指令，再执行操作并给出语音回复。视觉部分则通过摄像头采集食材画面，交给视觉大模型识别名称、数量等信息，由用户确认后写入库存。
开发板的 1 TOPS 端侧算力，也让我们开始尝试把部分视觉识别放到设备上运行。我们完成了一个支持 35 类果蔬的 YOLO 模型转换和测试镜像构建，并继续推进上海海思摄像头模组与本地识别的联调。这部分还需要实机验证，但已经让我们具体接触到了模型如何从开发环境部署到芯片上。
食材库存则保存在设备和手机本地，通过局域网同步。这样，即使暂时无法访问云端模型，已有记录仍然可以查看和管理。开发过程中，我们也逐渐分清了哪些功能由本地程序完成，哪些需要联网调用 AI，以及哪些适合继续尝试端侧计算。
05
用 3D 打印
把开发板装成一台样机
等主要功能有了基础，接下来就到了我们更熟悉的设计和建模环节。
我们根据这套硬件的尺寸和组合方式设计外壳，完成建模后，用 3D 打印机把外壳打印出来，再将开发板和各个模块装进去。
当屏幕、模块和连接线被收进自己设计的外壳里，“冰箱精灵”终于有了样机的样子，可以拿在手上，也可以带到展台上，让别人实际试一试。
06
“冰箱精灵”是什么
简单来说，冰箱精灵是一块贴在冰箱门上的“冰箱贴”，而不是内嵌在冰箱里的传统智能屏。
我们把摄像头、屏幕、端侧算力和语音交互从冰箱这个大件里“拆”出来，做成一个可以随手摘下、跟着人走的小配件：做饭时可以挪到油烟机旁，整理食材时可以放在岛台上。
用起来只有三步：拿起食材对准拍一下，确认屏幕上的识别结果（有错可以触屏或语音修改），然后确认入库。在知道家里有什么的基础上，它会结合你的口味和忌口，直接给出“今天吃什么”的菜谱，并把缺的食材自动放进采购清单。摄像头只在需要时唤醒，不会全天候对着你的家。
图丨左右滑动查看更多
07
“摄像头到底该放在哪？”
说实话，我们带到展会现场的，只是一个demo。
来展台交流的大多是技术老师，大家问得最多的一个问题是：摄像头应该放在哪里？数据到底从哪里来？这个问题其实也一直困扰着我们。
传统思路里，智能冰箱就是要在冰箱内部装摄像头，可这意味着要改冰箱结构、要解决低温起雾和视角遮挡，技术难度和成本都不低。
就在和老师们一次次的讨论里，我们突然想到：为什么一定要按传统思路，在冰箱里放一个摄像头呢？既然冰箱贴本身就能取下来，为什么不好好利用它的灵活性？
于是答案变得很简单：把摄像头和冰箱贴合二为一，直接用模组自带的摄像头。买菜回家，把冰箱精灵取下来，像超市自助结账一样把食材挨个“扫”一下，就完成了家里的入库。这样技术难题少了，开发成本低了，也不需要改变任何一台冰箱的结构。
冰箱贴贴在哪里，智能就在哪里。这大概也是我们对“轻智能”最直观的理解。
图丨左右滑动查看更多
08
比demo更大的收获
图｜HiSPark生态与冰箱精灵团队合影 詹思彤 手绘
这次展会，我们对产品形态进行了不止一次的推翻和重建。但比起产品本身的变化，更大的收获是第一次完整地看到了一个产品的全链路：从最底层的芯片模组，到功能组合、技术路径，再到产品形态和市场推广。以前这些对我们来说是一个个孤立的名词，现在它们终于连成了一张图。
从杭州的黑客松，到八月收到开发板，再到九月来到上海海思展台，时间并不长。我们虽然不是“技术出身”，但也因为在AI时代，得以不断拓展能力边界，体验到了技术开发的魅力，也看到了轻智能生活终端产品未来的可能性。
我们想把这段经历写下来，是因为它证明了一件事：在AI和开放生态的时代，一个有想法的普通人，是真的可以动手把想法做出来的。也希望有更多和我们一样的年轻人，走进来试一试。
更多精彩内容
推荐阅读
评论 (0)