'瞭解新零售下的AI智能貨櫃，看這篇就夠了'

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

圖像識別算法發展歷史

3.2 商品數據源和標註

有了算法和模型，就需要喂數據，標註流程規範和數據源質量是兩大相輔相成的關鍵，智能貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般數據標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對數據採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

數據源質量：眾所周知，數據質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和用戶體驗，若出現這種情況，一般需要重新投入新的健康數據源重新訓練，成本較大。對於保證數據源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務數據都會有專門審核流程，避免把亂標、標錯不健康的數據源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免數據質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和算法工程師也要參與標註工作。

數據標註：投放訓練流程圖

3.3 關鍵硬件

智能貨櫃像廠商定製硬件能力，同時需要有專門的LOT後臺對硬件的健康狀態進行監控、硬件管理小程序或者APP為一線運營人員提供硬件管理支持。其中關鍵硬件有主板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為用戶端、貨櫃硬件端、識別服務端、邏輯服務端。

1. 用戶端：用戶用於購物的小程序或APP。
2. 貨櫃硬件端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設備，與服務端通信，平時負責將心跳數據和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬件。
3. 邏輯服務端：主要任務是接受貨櫃硬件端數據，把照片數據放到隊列中供識別服務端讀取、修改貨櫃訂單狀態、推送消息、更新庫存等。
4. 識別服務端：主要是實時檢測隊列讀取照片，運行識別服務，生成訂單明細。

五、貨櫃運營核心與用戶體驗

綜合歷史經驗，筆者認為在智能貨櫃發展前期與用戶體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物用戶：能買到、能買對。

零售的本質不會變化，智能貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，用戶的需求永遠是買到性價比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵數據指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因算法識別限制、各種現實異常場景的對應的解決方案，去確保用戶購物體驗，是需要PM負責重點關注不斷去做方案優化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智能貨櫃購物場景下，用戶一般會有明確的購物目標，效率和確定性對於用戶十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注用戶平均購物時長和訂單準確率。其中購物時長與用戶體驗成負相關，訂單準確率與用戶體驗成正相關。用戶購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於用戶開門到訂單完成扣費的時間，通常是5s~20s。用戶關門後成功扣費的時間越長，證明用戶的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者通過服務邏輯優化提升，後者通過迭代模型和採用更優算法解決。

現實還會出現因網絡波動圖像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的交互提示用戶可以先離開購物場景，等待訂單正確扣費。PM需要持續關注用戶平均購物時長，獲取數據支持，檢測整體購物體驗穩定性，永遠以用戶為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、用戶復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智能貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的優化，如對提高數據源質量、數量;對模型升級和分組;更換更優算法等等；
2. 後處理定義為在識別發生後實現的優化。如通過像素對比、距離對比、IOU過濾等後糾正算法優化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的圖像識別模型能支持90%以上情況，但是因為智能貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了圖像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

圖像識別算法發展歷史

3.2 商品數據源和標註

有了算法和模型，就需要喂數據，標註流程規範和數據源質量是兩大相輔相成的關鍵，智能貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般數據標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對數據採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

數據源質量：眾所周知，數據質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和用戶體驗，若出現這種情況，一般需要重新投入新的健康數據源重新訓練，成本較大。對於保證數據源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務數據都會有專門審核流程，避免把亂標、標錯不健康的數據源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免數據質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和算法工程師也要參與標註工作。

數據標註：投放訓練流程圖

3.3 關鍵硬件

智能貨櫃像廠商定製硬件能力，同時需要有專門的LOT後臺對硬件的健康狀態進行監控、硬件管理小程序或者APP為一線運營人員提供硬件管理支持。其中關鍵硬件有主板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為用戶端、貨櫃硬件端、識別服務端、邏輯服務端。

1. 用戶端：用戶用於購物的小程序或APP。
2. 貨櫃硬件端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設備，與服務端通信，平時負責將心跳數據和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬件。
3. 邏輯服務端：主要任務是接受貨櫃硬件端數據，把照片數據放到隊列中供識別服務端讀取、修改貨櫃訂單狀態、推送消息、更新庫存等。
4. 識別服務端：主要是實時檢測隊列讀取照片，運行識別服務，生成訂單明細。

五、貨櫃運營核心與用戶體驗

綜合歷史經驗，筆者認為在智能貨櫃發展前期與用戶體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物用戶：能買到、能買對。

零售的本質不會變化，智能貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，用戶的需求永遠是買到性價比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵數據指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因算法識別限制、各種現實異常場景的對應的解決方案，去確保用戶購物體驗，是需要PM負責重點關注不斷去做方案優化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智能貨櫃購物場景下，用戶一般會有明確的購物目標，效率和確定性對於用戶十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注用戶平均購物時長和訂單準確率。其中購物時長與用戶體驗成負相關，訂單準確率與用戶體驗成正相關。用戶購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於用戶開門到訂單完成扣費的時間，通常是5s~20s。用戶關門後成功扣費的時間越長，證明用戶的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者通過服務邏輯優化提升，後者通過迭代模型和採用更優算法解決。

現實還會出現因網絡波動圖像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的交互提示用戶可以先離開購物場景，等待訂單正確扣費。PM需要持續關注用戶平均購物時長，獲取數據支持，檢測整體購物體驗穩定性，永遠以用戶為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、用戶復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智能貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的優化，如對提高數據源質量、數量;對模型升級和分組;更換更優算法等等；
2. 後處理定義為在識別發生後實現的優化。如通過像素對比、距離對比、IOU過濾等後糾正算法優化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的圖像識別模型能支持90%以上情況，但是因為智能貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了圖像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

該種情況是商品存在於貨櫃中，但是卻沒有被識別模型定位分類到。通常是因為數據集樣本缺失導致模型訓練不足欠擬合或者因攝像頭起霧、陽光直射等拍攝環境問題，導致圖片質量差。

（2） 識別多餘商品場景

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

圖像識別算法發展歷史

3.2 商品數據源和標註

有了算法和模型，就需要喂數據，標註流程規範和數據源質量是兩大相輔相成的關鍵，智能貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般數據標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對數據採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

數據源質量：眾所周知，數據質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和用戶體驗，若出現這種情況，一般需要重新投入新的健康數據源重新訓練，成本較大。對於保證數據源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務數據都會有專門審核流程，避免把亂標、標錯不健康的數據源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免數據質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和算法工程師也要參與標註工作。

數據標註：投放訓練流程圖

3.3 關鍵硬件

智能貨櫃像廠商定製硬件能力，同時需要有專門的LOT後臺對硬件的健康狀態進行監控、硬件管理小程序或者APP為一線運營人員提供硬件管理支持。其中關鍵硬件有主板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為用戶端、貨櫃硬件端、識別服務端、邏輯服務端。

1. 用戶端：用戶用於購物的小程序或APP。
2. 貨櫃硬件端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設備，與服務端通信，平時負責將心跳數據和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬件。
3. 邏輯服務端：主要任務是接受貨櫃硬件端數據，把照片數據放到隊列中供識別服務端讀取、修改貨櫃訂單狀態、推送消息、更新庫存等。
4. 識別服務端：主要是實時檢測隊列讀取照片，運行識別服務，生成訂單明細。

五、貨櫃運營核心與用戶體驗

綜合歷史經驗，筆者認為在智能貨櫃發展前期與用戶體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物用戶：能買到、能買對。

零售的本質不會變化，智能貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，用戶的需求永遠是買到性價比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵數據指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因算法識別限制、各種現實異常場景的對應的解決方案，去確保用戶購物體驗，是需要PM負責重點關注不斷去做方案優化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智能貨櫃購物場景下，用戶一般會有明確的購物目標，效率和確定性對於用戶十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注用戶平均購物時長和訂單準確率。其中購物時長與用戶體驗成負相關，訂單準確率與用戶體驗成正相關。用戶購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於用戶開門到訂單完成扣費的時間，通常是5s~20s。用戶關門後成功扣費的時間越長，證明用戶的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者通過服務邏輯優化提升，後者通過迭代模型和採用更優算法解決。

現實還會出現因網絡波動圖像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的交互提示用戶可以先離開購物場景，等待訂單正確扣費。PM需要持續關注用戶平均購物時長，獲取數據支持，檢測整體購物體驗穩定性，永遠以用戶為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、用戶復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智能貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的優化，如對提高數據源質量、數量;對模型升級和分組;更換更優算法等等；
2. 後處理定義為在識別發生後實現的優化。如通過像素對比、距離對比、IOU過濾等後糾正算法優化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的圖像識別模型能支持90%以上情況，但是因為智能貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了圖像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

該種情況是商品存在於貨櫃中，但是卻沒有被識別模型定位分類到。通常是因為數據集樣本缺失導致模型訓練不足欠擬合或者因攝像頭起霧、陽光直射等拍攝環境問題，導致圖片質量差。

（2） 識別多餘商品場景

該種情況是商品並沒有存在於貨櫃中，但是被識別模型定位分類到。識別出多餘商品，相對於漏識別場景，通常是因為訓練數據集樣本質量差或者模型訓練過擬合，或者某一些商品瓶身反光，包裝複雜導致的。

（3） 識別錯誤場景

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

圖像識別算法發展歷史

3.2 商品數據源和標註

有了算法和模型，就需要喂數據，標註流程規範和數據源質量是兩大相輔相成的關鍵，智能貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般數據標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對數據採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

數據源質量：眾所周知，數據質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和用戶體驗，若出現這種情況，一般需要重新投入新的健康數據源重新訓練，成本較大。對於保證數據源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務數據都會有專門審核流程，避免把亂標、標錯不健康的數據源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免數據質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和算法工程師也要參與標註工作。

數據標註：投放訓練流程圖

3.3 關鍵硬件

智能貨櫃像廠商定製硬件能力，同時需要有專門的LOT後臺對硬件的健康狀態進行監控、硬件管理小程序或者APP為一線運營人員提供硬件管理支持。其中關鍵硬件有主板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為用戶端、貨櫃硬件端、識別服務端、邏輯服務端。

1. 用戶端：用戶用於購物的小程序或APP。
2. 貨櫃硬件端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設備，與服務端通信，平時負責將心跳數據和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬件。
3. 邏輯服務端：主要任務是接受貨櫃硬件端數據，把照片數據放到隊列中供識別服務端讀取、修改貨櫃訂單狀態、推送消息、更新庫存等。
4. 識別服務端：主要是實時檢測隊列讀取照片，運行識別服務，生成訂單明細。

五、貨櫃運營核心與用戶體驗

綜合歷史經驗，筆者認為在智能貨櫃發展前期與用戶體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物用戶：能買到、能買對。

零售的本質不會變化，智能貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，用戶的需求永遠是買到性價比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵數據指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因算法識別限制、各種現實異常場景的對應的解決方案，去確保用戶購物體驗，是需要PM負責重點關注不斷去做方案優化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智能貨櫃購物場景下，用戶一般會有明確的購物目標，效率和確定性對於用戶十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注用戶平均購物時長和訂單準確率。其中購物時長與用戶體驗成負相關，訂單準確率與用戶體驗成正相關。用戶購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於用戶開門到訂單完成扣費的時間，通常是5s~20s。用戶關門後成功扣費的時間越長，證明用戶的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者通過服務邏輯優化提升，後者通過迭代模型和採用更優算法解決。

現實還會出現因網絡波動圖像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的交互提示用戶可以先離開購物場景，等待訂單正確扣費。PM需要持續關注用戶平均購物時長，獲取數據支持，檢測整體購物體驗穩定性，永遠以用戶為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、用戶復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智能貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的優化，如對提高數據源質量、數量;對模型升級和分組;更換更優算法等等；
2. 後處理定義為在識別發生後實現的優化。如通過像素對比、距離對比、IOU過濾等後糾正算法優化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的圖像識別模型能支持90%以上情況，但是因為智能貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了圖像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

該種情況是商品存在於貨櫃中，但是卻沒有被識別模型定位分類到。通常是因為數據集樣本缺失導致模型訓練不足欠擬合或者因攝像頭起霧、陽光直射等拍攝環境問題，導致圖片質量差。

（2） 識別多餘商品場景

該種情況是商品並沒有存在於貨櫃中，但是被識別模型定位分類到。識別出多餘商品，相對於漏識別場景，通常是因為訓練數據集樣本質量差或者模型訓練過擬合，或者某一些商品瓶身反光，包裝複雜導致的。

（3） 識別錯誤場景

該種情況是商品存在於貨櫃中，但是被識別模型定位分類為錯誤商品分類。頻發在模型存在兩個以上外形相近的商品。單個模型商品label越多，即便同個模型在訓練測試時得出的指標無太大差異，但因為有大量的相近商品交錯，可能實際運穩定性差異很大，SKU數量與運營穩定性非線性關係(至少在一般沒有對模型優化的情況下)。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

圖像識別算法發展歷史

3.2 商品數據源和標註

有了算法和模型，就需要喂數據，標註流程規範和數據源質量是兩大相輔相成的關鍵，智能貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般數據標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對數據採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

數據源質量：眾所周知，數據質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和用戶體驗，若出現這種情況，一般需要重新投入新的健康數據源重新訓練，成本較大。對於保證數據源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務數據都會有專門審核流程，避免把亂標、標錯不健康的數據源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免數據質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和算法工程師也要參與標註工作。

數據標註：投放訓練流程圖

3.3 關鍵硬件

智能貨櫃像廠商定製硬件能力，同時需要有專門的LOT後臺對硬件的健康狀態進行監控、硬件管理小程序或者APP為一線運營人員提供硬件管理支持。其中關鍵硬件有主板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為用戶端、貨櫃硬件端、識別服務端、邏輯服務端。

1. 用戶端：用戶用於購物的小程序或APP。
2. 貨櫃硬件端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設備，與服務端通信，平時負責將心跳數據和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬件。
3. 邏輯服務端：主要任務是接受貨櫃硬件端數據，把照片數據放到隊列中供識別服務端讀取、修改貨櫃訂單狀態、推送消息、更新庫存等。
4. 識別服務端：主要是實時檢測隊列讀取照片，運行識別服務，生成訂單明細。

五、貨櫃運營核心與用戶體驗

綜合歷史經驗，筆者認為在智能貨櫃發展前期與用戶體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物用戶：能買到、能買對。

零售的本質不會變化，智能貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，用戶的需求永遠是買到性價比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵數據指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因算法識別限制、各種現實異常場景的對應的解決方案，去確保用戶購物體驗，是需要PM負責重點關注不斷去做方案優化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智能貨櫃購物場景下，用戶一般會有明確的購物目標，效率和確定性對於用戶十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注用戶平均購物時長和訂單準確率。其中購物時長與用戶體驗成負相關，訂單準確率與用戶體驗成正相關。用戶購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於用戶開門到訂單完成扣費的時間，通常是5s~20s。用戶關門後成功扣費的時間越長，證明用戶的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者通過服務邏輯優化提升，後者通過迭代模型和採用更優算法解決。

現實還會出現因網絡波動圖像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的交互提示用戶可以先離開購物場景，等待訂單正確扣費。PM需要持續關注用戶平均購物時長，獲取數據支持，檢測整體購物體驗穩定性，永遠以用戶為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、用戶復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智能貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的優化，如對提高數據源質量、數量;對模型升級和分組;更換更優算法等等；
2. 後處理定義為在識別發生後實現的優化。如通過像素對比、距離對比、IOU過濾等後糾正算法優化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的圖像識別模型能支持90%以上情況，但是因為智能貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了圖像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

該種情況是商品存在於貨櫃中，但是卻沒有被識別模型定位分類到。通常是因為數據集樣本缺失導致模型訓練不足欠擬合或者因攝像頭起霧、陽光直射等拍攝環境問題，導致圖片質量差。

（2） 識別多餘商品場景

該種情況是商品並沒有存在於貨櫃中，但是被識別模型定位分類到。識別出多餘商品，相對於漏識別場景，通常是因為訓練數據集樣本質量差或者模型訓練過擬合，或者某一些商品瓶身反光，包裝複雜導致的。

（3） 識別錯誤場景

該種情況是商品存在於貨櫃中，但是被識別模型定位分類為錯誤商品分類。頻發在模型存在兩個以上外形相近的商品。單個模型商品label越多，即便同個模型在訓練測試時得出的指標無太大差異，但因為有大量的相近商品交錯，可能實際運穩定性差異很大，SKU數量與運營穩定性非線性關係(至少在一般沒有對模型優化的情況下)。

若在識別異常發生的時候有顧客購物，會出現幾種異常情況：

1. 顧客剛好買了漏識別的商品，則不會產生訂單，商家需承受貨損；
2. 顧客買了商品，但是識別錯誤，導致扣錯顧客的錢(可能扣多可能扣少)；
3. 顧客沒有購物，但是因為漏識別或者識別錯誤系統認為顧客購買了商品，導致扣多顧客的錢；
4. 因為識別異常場景交錯，對於用戶感知來說購物流程正常，沒有發生以上漏扣、扣多、扣錯的情況。

識別異常情況多了以後對於貨櫃運營商家來說承受的貨損和運營成本就會增加，商家就會懷疑技術能力甚至撤離該貨櫃；也會造成顧客認為機器經常亂扣錢，導致其不會迴歸購物場景。

一定要折衷的話，前期會偏向“寧願扣款錯誤，後續退款給用戶，也不讓商家承受損失”，畢竟用戶只要在一定時間內能及時退款，感知上問題不大。但是商家(特別是小商家)對貨損十分敏感。識別異常無法100%解決，但是可以從通過物理方案把識別環境的變量降到最低、增加訓練數量集、減少模型複雜度、使用後處理算法等方案優化減少。

六、覆盤總結

智能貨櫃產品基本介紹完畢，該段主要分為智能貨櫃產品發展方向、AIPM的工作內容、AI產品設計思考，是筆者近一年以來的簡單覆盤總結。

6.1 智能貨櫃產品發展方向

1. 基於視頻動態識別技術的智能貨櫃。本篇文章介紹的是以靜態圖片識別技術為主的智能貨櫃，基於動態識別，智能貨櫃產品的生態運營和影響範圍又會拓展。相應的成本和技術難度也進一步增加，但筆者認為是必經之路，有需求則會有供給，技術的限制只會給人一次又一次打破，這是歷史不變的進程；
2. 利用AI技術提供更多的貨櫃終端體驗方案。如人臉識別，商品推薦，用戶畫像，精細化運營；
3. 用戶前端購買方案成熟和規模放大後，反向引導供應鏈變革，企業重構基於數字化的智能採購、庫存管理供應鏈系統；
4. 更多的傳統互聯網C端黑客增長運營方案，提高零售購物流程趣味性。如通過GPS定位，衍生戶外社交玩法，達到傳播裂變的效果。

6.2 AIPM工作內容與流程

該部分主要覆盤筆者作為AIPM的工作內容，希望能給其他PM一個認識。

智能貨櫃項目分為技術定型、試運營、穩定迭代三個階段。在不同階段，PM的工作流程和所需關鍵能力都不同。以AI算法流程“輸入-訓練-輸出”為思考基礎，每個階段的工作流程也各自分為三步曲。

本文分析了新零售下智能貨櫃的現狀與未來發展，主要包括這5點：新零售與智能貨櫃概述、智能貨櫃發展路線和市場分析、智能貨櫃技術核心、系統結構、貨櫃運營核心與用戶體驗，供大家一起學習和參考。

目前新零售風颳的蠻大，筆者進入該領域近一年，負責過無人便利店、智能貨櫃、智慧商超等產品，在這個階段不斷去學習AI技術、積累新零售領域經驗。該篇文章作為第一篇AI產品設計覆盤文章，為大家從行業、技術、產品設計三個點去介紹視覺識別智能貨櫃。

文章也許會衍生成新零售系列，主要目的有：

1. 帶來客觀的新零售+AI領域結合的行業和智能貨櫃產品動向；
2. 真正以一個PM角色以綜合視覺去看待：趨勢、行業、產品、技術的結合，在加強自身的綜合能力同時，給其他PM帶來實際性的疑惑和思考。

ps：涉及商業限制，文章不會出現具體硬件型號或算法版本。

文章目錄：

一、新零售與智能貨櫃概述

1.1 新零售背景

2016年10月的阿里雲棲大會上，阿里巴巴馬雲在演講中第一次提出了新零售，“未來的十年、二十年，沒有電子商務這一說，只有新零售”。

當時的大背景是：線上電商零售流量紅利見底，新中產階級和對應的消費升級觀念崛起，移動支付等技術普及，整個傳統零售行業急需向歐美地區企業學習數字化謀求更好的發展，加上國家政策推動，因此新零售風口正式來臨。

1.2 新零售與智能貨櫃

如何理解新零售，我們把新零售拆為“新”和“零售”，“新”在於更高效率、更好的服務，“零售”的本質鏈接是“人”與“貨”的“場”。

《新零售：低價高效的數據賦能之路》：一張圖瞭解新零售

在智能貨櫃這個產品中：

1. 智能貨櫃即一個最小型的“場”，有了“場”，便產生了交易的可能。智能貨櫃佔地面積不到1平方米，幾乎是所有“場”中的最小單位。其成本低，布點位置靈活，可作為前置倉使用，十分有利於零售商家對自己的零售生態整體佈局。同時依靠視覺識別等AI技術(下文會詳細介紹)，加強了線下商品的即得性，提升了用戶體驗；
2. 智能貨櫃上的“貨”，通過數據驅動，在消費者端做到千櫃千面。可反向驅動供應鏈端和產品設計端(即供給端)，零售商家可做到高性價比的精細化運營，用更短更直接的路線和體驗打動消費者；
3. 在“場”和“貨”不斷迭代中，吸引到“人”(即用戶)。用戶的關鍵指標為流量*轉化率*客單價*復購率，對不同用戶畫像進行精細化運營，提高坪效。

最終，利用AI數據、用戶畫像、商品推薦等技術實現智能貨櫃“人”、“貨”、“場”的消費生態閉環，這便是智能貨櫃在新零售時代的運營思路(也可以稱作軌跡)。

對於企業來說，理解產品處於什麼位置是及其重要的，“當前位置”決定了發展方向和目標的確立，是增長路上的重要前提條件。智能貨櫃在零售生態下作為獲取線下流量入口，在技術方案趨向成熟和數字化明確的背景下，是許多零售商和技術服務商值得投入資源去做的一個點。

市面上最好的點位營業額日超四位數，假設一個零售商有1000臺貨櫃布點，那麼一天的僅靠貨櫃營業額可達到1，000×1，000=¥1，000，000，一個龐大的數字。

二、智能貨櫃發展路線和市場分析

2.1 智能貨櫃發展路線

智能貨櫃目前一共經歷了三個階段。

（1） 自動售賣機階段：

1993年自動販賣機從歐美、日本地區傳入中國，傳統自動售賣機主要是硬件驅動，用戶使用紙幣、硬幣支付，貨櫃通過彈簧彈出商品，但傳統售貨機企業未能有效解決成本，質量，運營等諸多問題，所以導致國內市場上的自動售貨機不僅數量少，且品種非常單一，主要以瓶罐裝飲料售貨機為主。

（2） 無人貨架階段：

2017年，在新零售趨勢加持下，無人貨架迎來風口。無人貨架大部分由互聯網公司進行運營，以幾百元的成本在辦公室等較封閉場景快速搭建貨架，用戶通過微信、支付寶掃碼支付，從貨架拿取商品。但因為沒有構建消費閉環場景，導致商品貨損率極高，所以在運營一年後，大部分無人貨架項目都已暫停運營。

（3） 智能貨櫃階段：

市場一直在驅動企業創新，無人貨架風口過後，以RFID和視覺識別為核心技術的智能貨櫃時代正式走上歷史舞臺，與無人貨架相比，智能貨櫃形成了消費閉環，用戶掃碼開門拿取商品，關門即扣費，貨損率可控95%以上，同時點位達到一定規模後，智能技術賦能運營及補貨過程，銷售和品牌的規模效益便能逐步產生。

2.2 智能貨櫃技術解決方案

1. RFID解決方案：RFID分超高頻RFID與高頻RFID，該技術好處是沒有SKU和擺放限制，但相應的會增加人力成本和商品成本，識別準確率大概是95~98%，由於不是本篇主要內容，故不多介紹；
2. 視覺識別解決方案：以圖像識別為技術核心，攝像頭、主板為硬件核心，對消費圖/視頻進行目標檢測和分類，極大的提高購買和補貨體驗，同時識別準確率可到到99%~99。9%；
3. 重力感應與視覺識別混合解決方案：以重力感應為主，視覺識別為輔，或者以視覺識別為主，重力感應為輔的形式，進一步提高準確率。

2.3 智能貨櫃市場分析

目前智能貨櫃市場的公司分類主要有以下三種：

（1） 無人貨架轉型公司：

從無人貨架賽道上轉戰的公司。該類公司有運營基礎自己運營貨櫃，但是還需尋求硬件資源和組建圖像算法團隊。

代表公司有：猩便利、小e微店。

（2） AI科技技術公司：

本身具備視覺識別技術能力，為傳統行業和領域賦能的公司，該類公司都擁有算法團隊和AI核心技術基礎支持，一般不做運營，只為零售商提供硬件和軟件技術支持。

代表公司有：深蘭科技、海深科技、雲拿科技。

（3） 傳統自動售賣機企業：

意識到以視覺識別技術為核心的智能貨櫃是新一輪增長動力的傳統自動售賣機企業，該類企業有運營基礎和硬件基礎，資金量也充足可以很快的組建算法團隊，研發出貨櫃自運營或者批量售賣。

代表公司有：友寶。

部分智能貨櫃公司列表

智能貨櫃核心指標對比

2.4 瓶頸與機會

智能貨櫃的發展瓶頸主要是技術瓶頸：經過2018~2019的快速發展，智能貨櫃的發展到一定階段，市面上的智能貨櫃技術服務商統稱自家的識別準確率在99%以上，則100單最多隻會識別錯1單，但是距離真正成熟階段還差一定距離，識別技術瓶頸在未來會一直存在。

做到“千櫃千面”，多場景全渠道售賣，兼容各類商家和商品，會出現各種各樣的複雜場景，對圖像識別的精準度和覆蓋度要求更高。如商品遭遮蓋、倒放、推倒、疊放等問題，都需要通過優化算法以及配合其他方案解決。目前解決方案是使用動態識別和重力感應，但這也會增加成本。除了識別精度，還有許多待解決優化的技術挑戰。

商品識別已知的工程挑戰問題

從智能貨櫃的普及率來看市場機會：在美國，平均35人擁有一臺自動販賣機、在日本則是平均23人就擁有一臺、而在中國是4500人。

自動販賣機大國日本目前的自助販賣機數量是250萬臺，而國內自助販賣機總量也不足20萬臺，並且售賣的商品種類單一，分佈不均衡，市場遠未達到飽和。總的來說，智能貨櫃瓶頸與機會並存。

三、智能貨櫃技術核心

介紹完宏觀層面，接下來，我們從微觀技術層面的角度讓大家更深入的瞭解智能貨櫃。涉及到的技術核心主要是AI算法、數據源、硬件。

3.1 AI算法

（1） 識別雲服務器

AI模型的訓練十分依賴服務器運算能力，GPU服務器比一般雲服務器更適合深度學習項目，通常企業選擇租用GPU雲服務器或購買GPU服務主機進行項目訓練。

（2） 深度學習開源框架

如TensorFlow，該框架由Google研發開源，因種種原因，是目前最火的深度學習框架之一。

通過使用它可以快速的進行神經網絡的開發，大大降低了開發成本。官方網站上有詳細的說明以及機器學習中文社區，對ML學習十分有幫助(http：//www。tensorfly。cn/)。

（3） 識別算法

在智能貨櫃運營場景，我們需要算法做的是圖像中物體的定位和分類(Localization & Classification)：識別定位出每一層貨櫃的照片所包含的商品以及商品的類別，為不同的商品框上不同的框，以供購物訂單生成和其他場景盤判斷。要執行該任務我們需要使用卷積神經網絡(CNN)為基礎的一眾算法，如Faster R-CNN、YOLO v1-3等。

CNN運行過程包括四個步驟(具體不做詳細解釋)：

1. 卷積層提取圖片初步特徵；
2. 池化層提取圖片主要特徵；
3. 全連接層將各部分特徵彙總；
4. 產生分類器，進行預測識別。

現在算法發展十分快速，作為AIPM，可以學習經典算法的發展歷史和運算原理，與算法工程師為產品選擇最合適的能力(算法)，甚至有新算法開源，PM先下載跑一遍模型，不僅提高了工作效率，也加強了自身的技術能力。

圖像識別算法發展歷史

3.2 商品數據源和標註

有了算法和模型，就需要喂數據，標註流程規範和數據源質量是兩大相輔相成的關鍵，智能貨櫃售賣的商品最常見的是飲料和盒裝零食。

一般數據標註可利用第三方標註工具進行標註，為了提高標註效率和標註質量，筆者在所在公司也從0-1設計了圖片標註平臺。構建標註平臺前，需要了解機器學習中正負樣本的概念，對數據採集流程有清晰的認知，熟悉標註人員標註和管理標註的流程。筆者設計的標註平臺公開商用後，將會針對如何設計標註平臺專門輸出一篇文章。

數據源質量：眾所周知，數據質量低會極大的影響模型的效果，容易造成模型的欠擬合或過擬合，影響模型效果和用戶體驗，若出現這種情況，一般需要重新投入新的健康數據源重新訓練，成本較大。對於保證數據源的質量，我們通常關注以下兩點。

1. 標註流程是否規範。一般每個標註任務數據都會有專門審核流程，避免把亂標、標錯不健康的數據源投放進模型學習。這個主要是靠標註流程的管理和人力資源調配，好的標註平臺也是避免數據質量參差不齊的因素之一，屬於可控範圍；
2. 標註人員是否專業。標註人員通常是實習生，需要經過專門培訓才可開始標註工作，有時候PM和算法工程師也要參與標註工作。

數據標註：投放訓練流程圖

3.3 關鍵硬件

智能貨櫃像廠商定製硬件能力，同時需要有專門的LOT後臺對硬件的健康狀態進行監控、硬件管理小程序或者APP為一線運營人員提供硬件管理支持。其中關鍵硬件有主板、攝像頭、門鎖、 物聯卡，由於涉及內容較多，暫不做詳細介紹。

四、系統結構

系統結構主要分為用戶端、貨櫃硬件端、識別服務端、邏輯服務端。

1. 用戶端：用戶用於購物的小程序或APP。
2. 貨櫃硬件端：實際控制貨櫃上門鎖、攝像頭、燈光、溫度等所有傳感器和硬件設備，與服務端通信，平時負責將心跳數據和圖片打包上傳至服務端，並且解析服務端發過來的指令實現控制貨櫃硬件。
3. 邏輯服務端：主要任務是接受貨櫃硬件端數據，把照片數據放到隊列中供識別服務端讀取、修改貨櫃訂單狀態、推送消息、更新庫存等。
4. 識別服務端：主要是實時檢測隊列讀取照片，運行識別服務，生成訂單明細。

五、貨櫃運營核心與用戶體驗

綜合歷史經驗，筆者認為在智能貨櫃發展前期與用戶體驗和商業標準最貼合的兩個維度是：

1. 對於貨櫃運營客戶：收到錢、收對錢；
2. 對於購物用戶：能買到、能買對。

零售的本質不會變化，智能貨櫃只是一個新型交易行為的媒介。商家的需求永遠是賣的更多賺的更多，用戶的需求永遠是買到性價比高的商品。

基於該前提，如何保證貨櫃實際運營中穩定性，對關鍵數據指標進行建模，繼而監測貨櫃整體和單體運營情況，以及考慮梳理因算法識別限制、各種現實異常場景的對應的解決方案，去確保用戶購物體驗，是需要PM負責重點關注不斷去做方案優化的，是也是本篇文章的重點，筆者最近的很多精力也是花在了該部分。

5.1 構建貨櫃運營穩定性指標

從算法模型的維度上評估識別識別模型的穩定性，我們關注準確率、召回率、IOU、平均檢測精度等指標。

在智能貨櫃購物場景下，用戶一般會有明確的購物目標，效率和確定性對於用戶十分重要。所以從實際運營的維度上評估運營穩定性，最主要關注用戶平均購物時長和訂單準確率。其中購物時長與用戶體驗成負相關，訂單準確率與用戶體驗成正相關。用戶購物體驗好才會有復購率，實現貨櫃佈局的規模效應。

購物時長等於用戶開門到訂單完成扣費的時間，通常是5s~20s。用戶關門後成功扣費的時間越長，證明用戶的等待和不確定的感受時間越長，體驗也就越差。影響時間主要的因素通常是圖片上傳速度和識別服務速度，前者通過服務邏輯優化提升，後者通過迭代模型和採用更優算法解決。

現實還會出現因網絡波動圖像上傳失敗或者識別服務不順暢的情況 ，這個時候就要有溫馨的交互提示用戶可以先離開購物場景，等待訂單正確扣費。PM需要持續關注用戶平均購物時長，獲取數據支持，檢測整體購物體驗穩定性，永遠以用戶為中心。

訂單準確率是衡量一次購物健康程度的核心指標。訂單的準確率對銷售客單價、用戶復購率等核心購買指標都有極大的影響。不過因拍攝環境影響、模型迭代、算法受限種種原因，對訂單商品的識別很難達到100%的準確率。但致力達到99。9%應該是所有智能貨櫃公司的目標。

提高訂單準確率的方向有先處理和後處理：

1. 先處理定義為可以在識別發生前實現的優化，如對提高數據源質量、數量;對模型升級和分組;更換更優算法等等；
2. 後處理定義為在識別發生後實現的優化。如通過像素對比、距離對比、IOU過濾等後糾正算法優化，或將訂單划進異常訂單池，用更優但更慢的模型處理甚至是人工處理等等。

5.2 常見識別異常場景介紹

穩定的圖像識別模型能支持90%以上情況，但是因為智能貨櫃的單點運營性質，貨櫃擺放的場景是十分任意的，售賣商品的範圍也很廣泛。這決定了圖像識別需適應各種各樣的識別環境，如豔陽高照的戶外、燈光昏暗的樓道。

同時識別模型自身穩定性原因，在某個時間點開始趨向不穩定。這種時候就會出現識別異常情況。以筆者的經驗來說，目前識別異常在實際運營中是不可避免的，AI技術還沒有達到能提供100%完美準確率的能力。

識別異常場景通常有漏識別商品、識別多餘商品、識別錯誤商品。

（1） 漏識別場景

該種情況是商品存在於貨櫃中，但是卻沒有被識別模型定位分類到。通常是因為數據集樣本缺失導致模型訓練不足欠擬合或者因攝像頭起霧、陽光直射等拍攝環境問題，導致圖片質量差。

（2） 識別多餘商品場景

該種情況是商品並沒有存在於貨櫃中，但是被識別模型定位分類到。識別出多餘商品，相對於漏識別場景，通常是因為訓練數據集樣本質量差或者模型訓練過擬合，或者某一些商品瓶身反光，包裝複雜導致的。

（3） 識別錯誤場景

該種情況是商品存在於貨櫃中，但是被識別模型定位分類為錯誤商品分類。頻發在模型存在兩個以上外形相近的商品。單個模型商品label越多，即便同個模型在訓練測試時得出的指標無太大差異，但因為有大量的相近商品交錯，可能實際運穩定性差異很大，SKU數量與運營穩定性非線性關係(至少在一般沒有對模型優化的情況下)。

若在識別異常發生的時候有顧客購物，會出現幾種異常情況：

1. 顧客剛好買了漏識別的商品，則不會產生訂單，商家需承受貨損；
2. 顧客買了商品，但是識別錯誤，導致扣錯顧客的錢(可能扣多可能扣少)；
3. 顧客沒有購物，但是因為漏識別或者識別錯誤系統認為顧客購買了商品，導致扣多顧客的錢；
4. 因為識別異常場景交錯，對於用戶感知來說購物流程正常，沒有發生以上漏扣、扣多、扣錯的情況。

識別異常情況多了以後對於貨櫃運營商家來說承受的貨損和運營成本就會增加，商家就會懷疑技術能力甚至撤離該貨櫃；也會造成顧客認為機器經常亂扣錢，導致其不會迴歸購物場景。

一定要折衷的話，前期會偏向“寧願扣款錯誤，後續退款給用戶，也不讓商家承受損失”，畢竟用戶只要在一定時間內能及時退款，感知上問題不大。但是商家(特別是小商家)對貨損十分敏感。識別異常無法100%解決，但是可以從通過物理方案把識別環境的變量降到最低、增加訓練數量集、減少模型複雜度、使用後處理算法等方案優化減少。

六、覆盤總結

智能貨櫃產品基本介紹完畢，該段主要分為智能貨櫃產品發展方向、AIPM的工作內容、AI產品設計思考，是筆者近一年以來的簡單覆盤總結。

6.1 智能貨櫃產品發展方向

1. 基於視頻動態識別技術的智能貨櫃。本篇文章介紹的是以靜態圖片識別技術為主的智能貨櫃，基於動態識別，智能貨櫃產品的生態運營和影響範圍又會拓展。相應的成本和技術難度也進一步增加，但筆者認為是必經之路，有需求則會有供給，技術的限制只會給人一次又一次打破，這是歷史不變的進程；
2. 利用AI技術提供更多的貨櫃終端體驗方案。如人臉識別，商品推薦，用戶畫像，精細化運營；
3. 用戶前端購買方案成熟和規模放大後，反向引導供應鏈變革，企業重構基於數字化的智能採購、庫存管理供應鏈系統；
4. 更多的傳統互聯網C端黑客增長運營方案，提高零售購物流程趣味性。如通過GPS定位，衍生戶外社交玩法，達到傳播裂變的效果。

6.2 AIPM工作內容與流程

該部分主要覆盤筆者作為AIPM的工作內容，希望能給其他PM一個認識。

智能貨櫃項目分為技術定型、試運營、穩定迭代三個階段。在不同階段，PM的工作流程和所需關鍵能力都不同。以AI算法流程“輸入-訓練-輸出”為思考基礎，每個階段的工作流程也各自分為三步曲。

（1） 技術定型階段：

該階段的理解標準是公司還沒有成型產品，但通過與客戶的洽談對接考察，已確定具體的業務需求。PM需要重點與需求客戶多次反覆溝通，思考清楚業務場景，構建購物(場)空間形成與閉環。隨後與開發一起選用適合的技術以及算法，開始投入資源研發。

為什麼存在技術選型流程：

1. 在前期不是所有場景的實現的唯一途徑都需要AI解決；
2. 若不是BAT級別，一個新項目的啟動的成本評估十分重要，涉及到AI資源的開發成本更需要可控

在技術定型階段，PM關鍵能力是業務對接能力和技術理解能力，業務指對接客戶，場景分析，商業計劃，技術指前後端，數據庫，cv/nlp算法和對應解決方案等。時間分配上50%在對接業務，50%在對接技術。

（2） 試運營階段：

產品雛形上線後，可在可控制的範圍內進行產品試運營。

以視覺識別智能貨櫃為例：第一版運用靜態識別技術貨櫃研發完成後，在客戶公司布點供內部員工體驗。經過一定的試運營時間不斷的優化產品的技術和體驗，解決常見BUG。待產品穩定後，客戶簽訂更大合同，開始擴大運營範圍並對外開始商業運營。

這個時候，可能會出現因技術選型失誤或者技術的識別難關導致研發週期不可控的風險，所以在試運營階段，PM關鍵能力是項目管理能力和需求分析能力，對研發週期的可控和客戶提需求的過濾分析特別重要，同時也需要能幫助算法同事解決技術和業務的衝突，如決策放棄某些需求場景，協調增加算法資源，參與算法重選等。時間分配上60%處理項目和需求，40%跟進和深入技術迭代。

（3） 穩定迭代階段：

關於如何將項目視為進入穩定迭代階段，我們可以從兩個方面去看：

1. 產品能力上，相關的技術和關鍵業務指標達到商用標準；
2. 團隊上，有專門負責的產品開發和售前售後團隊，銷售反饋處理的主流程已基本搭建完成。

在本階段，負責的內容與普通產品PM大徑相同，關鍵能力是對項目和產品整體的管理，相對需要關心技術方面的內容會少一些(但是一個新場景進來又會重新進入第一階段)。但關注數據源的健康，關鍵技術指標和業務指標、思考如何從技術和其他維度上優化模型依然是工作重心之一。

6.3 AI產品設計思考

筆者選擇往AI方向發展，除了趨勢還因為對未來智能強烈的好奇心。

PM所有的輸出基於底層能力結構，結構包含兩部分內容：第一部分是專業化知識，如體驗、戰略、商業、技術等專業知識和技能，主要在工作中體現；第二部分則是個人的人文修養、靈魂素養、情緒、驅動力、潛意識等。

所以我個人理解，在AI產品時代，一個崗位所需的底層能力是不會變化，只是崗位難度的變化。所以，保持產品初心不變，認識到產品的本質不變，把AI技術當作更高效率的技能工具運用在產品上，是我當前階段的認知也是對PM讀者的建議。

#感謝以下文章及作者#

• 無人貨架哀鴻遍野，智能貨櫃浪潮來襲，無人零售終端未來走向如何？
• 新零售的風口：無人便利店和販賣機的現狀及對比分析
• CNN卷積神經網絡原理講解+圖片識別應用（附源碼）

作者：zain ；微信號：gdn1016756845；公眾號：五百桶戶（ID：zainosl），交流是最好的進步途徑之一。

本文由 @123456 原創發佈於人人都是產品經理，未經許可，禁止轉載。

題圖來自Unsplash，基於CC0協議。