CN101809601A - 基于图像处理的货架图提取 - Google Patents

基于图像处理的货架图提取 Download PDF

Info

Publication number
CN101809601A
CN101809601A CN200880109743A CN200880109743A CN101809601A CN 101809601 A CN101809601 A CN 101809601A CN 200880109743 A CN200880109743 A CN 200880109743A CN 200880109743 A CN200880109743 A CN 200880109743A CN 101809601 A CN101809601 A CN 101809601A
Authority
CN
China
Prior art keywords
product
image
shelf
stock
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880109743A
Other languages
English (en)
Other versions
CN101809601B (zh
Inventor
阿加塔·奥帕拉施
安德鲁·法诺
弗雷德里克·利纳科尔
罗伯特·伯纳德(罗宾)·格朗埃维尔特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Services Ltd
Accenture International LLC
Original Assignee
Accenture Global Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Services GmbH filed Critical Accenture Global Services GmbH
Publication of CN101809601A publication Critical patent/CN101809601A/zh
Application granted granted Critical
Publication of CN101809601B publication Critical patent/CN101809601B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Abstract

向部署在库存环境中的一个或多个图像捕获设备所获得的图像应用图像分析技术，包括对象识别分析。对象识别分析基于已存储的产品(训练)图像来提供对象识别数据(其可以包括一个或多个已识别产品实例)。继而，可以基于对象识别数据来支持各种功能。例如，可以提取货架图并将其与目标货架图进行比较，或者可以确定产品的至少一个产品展示参数并将其用于评估库存环境中的产品存在，或者用于确定产品的展示与促销目标的一致性。在另一实施方式中，可以在单个图像内或者随时间的多个图像之间进行比较，以检测需要响应的潜在状况。以此方式，可以改进之前人工实现的任务的效率和效用。

Description

基于图像处理的货架图提取
相关申请的交叉参考
本申请涉及与本申请同日提交的代理公司卷号为33836.00.0172、33836.00.0173和33836.00.0174的共同未决申请。
技术领域
本公开总体上涉及库存管理，具体地，涉及用于基于图像分析技术进行库存管理的技术。
背景技术
目前，库存管理，也即对产品支撑设备(例如，货柜、货架、陈列架、走廊端头展示架等)之上货物的充足水平进行展现和维护，是一项持续性的劳力密集型工作。例如，为了向客户提供货品展现，期望将所展示货物的水平与最大水平尽可能接近。在某些产品售罄并且不再展示在货柜上时(有时称为“缺货”)，商店运营者通常将损失大量收入，因为客户将无法找到他们期望购买的产品，或者无法抓住根据一时的冲动购买产品的机会。另外，在库房或者仓库中可能难以识别出低库存或者缺货情况，这导致了重新订购的延迟。为了解决这一问题，管库人员或者其他人员负有如下任务，即不断地监控所展示的货物，并且在所展示的货物减少时或者在货柜上的产品展示次优时(例如，混乱、错位等)做出响应。由于这确实是人力过程，因此这种工作倾向于是相对昂贵并且有时是易错的。在零售环境中与人工监控库存相关联的这些问题同样存在于库存水平维护也很重要的非零售环境，例如仓库。
同样，常见的情况是，某些产品的制造商与零售商达成协议，以确保其产品以特定的方式来展示。由此，需要持续地就零售商是否恰当地展示了制造商的产品的表现进行审核。然而，这种审核和验证任务此前是由人工完成的。也就是说，通常将代理人派往现场，亲自检查给定零售商的操作，以验证与促销活动的一致性。由于对于针对给定产品的可能零售商数量是惊人的，这种人工解决方案很快将变为成本高昂的，由此只能抽查，而这不是最优的解决方案。
因此，提供使先前使用人工技术进行的这些对货物库存和展示任务进行核查中的很多核查变得自动化的技术将是有益的。如果可以使用这种自动化的技术来提供对产品实际上是如何展示的更为详细的理解，将是更有益的。
发明内容
本公开描述了通过使用图像分析技术来克服现有技术中上述限制的各种技术，其中图像分析技术包括但不限于：向部署在库存环境中的一个或多个图像捕获设备所获得的图像应用的对象识别分析技术。具体地，基于请求或者自动地，库存环境中的图像捕获设备可以捕获一个或多个图像，随后向优选地实现对象识别技术的图像分析功能提供所述图像。对象识别分析基于所存储的产品图像来提供对象识别数据，其可以包括接收图像内的一个或多个已识别产品实例。继而，可以基于对象识别数据启用各种功能。例如，在本发明的一个实施方式中，可以从以此方式分析的一个或多个图像中提取货架图。在此实施方式中，对象识别分析是基于按照配置简档中所包括的一个或多个候选产品而选择的那些存储产品图像。提取出的货架图可以在货架图中反映与至少一个已识别产品实例相对应的产品在库存环境中实际位置的位置处包括这些产品的图像。此后，可以将提取的货架图与目标(也即，之前提取的或者最优的)货架图进行比较，并且可以计算基于差异的性能测量。
在另一实施方式中，对象识别数据可以用来确定在库存环境中展示的产品的至少一个产品展示参数。继而，所述产品展示参数可以用来确定所述产品在库存环境中的存在和位置，或者用来确定产品的展示与促销目标的一致性。在又一实施方式中，可以在单个图像内进行比较，或者随时间在多个图像之间进行比较。以此方式，可以快速检测到需要适当人员响应的潜在状况。例如，可以按照这种方式来分析图像，以检测这些图像内的一个或多个缺货特征。此后，如果检测到此类特征，则提供至少部分耗尽的货物状况的指示。在另一实施方式中，产品展示参数可以用来评估产品展示的方式与促销目标的一致性。其结果是，本发明使此前使用人工技术实现的很多任务变得自动化，由此极大地增强了需要库存维护的操作的效率和效用。
附图说明
在本公开中描述的特征具体地记载在所附权利要求书中。通过结合附图考虑以下详细描述，这些特征和随附优点将变得易见。现在将参考附图仅以示例的方式描述一个或多个实施方式，在附图中，相似的标号表示相似的元素，其中：
图1是按照本发明一个实施方式的系统的示意图；
图2是按照本发明一个实施方式的、用于货架图自动提取的技术的流程图；
图3是从库存环境中取得的、并且示出了多个产品的展示的示例图像；
图4是按照本发明一个实施方式提供的、基于图3的示例性图像的示例性已提取货架图；
图5是示出了按照本发明一个实施方式的、用于根据对缺货特征的检测来提供耗尽货物状况的指示的技术的流程图；
图6是包括部署于其上的一个或多个可检测图案的至少一个产品支撑设备的示意图，所述可检测图案可以用作用来检测耗尽货物状况的缺货特征；
图7是至少一个产品支撑设备的示意图，其中，至少一个产品支撑设备的一个或多个已知特征被用来检测耗尽货物状况；
图8是示出了基于产品展示参数的检测的技术的流程图；
图9是示出了用于基于对时间上不同的图像进行比较来提供需要响应的潜在状况的指示的技术的流程图；
图10是示出了用于基于对单个图像的部分进行比较来提供需要响应的潜在状况的指示的技术的流程图。
具体实施方式
将进一步参考图1-图10来提供对本发明各种实施方式更为详细的描述。现在参考图1，其示出了系统100包括部署在库存环境102中的一个或多个图像捕获设备104。在库存环境102中，在各种产品支撑设备108上展示有各种产品106。图像捕获设备104通过第一网络112与图像服务器110通信。尽管被示为在库存环境102外部，但是图像服务器110也可以部署在库存环境102内。图像捕获设备104可以包括可被旋转、平移等的静态图像照相机或视频照相机，其可以安装在库存环境102中的一个或多个位置。备选地或者附加地，图像捕获设备可以包括相对移动的(潜在地，无线的)静态图像照相机或者视频照相机，其安装在多个可移动对象的任意对象上，可移动对象包括但不限于：引导图像捕获设备移动的固定轨道、购物车或货物车，或者甚至是在库存环境102中移动的人。而且，图像捕获设备104可以使用电磁频谱的不同部分(也即，可见波长和/或红外波长)来进行操作。这是因为，如下所述，给定的图像捕获设备104的位置对于在此描述的各种技术来说可能是有用的，或者甚至是必须的。在具有固定的图像捕获设备104的情况下，此类位置信息可以是隐含已知的。在具有相对移动的图像捕获设备的情况下，如上所述，可以通过潜在不同的方式来提供可变程度的位置信息。例如，位置信息可以由操作移动图像捕获设备的人来人工提供。备选地，可以使用由移动图像捕获设备所捕获的图像来推断其位置。例如，在一个实施方式中，可以遍布库存环境来定位位置唯一的标记(例如，字符图像、条形码等)，使得其可以被识别(如下所述)和解码以确定位置信息。在又一实施方式中，可以使用所捕获图像中存在的其他信息来推断位置信息。基于对特定的产品或者产品群组的预期位置的先前知识，随后在一个或多个所捕获图像中识别出这些产品可以用作推断在捕获所述一个或多个图像时该图像捕获设备正处于这些产品的预期位置的基础。在产品可能具有多个位置的情况下，可以通过注意预期唯一的特性(诸如，其他产品的附近、检测到产品的高度、陈列面(facing)的数目等)来执行歧义消除。
图像服务器110继而可以包括计算平台，例如实现能够从图像捕获设备104接收所捕获图像、并且可选地能够向图像捕获设备104提供控制信令的适当软件的服务器计算机，如本领域内已知的。基于对给定库存环境布局的知识(例如，在假定特定的产品和相机被定位的情况下，或者更简单点说，通过提供给其的坐标来定位的情况下)，图像服务器110可以响应于请求而选择适当的图像捕获设备104(以及这些设备的适当朝向)。尽管第一网络112可以包括有助于递送来自图像捕获设备104的图像数据(以及可选地，向图像捕获设备104递送控制信号)的实际上任意类型的网络，但是也可以使用特定于任务的网络，诸如闭路电视网络(CCTV)等。一般地，库存环境可以包括以结构化方式来保存和/或展示产品106的任何环境，包括但不限于：杂货店、服装店、消费者电子产品商店、百货商店、仓库等。库存环境102中的结构化展示可以基于对一个或多个产品支撑设备108的使用，其中产品支撑设备108诸如是货架、货柜、纵向展示架、端头展示架等，这对于本领域的普通技术人员而言是已知的。
在所示的实施方式中，图像服务器110通过第二通信网络122与各组件124-130通信。再一次，第二网络122可以包括实际上任何适当的联网技术，在目前优选的实施方式中，其包括基于因特网协议的网络，包括但不限于因特网或者万维网。总体上，组件124-130构成了自动化库存管理系统120，但是将会理解，组件124-130中的一个或多个可以合并为单个组件(例如，单个服务器计算机)。在所示的实施方式中，图像分析服务器124与货架图服务器126和库存分析服务器128通信。继而，图像分析服务器124和货架图服务器126二者都与数据库130通信。自动化库存管理系统120的各组件124-128可以通过第二网络122(或者其他网络，例如无线网络)来与一个或多个用户140通信。用户140可以包括库存管理中所涉及到的或者对此感兴趣的任何一方，包括但不限于：管库人员、商店经理、广告商、零售商的总部等。在目前优选的实施方式中，可以为每个用户140提供接收由各组件124-128提供的指示(将在下文进一步详细描述)所需的适当通信设备，诸如计算机、移动电话、寻呼机、个人数字助理等。如本领域中已知的，第二通信网络122可以适于按照需要与用户140所关联的任何无线设备进行通信。
图像分析服务器124执行对图像(优选地的是接收自图像服务器110(或者任何其他来源)的图像)的图像分析技术。图像分析服务器所接收的图像可以响应于由图像分析服务器124向图像服务器110发出的特定请求(也即，拉取)被提供，或者其可以在没有事先请求的情况下由图像服务器110自动向图像分析服务器124提供(也即，推送)。优选地，图像分析服务器124使用一个或多个适当的计算平台来具体化，诸如商业上可获得的个人计算机，其包括能够执行实现各种图像处理技术的已存储指令的至少一个处理器(例如，微处理器、微控制器、数字信号处理器、专用集成电路、可编程逻辑等或其组合)。在目前优选的实施方式中，图像分析服务器124实现例如基于DavidG.Lowe的“Distinctive image features from scale-invariant keypoints”，International Journal of Computer Vision，60，2(2004)，第91-110页以及美国专利号6,711,293(在此通过引用并入其全部内容)中描述的所谓尺度不变的特征变换(SIFT)算法的对象识别技术，这是特别有用的，因为其能够识别出图像中的对象实例(基于训练图像)，而不考虑旋转、视点、尺度的改变，以及光照条件的改变等。用于对象识别的另一技术在公布的美国专利申请号2007/0179921A1中教导，在此也通过引用将其并入。一般地，当基于待识别的对象的一个或多个训练图像时，此类算法提供了对图像中识别出的对象的标识、识别出的对象在图像中的位置以及所述对象实际上位于图像中的概率。而且，可以使用用于识别图像内特定特征的、潜在地在计算上更为有效的技术。例如，可以使用图像各个部分的亮度水平来检测图像的较暗区域(也即，阴影)，这潜在地指示给定的位置处产品的缺失。此外，可以使用对均匀颜色区域(与产品包装中通常使用的非均匀着色形成对比)的检测来再一次检测给定区域中产品的缺失。而且，对垂直线(例如，使用Harris检测符)的检测和字符的检测(使用光学字符识别)是产品存在的指示，而这种特征的缺失是产品不存在的指示。在又一实施方式中，可以采用形状检测来检测特定包装的总体形状。对于库存环境的不同部分或者甚至是相同产品支撑设备的不同部分而言，不同的技术可能是最佳的，因此例如可以由图像服务器110和/或图像分析服务器124来维护与针对库存环境的不同区域(或者库存环境中特定位置的不同部分)的优选技术有关的数据。
如本领域已知的，货架图至少是产品(使用任何方便的标识机制)、产品的方位(例如，产品中心的x、y、z坐标)以及产品的“主表面”(通常是前表面)的朝向(3个角度)的列表。尽管不是必需的，但是货架图还可以包括在图形上示出该数据的固定设备和产品的示意图，也即，产品应当如何展示以及展示在哪里，通常展示在货架或者其他产品支撑设备上。通常，货架图由产品供应商来提供和设计，以增加客户购买。如下文更为详细描述的，期望可以出于多种目的而有益地使用反映出给定库存环境当前状态的货架图。为此，类似于图像分析服务器124，货架图服务器126优选地使用一个或多个适当的计算平台来具体化，其包括至少一个处理器，能够执行基于由图像分析服务器所提供的结果(也即一个或多个已识别产品实例的标识和位置(在一个或多个图像内))来生成货架图的软件例程的已存储指令，这将在下文更为详细地描述。提供数据库130，以便与图像分析服务器124以及可选地货架图服务器126二者结合使用。在目前优选的实施方式中，数据库130存储多个已存储的产品图像和/或所述图像和产品的特征和特性，其可被图像分析服务器124所实现的对象识别软件用作训练数据，并且可以在根据已识别对象实例来组装所提取的货架图时在货架图服务器126中使用。如本领域中已知的，数据库130可以使用具有适当的数据库以及数据库查询软件的、经过适当编程的存储服务器来实现。
库存分析服务器128(再一次，其优选地使用一个或多个适当的计算平台来实现，所述计算平台包括能够执行实现软件例程的已存储指令的至少一个处理器)可以用来实现各种与库存相关的任务，以及下文例如将进一步参考图8来描述的与促销一致性有关的任务。如果期望，与缺货确定相关联的那些功能(下文描述)可以可选地在专用的缺货分析服务器127(使用类似于其他所示服务器的硬件平台来实现)上执行。最后请注意，图1中示出的服务器和数据库124-130的特定配置是出于说明性目的的，并且本领域技术人员将会理解，同样可以采用各种其他配置(有可能包括未示出的附加联网设备)。
现在参考图2，示出了按照本发明一个实施方式的流程图。在目前优选的实施方式中，优选地使用图1中所示的系统100来实现图2(以及图5和图8-图10)的流程图所示的技术。此外，图2中所示的各框优选地使用存储在适当的处理器可读介质中、并由适当的处理设备来执行的可执行指令来执行。开始于框202，可以向图像捕获设备104提供针对一个或多个图像的请求。例如，图像分析服务器124可以通过第二网络122向图像服务器110发送针对一个或多个图像的请求。继而，图像服务器110可以控制图像捕获设备104(例如，指示其指向库存环境中的特定位置，或者指向特定的产品支撑设备等)来获取期望的图像。相反，不同于响应于特定请求来获取图像，图像捕获设备104可以自动地和/或连续地获取图像，并且向图像服务器110提供这些图像。此后，图像服务器110可以类似地在没有事先请求的情况下向图像分析服务器124提供期望的图像。不论请求图像(拉)或者自动提供图像(推)的方式如何，每个图像的元数据或者类似信息都可以包括标识图像的信息(其形式例如是特定图像捕获设备的标识以及其朝向和位置，或者图像中所捕获的特定区域的标识)以及捕获图像的相对时间。
不论在框204接收图像的方式，处理继续到框206，其中，基于配置简档来标识一个或多个候选产品。在此使用的候选产品包括特定的产品或者一类产品的标识。例如，“COKE”和“PEPSI”是特定产品的品牌的示例，而“软饮料”是特定产品类别的示例。在产品类别中的各种特定产品的外在(outward)配置通常遵从对于该类产品而言相对通用的特征的那些情况下，使用特定产品类别可能是特别有益的。例如，在“软饮料”作为一类产品的情况下，这些产品的个体罐子或瓶子的形状可能彼此非常类似，由此允许使用对于该类别通用的训练图像。以此方式，本发明不仅可以用来识别特定产品，而且还可以用来识别产品的类别。配置简档包括对预期存在于给定图像中的内容的文本描述。例如，在图像捕获设备104安装在已知位置并因此可以与其视场内的特定预期产品相关的情况下，配置简档可以列出预期位于一个或多个特定图像捕获设备的视场中的那些产品。以此方式，对象识别分析所使用的已存储产品图像的列表(也即，训练图像)可以充分地减少，由此改进对象识别分析的效率。
继续到框208，对图像执行至少部分地基于在框206标识的一个或多个候选产品的对象识别分析，以提供对象识别数据。在此使用的对象识别分析的输出，也即对象识别数据，包括图像中任何已识别产品的标识，以及相应的产品实际上位于图像中的适当指示(例如，概率)，此后偶尔称为已识别产品实例。而且，对象识别数据优选地包括所标识产品(如果有的话)在图像中的位置信息(相对于图像而言)，也即，在图像中的x、y坐标。注意，对象识别数据可能无法标识任何已识别对象，但例如在确定是否存在缺货状况时其仍然是有用的。鉴于大部分库存环境可能存在来自不同供应商以及不同产品类别的多个产品这一本质，至少一个已识别产品实例可以包括对单个或多个产品的单个或多个识别(例如，对“COKE”软饮料的瓶子的多个识别，对“COKE”软饮料的单个瓶子的识别和对“PEPSI”软饮料的瓶子的多个识别，对“COKE”和“PEPSI”两种软饮料的瓶子的多个识别，以及对“SOLO”塑料杯的多个识别等)。
这将参考图3进一步地示出。具体地，图3示出了其中使用多个产品支撑设备(在此例中是货架)302-306来展示多种产品308-314的库存环境301的示例性图像300。在此例中，图像300由近似位于最高货架302的高度处的图像捕获设备所捕获。典型的图像还可以包括在图3中为了说明简便而未示出的各种其他对象(例如，货架上的价签，诸如购物车或人的不透明对象，宣传资料等)。在目前优选的实施方式中，用来捕获图像的图像捕获设备定位在期望位置(例如，货架302-306)的相对远端。取决于库存环境的特定配置，例如，杂货店情况中间隔相对紧密的货架行，可能期望将图像捕获设备定位在货架之上的某处。在常见的情况下并如图3所示，产品308-314没有“理想地”排列。例如，某些产品308可能被旋转或者以其他方式而未对齐，使得其不是面朝前的；其他产品310不适当地堆放在彼此之上；而另一些产品312的定位可能使其遮挡了其他产品314。而且，图像中还可能存在间隙316和阴影区域318，使得没有可识别的特定产品。优选地，所采用的对象识别分析能力能够处理图像中的这种非优化特性，从而在可能的情况下仍能提供一个或多个已识别产品实例，在图3中被示为以粗线示出的产品。
在框208处执行的对象识别分析还可以将基于对图像的附加分析而产生的遮挡信息或障碍信息纳入考虑。例如，在拥挤的杂货店或类似操作中，对于库存环境中给定位置的图像而言，存在障碍物挡住否则将可获得的“标准”视图的至少一部分的可能性是很大的。例如，一个或多个人或者购物车可能挡住某些产品的视图。如果障碍物(或者其他原因，诸如不足的光照或者图像分辨率)阻止了对整个图像中或者至少部分图像中产品的检测，则该整个图像或者被过高地遮挡(或者以其他形式不利于图像分析)的该部分可以被丢弃或者忽略，并利用从不同视点捕获的和/或在即便不相同也是非常类似的时间点捕获的相同位置的另一图像。也即，如果可能，优选地还是使用未被遮挡或不存在其他缺陷的图像的任何部分。用来检测遮挡的技术可以基于有待检测的遮挡的类型。例如，多种技术被公知用于检测图像中人和运动的存在。例如，人跟踪技术在以下参考文献中描述：J.K.Aggarwal和Q.Cai.″Human Motion Analysis：A Review″.ComputerVision and Image Understanding：CVIU，Vol.73，No.3，第428-440页，1999；I.A.Essa.″Computers Seeing People″.AIMag，Vol.20，No.2，第69-82页，1999；D.Gavrila.″The Visual Analysis of Human Movement：A Survey″.Computer Vision and Image Understanding，Vol.73，No.1，第82-98页，1999年1月；和Ismail Haritaoglu，David Harwood，以及Larry Davis.″W4：Who？When？Where？What？A Real Time System forDetecting and Tracking People″.In：Proceedings 3rd InternationalConference on Face and Gesture Recognition，日本，奈良，1998年4月，在此通过引用并入这些参考文献的教导。而且，类似脸部特征的检测可以用来检测人的存在，并且例如可以使用在Intel公司的OpenCV(开源计算机视觉)库中找到的脸部识别功能来实现。可以使用其他技术来检测如购物车的某些对象。例如，可以基于来自各个角度的购物车的训练图像来使用如上所述的对象识别。而且，可以使用线检测算法来检测间隔相对紧密的、基本上平行的线，其常常表示购物车框的垂直结构部件；或者，可以使用形状检测算法来检测购物车的轮廓或者购物车轮子的圆形形状。而且，颜色和/或纹理检测技术也可以用来(单独地或者与上述技术的任意组合相结合地)检测购物车的特有特征，例如，购物车的相对光泽的金属结构部件。特别地，对于购物车，使用这些技术检测到的与购物车的位置和/移动有关的信息可以用来确定库存环境中的人的行为。例如，在给定区域内频繁且连续地检测到购物车可以表示高流量环境。而且，在特定的产品展示前面、在相对延续的时段中检测到购物车可能表示(在积极的意义上)消费者对于所展示的产品和/或宣传资料有很大兴趣，或者表示存在障碍物或者阻碍特定区域周围的交通流动的其他状况(在消极的意义上)。
再次参考图2，处理继续到框210，基于对象识别数据(以及可能的货架检测)来生成提取的货架图，并将其作为输出提供。特别地，提取的货架图包括与至少一个已识别产品实例(如果有的话)中的每一个相对应的一个或多个产品的位置以及可能还有图像。图4中示出了其一个示例。
图4示出了基于图3的示例性图像300的提取的货架图400。如图所示，提取的货架图400示出了与图像300中识别的货架302-306相对应的货架402-406。在目前优选的实施方式中，图像300中货架的位置是通过对象识别分析或者任何其他适当的技术确定的，作为非限制性示例，所述其他适当技术例如通过使用已知的边检测算法来标识图像中相对较长的连续边。此后，利用已知的几何变换技术，可以将图像中的货架302-306的位置转换为库存环境中货架的实际位置，其可以由提取的货架图400中示出的货架402-406的方位所反映。为了确定货架的实际位置，库存环境中的图像捕获设备的方位信息被使用。在目前优选的实施方式中，该方位信息包括照相机的成像平面的空间坐标(例如，x、y、z)，以及该图像捕获设备在库存环境中的垂直和水平倾斜、视场、缩放因子、高度等。基于此信息以及本领域技术人员已知的其他可确定信息(例如，货架的总体高度、货架到图像捕获设备的成像平面的距离等)，可以将图像中的已识别对象(例如，货架)的坐标向库存环境301中的实际位置映射。使用类似的映射来将图像中各种已识别产品实例的方位信息转换为产品在库存环境301、102中的实际位置。考虑到对象识别数据可能不包括任何已识别产品实例，提取的货架图或者至少货架图与所分析图像相对应的那部分可能不包括与已识别产品相对应的任何信息。
利用与一个或多个已识别产品实例(图3中以粗体示出)相对应的产品的身份以及其在库存环境中的实际位置的知识，提取的货架图400可以包括已识别产品的对应图像408-412，其在提取的货架图400中的位置对应于其在库存环境301、102中的实际位置。再一次，将库存环境中的实际位置向货架图表示中的相应位置映射是本领域中公知的。类似地，产品416之间的间隙，未对齐以及其他展示缺陷也可以在货架图400中示出，由此反映货架的当前状态。还如提取的货架图400中所示，还可以示出附加货架420和产品422的位置。由于在创建提取的货架图400时可以使用多个图像(其中没有一个图像单独完全捕获了给定的产品支撑设备，而是集体捕获)这一事实，这是可能的。例如，基于多个基本上同时的图像，可以确定：给定图像中最下面的货架位于图3的示例性图像300中描绘的第二货架306之下，这归因于这些图像中都表示了第二货架306这一事实。利用该知识(例如，包括已知的相机位置和/或第二货架306的图像之间的关系)，货架图生成软件可以有效地向提取的货架图400添加附加的货架420和产品422，由此提供货架在拍摄图像时刻的总体图像。
如上所述，对象识别数据直接用于生成提取的货架图。然而，实际上，优选地的是，在将对象识别数据用于任何在此描述的目的(包括货架图的提取)之前，首先对其进行过滤。这是优选的，因为图像分析不是完美的，并且偶然会提供假阳(false positive)信息，例如，对象识别分析有时将指示实际上并不在那儿的已识别产品实例。而且，与图像分析的执行无关的外部因素(例如，遮挡、变化的光照条件等)的存在可能干扰图像分析的正确执行。其结果是，经常需要在单个图像(以及更一般地，一系列图像)中过滤掉这种误导的出现。
例如，给定的产品可能被识别为在相应货架之上一定距离(归因于其下面的某些其他不可识别的对象)。在提取的货架图中可以将该产品描绘为放在货架之上，而非将其描述为“悬”在货架之上。类似地，可以忽略不像真实的产品识别(例如，产品“漂浮”在半空或者被货架分割)。同样可以忽略以不可能的角度识别的产品(例如，产品可能在z轴上转动非90度的角度，但是不太可能在x轴和y轴上这样)。因为涉及各种可能产品的已存储数据还可以包括关于产品的实际尺寸的信息，因此，可以丢弃与产品的已知尺寸不同的产品识别实例，例如，玉米片的盒子不可能有两米宽。
通过比较随时间的多个图像，可以实现附加的过滤。也即，为了可靠地确定给定的对象是应当还是不应当被认为是在多个图像中识别到的，需要随时间的比较。例如，对图像的对象识别分析可以确定：两个或者更多已识别产品实例基本上重叠。这种情况通常将需要验证，因为这实际上可能是这样的情况，即，一个或多个产品可能定位在另一个之后，但是却被识别了出来。备选地，这可能通过对单个产品的多个识别而出现。通过使用随时间的多个图像(例如，使用稍后某时的另一图像)和/或随空间的多个图像(例如，从不同角度捕获一个或多个附加图像)，可以把每种情况考虑进来或者排除出去。类似的逻辑可以应用于检测到潜在的遮挡或变化的光照条件的那些实例。再一次，在这些实例中，多个时间上或空间上相异的图像的使用可以用于确认或者排除特定的识别结果。
再次参考图2，处理可选地继续到框212，在此将提取的货架图与目标货架图进行比较。在目前优选的实施方式中，目标货架图可以包括基于一个或多个附加图像(或者甚至是基于使用不同对象识别技术的同一图像)的另一提取的货架图，或者最优货架图。这里所使用的“最优货架图”表示规划者最初预想的一个或多个产品的理想展示。提取的货架图与目标货架图的比较可以用来标识所比较货架图之间的差异。如上所述，货架图包括产品、(相对)方位和朝向的列表。优选地，期望的比较基于产品中心之间的距离及其朝向的之间的比较。这种差异可以包括但不限于：产品距期望位置的水平偏离或垂直偏离、没有在其预期位置检测到产品，或者相对于目标图像而言增加了不期望的产品。
基于提取的货架图与目标货架图之间任何标识出的差异，处理可以可选地继续到框214，在此，针对每个产品(或者产品类别)确定货架图之间差异的相对成本。例如，在一个实施方式中，给定产品相对于目标货架图的水平偏移可以具有与其相关联的相对较低的成本。此外，给定产品相对于目标货架图的垂直偏移可以具有与其相关联的中等成本。另一方面，与目标货架图相比，产品在提取的货架图中完全缺失可以具有与其相关联的相对较高的成本。其他成本(作为设计选择问题而被确定)可以与其他可检测差异相关联，所述其他可检测差异诸如额外的、计划外产品的存在，或者期望产品的额外陈列面的存在等。根据基于所标识的差异而计算的各种成本，可以计算差异的总成本(或者与给定货架图的期望特定方面相对应的各种小计)，以作为测量当前库存管理技术的有效性的一种方式。注意，可以针对一系列时间上不同的提取的货架图/目标货架图来执行框212和214的比较和/或成本确定，以便辨清趋势或者其他与时间有关的发展。此外，在框216，可以使用通过框202-214的处理而获得的各种信息以作为采取任何动作的基础。例如，提取的货架图或者成本信息可以充当向适当的人员发送提示或其他指示的基础。例如，如果提取的货架图与目标货架图之间的成本差异足够大，则可能期望指示管库人员检查受影响的区域，并采取任何需要的补救动作。本领域的普通技术人员将会理解，基于按照图2的处理而得出的信息，可以容易地得出各种其他动作。
现在参考图5，其示出了一种用于确定耗尽货物状况的技术。开始于框502，如前所述，可以可选地请求(或者自动提供)至少一个图像。当在框504处接收到库存环境的至少一个图像之后，处理继续到框506，在此分析至少一个接收到的图像，以检测该至少一个图像中的至少一个缺货特征的存在。在此使用的“缺货特征”是可以通过图像分析来识别、并且用来指示产品支撑设备上可能缺失一个或多个产品的图像中任意类型的可检测特征。其示例在下文参考图6和图7进一步示出。注意，在框506处对缺货特征的检测优选地包括如上所述的过滤过程，以便将对缺货特征的假阳检测最小化，或者适应在其他情况下可检测的缺货特征被遮挡(例如，在不良的光照中等)的概率。
现在参考图6，示出了多个货架602、604，其上保存有各种产品606-612。而且，货架上还可以部署有各种可检测的图案614-626。利用已知的技术，各种图案614-626实际上可以持久地或临时地附于货架602-604的任何面，特别是图像捕获设备容易看见的那些面。例如，第一可检测图案614被示为展示在上层货架602的上表面上。此外，第二可检测图案616被示为在上层货架602的后壁上。而且，第三可检测图案618被示为在上侧货架602的侧壁上。在第一可检测图案、第二可检测图案和第三可检测图案614-618中，图案包括黑白方块交替的高对比、高度组织的(并且因此易于检测)图案。本领域的技术人员将会理解，其他功能上类似的图案(诸如一维条形码或二维条码，或者其他高对比的颜色/图案)同样可以用于此目的。在使用能够编码信息的图案(诸如，条形码或其他图案)的情况中，可以使用这些图案来编码与和其一起展示的产品有关的信息，例如关联产品的身份、形状、尺寸、数量、价格等。在又一实施方式中，还提供包括文本标记的第四可检测图案620。在此实施方式中，使用人类可读的文本，该文本可以通过使用公知的光学字符识别技术来进行识别。此外，可检测图案中可以包含其他区别特性，诸如独特的颜色、形状或者纹理，以便增强其可检测性和/或其在被检测到的情况下传递相关信息的能力。
还可以使用多个可检测图案622、624(假定其在未被遮挡的情况下可被给定的图像捕获设备感知到)以作为确定货架上产品的耗尽程度的手段。也即，如果多个可检测图案622、624都被阻挡并因此未被检测到，则可以推断所展示产品的库存尚未耗尽。在另一极端情况，如果可检测图案622、624都未被阻挡并随后被检测到，则可以推断所展示产品的库存基本上(甚至是完全)耗尽。此外，如果只有一个可检测图案624未被阻挡并因此被检测到，则可以推断已经发生了中等程度的货物耗尽。备选地，可以使用已知维度的较大连续可检测图案(诸如第七可检测图案626)，使得对该可检测图案的部分的检测充当至少部分耗尽的货物状况的量的指示。在此实施方式中，可以确定图案626的已检测部分的尺寸，并将其与图案626的已知尺寸进行比较。此后，可以与图案626的已检测部分与图案626的已知尺寸的比率成比例地(或者，在剩余货物的情况下，是成反比)确定作为结果的货物耗尽水平(或者剩余货物的水平)。
在又一实施方式中，并非依赖于部署在各货架表面上的可检测图案，货架的已知特征同样可以用作图像中的缺货特征。例如，可以使用货架本身的颜色、形状和/或纹理。此外，货架附近(之上、之下等)的已知光照条件可以使给定图像中出现特定的阴影特征。再一次，这些阴影特征可以用作适于指示所展示库存的耗尽状态的缺货特征。这在图7中示出，其中多个货架702、704具有保存在其上的多个产品706、708。利用货架的已知特征(颜色、形状、纹理等)，如果检测到了此类特征710、712的相对较大的区域(例如，与适当选取的阈值相比)，则可以推断货物水平至少部分地耗尽，因为已经检测到这些通常被阻挡住的特征。如同之前的实施方式中一样，可以使用检测到的区域710、712的相对尺寸来推断货物耗尽/货物剩余的水平。类似地，对阴影或反常明亮的区域714、716的检测也可以用来推断所展示库存的缺乏。在实践中，可以使用所谓的高斯混合模型来实现如上所述的对货架颜色等的检测。利用此技术，各种图像捕获设备被训练为基于特定位置的随时间的一系列图像(可能是在各种光照条件下)针对每个像素解释与空货架(或者阴影等)对应的颜色集合。继而将这些像素聚合为区域。
再次参考图5，如果在框506检测到一个或多个缺货特征，处理可以继续到框508，在此可以向适当的人员提供至少部分耗尽的货物状况的指示。例如，可以向负责库存环境中检测到缺货特征的那部分的管库人员提供该指示。而且，考虑到货物耗尽水平可以根据检测到的缺货特征来确定，该指示同样可以反映货物耗尽的程度。在目前优选的实施方式中，仅在检测到缺货特征持续预定时段之后，才提供至少部分耗尽的货物状况的指示。在该段时间期间，如果检测到障碍物，则可以将指示的提供推迟一段时间，以将障碍物的持续时间考虑在内。
现在参考图8，进一步示出了基于产品展示参数的确定的各种技术。开始于框802，如前所述，可以请求(或者自动提供)一个或多个图像。当在框804接收到库存环境的一个或多个图像之后，处理继续到框806，在此，如上所述，对一个或多个接收到的图像应用对象识别分析，以提供对象识别数据(其可以包括或者也可以不包括至少一个已识别产品实例)。请再次注意，框806处的对象识别数据的提供优选地包括如上所述的过滤过程，以将假阳的检测最小化，或者适应在其他情况下可识别的特征被遮挡(例如，在不良的光照中等)的概率。假设对象识别数据包括至少一个已识别产品实例，过程继续到框808，在此，确定与至少一个已识别产品实例相对应的产品的至少一个产品展示参数。产品展示参数是用来测量给定产品在库存环境中的展示普遍性和/或展示质量(或其缺乏)的各种参数，该展示普遍性和/或展示质量(或其缺乏)由产品被展示时的各种可量化特性来指示。
例如，如本领域内已知的，产品的“陈列面”是这样的情况，在该情况中，产品在被展示时是可识别的。可以至少部分地基于产品陈列面的位置来确定给定产品陈列面的相对质量。由此，一个产品展示参数可以包括产品在整个库存环境中或其一个或多个部分中的陈列面数目。类似地，其他产品展示参数可以包括产品的陈列面的位置(例如，顶部货架、底部货架、走廊X、走廊Y、与走廊尽头相距的距离、互补产品之间的距离等)，以及产品的陈列面之间的距离。对于陈列面之间的距离，可以基于陈列面在库存环境中的实际位置的知识来计算直线距离，或者可以使用已知的路径映射技术来计算相关位置之间(也即，对应于第一实例的货架与另一走廊中对应于第二实例的另一货架之间)的步行距离/时间。还如本领域中已知的，产品的展示高度经常是产品成功销售的关键决定性因素，因此可以构成有用的展示参数。类似地，产品与第二产品的邻近性可以构成附加的有用展示产品参数。例如，如果第一产品是一类调味品，知道该产品与赠送产品(诸如，其他调味品)的邻近性可能是有益的。作为另一示例，可能期望知道给定产品的位置以及其与相似类型的竞争产品的邻近性。如上所述，可以基于对产品中心(x、y、z坐标)和/或三个角度朝向的比较来确定产品的邻近性。可以基于选定的阈值来做出邻近/不邻近决策，或者将原始距离数据作为结果提供。在目前优选的实施方式中，邻近性也可以被描述为步行距离/时间，或者更简单点说，通过产品是在相同货架还是不同货架上的确定来描述。
此外，在框806执行的用于提供对象识别数据的处理也可以用于对图像中的一个或多个宣传资料实例进行识别。例如，可以应用对象识别分析来确定在图像中是否存在优惠券分发者、广告海报等。当在图像中识别到此类宣传资料时，附加的产品展示参数可以包括：利用上文针对确定产品间邻近性而描述的相同技术的、产品与一个或多个宣传资料实例的邻近性的确定。而且，可以确定宣传资料的存在(也即，宣传资料的展示的相对普遍性和/或质量，如下文所述)。例如，利用这些技术，可以测量宣传资料被购物车遮挡的频率，或者其与已知的高流量区域的相对邻近性。
基于在框808确定的一个或多个产品展示参数，处理可以继续到框810或者框812。首先参考框810，处理继续，在此确定产品的存在。产品的存在是产品在库存环境中的有益展示的相对程度的描述。也即，存在指示超出了给定产品是否在库存环境中展示这一单纯事实，而是试图沿着两个维度(即，展现的数量和展现的质量二者)来测量产品的展示。也即，通过比当前的惯例更为频繁和更为详细的监测，环境中产品被观察到的存在程度。以此方式，本发明提供了用于支持新的促销表现度量和方法的各种技术。例如，基于识别出的产品实例，可以记载：特定产品在过去300次15分钟观测中的平均存在为4个位置中15个陈列面，其范围在2次观测到2个位置缺货到283次观测到与促销目标完全一致之间变化。这种粒度水平允许可以协商的服务水平协议的本质发生改变，由此改变可以销售的促销的本质。此外，该数据构成了关于产品表现的有价值的业界数据，其本身可以变成可销售的资产，或者可作为服务提供给感兴趣的第三方(例如，非竞争零售商，打包货品公司等)。
作为另一示例，对于给定产品而言，该产品在库存环境中的陈列面的总数可以认为是该产品的存在的粗糙的第一近似。为了改进此存在指示，可以按照不同的展示高度和位置中每一个的感知质量，对不同展示高度或位置(例如，底部货架、眼睛高度的货架、端头展示架等)处的陈列面的小计进行加权。例如，考虑表1中示出的以下示例：
  高度/位置   陈列面数目   权重   加权贡献
  顶部货架   10   x3   30
  中部货架   20   x5   100
  底部货架   10   x2   20
  端头   10   x5   50
  总计陈列面   50   加权总计   200
表1
在表1所示的示例中，权重被挑选以使得中部(也即，眼睛高度)货架和端头展示架上的陈列面的权重最大(有利)，而底部货架上的陈列面加权较低(较不有利)。在此示例中，存在值可以计算为加权总计除以陈列面的总数(也即，200/50)，其值为4(最大可能值为5)。然而，如果找到了相同总数的陈列面，但是分布不同，如表2中所示，鉴于在较为有利加权的端头展示架位置处存在更多数目的陈列面，则该存在值提升为4.4(也即，220/50)。
  高度/位置   陈列面数目   权重   加权贡献
  顶部货架   0   x3   0
  中部货架   20   x5   100
  底部货架   10   x2   20
  端头   20   x5   100
  总计陈列面   50   加权总计   220
表2
表1和表2中记载的示例示出了用于评估给定产品的陈列面的数量和质量的一个潜在算法，当然，本领域普通技术人员将容易理解，在这方面可以提出各种评估技术。如上所述，在框808确定的其他产品展示参数可以作为设计选择的问题被并入存在等级。例如，当每个陈列面位于互补产品的阈值邻近性内和/或位于相应的宣传资料的另一阈值邻近性内时，产品的存在等级可以增加。反之，其总计陈列面中的较大比例位于彼此相对较小的距离中(也即，聚集在库存环境的一个区域中，而不是较为均匀地遍布)的产品的存在等级可能因此降低。再一次，此类产品展示参数的相对贡献可以作为设计选择问题进行选择。实际上，这种贡献可以按照所考虑的特定库存环境而有所变化，例如，互补陈列面之间邻近性的贡献在杂货店中可以比在家用品商店更为有利地加权。
备选地，处理可以继续到框812，在此，可以确定产品展示与促销目标的一致性。例如，产品制造商通常会与商店联系以确保在库存环境中总是存在该制造商的产品的最小数目的陈列面。而且，可以进行安排以确保始终保持给定产品的促销展示的特定最小质量水平。因此，使用在框808获得的产品展示参数，可以测量给定产品的展示的一致性，并将其与期望促销目标进行比较。在确定产品与预期促销目标基本上不一致的情况下，处理可以继续到框814，在此向诸如商店经理、审计员、广告代表等适当人员提供不一致指示。不一致可以通过与期望参数水平的偏离水平(例如，按照位置、陈列面数目、一天内缺货的持续时间/相对可获得性)来判定。
现在参考图9和图10，进一步示出了用于检测需要人员响应的潜在状况的各种技术。更具体地，图9示出了基于对时间上不同的图像进行比较的技术，而图10示出了基于对单个(或多个)图像的不同空间区域进行比较的技术。现在参考图9，过程开始于框902，在此，再一次可以如上所述地请求一个或多个图像(或者自动提供)。然而，在本例中，所请求的图像(或者自动提供的图像)是针对给定位置在时间上不同的图像。也即，在框904接收到的多个图像是在一段时间内针对单个位置拍摄的。
在框906，可选地可以至少向接收图像的第一图像和第二图像(优选地，更多的图像，以便通过使用上述过滤操作获得更为可靠的结果)应用如上所述的对象识别分析。尽管目前优选的是对第一图像和第二图像(或者按照需要，更多的图像)执行这种对象识别分析，但这并非必要条件，因为后续的比较步骤908可以在没有对象识别分析的情况下执行。由此，在框908，将第一图像的部分与第二图像的部分进行比较。具体地，框908的比较试图测量第一图像与第二图像的相应部分之间的相似程度。在对每个图像执行对象识别的情况下，比较可能需要对图像中相似位置处的已识别产品实例(如果有的话)所对应的产品的身份进行比较。备选地(或者在已经执行了对象识别的情况下，附加地)可以使用诸如上文描述的其他比较技术来评估图像的相应部分之间的相似程度。再一次，在框908中同样可以应用将假阳最小化/考虑情有可原的情况所需的过滤操作，以更好地确保可靠性。此后，在框910，确定对第一图像和第二图像的部分的比较是否是有利的。如果不是，处理继续到框912，在此，向适当人员提供需要响应的潜在状况的通知。
例如，框910处的比较可以基于第一图像的部分是否与第二图像的部分基本上匹配。反之，框910处的比较可以基于第一图像的部分是否与第二图像的部分基本上不匹配。参考前一种情况，如果框910的比较确定已识别产品实例存在于第一图像的给定部分中但是不存在于第二图像的相同部分中，则这可以是给定产品已经耗尽、需要补货或者产品已被某些东西遮挡的指示。作为设计选择的问题，框912处提供的通知的本质显然将取决于检测到的特定状况的本质及其在库存环境的给定情况下的解释。
现在参考图10，同样示出了类似于图9中所示的处理。然而，在图10所描述的技术中，并不是基于由时段分割的多个图像的比较，处理是针对单个图像执行的，但是在该图像的不同空间部分之间。由此，框1002到框1006的处理与上文描述的框902到框906的处理基本上类似，包括对象识别分析的可选使用。然而，此后，在框1008，在图像的第一部分与该同一图像的第二部分之间进行比较。在此实施方式中，可以再一次采用上文描述的期望的过滤技术。然而，考虑到图10的处理优选地集中于单个图像，优选的可能是：用于过滤的多个图像是空间上不同的或者至少是时间变化非常小的(也即，在短时间内获得的)。此后，在框1010，确定比较是否是有利的，如果不是，处理继续到框1012，在此，提供需要响应的潜在状况的通知。例如，可能期望对图像中一个货架的内容与该第一货架之上或者之下的其他货架的内容进行比较。同样，还可以执行与给定产品邻近的产品的比较。
使用在此描述的各种技术提供的信息(提取的货架图和/或作为结果的成本差异确定；缺货检测；产品展示参数确定和/或作为结果的产品存在和促销一致性确定；或者需要响应的潜在状况的确定)可以由多个相关方的任意方来使用。例如，连锁店的总部可能期望涉及以及对应以下内容的数据：促销一致性的洞察、每个分支机构/区域的补货信息、雇员和分支机构表现、每种产品的缺货等。再一次，本领域普通技术人员可以轻易地标识其他感兴趣方。
而且，尽管上文描述的各种技术基本上是彼此独立描述的，但是在实践中，可以有益地使用这些技术的组合。例如，用于缺货检测的潜在方法可以结合上文描述的对象识别技术和货架图匹配技术二者。在这种情况下，当产品在给定区域之中或者附近未被检测到，并且按照目标货架图该产品被指定为位于该处，并且没有检测到遮挡，以及进一步假设已经采用了适当的过滤过程时，则可以将该产品标为缺失。以更为细化的方式来解释这一点，可以使用得分函数(例如，基于连续检测到该组状况的次数)来评估产品随时间缺货的相对可信性。在得分超过阈值的情况下，则可以提供所需的提示。
作为另一示例，业界的显著需求是期望确定哪些具体位置产生给定产品的最大销售水平，尤其是在正使用给定环境中的多个位置的情况下。为此，使用上文描述的技术，可以使用图像(或者货架图)之间的差异来推断在销售产品的整个库存环境中各个位置处、针对给定产品的购买率(该购买率推断可以与实际销售点数据相关)。此后，可以对该产品在不同位置处的销售率差异进行比较，以确定最佳表现位置和最差表现位置。
如上所述，本发明提供了用于改进库存管理技术的效率和效用的各种技术。具体地，这是通过应用适用于在库存环境中捕获的图像的图像分析技术而实现的。例如，通过向这种图像应用对象识别技术，不仅可以确定诸如缺货状况等特定状况的存在，还可以按照诸如总体产品存在或者与促销目标一致性的多种复杂标准来评估产品的展示。至少出于这些原因，上述技术代表了相对于现有技术教导的发展。
尽管已经示出和描述了特别优选的实施方式，但是对于本领域技术人员而言显然的是，可以在不脱离本教导的情况下进行改变和修改。例如，在上述特定示例依赖于货架的使用的情况下，可以理解，同样可以采用其他类型的产品支撑设备，诸如货柜或者纵向展示架。因此，可以想到，上述教导的任何以及所有修改、变形或者等效物都位于上文公开和在此要求保护的基本原理的范围内。

Claims (19)

1.一种方法，包括：
接收库存环境中的至少一个产品的图像；
基于配置简档来标识至少一个候选产品实例；
基于与所述至少一个候选产品实例相对应的已存储产品图像，来对所述图像执行对象识别分析，以提供产品识别数据；以及
基于所述产品识别数据来提供提取的货架图。
2.如权利要求1所述的方法，进一步包括：
标识产品支撑设备在所述图像中的图像位置；以及
将所述产品支撑设备在所述图像中的所述位置向货架在所述库存环境中的实际位置映射，
其中所述提取的货架图进一步示出所述产品支撑设备的所述实际位置。
3.如权利要求1所述的方法，其中所述产品识别数据包括至少一个已识别产品实例，以及其中提取的货架图针对所述至少一个已识别产品实例的每一个包括所述已识别产品实例的相应图像。
4.如权利要求3所述的方法，进一步包括，针对所述至少一个已识别产品实例的每一个：
标识所述已识别产品实例在所述图像中的图像位置；以及
将所述已识别产品实例在所述图像中的位置向所述已识别产品实例在所述库存环境中的实际位置映射，
其中所述提取的货架图进一步示出所述已识别产品实例的所述实际位置。
5.如权利要求2或4所述的方法，进一步包括：基于所述库存环境中用来捕获所述图像的图像捕获设备的方位信息，将所述图像位置向所述实际位置映射。
6.如权利要求1所述的方法，进一步包括：
向所述库存环境中的图像捕获设备发送针对所述图像的请求。
7.如权利要求1所述的方法，进一步包括：
将所述提取的货架图与目标货架图进行比较。
8.如权利要求7所述的方法，其中所述目标货架图是基于先前图像的先前提取的货架图，或者是最优货架图。
9.如权利要求7所述的方法，进一步包括：
确定与所述提取的货架图和所述目标货架图之间的差异相关联的成本。
10.一种处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时使处理设备：
接收库存环境中的至少一个产品的图像；
基于配置简档来标识至少一个候选产品实例；
基于与所述至少一个候选产品实例相对应的已存储产品图像，来对所述图像执行对象识别分析，以提供产品识别数据；以及
基于所述产品识别数据来提供提取的货架图。
11.如权利要求10所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：
标识产品支撑设备在所述图像中的图像位置；以及
将所述产品支撑设备在所述图像中的所述位置向所述产品支撑设备在所述库存环境中的实际位置映射，
其中所述提取的货架图进一步示出所述产品支撑设备的所述实际位置。
12.如权利要求10所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：将针对所述产品识别数据中的至少一个已识别产品实例中每一个的相应图像包括在所述提取的货架图中。
13.如权利要求12所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：
标识所述已识别产品实例在所述图像中的图像位置；以及
将所述已识别产品实例在所述图像中的位置向所述已识别产品实例在所述库存环境中的实际位置映射，
其中所述提取的货架图进一步示出所述已识别产品实例的所述实际位置。
14.如权利要求11或13所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：基于所述库存环境中用来捕获所述图像的图像捕获设备的方位信息，将所述图像位置向所述实际位置映射。
15.如权利要求10所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：
向所述库存环境中的图像捕获设备发送针对所述图像的请求。
16.如权利要求10所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：
将所述提取的货架图与目标货架图进行比较。
17.如权利要求16所述的处理器可读介质，其中所述目标货架图是基于先前图像的先前提取的货架图，或者是最优货架图。
18.如权利要求16所述的处理器可读介质，具有存储于其上的可执行指令，当所述可执行指令被执行时进一步使所述处理设备：
确定与所述提取的货架图和所述目标货架图之间的差异相关联的成本。
19.一种系统，包括：
图像捕获设备，其被配置和部署为捕获库存环境中的至少一个产品的图像；以及
自动货架图生成器，其与所述图像捕获设备通信，可操作以用于：
基于配置简档来标识至少一个候选产品实例；
基于与所述至少一个候选产品实例相对应的已存储产品图像来对所述图像执行对象识别分析，以提供产品识别数据；以及
基于所述产品识别数据来提供提取的货架图。
CN200880109743.5A 2007-08-31 2008-08-29 基于图像处理的货架图提取 Active CN101809601B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/849,165 US8189855B2 (en) 2007-08-31 2007-08-31 Planogram extraction based on image processing
US11/849,165 2007-08-31
PCT/IB2008/003068 WO2009027839A2 (en) 2007-08-31 2008-08-29 Planogram extraction based on image processing

Publications (2)

Publication Number Publication Date
CN101809601A true CN101809601A (zh) 2010-08-18
CN101809601B CN101809601B (zh) 2015-03-11

Family

ID=40387946

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880109743.5A Active CN101809601B (zh) 2007-08-31 2008-08-29 基于图像处理的货架图提取

Country Status (5)

Country Link
US (1) US8189855B2 (zh)
EP (3) EP2191420A2 (zh)
CN (1) CN101809601B (zh)
BR (1) BRPI0816173A2 (zh)
WO (1) WO2009027839A2 (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112216A (zh) * 2013-04-22 2014-10-22 学思行数位行销股份有限公司 存货管理与行销的图像辨识方法
CN104616131A (zh) * 2015-02-16 2015-05-13 北京任我在线电子商务有限公司 货架管理系统及方法
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN106104610A (zh) * 2014-03-12 2016-11-09 日本电气株式会社 陈列状况分析设备、陈列状况分析方法和程序记录介质
TWI567676B (zh) * 2012-04-05 2017-01-21 英特爾股份有限公司 管理放置於貨架上之產品的方法與設備
US20170178060A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Planogram Matching
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN107256573A (zh) * 2012-09-12 2017-10-17 想象技术有限公司 基于图块的计算机图形
CN107873101A (zh) * 2014-11-21 2018-04-03 克里斯多夫·M·马蒂 用于对象辨识和评估的成像系统
CN108090797A (zh) * 2016-11-17 2018-05-29 恩德莱斯和豪瑟尔分析仪表两合公司 用于在线配置和订购的方法
CN108389230A (zh) * 2018-03-07 2018-08-10 上海扩博智能技术有限公司 冰箱容量自动检测方法、系统、设备及存储介质
CN108520244A (zh) * 2018-04-12 2018-09-11 苏州万店掌网络科技有限公司 货架的补货方法
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
CN108921185A (zh) * 2018-05-04 2018-11-30 广州图匠数据科技有限公司 一种基于图像识别的货架促销信息识别方法、装置和系统
CN109190919A (zh) * 2018-08-10 2019-01-11 上海扩博智能技术有限公司 零售关键业绩指标生成方法、系统、设备及存储介质
CN109191042A (zh) * 2018-08-28 2019-01-11 深圳市鼎昇贸易有限公司 仓库货物管理方法及相关产品
CN109313801A (zh) * 2016-04-15 2019-02-05 可口可乐公司 搁板库存管理系统和方法
CN109446883A (zh) * 2018-09-05 2019-03-08 北京三快在线科技有限公司 商品状态识别方法、装置、电子设备及可读存储介质
CN109448047A (zh) * 2018-09-18 2019-03-08 北京无线体育俱乐部有限公司 货架分布图生成方法、信息获取方法、装置及系统
CN109523694A (zh) * 2018-10-22 2019-03-26 南京云思创智信息科技有限公司 一种基于商品检测的零售系统及方法
CN109564652A (zh) * 2016-07-21 2019-04-02 电子湾有限公司 用于动态库存管理的系统和方法
CN109564622A (zh) * 2016-08-12 2019-04-02 威里利生命科学有限责任公司 增强病理诊断
CN109564619A (zh) * 2016-05-19 2019-04-02 思比机器人公司 跟踪商店内的货架上的产品的放置的方法
CN109564651A (zh) * 2016-05-19 2019-04-02 思比机器人公司 用于自动生成将产品分配到商店内的货架结构的货架图的方法
CN109903458A (zh) * 2017-12-07 2019-06-18 鸿富锦精密工业(武汉)有限公司 交易控制系统及方法
CN109903457A (zh) * 2017-12-07 2019-06-18 鸿富锦精密工业(武汉)有限公司 售货机及其补货方法
CN109961053A (zh) * 2018-09-18 2019-07-02 北京无线体育俱乐部有限公司 提示方法、装置及系统
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
CN110119914A (zh) * 2018-02-06 2019-08-13 阿里巴巴集团控股有限公司 对象补货处理方法、装置和系统
CN110472486A (zh) * 2019-07-03 2019-11-19 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
CN110546661A (zh) * 2017-03-21 2019-12-06 家乐氏公司 确定产品放置遵从性
CN110603533A (zh) * 2017-05-01 2019-12-20 讯宝科技有限责任公司 用于对象状态检测的方法和装置
CN110889419A (zh) * 2018-09-07 2020-03-17 杭州海康威视数字技术股份有限公司 一种货架分析方法、装置、系统及电子设备
CN111712826A (zh) * 2017-10-20 2020-09-25 Bxb数码私人有限公司 用于跟踪货物承载器的系统和方法
CN112070007A (zh) * 2020-09-08 2020-12-11 灵动科技（北京）有限公司 用于识别搬运机器人的工作台的占用状态的方法和设备
CN113542670A (zh) * 2021-02-24 2021-10-22 上海汉时信息科技有限公司 检测方法、检测装置和检测系统
US11507771B2 (en) 2017-05-02 2022-11-22 BXB Digital Pty Limited Systems and methods for pallet identification
US11663549B2 (en) 2017-05-02 2023-05-30 BXB Digital Pty Limited Systems and methods for facility matching and localization
US11900307B2 (en) 2017-05-05 2024-02-13 BXB Digital Pty Limited Placement of tracking devices on pallets
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Families Citing this family (416)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135491B2 (en) 2007-08-31 2015-09-15 Accenture Global Services Limited Digital point-of-sale analyzer
WO2009039512A1 (en) * 2007-09-21 2009-03-26 The Trustees Of Columbia University In The City Of New York Systems and methods for panoramic imaging
US8498454B2 (en) * 2009-07-14 2013-07-30 General Electric Company Optimal subspaces for face recognition
US9367851B2 (en) * 2009-09-17 2016-06-14 Information Planning & Management Service, Inc. System and method for managing compliance with retail display regulations across a plurality of jurisdictions
ES2751980T3 (es) 2009-12-11 2020-04-02 Stationnement Urbain Dev Et Etudes Provisión de servicios municipales usando dispositivos móviles y una red de sensores
US9749823B2 (en) 2009-12-11 2017-08-29 Mentis Services France Providing city services using mobile devices and a sensor network
US20110157218A1 (en) * 2009-12-29 2011-06-30 Ptucha Raymond W Method for interactive display
US8390648B2 (en) * 2009-12-29 2013-03-05 Eastman Kodak Company Display system for personalized consumer goods
WO2011101800A1 (en) * 2010-02-17 2011-08-25 Alon Atsmon Automatic method and system for visual analysis of object against preset
CN101853387A (zh) * 2010-04-02 2010-10-06 北京物资学院 立体仓库货物盘点方法及系统
CA2720217C (en) * 2010-04-08 2016-03-29 Accenture Global Services Limited Digital point-of-sale analyzer
US20110276364A1 (en) 2010-05-04 2011-11-10 Walgreen Co. Method and System for Optimizing Store Space and Item Layout
US10269026B2 (en) * 2010-05-27 2019-04-23 One Door, Inc. Generating a layout of products
US8965927B2 (en) 2010-07-30 2015-02-24 Rbm Technologies Managing facilities
JP5544332B2 (ja) * 2010-08-23 2014-07-09 東芝テック株式会社 店舗システムおよびプログラム
US9805331B2 (en) * 2011-02-09 2017-10-31 Deutsche Telekom Ag Smartphone-based asset management system
US20120233003A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Providing retail shopping assistance
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
FR2973540B1 (fr) * 2011-04-01 2013-03-29 CVDM Solutions Procede d'extraction automatisee d'un planogramme a partir d'images de lineaire
US9041707B2 (en) 2011-06-01 2015-05-26 Rbm Technologies Confirming compliance with a configuration
US20120317059A1 (en) * 2011-06-13 2012-12-13 Infosys Limited System and method for space and resource optimization
US9785898B2 (en) * 2011-06-20 2017-10-10 Hi-Tech Solutions Ltd. System and method for identifying retail products and determining retail product arrangements
US20130076898A1 (en) * 2011-08-01 2013-03-28 Richard Philippe Apparatus, systems, and methods for tracking medical products using an imaging unit
IN2011CH02818A (zh) 2011-08-18 2015-05-29 Infosys Ltd
US8917902B2 (en) * 2011-08-24 2014-12-23 The Nielsen Company (Us), Llc Image overlaying and comparison for inventory display auditing
US9367770B2 (en) 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
US11288472B2 (en) 2011-08-30 2022-03-29 Digimarc Corporation Cart-based shopping arrangements employing probabilistic item identification
US8908903B2 (en) * 2011-08-31 2014-12-09 The Nielsen Company (Us), Llc Image recognition to support shelf auditing for consumer research
US9033239B2 (en) 2011-11-11 2015-05-19 James T. Winkel Projected image planogram system
US20140201040A1 (en) * 2012-03-30 2014-07-17 Thomas A. Birch Presentation-structure-aware display of planograms
US9258462B2 (en) * 2012-04-18 2016-02-09 Qualcomm Incorporated Camera guided web browsing based on passive object detection
JP6043094B2 (ja) * 2012-05-30 2016-12-14 辛東主 商品陳列情報集計システム
US8923893B2 (en) * 2012-08-07 2014-12-30 Symbol Technologies, Inc. Real-time planogram generation and maintenance
US10380542B2 (en) * 2012-10-01 2019-08-13 Stephan Hammelbacher Method and device for process tracking of operations or services relating to at least one object
US9430752B2 (en) * 2012-11-02 2016-08-30 Patrick Soon-Shiong Virtual planogram management, systems, and methods
US20140168396A1 (en) * 2012-12-18 2014-06-19 General Electric Company Method for viewing contents of a refrigerator appliance
CN103020970B (zh) * 2012-12-25 2016-03-30 北京农业信息技术研究中心 玉米果穗图像籽粒分割方法
US10546204B1 (en) 2013-03-05 2020-01-28 Amazon Technologies, Inc. Item information discovery with a wearable device
US20140278745A1 (en) * 2013-03-15 2014-09-18 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for providing retail process analytics information based on physiological indicator data
US10984372B2 (en) 2013-05-24 2021-04-20 Amazon Technologies, Inc. Inventory transitions
US10860976B2 (en) 2013-05-24 2020-12-08 Amazon Technologies, Inc. Inventory tracking
US10949804B2 (en) 2013-05-24 2021-03-16 Amazon Technologies, Inc. Tote based item tracking
US9158988B2 (en) 2013-06-12 2015-10-13 Symbol Technclogies, LLC Method for detecting a plurality of instances of an object
US10176513B1 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Using gestures and expressions to assist users
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
US10296814B1 (en) 2013-06-27 2019-05-21 Amazon Technologies, Inc. Automated and periodic updating of item images data store
US20150046299A1 (en) * 2013-08-12 2015-02-12 Sap Ag Inventory Assessment with Mobile Devices
US10353982B1 (en) 2013-08-13 2019-07-16 Amazon Technologies, Inc. Disambiguating between users
US9317775B2 (en) * 2013-08-14 2016-04-19 Ricoh Co., Ltd. Recognition procedure for identifying multiple items in images
US10366306B1 (en) * 2013-09-19 2019-07-30 Amazon Technologies, Inc. Item identification among item variations
US10515309B1 (en) 2013-09-20 2019-12-24 Amazon Technologies, Inc. Weight based assistance determination
US10664795B1 (en) 2013-09-20 2020-05-26 Amazon Technologies, Inc. Weight based item tracking
US20150088701A1 (en) * 2013-09-23 2015-03-26 Daniel Norwood Desmarais System and method for improved planogram generation
US10796358B1 (en) 2013-09-24 2020-10-06 Amazon Technologies, Inc. Identifying companion gestures and behavior
US9886678B2 (en) 2013-09-25 2018-02-06 Sap Se Graphic representations of planograms
US9547838B2 (en) 2013-11-06 2017-01-17 Oracle International Corporation Automated generation of a three-dimensional space representation and planogram verification
US20150146239A1 (en) * 2013-11-25 2015-05-28 Lexmark International, Inc. Comparing Planned and Actual Asset Locations
US20150146018A1 (en) * 2013-11-25 2015-05-28 Tagnetics, Inc. Camera system with inductive powering of wireless camera tags
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
US10510109B1 (en) 2013-12-09 2019-12-17 Amazon Technologies, Inc. Controlling routing of output information to output devices
US10438259B1 (en) 2013-12-09 2019-10-08 Amazon Technologies, Inc. Propagating and presenting user specific information
US10322881B1 (en) 2013-12-17 2019-06-18 Amazon Technologies, Inc. Notifying users to provide picked items to a drop off location for processing
US10319021B1 (en) 2013-12-17 2019-06-11 Amazon Technologies, Inc. Notifying users of item expiration
US10422852B1 (en) 2013-12-18 2019-09-24 Amazon Technologies, Inc. System for determining position of an object
US10935416B1 (en) 2013-12-18 2021-03-02 Amazon Technologies, Inc. System for generating compensated weight data using a gyroscope
US10929661B1 (en) 2013-12-19 2021-02-23 Amazon Technologies, Inc. System for user identification
US10037821B2 (en) * 2013-12-27 2018-07-31 General Electric Company System for integrated protocol and decision support
US10043143B2 (en) * 2014-01-07 2018-08-07 International Business Machines Corporation Automatic floor-level retail operation decisions using video analytics
US11593821B2 (en) 2014-02-14 2023-02-28 International Business Machines Corporation Mobile device based inventory management and sales trends analysis in a retail environment
EP2921993A1 (en) 2014-03-18 2015-09-23 Lab4motion Solutions Spolka z ograniczona odpowiedzialnoscia Computer-implemented system and method for marking objects on an image
EP2921972A1 (en) 2014-03-18 2015-09-23 Lab4motion Solutions Spolka z ograniczona odpowiedzialnoscia Computer-implemented system and method for identifying objects on an image
US10932103B1 (en) 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
US10282695B1 (en) 2014-03-21 2019-05-07 Amazon Technologies, Inc. Color adaptable inventory management user interface
US10303187B1 (en) 2014-03-21 2019-05-28 Amazon Technologies, Inc. Dynamic inventory management user interface
US10040628B1 (en) 2014-03-25 2018-08-07 Amazon Technologies, Inc. Item replacement assistance
US10713614B1 (en) 2014-03-25 2020-07-14 Amazon Technologies, Inc. Weight and vision based item tracking
US10657411B1 (en) 2014-03-25 2020-05-19 Amazon Technologies, Inc. Item identification
US10332183B1 (en) 2014-03-28 2019-06-25 Amazon Technologies, Inc. Fulfilling items to users
US10163149B1 (en) 2014-03-28 2018-12-25 Amazon Technologies, Inc. Providing item pick and place information to a user
US10858202B1 (en) * 2014-04-14 2020-12-08 Amazon Technologies, Inc. Air cushioned materials handling system
US10853469B1 (en) 2014-06-06 2020-12-01 Amazon Technologies, Inc User interface locking system
US10282696B1 (en) 2014-06-06 2019-05-07 Amazon Technologies, Inc. Augmented reality enhanced interaction system
US10430855B2 (en) 2014-06-10 2019-10-01 Hussmann Corporation System, and methods for interaction with a retail environment
US10176452B2 (en) 2014-06-13 2019-01-08 Conduent Business Services Llc Store shelf imaging system and method
US9542746B2 (en) 2014-06-13 2017-01-10 Xerox Corporation Method and system for spatial characterization of an imaging system
US9659204B2 (en) 2014-06-13 2017-05-23 Conduent Business Services, Llc Image processing methods and systems for barcode and/or product label recognition
US10453046B2 (en) * 2014-06-13 2019-10-22 Conduent Business Services, Llc Store shelf imaging system
US10037509B1 (en) 2014-06-17 2018-07-31 Amazon Technologies, Inc. Efficient monitoring of inventory items
US11615663B1 (en) 2014-06-17 2023-03-28 Amazon Technologies, Inc. User authentication system
US10410170B1 (en) 2014-06-18 2019-09-10 Amazon Technologies, Inc. Propagating and expiring presentation information
US10222279B1 (en) 2014-06-19 2019-03-05 Amazon Technologies, Inc. Force measurement device
US10501267B1 (en) 2014-06-23 2019-12-10 Amazon Technologies, Inc. Control of physical access to items in a facility
US10303133B1 (en) 2014-06-23 2019-05-28 Amazon Technologies, Inc. Presenting predicted items to users
US10242393B1 (en) 2014-06-24 2019-03-26 Amazon Technologies, Inc. Determine an item and user action in a materials handling facility
US10339493B1 (en) 2014-06-24 2019-07-02 Amazon Technologies, Inc. Associating users with totes
US11030541B1 (en) 2014-06-24 2021-06-08 Amazon Technologies, Inc. Proactive resolution of event information
JP6329840B2 (ja) * 2014-07-30 2018-05-23 東芝テック株式会社 認識辞書管理装置及びプログラム
GB2528963B (en) 2014-08-07 2018-07-25 Artform Int Ltd Product display shelf, system and method
US10176449B1 (en) 2014-08-08 2019-01-08 Amazon Technologies, Inc. Timeout durations for radio frequency identification tags
US10885632B1 (en) 2014-08-28 2021-01-05 Amazon Technologies, Inc. Camera calibration system
US10769579B1 (en) 2014-09-08 2020-09-08 Amazon Technologies, Inc. Tote association
US11402971B1 (en) 2014-09-25 2022-08-02 Amazon Technologies, Inc. User interface preference management
US10268984B1 (en) 2014-09-29 2019-04-23 Amazon Technologies, Inc. Inventory item release locations
US10724895B1 (en) 2014-09-29 2020-07-28 Amazon Technologies, Inc. Sensor test system
US10282697B1 (en) 2014-09-30 2019-05-07 Amazon Technologies, Inc. Spatially aware mounting system
US9984354B1 (en) 2014-09-30 2018-05-29 Amazon Technologies, Inc. Camera time synchronization system
US10733565B1 (en) 2014-09-30 2020-08-04 Amazon Technologies, Inc. Interactive data processing system
WO2016052379A1 (ja) * 2014-09-30 2016-04-07 日本電気株式会社 情報処理装置、棚札管理システム、制御方法、及びプログラム
US11851279B1 (en) 2014-09-30 2023-12-26 Amazon Technologies, Inc. Determining trends from materials handling facility information
US10579962B2 (en) * 2014-09-30 2020-03-03 Nec Corporation Information processing apparatus, control method, and program
GB2530770A (en) * 2014-10-01 2016-04-06 Asda Stores Ltd System and method for monitoring display unit compliance
US20160110791A1 (en) * 2014-10-15 2016-04-21 Toshiba Global Commerce Solutions Holdings Corporation Method, computer program product, and system for providing a sensor-based environment
US10706658B2 (en) * 2014-10-21 2020-07-07 Nec Corporation Vending machine recognition apparatus, vending machine recognition method, and recording medium
US20160119540A1 (en) * 2014-10-23 2016-04-28 Xerox Corporation Model-based plane-like panorama and retail applications
JP5866542B1 (ja) * 2014-10-28 2016-02-17 パナソニックＩｐマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
US10212319B1 (en) 2014-11-04 2019-02-19 Amazon Technologies, Inc. Camera positioning fixture
JP5942173B2 (ja) * 2014-11-05 2016-06-29 パナソニックＩｐマネジメント株式会社 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
EP3032459A1 (en) * 2014-12-10 2016-06-15 Ricoh Company, Ltd. Realogram scene analysis of images: shelf and label finding
US10643174B1 (en) 2014-12-11 2020-05-05 Amazon Technologies, Inc. Dynamic item facing
US10384869B1 (en) 2014-12-15 2019-08-20 Amazon Technologies, Inc. Optical item management system
US10169677B1 (en) 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting stacked inventory using image analysis
US10504230B1 (en) 2014-12-19 2019-12-10 Amazon Technologies, Inc. Machine vision calibration system with marker
US10169660B1 (en) 2014-12-19 2019-01-01 Amazon Technologies, Inc. Counting inventory items using image analysis
US10466092B1 (en) 2014-12-19 2019-11-05 Amazon Technologies, Inc. Sensor data processing system
US9996818B1 (en) 2014-12-19 2018-06-12 Amazon Technologies, Inc. Counting inventory items using image analysis and depth information
US10671856B1 (en) 2014-12-19 2020-06-02 Amazon Technologies, Inc. Detecting item actions and inventory changes at an inventory location
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US9619899B2 (en) * 2014-12-23 2017-04-11 Ricoh Co., Ltd. Distinguishing between stock keeping units using hough voting methodology
US9342900B1 (en) 2014-12-23 2016-05-17 Ricoh Co., Ltd. Distinguishing between stock keeping units using marker based methodology
US10134004B1 (en) 2014-12-23 2018-11-20 Amazon Technologies, Inc. Processing image data from a camera cluster
US10108157B1 (en) 2014-12-23 2018-10-23 Amazon Technologies, Inc. Reducing power consumption and data transmission
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US9569851B2 (en) * 2014-12-23 2017-02-14 Ricoh Co., Ltd. Sequencing products recognized in a shelf image
US10438277B1 (en) 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
US9330474B1 (en) 2014-12-23 2016-05-03 Ricoh Co., Ltd. Distinguishing between stock keeping units using a physical dimension of a region depicted in an image
US10291862B1 (en) 2014-12-23 2019-05-14 Amazon Technologies, Inc. Camera hierarchy for monitoring large facilities
US10696454B1 (en) 2014-12-26 2020-06-30 Amazon Technologies, Inc. Combination carrying device
WO2016117600A1 (ja) * 2015-01-22 2016-07-28 日本電気株式会社 商品棚割管理装置及び商品棚割管理方法
US10147210B1 (en) 2015-03-13 2018-12-04 Amazon Technologies, Inc. Data visualization system
US20180293635A1 (en) * 2015-03-16 2018-10-11 Nec Corporation System, image recognition method, and recording medium
WO2016148027A1 (ja) * 2015-03-18 2016-09-22 日本電気株式会社 情報処理装置、発注支援方法及び支援方法
US10586203B1 (en) 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US10679177B1 (en) 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
US10810539B1 (en) 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US10332066B1 (en) 2015-03-30 2019-06-25 Amazon Technologies, Inc. Item management system using weight
US10320576B1 (en) 2015-03-30 2019-06-11 Amazon Technologies, Inc. Energy management system
US10810540B1 (en) 2015-03-30 2020-10-20 Amazon Technologies, Inc. Item determination based on weight data
US10332089B1 (en) 2015-03-31 2019-06-25 Amazon Technologies, Inc. Data synchronization system
US10318917B1 (en) 2015-03-31 2019-06-11 Amazon Technologies, Inc. Multiple sensor data fusion system
US11042836B1 (en) 2019-06-07 2021-06-22 Amazon Technologies, Inc. Fusion of sensor data for detecting interactions at an inventory location
US11416805B1 (en) 2015-04-06 2022-08-16 Position Imaging, Inc. Light-based guidance for package tracking systems
US11501244B1 (en) 2015-04-06 2022-11-15 Position Imaging, Inc. Package tracking systems and methods
US10148918B1 (en) 2015-04-06 2018-12-04 Position Imaging, Inc. Modular shelving systems for package tracking
US10853757B1 (en) 2015-04-06 2020-12-01 Position Imaging, Inc. Video for real-time confirmation in package tracking systems
RU2722857C2 (ru) * 2015-05-04 2020-06-04 САНРАЙЗ Ар ЭНД Ди ХОЛДИНГЗ, ЭлЭлСи Системы и способы для управления полочными блоками отображения и для графического представления информации на полочных блоках отображения
CA2930190C (en) * 2015-05-16 2019-09-24 Tata Consultancy Services Limited Method and system for planogram compliance check based on visual analysis
US10552933B1 (en) 2015-05-20 2020-02-04 Digimarc Corporation Image processing methods and arrangements useful in automated store shelf inspections
US9990603B2 (en) * 2015-05-22 2018-06-05 Autodesk, Inc. Product inventory system
US10733661B1 (en) * 2015-05-22 2020-08-04 Walgreen Co. Automatic mapping of store layout using soft object recognition
CA2928391A1 (en) * 2015-05-28 2016-11-28 Wal-Mart Stores, Inc. System for inventory management
WO2016199405A1 (ja) * 2015-06-09 2016-12-15 日本電気株式会社 棚割支援装置、棚割支援システム、棚割支援方法、および、記録媒体
US9563819B2 (en) * 2015-06-10 2017-02-07 International Business Machines Corporation Visual comparisons using personal objects
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
US10001402B1 (en) 2015-06-19 2018-06-19 Amazon Technologies, Inc. Instrumented item stowage system with modular elements
US10064502B1 (en) 2015-06-19 2018-09-04 Amazon Technologies, Inc. Shelf with integrated electronics
US10206519B1 (en) 2015-06-19 2019-02-19 Amazon Technologies, Inc. Auto-facing unit with sensors
US10388019B1 (en) 2015-06-23 2019-08-20 Amazon Technologies, Inc. Associating an agent with an event based on multiple inputs
US10262293B1 (en) 2015-06-23 2019-04-16 Amazon Technologies, Inc Item management system using multiple scales
US10891736B1 (en) 2015-06-23 2021-01-12 Amazon Technologies, Inc. Associating an agent with an event using motion analysis
US10365671B1 (en) 2015-06-25 2019-07-30 Amazon Technologies, Inc. Sensor window heating apparatus
US10588178B1 (en) 2015-06-25 2020-03-10 Amazon Technologies, Inc. Window heater system
US9864969B2 (en) * 2015-06-26 2018-01-09 Toshiba Tec Kabushiki Kaisha Image processing apparatus for generating map of differences between an image and a layout plan
US10787187B1 (en) 2015-06-26 2020-09-29 Amazon Technologies, Inc. Self-bagging carts
US10873726B1 (en) 2015-06-29 2020-12-22 Amazon Technologies, Inc. Management of sensor failure in a facility
US10027866B2 (en) 2015-08-05 2018-07-17 Whirlpool Corporation Refrigerators having internal content cameras, and methods of operating the same
WO2017037493A1 (en) 2015-08-31 2017-03-09 The Nielsen Company (Us), Llc Product auditing in point-of-sale images
US10339411B1 (en) 2015-09-28 2019-07-02 Amazon Technologies, Inc. System to represent three-dimensional objects
US10592742B1 (en) 2015-09-28 2020-03-17 Amazon Technologies, Inc. Agent re-identification
US10157452B1 (en) 2015-09-28 2018-12-18 Amazon Technologies, Inc. Image processing system for image rectification
US10089505B1 (en) 2015-09-29 2018-10-02 Amazon Technologies, Inc. Inventory tracking using RFID
US10037449B1 (en) 2015-09-29 2018-07-31 Amazon Technologies, Inc. Inventory tracking using RFID
US10262172B1 (en) 2015-09-29 2019-04-16 Amazon Technologies, Inc. Inventory tracking using RFID
US10796262B2 (en) 2015-09-30 2020-10-06 The Nielsen Company (Us), Llc Interactive product auditing with a mobile device
JP6517666B2 (ja) * 2015-11-02 2019-05-22 株式会社東芝 物品管理装置、その方法、及びそのプログラム
WO2017087551A1 (en) * 2015-11-16 2017-05-26 Cuica Llc Inventory management and monitoring
PL414857A1 (pl) 2015-11-19 2017-05-22 Pro Business Solutions It Spółka Z Ograniczoną Odpowiedzialnością Spółka Komandytowa Sposób otrzymywania planogramów
US11117744B1 (en) 2015-12-08 2021-09-14 Amazon Technologies, Inc. Determination of untidy item return to an inventory location
US10514825B2 (en) * 2015-12-18 2019-12-24 Ricoh Co., Ltd. Image recognition result visualization over time
US9984451B2 (en) * 2015-12-18 2018-05-29 Michael Gormish Linear grouping of recognized items in an image
US10002307B2 (en) * 2015-12-18 2018-06-19 Ricoh Co., Ltd. Suggestion generation based on data extraction
US10417696B2 (en) * 2015-12-18 2019-09-17 Ricoh Co., Ltd. Suggestion generation based on planogram matching
US9875548B2 (en) * 2015-12-18 2018-01-23 Ricoh Co., Ltd. Candidate list generation
US10339690B2 (en) * 2015-12-18 2019-07-02 Ricoh Co., Ltd. Image recognition scoring visualization
US10121121B1 (en) 2015-12-28 2018-11-06 Amazon Technologies, Inc. Smart shelves
US10244363B1 (en) 2015-12-28 2019-03-26 Amazon Technologies, Inc. Entry portal identification system
US20170193430A1 (en) * 2015-12-31 2017-07-06 International Business Machines Corporation Restocking shelves based on image data
NL2016099B1 (en) 2016-01-14 2017-07-24 Opticon Sensors Europe B V Method and device for detecting an inventory in a storage space.
WO2017127456A1 (en) 2016-01-18 2017-07-27 Dci Marketing, Inc. Dba Dci - Artform Sensors, devices, adapters and mating structures for merchandisers and related methods
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
CA2957643A1 (en) * 2016-02-11 2017-08-11 Wal-Mart Stores, Inc. A mobile camera-equipped device-based approach to assessing a display
US10984373B2 (en) 2016-03-07 2021-04-20 Sony Corporation System and method for information processing
US9928438B2 (en) * 2016-03-10 2018-03-27 Conduent Business Services, Llc High accuracy localization system and method for retail store profiling via product image recognition and its corresponding dimension database
CA3016615A1 (en) 2016-03-16 2017-09-21 Walmart Apollo, Llc System for verifying physical object absences from assigned regions using video analytics
US10588427B2 (en) 2016-03-23 2020-03-17 Retail Space Solutions Llc Low product indicator for self facing merchandiser and related methods
US11222305B1 (en) 2016-03-25 2022-01-11 Amazon Technologies, Inc. Instrumented item hook system
US10198710B1 (en) 2016-03-28 2019-02-05 Amazon Technologies, Inc. System to determine a change in weight at a load cell
US10007892B1 (en) 2016-03-28 2018-06-26 Amazon Technologies, Inc. Capacitive sensor system
US10262294B1 (en) 2016-03-28 2019-04-16 Amazon Technologies, Inc. Location estimation using array of capacitive sensors
WO2017172790A1 (en) * 2016-03-29 2017-10-05 Bossa Nova Robotics Ip, Inc. Planogram assisted inventory system and method
US9892437B2 (en) 2016-04-21 2018-02-13 International Business Machines Corporation Digitization of a catalog of retail products
US10445593B1 (en) 2016-06-27 2019-10-15 Amazon Technologies, Inc. User interface for acquisition of group data
US10380814B1 (en) 2016-06-27 2019-08-13 Amazon Technologies, Inc. System for determining entry of user to an automated facility
US11410119B1 (en) 2016-06-28 2022-08-09 Amazon Technologies, Inc. System to determine user interaction with fixture
MX2019001731A (es) 2016-08-12 2019-07-04 Walmart Apollo Llc Sistemas y metodos para detectar etiquetas faltantes.
US11016634B2 (en) * 2016-09-01 2021-05-25 Samsung Electronics Co., Ltd. Refrigerator storage system having a display
US11436553B2 (en) 2016-09-08 2022-09-06 Position Imaging, Inc. System and method of object tracking using weight confirmation
US10496953B1 (en) 2016-09-20 2019-12-03 Amazon Technologies, Inc. System to determine user groupings in a facility
US10552788B1 (en) 2016-09-20 2020-02-04 Amazon Technologies, Inc. User tracking system
US11132637B1 (en) 2016-09-20 2021-09-28 Amazon Technologies, Inc. System to detect user interaction with inventory
US10321275B1 (en) 2016-09-22 2019-06-11 Amazon Technologies, Inc. Multi-frequency user tracking system
US10459103B1 (en) 2016-09-29 2019-10-29 Amazon Technologies, Inc. Magnetic entry portal identification system
US10339656B1 (en) 2016-09-29 2019-07-02 Amazon Technologies, Inc. Inferring count of items using image
US9972158B2 (en) * 2016-10-01 2018-05-15 Cantaloupe Systems, Inc. Method and device of automatically determining a planogram in vending
US20180101813A1 (en) * 2016-10-12 2018-04-12 Bossa Nova Robotics Ip, Inc. Method and System for Product Data Review
US10019803B2 (en) 2016-10-17 2018-07-10 Conduent Business Services, Llc Store shelf imaging system and method using a vertical LIDAR
US10210603B2 (en) 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
US10002344B2 (en) 2016-10-17 2018-06-19 Conduent Business Services, Llc System and method for retail store promotional price tag detection
US10289990B2 (en) 2016-10-17 2019-05-14 Conduent Business Services, Llc Store shelf imaging system and method
CA3040176C (en) 2016-10-18 2023-07-11 Retail Space Solutions Llc Illuminated merchandiser, retrofit kit and related methods
US10692312B1 (en) 2016-11-10 2020-06-23 Amazon Technologies, Inc. User authentication with portable device and smart floor
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10834547B1 (en) 2016-11-16 2020-11-10 Amazon Technologies, Inc. Electromagnetic user tracking system
US10634503B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10455364B2 (en) 2016-12-12 2019-10-22 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10634506B2 (en) 2016-12-12 2020-04-28 Position Imaging, Inc. System and method of personalized navigation inside a business enterprise
US10540631B1 (en) 2016-12-15 2020-01-21 Amazon Technologies, Inc. System to determine load cell failure
US10612964B1 (en) 2016-12-21 2020-04-07 Amazon Technologies, Inc. System to mitigate effects of vibration on load cell
US10520352B1 (en) 2016-12-22 2019-12-31 Amazon Technologies, Inc. System to validate load cell data
US10520353B1 (en) 2016-12-22 2019-12-31 Amazon Technologies, Inc. System to process load cell data
US10591348B1 (en) 2016-12-22 2020-03-17 Amazon Technologies, Inc. System to process load cell data using door sensor data
US10839203B1 (en) 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
US11300662B1 (en) 2016-12-27 2022-04-12 Amazon Technologies, Inc. Detecting and locating interactions using LIDAR devices
US11120392B2 (en) 2017-01-06 2021-09-14 Position Imaging, Inc. System and method of calibrating a directional light source relative to a camera's field of view
US11494783B2 (en) * 2017-01-18 2022-11-08 International Business Machines Corporation Display and shelf space audit system
US10438165B2 (en) * 2017-03-07 2019-10-08 Ricoh Company, Ltd. Planogram generation
US11055662B2 (en) 2017-03-15 2021-07-06 Walmart Apollo, Llc System and method for perpetual inventory management
US20180268509A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for management of product movement
US20180268355A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for management of perpetual inventory values associated with nil picks
US20180268367A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for management of perpetual inventory values based upon customer product purchases
US20180268356A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for perpetual inventory management
US10997552B2 (en) 2017-03-15 2021-05-04 Walmart Apollo, Llc System and method for determination and management of root cause for inventory problems
US10943465B1 (en) 2017-03-28 2021-03-09 Amazon Technologies, Inc. Device notification and aggregation
US10482625B1 (en) 2017-03-28 2019-11-19 Amazon Technologies, Inc. Calibration of networked imaging devices to a global color space
US10699421B1 (en) 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
US10223591B1 (en) 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
US10846657B2 (en) * 2017-04-07 2020-11-24 Simbe Robotics, Inc. Method for tracking stock level within a store
US20180300043A1 (en) * 2017-04-12 2018-10-18 Ricoh Company, Ltd. Realogram to Planogram User Interface
US10853782B2 (en) * 2017-04-14 2020-12-01 Vendekin Technologies Private Limited System and method for vending device inventory management
US10831431B2 (en) 2017-04-18 2020-11-10 Anthony, Inc. Shelving display
US11281888B2 (en) 2017-04-26 2022-03-22 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US10628695B2 (en) 2017-04-26 2020-04-21 Mashgin Inc. Fast item identification for checkout counter
US10803292B2 (en) 2017-04-26 2020-10-13 Mashgin Inc. Separation of objects in images from three-dimensional cameras
US10467454B2 (en) * 2017-04-26 2019-11-05 Mashgin Inc. Synchronization of image data from multiple three-dimensional cameras for image recognition
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) * 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
US10505057B2 (en) 2017-05-01 2019-12-10 Symbol Technologies, Llc Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera
WO2018204837A1 (en) * 2017-05-05 2018-11-08 Walmart Apollo, Llc System and method for automatically restocking items on shelves using a conveyor system
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
US10229347B2 (en) 2017-05-14 2019-03-12 International Business Machines Corporation Systems and methods for identifying a target object in an image
US20180341906A1 (en) 2017-05-26 2018-11-29 Walmart Apollo, Llc System and method for management of perpetual inventory values based upon confidence level
US10311760B1 (en) 2017-05-31 2019-06-04 Amazon Technologies, Inc. Infrared ink labeling system
US10371786B1 (en) 2017-06-05 2019-08-06 Amazon Technologies, Inc. Electromagnetic object tracking system
US10969461B1 (en) 2017-06-05 2021-04-06 Amazon Technologies, Inc. Electromagnetic tracking of moveable device with orientation determination
US10809122B1 (en) 2017-06-21 2020-10-20 Amazon Technologies, Inc. Components of weighing module and mechanism for coupling to fixture
US10746589B1 (en) 2017-06-21 2020-08-18 Amazon Technologies, Inc. Crossbar mechanism for coupling to fixture
US10732026B1 (en) 2017-06-21 2020-08-04 Amazon Technologies, Inc. Fixture with brackets, crossbar mechanism, and weighing module
US11257057B1 (en) * 2017-06-22 2022-02-22 Amazon Technologies, Inc. Secure dual-monitor point-of-sale system
US10863105B1 (en) 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management
US10491808B1 (en) 2017-06-27 2019-11-26 Amazon Technologies, Inc. Detecting sunlight in images
JP6440043B1 (ja) * 2017-06-27 2018-12-19 株式会社マーケットヴィジョン 商品特定システム
US10466095B1 (en) 2017-06-27 2019-11-05 Amazon Technologies, Inc. Multi-load cell weighing shelf
US10650246B1 (en) 2017-06-27 2020-05-12 Amazon Technologies, Inc. System for determining a camera radiance
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US11763252B2 (en) 2017-08-10 2023-09-19 Cooler Screens Inc. Intelligent marketing and advertising platform
US10769666B2 (en) 2017-08-10 2020-09-08 Cooler Screens Inc. Intelligent marketing and advertising platform
US11698219B2 (en) 2017-08-10 2023-07-11 Cooler Screens Inc. Smart movable closure system for cooling cabinet
US10672032B2 (en) 2017-08-10 2020-06-02 Cooler Screens Inc. Intelligent marketing and advertising platform
US11768030B2 (en) 2017-08-10 2023-09-26 Cooler Screens Inc. Smart movable closure system for cooling cabinet
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10489677B2 (en) 2017-09-07 2019-11-26 Symbol Technologies, Llc Method and apparatus for shelf edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
US11195140B1 (en) 2017-09-13 2021-12-07 Amazon Technologies, Inc. Determination of untidy item return to an inventory location using weight
US11232294B1 (en) 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
CN107833363B (zh) * 2017-09-28 2020-11-10 中南大学 基于图像识别的自助售货机自动库存管理系统及方法
EP3474184A1 (en) * 2017-10-20 2019-04-24 Checkout Technologies srl Device for detecting the interaction of users with products arranged on a stand or display rack of a store
US10515337B1 (en) 2017-10-31 2019-12-24 Amazon Technologies, Inc. User identification system
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
US20190147463A1 (en) * 2017-11-10 2019-05-16 Walmart Apollo, Llc Systems and methods for planogram generation for a facility
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
US10789569B1 (en) 2017-11-27 2020-09-29 Amazon Technologies, Inc. System to determine item footprint
US10956726B1 (en) 2017-12-12 2021-03-23 Amazon Technologies, Inc. Obfuscating portions of video data
US11030442B1 (en) 2017-12-13 2021-06-08 Amazon Technologies, Inc. Associating events with actors based on digital imagery
US10664962B1 (en) 2017-12-13 2020-05-26 Amazon Technologies, Inc. Determining direction of illumination
US11284041B1 (en) 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US10699152B1 (en) 2017-12-13 2020-06-30 Amazon Technologies, Inc. Image data illumination detection
US10477355B1 (en) 2017-12-13 2019-11-12 Amazon Technologies, Inc. System for locating users
US11087273B1 (en) * 2017-12-14 2021-08-10 Amazon Technologies, Inc. Item recognition system using reference images
US10664971B2 (en) 2017-12-19 2020-05-26 Wipro Limited Method and device for detecting region of interest based on images
EP3742336A1 (en) 2018-01-10 2020-11-25 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
US10558843B2 (en) * 2018-01-10 2020-02-11 Trax Technology Solutions Pte Ltd. Using price in visual product recognition
JP6960061B2 (ja) * 2018-01-10 2021-11-05 シムビ ロボティクス, インコーポレイテッドSimbe Robotics, Inc. 溢れおよび危険物を検出して対応する方法
US11443276B2 (en) * 2018-01-27 2022-09-13 Walmart Apollo, Llc Dynamic flex-space allocation system
US10346659B1 (en) 2018-03-21 2019-07-09 Amazon Technologies, Inc. System for reading tags
US11436557B1 (en) 2018-03-28 2022-09-06 Amazon Technologies, Inc. Interaction determination using data from weight sensors
US11308442B1 (en) 2018-03-28 2022-04-19 Amazon Technologies, Inc. Joint inference determination of interaction using data from weight sensors
US11263583B1 (en) 2018-03-28 2022-03-01 Amazon Technologies, Inc. Inferred determination of interaction using data from weight sensors
US11468400B1 (en) 2018-03-28 2022-10-11 Amazon Technologies, Inc. System to determine item weight using data from weight sensors
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108875822A (zh) * 2018-06-08 2018-11-23 拉扎斯网络科技（上海）有限公司 数据获取方法、装置、电子设备及计算机可读存储介质
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
EP3811302A4 (en) * 2018-06-23 2022-03-09 Simbe Robotics, Inc. METHOD OF INVENTORY MANAGEMENT IN A STORE
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11301984B1 (en) 2018-06-28 2022-04-12 Amazon Technologies, Inc. System to determine user interaction with fixture
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11734688B2 (en) 2018-06-29 2023-08-22 Amazon Technologies, Inc. System to determine group association between users
CN109040539B (zh) * 2018-07-10 2020-12-01 京东方科技集团股份有限公司 图像采集装置、货架及图像识别方法
US11210618B2 (en) 2018-07-10 2021-12-28 Walmart Apollo, Llc Systems and methods for generating a two-dimensional planogram based on intermediate data structures
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
JP7157586B2 (ja) * 2018-08-07 2022-10-20 株式会社キーエンス データ分析装置及びデータ分析方法
US11100302B2 (en) * 2018-08-13 2021-08-24 Sunrise R&D Holdings, Llc System and method for verification of displayed shelf tags using hand-held device
US10984205B1 (en) 2018-09-10 2021-04-20 Amazon Technologies, Inc. Error tolerant system for reading tags
MX2021003341A (es) 2018-09-21 2021-08-16 Position Imaging Inc Sistema y metodo de identificacion de objetos automejorada asistida con aprendizaje automatico.
US10706587B1 (en) 2018-09-25 2020-07-07 Amazon Technologies, Inc. Calibration of multiple cameras
US11013140B1 (en) 2018-09-25 2021-05-18 Amazon Technologies, Inc. Wall-mounted cable housing assemblies
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) * 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11085809B1 (en) 2018-12-03 2021-08-10 Amazon Technologies, Inc. Multi-channel weight sensing system
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US11002589B1 (en) 2018-12-12 2021-05-11 Amazon Technologies, Inc. Multi-lane weight measuring device
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
US11126861B1 (en) 2018-12-14 2021-09-21 Digimarc Corporation Ambient inventorying arrangements
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
WO2020146861A1 (en) 2019-01-11 2020-07-16 Position Imaging, Inc. Computer-vision-based object tracking and guidance module
US10805556B1 (en) 2019-01-22 2020-10-13 Amazon Technologies, Inc. Storage units with shifted-lens cameras
US10969267B1 (en) 2019-03-01 2021-04-06 Amazon Technologies, Inc. Parallel planar weight sensing device
US11125607B1 (en) 2019-05-30 2021-09-21 Amazon Technologies, Inc. Integrated multi-lane weight measuring device
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11580785B1 (en) * 2019-06-10 2023-02-14 Amazon Technologies, Inc. Detecting interactions with non-discretized items and associating interactions with actors using digital images
US11037099B2 (en) * 2019-06-10 2021-06-15 Salesforce.Com, Inc. System and method for live product report generation without annotated training data
US11927472B1 (en) 2019-06-26 2024-03-12 Amazon Technologies, Inc. Modular storage systems
US11126961B2 (en) 2019-07-02 2021-09-21 Walmart Apollo, Llc Methods and systems for generating a planogram at a retail facility
EP3767527A1 (en) 2019-07-16 2021-01-20 Tata Consultancy Services Limited Method and system for region proposal based object recognition for estimating planogram compliance
US10894627B1 (en) 2019-08-09 2021-01-19 Amazon Technologies, Inc. Pinch-sealed adhesive sleeves
WO2021034681A1 (en) 2019-08-16 2021-02-25 Bossa Nova Robotics Ip, Inc. Systems and methods for image capture and shelf content detection
US11109310B1 (en) 2019-09-17 2021-08-31 Amazon Technologies, Inc. Infrastructure-based access point load balancing
US11012601B1 (en) 2019-09-23 2021-05-18 Amazon Technologies, Inc. Dual camera module systems
US11346703B1 (en) 2019-09-30 2022-05-31 Amazon Technologies, Inc. Position sensing weight measuring device
CN112990138B (zh) * 2019-11-18 2022-04-29 支付宝(杭州)信息技术有限公司 层板调控设备、方法及装置
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
US11083102B1 (en) 2019-12-10 2021-08-03 Amazon Technologies, Inc. Modular distribution frames and assemblies
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11587384B1 (en) 2019-12-13 2023-02-21 Amazon Technologies, Inc. Group determination and association
US20210209550A1 (en) * 2020-01-08 2021-07-08 Zebra Technologies Corporation Systems, apparatuses, and methods for triggering object recognition and planogram generation via shelf sensors
US11605230B2 (en) * 2020-01-31 2023-03-14 Servicenow Canada Inc. Systems and methods for compliance monitoring
US11410122B1 (en) 2020-01-31 2022-08-09 Amazon Technologies, Inc. Determining inventory levels using switch-equipped strips and patterns of activated or deactivated indicators
US11810362B1 (en) * 2020-03-03 2023-11-07 Amazon Technologies, Inc. Image-based detection of planogram product spaces
US11423354B2 (en) 2020-03-05 2022-08-23 Zebra Technologies Corporation Smart shelf systems and methods of operating the same
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11896144B1 (en) 2020-12-03 2024-02-13 Amazon Technologies, Inc. Determining inventory levels using rotatable counting devices and visual imagery
US11514766B1 (en) 2020-12-10 2022-11-29 Amazon Technologies, Inc. Detecting interactions with storage units based on RFID signals and auxiliary signals
US11842321B1 (en) * 2021-03-17 2023-12-12 Amazon Technologies, Inc. Image-based detection of planogram product spaces
DE102021204149A1 (de) 2021-04-27 2022-10-27 BSH Hausgeräte GmbH Objekterkennung für ein Hausgerät
CN113269052A (zh) * 2021-04-30 2021-08-17 广州图匠数据科技有限公司 价签识别方法、终端、存储装置
US11940320B1 (en) 2021-06-25 2024-03-26 Amazon Technologies, Inc. Compressing load signal transmissions
US11635167B1 (en) 2021-09-09 2023-04-25 Amazon Technologies, Inc. Quick-connect camera mounts with multiple degrees of freedom
US20230076979A1 (en) * 2021-09-09 2023-03-09 7-Eleven, Inc. Item location tracking for display racks using digital image processing
US11483479B1 (en) 2021-09-24 2022-10-25 Amazon Technologies, Inc. Targeted image stabilization
US20230274225A1 (en) * 2022-01-31 2023-08-31 Walmart Apollo, Llc Methods and apparatus for generating planograms
US11893847B1 (en) 2022-09-23 2024-02-06 Amazon Technologies, Inc. Delivering items to evaluation rooms while maintaining customer privacy

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3651478A (en) * 1970-07-07 1972-03-21 John J Shandlay Inventory control system
US4493105A (en) 1982-03-31 1985-01-08 General Electric Company Method and apparatus for visual image processing
FR2569548B1 (fr) 1984-08-31 1987-11-13 Vynex Sa Procede et systeme de reapprovisionnement automatique et informatise de presentoirs
GB2205184A (en) * 1987-04-20 1988-11-30 Hitachi Ltd Method of managing layout of goods
US5383111A (en) 1989-10-06 1995-01-17 Hitachi, Ltd. Visual merchandizing (VMD) control method and system
JPH0695192A (ja) 1991-05-01 1994-04-08 Matsushita Electric Ind Co Ltd 画像認識装置及び画像入力方法
WO1994027408A1 (en) 1993-05-14 1994-11-24 Rct Systems, Inc. Video traffic monitor for retail establishments and the like
US5497314A (en) 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
US5671362A (en) 1995-04-04 1997-09-23 Cowe; Alan B. Materials monitoring systems, materials management systems and related methods
US6549891B1 (en) * 1996-03-26 2003-04-15 Recovery Management Corporation Method for managing inventory
US6202052B1 (en) 1997-05-08 2001-03-13 Simplification, Llc Fully-automated system for tax reporting, payment and refund
US5963920A (en) 1997-06-19 1999-10-05 Golconda Screw Incorporated Inventory control system and method
US6075535A (en) 1998-06-26 2000-06-13 Hewlett-Packard Company Method and apparatus for visualizing the tile access frequencies for tiled, multi-resolution images
US6465115B2 (en) * 1998-12-09 2002-10-15 Eastman Kodak Company Electroluminescent device with anthracene derivatives hole transport layer
US6341269B1 (en) 1999-01-26 2002-01-22 Mercani Technologies, Inc. System, method and article of manufacture to optimize inventory and merchandising shelf space utilization
SE521047C2 (sv) 1999-02-19 2003-09-23 Rutger Roseen Anordning och förfarande för att ge information om innehållet i ett skåp
US6711293B1 (en) 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US7016045B2 (en) 1999-03-12 2006-03-21 Regents Of The University Of Minnesota Video camera-based visibility measurement system
US6204763B1 (en) 1999-03-22 2001-03-20 Jujitsu Limited Household consumable item automatic replenishment system including intelligent refrigerator
AUPQ212499A0 (en) 1999-08-10 1999-09-02 Ajax Cooke Pty Ltd Item recognition method and apparatus
JP2001088912A (ja) 1999-09-20 2001-04-03 Fujitsu General Ltd 画像認識による棚卸管理方法及び棚卸システム
JP4523095B2 (ja) 1999-10-21 2010-08-11 富士通テン株式会社 情報処理装置、情報統合装置および情報処理方法
JP2001128814A (ja) 1999-11-01 2001-05-15 Atr Media Integration & Communications Res Lab 物品の出し入れ検出装置
US6511134B2 (en) * 2000-01-18 2003-01-28 Caterpillar Inc. Parking brake switch for an electro-hydraulic brake system
SE517493C2 (sv) 2000-06-28 2002-06-11 Electrolux Ab Förfarande för lagerövervakning och varuutlämning samt anordning för genomförande av förfarandet
DE10033652A1 (de) 2000-07-11 2002-01-24 Messer Griesheim Gmbh Überwachungssystem und Verfahren zur fernüberwachten Kontrolle von Lagerbeständen
SE522000C2 (sv) * 2000-08-18 2004-01-07 Rutger Roseen Förfarande och anordning för att hålla reda på lagringstiden för i ett utrymme förvarade varor
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US8042740B2 (en) 2000-11-24 2011-10-25 Metrologic Instruments, Inc. Method of reading bar code symbols on objects at a point-of-sale station by passing said objects through a complex of stationary coplanar illumination and imaging planes projected into a 3D imaging volume
US7540424B2 (en) * 2000-11-24 2009-06-02 Metrologic Instruments, Inc. Compact bar code symbol reading system employing a complex of coplanar illumination and imaging stations for omni-directional imaging of objects within a 3D imaging volume
JP2002293416A (ja) * 2001-03-29 2002-10-09 Fujitsu Ltd 遠隔棚卸システム並びに同システム用店舗側端末装置および遠隔管理装置
US20020147597A1 (en) 2001-04-05 2002-10-10 Connors Daniel Patrick System and method for restocking and repricing merchandise
US6707381B1 (en) 2001-06-26 2004-03-16 Key-Trak, Inc. Object tracking method and system with object identification and verification
EP1436742A1 (en) * 2001-09-18 2004-07-14 Pro-Corp Holdings International Limited Image recognition inventory management system
US7043075B2 (en) 2001-09-27 2006-05-09 Koninklijke Philips Electronics N.V. Computer vision system and method employing hierarchical object classification scheme
US6705522B2 (en) 2001-10-03 2004-03-16 Accenture Global Services, Gmbh Mobile object tracker
US7374096B2 (en) 2001-11-21 2008-05-20 Goliath Solutions, Llc Advertising compliance monitoring system
US7969306B2 (en) 2002-01-11 2011-06-28 Sap Aktiengesellschaft Context-aware and real-time item tracking system architecture and scenarios
US7356495B2 (en) 2002-06-04 2008-04-08 Sap Aktiengesellschaft Supply chain management using item detection system
MXPA05001361A (es) 2002-08-02 2005-10-05 Hy Ko Products Co Sistema de identificacion de objetos.
AU2003300848A1 (en) * 2002-12-10 2004-06-30 Telabout, Inc. Content creation, distribution, interaction, and monitoring system
EP1445718A1 (de) 2003-02-10 2004-08-11 Siemens Aktiengesellschaft Verfahren zur Bestandserfassung und/oder-überwachung von aufbewahrten Gegenständen und/oder Gütern, Ressourcenplanungssystem, Computerprogramm für Ressourcenplanungssystem und Computerprogramm für Sensoreinrichtung
US8614741B2 (en) 2003-03-31 2013-12-24 Alcatel Lucent Method and apparatus for intelligent and automatic sensor control using multimedia database system
JP4442119B2 (ja) 2003-06-06 2010-03-31 オムロン株式会社 画像認識装置および画像認識方法、並びに、画像認識装置のティーチング装置およびティーチング方法
US7493336B2 (en) * 2003-07-22 2009-02-17 International Business Machines Corporation System and method of updating planogram information using RFID tags and personal shopping device
WO2005015510A1 (en) 2003-07-29 2005-02-17 Minibar Ag Computerised-sensing system for a mini bar
TW200511070A (en) 2003-09-12 2005-03-16 Hon Hai Prec Ind Co Ltd Forwarder stocktaking management system and method
US7792711B2 (en) 2004-02-03 2010-09-07 Rtc Industries, Inc. System for inventory management
US7246745B2 (en) 2004-02-27 2007-07-24 Evolution Robotics Retail, Inc. Method of merchandising for checkout lanes
US7100824B2 (en) 2004-02-27 2006-09-05 Evolution Robotics, Inc. System and methods for merchandise checkout
US20070069867A1 (en) * 2004-03-11 2007-03-29 Elgar Fleisch Stocking system and method for managing stocking
JP2005284367A (ja) 2004-03-26 2005-10-13 Fuji Photo Film Co Ltd コンテンツ表示方法およびシステム
US8407097B2 (en) 2004-04-15 2013-03-26 Hand Held Products, Inc. Proximity transaction apparatus and methods of use thereof
US7245558B2 (en) 2004-06-18 2007-07-17 Symbol Technologies, Inc. System and method for detection using ultrasonic waves
US7168618B2 (en) 2004-08-12 2007-01-30 International Business Machines Corporation Retail store method and system
US20080103851A1 (en) 2004-09-27 2008-05-01 Jay S Walker Products and Processes for Determining Allocation of Inventory for a Vending Machine
US7245221B2 (en) 2004-10-01 2007-07-17 Emc Corporation Inventory control
US7233241B2 (en) 2004-11-19 2007-06-19 Goliath Solutions, Llc Low stock alert system
US20060149634A1 (en) * 2004-12-30 2006-07-06 Kimberly-Clark Worldwide, Inc. Method and system for determining product assortment for retail placement
EP1696397A3 (en) 2005-02-23 2007-10-24 Prospect SA Method and apparatus for monitoring
US7271724B2 (en) 2005-03-28 2007-09-18 Accenture Global Services Gmbh Interfering smart shelf
US7765231B2 (en) 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
WO2006113281A2 (en) * 2005-04-13 2006-10-26 Store Eyes, Inc. System and method for measuring display compliance
JP4591229B2 (ja) 2005-06-23 2010-12-01 富士ゼロックス株式会社 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
US7699226B2 (en) * 2005-07-28 2010-04-20 Industrial Technology Research Institute Automatic plan-o-gram system
US7392948B2 (en) 2005-07-28 2008-07-01 Industrial Technology Research Institute Electronic product identifier system
US7420149B2 (en) * 2005-08-24 2008-09-02 Avaak, Inc. Network sensor system and protocol
US9076175B2 (en) 2005-09-14 2015-07-07 Millennial Media, Inc. Mobile comparison shopping
US20070073641A1 (en) 2005-09-23 2007-03-29 Redcarpet, Inc. Method and system for improving search results
US20070100713A1 (en) 2005-11-03 2007-05-03 Jim Del Favero Identifying inventory items within an image
US7334729B2 (en) 2006-01-06 2008-02-26 International Business Machines Corporation Apparatus, system, and method for optical verification of product information
US7412427B2 (en) * 2006-01-27 2008-08-12 Microsoft Corporation Object instance recognition using feature symbol triplets
US7844507B2 (en) 2006-03-22 2010-11-30 Laundry Locker, Inc. Handling household tasks
US20070235485A1 (en) * 2006-03-28 2007-10-11 Ford Global Technologies, Llc System for mounting an automotive accessory
US8301516B2 (en) 2006-04-04 2012-10-30 Gladson, Llc Apparatus and method for maintaining a consumer products database
US7853100B2 (en) 2006-08-08 2010-12-14 Fotomedia Technologies, Llc Method and system for photo planning and tracking
GB0617604D0 (en) 2006-09-07 2006-10-18 Zeroshift Ltd Inventory control system
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
FR2909202B1 (fr) 2006-11-23 2009-02-13 Inc 01 Soc Par Actions Simplif Procede d'analyse de la disposition de produits dans un lineaire de magasin.
US8873794B2 (en) 2007-02-12 2014-10-28 Shopper Scientist, Llc Still image shopping event monitoring and analysis system and method
GB0716085D0 (en) 2007-08-17 2007-09-26 Zeroshift Ltd Inventory control system
EP2103891A1 (en) 2008-03-17 2009-09-23 Electrolux Home Products Corporation N.V. Method and appliance for refrigerating beverages

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI567676B (zh) * 2012-04-05 2017-01-21 英特爾股份有限公司 管理放置於貨架上之產品的方法與設備
US9659272B2 (en) 2012-04-05 2017-05-23 Intel Corporation Method and apparatus for managing product placement on store shelf
CN107256573A (zh) * 2012-09-12 2017-10-17 想象技术有限公司 基于图块的计算机图形
CN104112216A (zh) * 2013-04-22 2014-10-22 学思行数位行销股份有限公司 存货管理与行销的图像辨识方法
US10586101B2 (en) 2014-03-12 2020-03-10 Nec Corporation Display condition analysis device, display condition analysis method, and program recording medium
CN106104610A (zh) * 2014-03-12 2016-11-09 日本电气株式会社 陈列状况分析设备、陈列状况分析方法和程序记录介质
CN106104610B (zh) * 2014-03-12 2022-03-25 日本电气株式会社 陈列状况分析设备、陈列状况分析方法和程序记录介质
US11594052B2 (en) 2014-03-12 2023-02-28 Nec Corporation Display condition analysis device, display condition analysis method, and program recording medium
CN107873101A (zh) * 2014-11-21 2018-04-03 克里斯多夫·M·马蒂 用于对象辨识和评估的成像系统
CN105701519B (zh) * 2014-12-10 2018-10-09 株式会社理光 基于超像素的图像的实际货架图景象分析
CN105701519A (zh) * 2014-12-10 2016-06-22 株式会社理光 基于超像素的图像的实际货架图景象分析
CN104616131B (zh) * 2015-02-16 2018-12-21 北京任我在线电子商务有限公司 货架管理系统及方法
CN104616131A (zh) * 2015-02-16 2015-05-13 北京任我在线电子商务有限公司 货架管理系统及方法
US20170178060A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Planogram Matching
US10592854B2 (en) * 2015-12-18 2020-03-17 Ricoh Co., Ltd. Planogram matching
CN109313801B (zh) * 2016-04-15 2023-07-18 可口可乐公司 搁板库存管理系统和方法
CN109313801A (zh) * 2016-04-15 2019-02-05 可口可乐公司 搁板库存管理系统和方法
CN109564651A (zh) * 2016-05-19 2019-04-02 思比机器人公司 用于自动生成将产品分配到商店内的货架结构的货架图的方法
CN109564619A (zh) * 2016-05-19 2019-04-02 思比机器人公司 跟踪商店内的货架上的产品的放置的方法
CN109564652B (zh) * 2016-07-21 2023-08-08 电子湾有限公司 用于动态库存管理的系统和方法
CN109564652A (zh) * 2016-07-21 2019-04-02 电子湾有限公司 用于动态库存管理的系统和方法
CN109564622B (zh) * 2016-08-12 2023-09-01 威里利生命科学有限责任公司 增强病理诊断
CN109564622A (zh) * 2016-08-12 2019-04-02 威里利生命科学有限责任公司 增强病理诊断
CN108090797A (zh) * 2016-11-17 2018-05-29 恩德莱斯和豪瑟尔分析仪表两合公司 用于在线配置和订购的方法
CN110546661B (zh) * 2017-03-21 2023-07-18 家乐氏公司 确定产品放置遵从性
CN110546661A (zh) * 2017-03-21 2019-12-06 家乐氏公司 确定产品放置遵从性
CN108665480A (zh) * 2017-03-31 2018-10-16 满景资讯股份有限公司 三维侦测装置的操作方法
CN107045641A (zh) * 2017-04-26 2017-08-15 广州图匠数据科技有限公司 一种基于图像识别技术的货架识别方法
CN110603533A (zh) * 2017-05-01 2019-12-20 讯宝科技有限责任公司 用于对象状态检测的方法和装置
US11663549B2 (en) 2017-05-02 2023-05-30 BXB Digital Pty Limited Systems and methods for facility matching and localization
US11507771B2 (en) 2017-05-02 2022-11-22 BXB Digital Pty Limited Systems and methods for pallet identification
US11900307B2 (en) 2017-05-05 2024-02-13 BXB Digital Pty Limited Placement of tracking devices on pallets
CN111712826A (zh) * 2017-10-20 2020-09-25 Bxb数码私人有限公司 用于跟踪货物承载器的系统和方法
CN109903457A (zh) * 2017-12-07 2019-06-18 鸿富锦精密工业(武汉)有限公司 售货机及其补货方法
CN109903458A (zh) * 2017-12-07 2019-06-18 鸿富锦精密工业(武汉)有限公司 交易控制系统及方法
CN110119914A (zh) * 2018-02-06 2019-08-13 阿里巴巴集团控股有限公司 对象补货处理方法、装置和系统
CN108389230A (zh) * 2018-03-07 2018-08-10 上海扩博智能技术有限公司 冰箱容量自动检测方法、系统、设备及存储介质
CN108520244A (zh) * 2018-04-12 2018-09-11 苏州万店掌网络科技有限公司 货架的补货方法
CN108921185A (zh) * 2018-05-04 2018-11-30 广州图匠数据科技有限公司 一种基于图像识别的货架促销信息识别方法、装置和系统
CN109190919A (zh) * 2018-08-10 2019-01-11 上海扩博智能技术有限公司 零售关键业绩指标生成方法、系统、设备及存储介质
CN109191042A (zh) * 2018-08-28 2019-01-11 深圳市鼎昇贸易有限公司 仓库货物管理方法及相关产品
CN109446883A (zh) * 2018-09-05 2019-03-08 北京三快在线科技有限公司 商品状态识别方法、装置、电子设备及可读存储介质
CN109446883B (zh) * 2018-09-05 2022-08-23 北京三快在线科技有限公司 商品状态识别方法、装置、电子设备及可读存储介质
CN110889419A (zh) * 2018-09-07 2020-03-17 杭州海康威视数字技术股份有限公司 一种货架分析方法、装置、系统及电子设备
CN109448047A (zh) * 2018-09-18 2019-03-08 北京无线体育俱乐部有限公司 货架分布图生成方法、信息获取方法、装置及系统
CN110020605A (zh) * 2018-09-18 2019-07-16 北京无线体育俱乐部有限公司 提示方法、装置及系统
CN109961053A (zh) * 2018-09-18 2019-07-02 北京无线体育俱乐部有限公司 提示方法、装置及系统
CN109523694A (zh) * 2018-10-22 2019-03-26 南京云思创智信息科技有限公司 一种基于商品检测的零售系统及方法
CN109977886A (zh) * 2019-03-29 2019-07-05 京东方科技集团股份有限公司 货架空置率计算方法及装置、电子设备、存储介质
CN110472486A (zh) * 2019-07-03 2019-11-19 北京三快在线科技有限公司 一种货架障碍物识别方法、装置、设备及可读存储介质
CN112070007A (zh) * 2020-09-08 2020-12-11 灵动科技（北京）有限公司 用于识别搬运机器人的工作台的占用状态的方法和设备
CN113542670A (zh) * 2021-02-24 2021-10-22 上海汉时信息科技有限公司 检测方法、检测装置和检测系统
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices

Also Published As

Publication number Publication date
EP2600290A1 (en) 2013-06-05
WO2009027839A3 (en) 2009-05-14
CN101809601B (zh) 2015-03-11
EP2191420A2 (en) 2010-06-02
US8189855B2 (en) 2012-05-29
EP2600291A1 (en) 2013-06-05
BRPI0816173A2 (pt) 2015-02-24
US20090059270A1 (en) 2009-03-05
WO2009027839A2 (en) 2009-03-05

Similar Documents

Publication Publication Date Title
CN101809601B (zh) 基于图像处理的货架图提取
US8009864B2 (en) Determination of inventory conditions based on image processing
US7949568B2 (en) Determination of product display parameters based on image processing
US8630924B2 (en) Detection of stock out conditions based on image processing
CN109414119B (zh) 用于在环境内计算机视觉驱动应用的系统和方法
US11455869B2 (en) Updating shopping list based on analysis of images
US9171442B2 (en) Item identification using video recognition to supplement bar code or RFID information
US9473747B2 (en) Whole store scanner
CN101268478B (zh) 采用视频分析检测可疑活动的方法及装置
CN114548882A (zh) 一种适用于智能库存管理的信息管理系统及方法
US20190108551A1 (en) Method and apparatus for customer identification and tracking system
Moorthy et al. Applying image processing for detecting on-shelf availability and product positioning in retail stores
KR102077630B1 (ko) Pos 및 영상 기반의 상권 분석 시스템 및 방법
CN110348926B (zh) 门店系统、展示柜、物品信息展示方法及装置
CN114612120A (zh) 销售系统、位置码及位置码的用途与获得方法
WO2017064319A1 (en) System for determining customer and product interaction
KR20220123867A (ko) 스마트리테일서비스장치 및 그 장치의 구동방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: ACCENTURE GLOBAL SERVICES GMBH

Free format text: FORMER OWNER: ACCENTURE INTERNATIONAL GMBH

Effective date: 20101208

Owner name: ACCENTURE INTERNATIONAL GMBH

Free format text: FORMER OWNER: ACCENTURE GLOBAL SERVICES GMBH

Effective date: 20101208

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: LUXEMBOURG, LUXEMBOURG TO: DUBLIN, IRELAND

Free format text: CORRECT: ADDRESS; FROM: SCHAFFHAUSEN, SWITZERLAND TO: LUXEMBOURG, LUXEMBOURG

TA01 Transfer of patent application right

Effective date of registration: 20101208

Address after: Dublin, Ireland

Applicant after: ACCENTURE GLOBAL SERVICES Ltd.

Address before: Luxemburg Luxemburg

Applicant before: Accenture international LLC

Effective date of registration: 20101208

Address after: Luxemburg Luxemburg

Applicant after: Accenture international LLC

Address before: Schaffhausen

Applicant before: ACCENTURE GLOBAL SERVICES Ltd.

C14 Grant of patent or utility model
GR01 Patent grant