CN1440543A - 使用检查系统的图像处理系统 - Google Patents

使用检查系统的图像处理系统 Download PDF

Info

Publication number
CN1440543A
CN1440543A CN01812077A CN01812077A CN1440543A CN 1440543 A CN1440543 A CN 1440543A CN 01812077 A CN01812077 A CN 01812077A CN 01812077 A CN01812077 A CN 01812077A CN 1440543 A CN1440543 A CN 1440543A
Authority
CN
China
Prior art keywords
model
image
circuit board
pcb
printed circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01812077A
Other languages
English (en)
Other versions
CN100361159C (zh
Inventor
帕梅拉R·利普森
阿帕纳·拉坦
丘卡·斯里尼瓦斯
帕万·辛哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Teradyne Inc
Original Assignee
Teradyne Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Teradyne Inc filed Critical Teradyne Inc
Publication of CN1440543A publication Critical patent/CN1440543A/zh
Application granted granted Critical
Publication of CN100361159C publication Critical patent/CN100361159C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99943Generating database or data structure, e.g. via user interface

Abstract

一种检查系统,包括以一种方式被应用的多个模型,增强每个模型类型的有效性。在一个实施例中,一个印刷电路板检查系统包括一个图像模型,一个结构上的模型和一个几何模型以检查对象。图像模型首先被应用到被检查的对象以识别相似的对象。在图像模型被应用之后,应用一个结构模型以确定具有相同结构的对象存在于图像中和被用于决定是否在图像中已经真实地发现一个零件。最后,应用几何模型和使用通过先前的两个模型提供的近似的位置数据来确定被检查对象的精确的位置。还描述了用于学习和更新多个模型的技术。

Description

使用检查系统的图像处理系统
发明领域
本发明一般涉及图像处理系统,并尤其涉及使用具有检查系统的图像处理系统,包括用于检查印刷电路板的检查系统。
发明背景
如现有技术已知的,一个检查系统指的是用于检查任何现实世界处理,设备或对象的一个系统。一个自动的光学检查系统(AOI)大量的执行检查而不用人为干预。取决于其中使用它们的特殊的应用AOIs可以采取各种形式和结构配置。然而,典型的,该系统包括一个或多个安置在一个固定设备内的传感器(有时被称作一个检查头)。检查头适于相对于被检查的对象被控制的移动。一个或多个传感器的捕捉被检查对象的一个图像和提供捕捉的图像到一个图像处理系统。最典型类型的传感器是照相机,它们对于可见的光谱是敏感的。其他的,例如敏感于X-射线。图像处理系统用被检查的实际对象的捕捉的图像与该类型的对象的一个软件模型相比较。基于比较的结果,检查系统提供捕捉的图像与模型匹配程度的一个指示。这样,检查系统在检查处理中使用模型。
此外,我们还知道,一个软件模型或更加简单的,表示一个现实世界处理,设备或概念的一个模型已经在一个软件中被“实现”或“被表示”。模型因此提供选择的或一个结构的整个方面的一个表示,一个现实世界处理,概念或系统的行为或操作或其他的特性。现实世界处理,设备或概念被称作一个对象分类。
为了产生一个模型,一个人首先必须识别一个对象分类和接着选择对象分类的属性以便在模型中被编码。对象分类因此典型的包括一组对象或对象的实例,它们共享一个或多个特性或属性。
通常期望选择包含在模型中的那些属性能简明地概括对象分类,和允许一个检查系统使用包括这些属性的一个模型以识别作为“真阳性”的特殊的对象和区分作为“真阴性”的不是分类部分的其它的对象。因为对于包含在模型中的选择有许多属性,和由于当应用时,模型中的一些属性结果在识别“真阳性”和区分“真阴性”种具有高的成功率,这就难于确定哪个属性被包括在模型中。当不能确定哪个属性允许一个检查系统区分真阳性和真阴性时,该问题变得更加困难。此外,如果我们具有了有关什么属性被包括的一个假设,我们不会知道如何测量或表示它们。
被标记成“真阳性”的一个对象是适当属于具有对象被比较的一个特殊的对象分类的一个对象。例如,如果对象分类是集成电路封装类型和对象是一个集成电路,则对于集成电路对象分类集成电路将被考虑是一个真阳性。
另一方面,是一个“真阳性”的一个对象是不适当属于具有对象被比较的一个特殊的对象分类的一个对象。例如,假设对象分类是集成电路封装类型和对象是一个集总元件电阻。在此情况下,对于集成电路对象分类集总元件电阻将被考虑是一个真阴性,因为一个集总元件电阻不属于与具有集成电路封装类型的对象的相同的对象分类。
为了匹配一个模型到一个对象以确定是否它是对象分类的一部分,使用一种匹配方法。匹配方法从被检查的对象中提取选择属性和用特殊对象的测量的属性与存储在模型中的对象的属性相比较。匹配方法的一个重要方面是从被检查的对象上正确地计算或确定属性值。这些计算的或选择的属性接着与模型属性相比较。在一个印刷电路板上用于模型部件的一个属性的一个例子是带有印刷电路板的部分界线边缘和部件的任何内部边缘。给定一个图像,它可以包含一部分,大的图像梯度或不连续性,被考虑成潜在的“边缘侯选”,它是在板上部件布置的结果。
然而,该方法的一个问题是许多匹配方法不能够正确地确定,或在一个实际的时间总计中确定,来自包含被检查对象的图像的数据应该被包括在一个属性测量中。该困境经常被称作对应问题。当在来自被检查对象的图像的测量的数据和模型属性之间需要一个精确的对应时,对于特殊的属性数据却是含糊的,匹配方法易于导致不良结果。在最差的情况下,如果在图像中具有n个属性侯选测量和在模型部分中有m个属性测量,则有m^n个可能组合通常,所有的必须被评价以选择最好的对应。即使当一个真实匹配可以不存在,如果图像中的临界属性测量的其中之一没有被适当的测量。
此外,如现有技术已知的,常规的印刷电路板(PCB)检查技术典型的只使用具有一个单一属性的一个单一类型的模型。另外,常规的检查系统使用一个单一的匹配方法。多数模型匹配方案计算图像中属性的实例让它们与模型中的所有实例属性相比较。如上所述,必须被评估的对应数是指数。许多技术试图提炼该设置,通过去掉不太可能的组合或违犯一些启发式的产生的规则。
不同类型的模型也是已知的。一个模型类型被称作一个图像模型,从被检查的对象的一个实例的一个图像中产生它。在实际中,从一个样品或被检查的一个典型的对象的一个图像中得出或建立模型。样品或典型的对象可以是一个整体电路部件或一个电路部件的一部分或者来自被检查的一个PCB的一部分。图像模型典型的只包括一个单一的属性,例如亮度。亮度分布被安排在一个固定的空间结构配置中。一种匹配方法被用于把被检查的对象的图像(例如,被检查电路的部件或部分)翻译成类似包括在模型中那些的一组属性。例如,如果量度属性被包括在图像模型中,则匹配方法从被检查对象中产生一组亮度属性。接着单一的图像模型被用于执行一个检查处理。然而,使用图像模型技术的一个问题是,如果在被检查对象的特例上出现真阳性改变,图像模型趋于不良的表现实际的数据。就是说,在整个检查处理过程中,从单一图像模型被提供的电路部件或PCB的图像可能不是被检查的一个典型电路部件或PCB的一个精确的表示。此外,它还可能不是一个典型电路部件的一个良好表示,该电路部件可以具有若干可接受的外观。因而,图像模型将不精确的匹配被检查的电路部件或PCB的图像,并因此使用图像模型的检查系统不会获得精确的测试结果。
另一类型的模型被称作一个边缘模型,通常从被检查的部件或一个电路的一个电路部分的一理想的边缘表示中被提供。一种匹配方法被用于把被检查的对象的图像(例如,被检查电路的部件或部分)翻译成一组边缘属性。然而,使用该方法的一个问题是被检查的一个新的图像可以包括许多边缘。在此情况中,使用哪组边缘使来自被检查的一个对象的新数据与模型中的该组边缘或线路相匹配可能是不清楚的,从而使得难于测量新图像和模型中的相应特性。此外,这是可能的,即由于不良的照明条件,照相机噪声,对象和背景之间的低对比度,或许多其他的条件,图像处理系统不能够识别一个真实的部件边缘。当匹配方法没有精确的把图像电路部件翻译成期待的属性时,检查系统不会获得精确的测试结果。
当模型没获得精确的测试结果时,检查系统提供一有效数的“假阳性”和一有效数的“假阴性”。在印刷电路板检查环境中,一个“假阳性”意味着检查系统指明一个电路部件存在于一个PCB上,当电路部件实际不存在时。同样,一个“假阴性”意味着系统指明一个电路部件不存在于一个PCB上,当电路部件实际存在时。
由于各种原因,自动的光学检查PCB是相当困难。例如,具有一种暗色的电路部件能被安置在具有一种暗色的PCB上。这样,在此情况下,一个照相机不检测电路部件和PCB之间的任何有效对比度,由于一个黑暗部分(也就是电路部件)被放置在一个黑暗背景上(即PCB)。
此外,PCB可以包括由于在PCB上使用的丝网漏印的“假边缘”,以及假阴性和阳性,由于在部件和印刷电路板外观众的大量的可变性,这样的可变性也使得检查系统难于一致的确认PCB上的部分。
具有假阴性是不期望的,因为对于一个人查看和排除这些故障条件它是费时的。具有假阳性是不期望的,由于对于以后的确定电路部件它是费时的和昂贵的,该电路部件不在那里或是有故障。因此,利用单一模型和匹配方法近似方式典型的导致增加PCB制造成本和减少了能制造PCB的比率。
因此,期望提供一种检查系统和技术,引起相对少的假阳性和假阴性。还期望提供一种技术,增加能制造PCB的容量/比率和相对快速的处理印刷电路部件的图像。此外,还期望提供一种系统,产生可再现的和可重复的结果。
概述发明
对于现有检查系统的上述问题和限制,包括印刷电路板系统,按照本发明,已经确认,用执行快速图象分析的有用性和期望性组合所需的精确的检查测试结果能被实现,通过使用多个不同类型的模型。这就依次导致如何选择和利用多个模型类型的问题,以便减少假阳性和假阴性的数量,同时在相同的时间上,增加了检查电路部件或PCB的速度。
此外,也已经确认只包括一个单一属性的模型在整个检查处理过程中典型的不提供产生的数据的一个良好的表示。现有技术的另一个问题是用于一个特殊模型表示的属性通常不容易在由一个照相机或传感器捕捉的一个图像中被测量。通常在整个匹配处理过程中测量属性。在两种情况下(即如果模型不是用于一个特殊模型表现的数据或属性的一个好的表现则不能在图像中容易的测量),则模型/匹配方法将具有错误调用。因而还已经确认,其中利用模型的限制的方式导致具有一个减少量的假阳性和假阴性的一种检查系统。
当我们能把一般问题分解为小的,容易处理的问题时,使用若干类型的模型是有效的。期限中的每个模型不强迫解决全部问题,因而,使得模型的输出更坚固。
因此,按照本发明的技术,一个检查系统利用一个图像模型,一个结构上的模型和一个几何的模型来检查对象。三个模型类型以一种方式被组合,即是用每个模型类型的强项。图像模型首先被应用到被检查的一个对象以确定被检查的部分“看起来确实很像”在过去已经被看过的部分。例如,这用于区别,使用图像模型以确定是否被检查的一个对象是存在的。按照本发明使用的图像模型提供一种相当快速的技术来用于识别相似的对象。包括在图像模型中的属性可以对应于颜色,亮度,或者以一种固定的空间方式安排的其他派生的属性。在应用了图像模型之后,一个结构模型被应用。结构模型编码一组区域和关系。它的工作是确定是否在图像中存在与模型中编码的相同结构的一部分。结构模型被用于决定是否图像模型已经正确的发现了图像中的一部分,因而,在此情况下,它被用于证实。在另外一种情况下,如果图像模型失败,它能查看是否具有完全不同的可见特性但具有与存在于图像中的模型类似结构的一部分。最后,应用一个几何模型。用几何模型作出假设,部分或对象已经被知道被放置但需要放置的细节。根据由先前两个模型提供的粗略位置和旋转数据,它确定被检查部分或对象的一个精确的位置。几何模型充分的搜索对象所有的边缘或大的梯度区域,同时用梯度的图形模式匹配整个形状的一个“顶层”结构来约束。几何模型利用亮度,颜色等等中的强梯度,以精确的定位被检查的部分或对象。
使用这种特殊的安排,提供了具有较少假故障的一种模型/匹配方法,并比现有技术更精确的定位。通过在一个单一检查系统中利用多模型,每个模型类型的优点能被开发利用,同时每个模型类型的缺点能被减少或在某些情况下能被除去。
按照本发明的另一个方面,使用一个或多个模型匹配被检测的一个对象的一个图像的一种方法包括步骤,应用一个图像模型到一个有关区域以确定是否存在与模型外观类似的对象,应用一个结构模型到有关区域以确认对象存在和更精确的定位对象,或者确定是否存在一个对象,具有类似的结构但一个不同的可接受的外观,和应用一个几何模型到有关区域以精确定位对象的边界。
按照本发明的另一个方面,用于检查一个对象的一种方法包括步骤,在一个对象的期待的位置周围,应用第一模型到一个有关区域以产生一个有关的输出区域和应用第二模型到第一模型输出的有关区域。第一模型减少整个通过第二模型的一个匹配处理过程中必须被考虑的参数数量或有关区域的尺寸。例如,在一个印刷电路板应用中,在结构模型之前应用一个图像模型能减少一个对象的旋转数和翻译,这是整个匹配处理过程中结构模型必须考虑的。同样,在几何模型之前应用结构模型能减少一个对象的旋转数和翻译,这是几何模型必须考虑的。这就导致一个相当快速的匹配处理。
不同的表述,一连串模型的应用(即一系列中一个模型接另一个)可以用于减少由每个模型考虑的假定数。应该清楚的是,在本文中所使用的术语参数意在包括由一个模型考虑的所有假定。在上例中,假定直接针对重新获得被检查的一个对象的旋转和翻译。这样,当每个模型被连续的应用时,被考虑的可能的旋转和翻译的范围被减少。然而,在另一个应用中,假定可以有关于图像中的对象。例如,对于一个监视应用,假定组能覆盖出现在一个图像中的所有类型的移动汽车。可以存在的对象包括罐车,大篷车,小汽车,摩托或自行车。给出一个真实图像,我们能使用一连串模型系统的减少图像中可能车辆的数量的类型。在另一个例子中,假定直接针对重新获得一个对象的亮度或颜色。在医学图像中这是普遍采用的以便作出有关一个医学条件的一个诊断,比如骨质疏松症或血液障碍或一个脑肿瘤。连续使用多个模型能被用于除去可能的颜色或亮度值。
使用这种特殊的技术,提供了一种坚实的确认方法,用于匹配用一个模型所检测的一个对象的一个图像。通过首先应用图像模型接着结构模型和接着几何模型,提供了一种快速精确的检查处理过程。通过出现具有执行明确定义任务的和回答一个明确定义的问题的每个模型,每个模型的强项能被用于快速获得精确的信息。通过应用每个模型获得的信息能被用于检查系统以便对被检查的有关的一个对象做出一个确定。
按照本发明的另一个方面,一个检查系统包括具有存储在其中的一个组合库和一个检查计划的一个数据库,一个检查计划产生器耦合接收来自数据的信息和有关被检查的线路板的信息。系统进一步包括一个图像处理系统,包括一个图像模型处理器,一个结构模型处理器和一个几何模型处理器。模型处理器合作的应用多个模型到所提供的一个对象的一个图像。在一个实施例中,模型处理器合作的顺序的应用多个模型到对象的图像。
使用这种特殊的安排,提供了一种检查系统,整个一个检查处理过程中(例如检查诸如一个印刷电路板部件的一个对象)它利用多个模型和提供相当少的假阳性和假阴性结果。用于分析中的特殊数量的模型数至少部分取决于被检查对象的图像匹配每个模型的多少和被检查对象的分类能如何变化。通过使用第一模型以假定是否一个部件是存在和使用附加的模型用于验证和确定对于该部件更详细的信息,或确定相对于另一个对象该部件的位置,系统提供高可靠性和精确结果。
按照本发明的另一个方面,检查一个对象的一个处理包括步骤,获得包含被检查对象的一个图像,获得对应于对象类型的图像,结构和几何的模型,应用图像模型到对象,决定是否图像模型指示该零件存在。响应于图像模型指示出现的对象,在ROI中的一个小区域搜索结构模型,在该区域中图像模型发现该零件。响应于图像模型表明它不确定是否对象是存在,结构模型被用于完全的搜索整个ROI。如果结构模型指明该零件存在,几何模型则被用于精确的定位对象和提供有关对象放置的详细的信息。
使用这种特殊安排,提供了一种多模型检查处理,能够快速和精确的定位对象。通过以某一预定的顺序使用图像,结构和几何的模型,每个类型的模型的优点能被突出表现,同时每个类型模型的不足能被减少。
按照本发明的另一个方面,检查一个印刷电路板的一个处理过程包括步骤,组装一个组合库,注释该库以包括一个直观的分类类型,产生用于一个特殊印刷电路板的一个检查计划,使用多个模型检查PCB和可选地执行一个后台模型学习步骤。使用这种特殊的安排,提供了用于检查印刷电路板的一个处理。应该清楚,尽管处理过程被用于检查PCBs,但相同的处理能被用于检查其它类型的对象。
在一个实施例中,处理过程可以包括一个调试方式,可以用于在检查计划中校正模型的任何问题。应该明白,按照本发明,每个部分具有一套或一组有关于它的模型。例如,一个图像模型,一个结构模型和一个几何模型能形成一个特殊部分的一个模型组。如果作出决定进入一个调试方式则处理流程到一个调试学习处理过程。如果在后台模型建立步骤中用于一个部件的一个新模型或模型组(例如图象,结构的或几何的模型)已经被学习,在检查计划中这些模型能被替换一个。否则,用于一个特殊模型或模型组的学习步骤在一个不同图象组上被重复。通过更新检查计划决定调试处理过程,包括用一个新的“调试的”模型代替用于一个问题部件的模型或模型组或者增加新的模型实例(例如第二图像模型)。调试和随后的学习处理导致用于那个部分的一个修改的具体模型或模型组,系统识别该零件作为一个问题部分。在新的模型或模型组被产生之后,用于问题部件的检查被更新。应该清楚,在一个模型组中模型的一个或全部可以被更新或增加。例如,根据调试/学习处理,能够学习一个新的模型,但保持相同的结构上的和几何的模型。
按照本发明的另一个方面,能被用于一个印刷电路板检查系统的用于开发或学习模型的一种技术包括步骤,使用快照建立默认图像和结构模型,并使用关于该零件的几何信息建立对象的一个默认几何模型。
在一个实施例中,使用了用于自动剪切一个快照的一个处理。该处理包括步骤,在一个应该包含内检查对象的PCB上识别有关的一个区域(ROI),和匹配默认图像和结构模型到ROI以决定是否对象是存在。注意的是,由于图像模型需要一个快照,该处理可以是引导指令的,通过使用一个合成快照(也就是从多个图像聚集的数据中产生的合成图像或自动的或组合的提供合成图像)或一个类似部分的一个快照。如果作出决定对象不存在,则提供另一个ROI和上述的步骤被重复。另一方面,如果作出决定对象是存在的,则几何模型被用于定位部件的确切的界线和提供有关对象的旋转信息,并获得该零件的一个“修剪”的图像。是用这种特殊的安排,提供了一种技术,用于自动地获得能被用于提供一个模型的一个修剪的图像。
一旦模型具有所有它们的基本元素,在例子上训练它们以区分正面例子(包含正确部分的图像)和负面例子(不包含一部分或包含作物或危害部分的图像)例子的数量可以小到两个(一个正面的和一个负面的)或者大到从已经被先前检查过的印刷电路板中产生的所有数据。
简述附图
根据下面的附图描述,本发明的前述特点,以及发明本身可以更加明白清楚,其中:
图1是一个检查系统的一个方框图;
图2示例了用于检查一个特殊印刷电路板类型的步骤;
图3示例了在默认方向上自动的获得被旋转的一个部件的一个快照的步骤;
图3A描述了一个学习处理过程,给出一组例子图像(裸露的,粘贴,地点,和一部分快照);
图4示例了一个学习处理过程以挑选用于图3A的最佳的示例图像的组;
图5示例了用于一个部件的一个检查处理的步骤;和
图6和6A示例了图5的一个具体实现以检查一个部件。
图7和7A显示了作为在捕捉的图像区域上训练的指定方位中的一个图像模型,一个结构模型和一个几何模型。
图8显示了从一个期望的角度放大的图7和7A的图像结构和几何模型。
图9-9C显示了应用于三种不同检查情况的图像,结构,和几何模型。
图10-10D是绘图,在粘贴的实例上的结构模型分数和用于一个封装类型CC0805放置的图像。
图11和11A是对比实例的结构模型分数的绘图,被显示用于一系列放置的部分和类型RC1206的粘贴部分。
图12显示了与被识别成一个RC0805的一个部件匹配的一个图像模型。
图13显示了用于粘贴和类型RC1206的放置图像的图像模型分数。
图14-14A显示了用于学习一个模型或模型组的一种技术,提供用于一部分类型图像的好的分类。
图14B显示了具有符合通过数据点的两个曲线的分数出现数的一个柱状图。
详述本发明
在描述本发明的处理和装置之前,应该清楚的是,为了试图提高清楚性,在此所作出的参照是检查确定的对象或在一个特殊的应用领域执行检查。这种参照和所附例子只是意在方便理解本发明而不会限制在此描述所述用的概念,因而在此只描述了使用系统的类型。相反,如上所述,可以应用于各种广泛的不同的领域并通常应用于对象确认或检测的问题。本发明能被用于确认诸如面孔的对象或检测诸如晶片缺陷的对象。其他的方面包括图像数据库索引,医学图像分析,监控和监视应用领域。
此外,在下述中,有时所作出的参照针对一个系统,它具有一个特殊的图像系统或图像系统部件或一个特殊的照明系统或照明系统部件或操作在特殊频率范围或温度上的灯光。当然,作为本领域技术人员来说,应该清楚的是,在此所述的概念很好地等效应用于具有任何类型图像或照明系统的检查系统(包括在一个宽范围的频率轮廓上操作的照明系统或者系统和部件提供的部件具有期望的操作或功能特性。此外,在此有时作出的参照针对于一个照明系统,具有安置在一个特殊拓扑结构中的灯。作为本领域技术人员应该清楚,使用各种灯拓扑结构能够实现本发明的原理,并且在此出现的那些内容仅作为示例而不应该构成限制。
此外,在此有时作出的参照针对于确定对象的检查,比如印刷电路板和安置在印刷电路板上的电路部件。如在此所述的,一个电路部件或更简单的一个部件,指的是诸如被安置或另外被耦合到一个印刷电路板(PCB)的一个印刷电路的一部分。对象还可以是一个有缺陷的印刷电路板。PCB可以是任何类型。
作为本领域普通技术人员应该清楚,本发明能被用于各种应用领域,并非限制于印刷电路板和部件的检查以及任何类型的对象。例如,本发明应用于这些地方,其中一个对象安置在和可能接触或靠近于另一个对象,或者其中一个对象被嵌入另一个对象,或其中它期望从一个图像中的一个后台识别一个前台对象,同样,在此所述的技术可以被用于任何类型的印刷电路板或电路板部件而不管它的功能。
因此,作为本领域普通技术人员应该清楚,在此所述的发生在“印刷电路板”上和“部件”上的处理过程能等效于发生在一个人的面容上或一个指印或一个公司标记或任何其他的图像。同样,在此所述的处理可以包括任何类型的集成电路,硬布线的或编程的以执行一个特殊任务或功能。
现在参考图1,用于执行检查印刷电路板(PCB)的一个处理系统10包括一个数据库部件12,具有其中存储的一个组合库14,它包含有关确定对象的详细信息。例如,在是一个PCB检查系统的情况下,组合库14包括有关一个集成电路形状和尺寸的详细信息,不包括任何有关该零件如何安置在一个PCB上的的信息。数据库12还包括一个检查计划库16,耦合到一个检查计划产生器18,产生用于一个特殊PCB的一个检查计划和存储在检查计划库16中检查计划的结果。
耦合到数据库12的一个图像处理系统20包括一个图像捕捉系统22,一个图像处理器24和一个图像接口单元25。例如,可以提供图像捕捉系统22作为一个或多个照相机或传感器,它捕捉被检查的一个对象的一个图像。在一个优选实施例中,照相机对应于彩色照相机。在图像被捕捉之后,在数据上有随后的处理,比如Bayer彩色恢复,白色平衡,对比增强等等…例如,图像接口单元25可以被提供成一个图形用户接口(GUI),通过它一个用户能与图像处理系统20对接。
由图像捕捉系统22捕获的图像被送到一个运行时间系统26。运行时间系统26从检查计划16确定,对于一个特殊的板类型,在一个照相机视野中检查哪个部分。运行时间系统26还确定在若干照相机视野中什么部分需要被检查(例如,如果该零件交叉横过一个照相机框界限或一部分对于一个照相机框是太大了)。
为了检查一个特殊的部分,运行时间系统26调用一个检查工具模型28。检查工具模型28包括一个封闭检测器30,一个theta估计器32,一个学习和调试系统34一个图像模型处理器36,一个结构模型处理器38一个几何模型处理器40和一个方位标记检测器42。在一个“检查模式”,一个“学习模式”,或一个“调试模式”中运行时间系统26能调用检查工具模型28。在学习和调试模式中,系统10将学习和保存关于出现部分的属性和更新或添加相应的图像的,结构的和几何的模型。运行时间系统26能经一个用户接口模型从一个用户取得输入。例如,整个一个调试处理过程中,系统的用户能经该用户接口询问问题。
当运行时间系统在检查模式中调用检查工具模型28时,一个检查处理被启动。下面结合图5将详细描述检查处理过程。充分说明整个检查处理过程中检查系统10利用多个模型。在一个实施例中,检查模型28以一个特殊的顺序利用图像模型36,结构模型38和几何模型40以执行一个检查。这样,检查系统10利用一个图像模型,一个结构模型和一个几何模型来检查对象。
以一个方式来组合三种模型类型,即使用每种模型类型的强项。图像模型36在有关的PCB上首先被应用于一个较大的区域以便确定是否在该有关区域中存在一个对象,它看起来与存储在被检查的一个对象的图像模型中图片非常类似,以确定是否被检查的该零件“相像”图像模型。这样的使用将区别于例如常规使用的图像模型,其中图像模型被用于确定是否被检查的一个对象存在于一个图像中。使用按照本发明的图像模型提供一个相当快速的技术,用于识别看起来很类似的对象。包括在图像模型中的属性可以对应于颜色,亮度等等…应该清楚,一个图像模型通常是一个固定的二进制的图案,亮度,彩色像素。通常这些象素具有一对一的相应于一个图像观看的一个对象。然而,一个图像模型也是处理的图像特征的一个固定的图案,比如梯度或纹理特性。一个图像模型还可以存在许多的不同的分辨率。一个图像模型的一个缺点是,在一个裸露的或粘贴板上的许多特性看上去与一个对象上的特性很类似。
在图像模型36被应用到被检查对象的图像之后,应用一个结构上的模型38…特别的是,应用结构模型以作出决定,是否对象真实的存在于有关区域中。如果图像模型指出,它认为该零件出现在一个特殊的位置上,结构模型查看是否指出的部分具有应该是出现在该零件上的所有结构特征。结构模型可以被用于提供对象位置的较准确的近似值。如果图像模型指出它不认为一部分相像于出现在ROI中的它的内部图像。对于看起来不同于图像模型的一部分,但具有正确的结构部件,结构模型在整个区域上查看。
图像和结构匹配步骤的输出是一个指示,1)该零件不存在或2)该零件在一个粗略位置上存在<x,y>,对于在r度上旋转的一个估计。如果该零件存在,应用一个几何模型以确定被检查的该零件或对象的精确的位置。
最后,应用一个几何模型40以确定被检查部分或对象的精确位置。几何模型充分的搜索对象的所有边缘,同时使用约束,即边缘匹配“顶层”模型说明。用几何模型作出假设该零件或对象已经知道是在一个特殊的地方,并且几何模型40确定被检查部分或对象的确切的详细位置。几何模型利用亮度,颜色等等中的强梯度来精确的定位被检查的部分或对象。应该清楚,几何模型可以使用不是强梯度的特性。例如,对于包含拐点的区域,它能分析图像,其他的几何特性,甚至图像特性,比如一个明显精确的位置的标记。这样,在检查系统10中使用多模型导致系统10具有增加的速度,少的假故障,和比现有技术的系统更高的测量分辨力。
图2-6A是一系列流程图,显示了由一个处理装置执行的处理,例如可以被提供成检查系统10(图1)的部分以检查一刷电路板(PCB)。可替换的,通过一个图像处理系统实现处理步骤,在一个处理中只简单的匹配图像而不用PCB检查。矩形单元(通过图2中的单元54表示)在此被表示成“处理方框”,和代表计算机软件指令或指令组。菱形单元(由图2中的单元50表示)在此表示“决定方框”和代表计算机软件指令,或指令组,它们影响由处理方框表示的计算机软件指令的执行。
可替换的,处理和决定方框表示通过功能等效的电路执行的步骤,比如一个数字信号处理器(DSP)电路或一个专用集成电路(ASIC)。流程图没有描述任何特殊编程语言的语法。相反,流程图示例了功能信息,本领域的一个普通技术人员需要制造电路或产生计算机软件以便执行特殊装置所要求的处理。应该注意的是,没有显示许多例行程序单元,比如循环的初始化和可变的以及暂时可变的使用。应该清楚的是,作为本领域普通技术人员来说,除非在此指明,否则在不脱离本发明的精神的情况下,描述的特殊的步骤顺序只是示例和可以被改变。
下面作为非具体电路板来描述图2-6A的流程图中的一些步骤,意味着为了完成步骤,从任何专用印刷电路板不需要信息。流程图中的其他的步骤被描述成具体电路板,意味着为了完成步骤需要有关一个或多个专用印刷电路板(或印刷电路板的特殊类型)的至少一些信息。特别的是,如果在检查一个印刷电路板的一个处理过程中执行的一个特殊的单元或步骤被说成是非具体电路板,这表示应用这些单元而不管什么电路板被建立。非具体电路板信息的例子包括该零件的尺寸,一个特殊部分的快照,默认结构模型和几何模型。具体电路板信息主要被用于训练步骤中,其中模型学习一个有关区域中粘贴上的一部分的一个实例和带有粘贴的或裸露的焊点的一个有关区域之间的区别。需要关于电路板上该零件的上下文信息的任何步骤是具体电路板。
现在回到图2,显示了PCB检查处理过程。在检查处理中,在步骤50开始处理。其中它确定是否一个组合库被板上组装。如果组合库被板上组装则处理流程到步骤52,其中一个检查计划被产生来用于一个具体的PCB。如果组合库没有被板上组装则处理流程首先到步骤54,在那里组合库被板上组装和接着到步骤52,在那里产生一个检查计划来用于一个具体的PCB。
注释组合库以便包括一个直观的分类类型。在一个特殊的PCB检查应用中,定义了十一种不同的直观的分类类型。应该理解,某些应用可能需要多于11中的直观分类类型,和其他的应用可以需要少于11中的直观分类。根据应用的需要,将选择用于任何特殊应用中的特殊的直观分类数。被分类成一个特殊的直观分类的部分具有一种公共的结构。例如,带有金属端盖的所有离散在一个有色的主体的两侧上具有两个金属端盖。因此,用30mils大小60的一个电容(称作封装类型CC0603)和用60mils大小120的一个电阻器(称作封装类型RC1206)具有相同的直观分类,即使它们是不同的尺寸和执行不同的功能。
部分程序库典型的描述该零件作为具有已知尺寸以及一个功能值的一个具体的封装类型。在这些库中,不注意零件外表如何或经可视的特征如何分组它们。另一方面,一个图像处理系统例如图像处理系统20(图1),基于它们的结构或外观期望零件的一个分组。这样,它是有用的以便用直观分类的定义注释任何零件库。
应该注意的是,如果一个库已经被板上组装(即被检查的对象上的数据已经被存储在数据库中)或能够从一个计算机数据库或其它的存储设备中被读取,可以不需要板上组装步骤,其中通过注释该库处理开始。在实际中,库中没有存储的零件这是不寻常的,并作出一个核查确定是否在库中有输入项用于电路板上的每个零件。
组合库包括信息比如:(1)零件尺寸;(2)零件名称;(3)分配的零件号;(4)厂商;(5)主体大小;(6)零件具有引线?;(7)引线大小;(7A)引线类型(8)引线距;(9)零件具有一个取向标记?;(10)取向标记出现在零件的地方。在一个实现中分类类型是11直观分类类型的其中之一:(1)与金属端盖离散的;(2)鸥型翼集成电路(ICs);(3)J-引线的ICs;(4)钽电容;(5)平面引导的(6)CAP;(7)离散阵列;(MELF;(9)SOTs;(10)二级管;和(11)球栅阵列(BGAs)。
应该理解,当需要时可以增加其它的直观分类类型。此外,在一些应用中,可以期望包括不是零件的直观分类类型的分类类型。例如,可以期望产生一组周围具体缺陷的直观分类,比如墓碑或告示牌(零件具有一侧接触该板和另一侧被提高在空中),损坏的零件,和斑点状的粘贴。组合库最好提供一个数据库,当需要时能有检查系统的各部分所访问。零件库板上组装/注释是一个非具体电路板步骤。
此外,还期望在一些应用中把快照放在库中。目前相信快照是独立的电路板。然而,少数测试已经显示在一个照明台上的一个零件看上去将比在一个黑暗台上的一个零件更明亮。
如步骤52中所示,在板上组装组合库之后,产生检查计划。通过取得具体电路板信息产生检查计划。电路板具体信息可以是一计算机辅助设计(CAD)数据的形式,挑选&放置数据,和/或PCB布局设计数据(例如Gerber数据)。检查计划描述PCB上每个部件的位置,描述零件类型和应该具有的方位。检查计划还描述在电路板上的基准和经过路线。检查计划还描述用于检查每个零件的模型。检查计划用针对每个部件类型的默认模型被初始化。
一旦产生基本的检查计划,步骤前进到步骤56,它对应于一个具体电路板学习步骤,其中在基本检查计划中的信息被增加。这种具体电路板学习处理把计划中已知的零件信息联系到它的观察的直观特性,比如几何信息。下面结合图3,3A,4和14更全面的描述该学习处理。上面的步骤50-56对应于一个安装,并在一个检查步骤之前发生的学习过程被执行。
在检查计划产生之后和完成了具体电路板学习处理,处理前进到步骤58,其中执行一个检查步骤。检查步骤是一个具体电路板步骤,并且下面结合图5,6和6A进行详细描述。在步骤58,在一个测试数据组上执行检查。通常,当我们第一次建立或训练时我们应该只期望得到三个训练电路板。第一个是裸露的,第二个是粘贴的电路板和第三个是一个放置的电路板。对于电路板上的零件的每个类型,我们希望训练模型能够检测,当零件存在和当它不存在时。通常在电路板上具有多于1个的零件示例。我们能把示例分成两组,学习和测试组。每组应该具有标记的正面的(零件存在)和负面的(零件不存在)例子。系统将在学习组上训练模型和验证它们在测试组上正适当地进行工作。  (测试和学习组具有共同的元件是可能的)。
完成了步骤58中测试数据组的检查之后,处理前进到步骤60,其中作出决定是否一个调试模式应该被启动。决定是充分的,在基于测试数据组58的检查的结果。特别的是,如果步骤58的结果表明对于所有整个PCB多数的部件模型获得好的结果,则在步骤60作出决定以直接前进到步骤62,在那里做出一个确定是否任何更多的电路板应该被检查。如果,另一方面,步骤58的结果指示对于一个或多个部件或对于一个整个PCB模型没有获得好的结果,则在步骤60作出决定以前进到步骤64,在那里另一个学习步骤被实现。该学习步骤将接受新的假阳性和假阴性,连同其他的训练数据,和修订模型。除了再训练假阳性和阴性之外,用户或系统可以改变图像模型中的快照,改变零件的尺寸以较好的适合数据,增加一个特殊类型的多个模型,改变调用模型的顺序,和改变用于确定零件存在或不存在的决定功能。
应该注意的是,用户能设置系统以便在任何时间调试模式。还应该注意的是,调试模式主要的是用检查计划中的任何模型被用于校正问题。如果作出决定进入一个调试处理则处理流程到步骤64,66的调试学习处理。如果在后台模式中用于一个部件的一个新的模型已经被学习,在检查计划中它能被替代。否则,用于一个特殊模型的学习步骤在一个不同的图像组上被重复。处理则流程到一个更新的计划步骤,其中用于一个问题部件的模型用一个“调试的”模型被替代。
有关调试处理步骤应该被跟随的决定可以发生在两个方式中。在一个方式中,检查系统本身识别检查一个特殊零件的一个问题(或者表述的不同,检查系统本身用一个特殊的模型识别一个问题-例如模型在检查一个具体零件中获得不良的结果)。在此情况下,作为调试学习处理的零件的检查系统能询问用户一系列问题比如:  (1)所述零件比该种类的其他零件具有一个非常不同的外观,这是正常的变化?;和(2)系统有困难检查该零件。被损坏?
对于系统识别作为一个问题零件的那个零件,调试和随后的学习处理导致一个修订的特定模型或模型组。在产生新的模型或模型组之后,用于问题部件的检查计划被更新。
在第二方法中,系统不确认它具有校正的检查一个零件的一个问题(也就是,系统没有实现正在使用的模型正在导致不正确的检查结果)。例如,系统不确认它正在进行提供假阳性(即把一个坏零件标记成好零件,或把一个空位置标记成具有一个零件)和假阴性(即把一个好零件标记成一个坏零件,或不正确的标记零件不存在)。在此情况下,需要外部干涉(例如,到系统的一个用户或一些其它的外部因素必须确认具有识别一个零件的问题)。一旦问题被识别,系统被通知和被指令以改变模型来减少假阳性和假阴性的数量。响应于手动指令和为了减少假阳性和假阴性的数量,系统执行调试模式处理,学习和检查计划更新。整个调试和随后的学习处理过程中,例如,用户能提供图像给系统,导致假阳性和假阴性结果。
应该注意的是,调试处理在任何时间上能被实现(例如在检查一个单一的部件或电路板之后或者在检查一百个部件或电路板之后)。
处理接着前进到决定步骤,在那里做出有关是否有更多的电路板剩下被处理的决定。
根据学习步骤64的完成,检查计划被更新来用于问题部件或PCB。就是说,在学习步骤64中产生的新的模型相关于引起不良检查结果的零件或PCB。因此,下一次特殊的零件被检查时,新的模型或诸模型被用于检查处理。应该注意,所有的检查计划是具体电路板。
处理再次前进到步骤62,其中作出决定以检查更多的PCB。如果有更多的PCB保持用于处理,则处理前进到步骤68,在那里下一个电路板被检查。
在下一个电路板被检查之后,处理前进到步骤70,其中进行一个可选的后台模型建立处理步骤。这样,整个正规检查过程中,一个后台模型学习步骤能被执行。
执行后台模型训练的步骤与训练的步骤是相同的。后台模型训练能通过许多电路板处理数据,并且由此包括大量的数据,该数据与在步骤56的初始训练过程中使用的大量数据相比要相对大一些。
如上所述,如果产生的决定不是去调试,那么处理直接进入到决定步骤,这里关于是否有更多的电路板继续被处理的决定被产生。
因此,如果在步骤62中作出的决定是没有更多的电路板继续被处理,那么处理被终止。如果另一方面,更多的电路板继续被处理,则开始一个循环,在该循环中下一个被检查的电路板被鉴别和检查,并且构造后台模型和调试的这样一个选择步骤被重复。值的注意的是,在一些实施例中,它可以更好的而不用总是执行后台模型训练或调试。应当注意到如果与该平面有关的电路板被重新设计,局部平面可以被存储并且在后面使用。
图3、3A和图4描述了训练过程的各局部。在电路板具体图像上该模型需要被训练。由于一局部类型,模型需要看到这些实例:(1)被严格剪切的没有任何后台的局部的图像被旋转到正确的方位,(2)被粘贴的局部有它的后台(公知的“放置”图像),(3)粘贴板的实例和没有局部的后台(公知的“粘贴”图像),(4)裸露板的实例和没有局部的后台(公知的“裸露”图像)。因此,在一个具体的实施例中,去训练局部模型需要的最大数量的实例图像是四个。例如,在这些应用中,(例如,一些印刷电路板检查应用程序,裸露电路板已经被发现是不重要的。如上所述的更好的图像(2)-(4)具有相同的参考标记(例如,由PCB上相同位置的相同局部),并且图像(1)具有不同的参考标记(例如,与实施例(2)-(4)相比,在PCB上的不同位置置的相同局部)。通过非电路板具体技术(例如,在没有电路板的情况下它可以被单独成像)图像(1)也可以独立的被捕捉。
在学习如何去检查一个局部时,存在很多可变性。这些包括可变的局部色彩/亮度,局部尺寸变化,无均匀亮度,或多或少被氧化的金属,不同类型的粘贴,以及各种裸露电路板特征。该裸露电路板的特征包括在同一电路板中的不同颜色,各种厚度和涂复层,通道,轨迹,和丝网印刷。通过强迫该裸露,粘贴和放置图像具有同样的参考标记,我们至少能在学习期间消除电路板的变化性。由于图像模型执行匹配,因而产生于不同参考标记或者甚至是不同的电路板的快照是重要的。图像模型在感兴趣的区域中检查是否有类似与被存储的快照的精确局部。如果具有相同参考标记的快照作为放置图像,该快照会更好的匹配该局部(差别是零)。时时刻刻,局部外表上确实改变的相当多。我们会试着去量化这些在学习过程中的可变性。快照与它自身相匹配,将不会告知系统任何有关局部外表产生的大量变化。
当需要时,理想的情况是一种系统能自动从实例中剪切快照。可选择的是,用户输入包含局部的电路板图像或在后台中的局部图像,用胶粘住局部,复制和粘贴局部到新的图像中,旋转剪切的图像到合适的方位并存储它。当这里有很多局部类型时,用户干涉带来了相当麻烦。
在图3中,自动获得的组成局部的快照被旋转到默认方位的处理被显示,并且在图3中被描述的方法描述了如何去自动获得局部的剪切图像。
现在考虑图3,在步骤72的处理中被检查的目标的“默认快照”被获得。获得局部的真实快照的最好方法是提前使用被确定的检查过程,在感兴趣的区域中定位理想的局部。如果该局部被很好的定位,那么该局部的图像可以被旋转到默认的方位并被剪切。目前,为了检查,图像模型和结构模型需要快照。为了破坏问题的恶性循环,我们可以自举具有合成快照的系统,该合成快照具有与理想局部的相同的几何结构和一些局部的关键视觉特征。而且,看上去相似的局部快照也可以被使用。例如,如果我们需要局部号码是123-000-000的CC0805的快照,我们可以共享有相同的包类型的预先捕捉的快照,CC0805,除了局部号码是123-000-001的以外。这些默认的快照可以被存储在数据库12中或存贮在检查平面中
不管多少快照被提供,步骤74的处理被继续,这里快照被使用去构造默认图像模型和默认结构模型。由于在步骤74中产生的图像和结构模型没有产生任何电路板的具体信息,因此该模型作为“默认”模型被参考。
之后,处理进入到步骤76,在这里几何模型被产生或仅仅构造纯粹的几何信息(例如,在组合程序库中有用的几何信息)。因此,从组合程序库中关于局部的信息中能直接构造几何模型。
下面,在步骤78中,在PCB上被检查的感兴趣的区域(ROI)被识别。ROI应当包括考虑的目标(例如,象被检查的电路元件这样的局部)。在步骤80中,默认图像模型和默认结构模型被应用到ROI中确定该局部是否出现在ROI中。之后,处理进入到步骤82,这里,对局部是否出现在ROI中作出确定。因此,图像模型和结构模型被利用去确定局部是否出现在ROI中。
在确定步骤82中,如果确定局部不存在,则处理返回到步骤78中,这里新的ROI被输入,用于在步骤80中图像模型和结构模型的操作。该循环被重复直到图像模型和结构模型显示出局部存在于一些ROI之中,或直到所有的ROI都被检查过并且没有发现局部的存在。
在确定步骤82中,如果确定局部存在,则处理进入步骤84。在步骤84中,结构模型提供粗略定位在ROI中的PCB上的局部的位置位置给几何模型。从结构模型中输出的内容包括在ROI中局部的中心放置<dx,dy>(来自于期待放置的6点),并且大概估计局部被旋转的程度。结构模型可以更进一步转换<dx,dy>和θ到被考虑为几何模型的局部的每个边缘位置。
该几何模型将边界和局部的任何旋转角度定位到精确的次-象素数量级(例如,象素的几十分之一)。
在步骤86中,一旦精确的局部边界和它的旋转度被获知,它能被旋转到默认的方位。该局部通过与负的旋转角度(-θ)等同的量被旋转去获得“指定的角度”,该角度被定义在局部库中(例如,局部库中具有什么是零角度旋转的定义,并且这些与在特殊的印刷电路板上所发现的有关)例如,如果系统发现该局部被顺时针旋转了1度并且局部的默认方位是在顺时针90度的放置上,那么该系统能顺时针旋转局部图像到91度,由此变换该图像到正确的方位。
如步骤88所示,一旦快照已经被发现并被剪切,那么参考标记可以被随机的选择提供给放置,粘贴和裸露的实例。
图3A讨论了在快照上和电路板上训练模型的途径的具体实例。这对应于图2中的步骤56。
参考图3A描述的在结构模型中的图像的学习过程。在步骤90处理开始,其中结构模型和图像模型被输入,并且应用到剪切,粘贴,放置和裸露实例ROIs中。应当注意到,在图3的处理流程中,图像被随机的选择。然而,在一些应用中,理想状态是最好的图像实例使用在学习过程中。该技术将结合附图描述如下。
之后,处理进入到步骤92,在这里通过应用结构模型到图像中,默认品行和品行属性或结构模型的属性被学习的值替换。在具体实施中,四种图像-例如剪切,粘贴,放置和裸露图像被使用。然而,可以看到,由于这是非常普通的学习过程,因此本发明并不限制在这四种图像。在若干个级别上,结构模型的属性可以修改。在最高级别中,结构模型可以仅仅值只在粘贴或定位图像上它被操作好或坏的程度。该性能可以作为一组值被存储,其中至少一个值用于粘贴图像并且至少一个值用于定位图像。
在较低的级别上,结构模型可以被修改。我们可以构造该结构模型去改变它的属性和属性关系,使它最合适于定位的图像并且最容易将它与粘贴图像区分开来。
之后,处理进入步骤94,在这里通过将该图像模型应用到四种图像中(剪切,粘贴,定位和裸露图像),图像模型的默认属性被学习值替换。
与结构模型相似,图像模型在若干个不同级别中可以被修改。首先,快照像被连接到模型中。第二步,在粘贴图像和放置图像中的图像模型被存储。另外,图像模型中的其他属性被修改去最符合放置图像并且最能将他本身与放置图像区别开。例如,可以学习在粘贴图像中在位置(x1,y1)和(x2,y2)上,图像模型提供好的匹配。意思是,在裸露电路板上有一些看起来非常象局部的特征。我们可以产生值函数功能以便当应用到新的区域的图像模型发现在(x1,y1)或(x2,y2)最适合时,给出低可信度匹配值。
之后,处理进入到步骤95,在这里,通过将几何模型应用到四种图像中,几何模型的默认属性被学习值替换。例如,几何模型能测量局部和来自于放置图像以及快照的子局部的真实尺寸。被存储的默认几何模型中尺寸是期待尺寸的平均值,该期待尺寸符合所有厂家的局部类型。几何模型也可以学习在局部和电路板边界和子局部边界之间的斜率。如果图像被提供色彩,为了计算斜率,几何模型也可以学习最佳色彩频道。
处理结束。
值得注意的是,随机选择一组裸露,粘贴,放置图像去训练(如图3A所示)可能不是最优的程序。理想的,系统应当考虑所有的参考标记符合不同类型的电路板(例如,裸露,粘贴和放置)去选择能提供最优性能的实例图像。
因而,如果它被期待去选择最好的剪切,粘贴,放置和裸露图像,并将这些使用在结合图3A上述的学习过程中,那么涉及图4的步骤被执行。
在步骤96中开始处理过程:(1)电路板类型(裸露,粘贴,放置),(2)检查平面。由于在电路板上的局部放置有可能被弄错或忽略,因此被举例的放置电路板被普遍是指“青铜电路板”。
在步骤98中,与每个局部类型有关的默认的模型被产生,并且在步骤100中,由于一特殊的局部类型,默认模型被训练在多与一个的参考标记上,并且被应用到每个与局部类型有关的其他参考标记上。应当注意到在印刷电路板上的每个位置(或电路板位置),在该位置上元件被安置,被指定唯一的参考标记。因此,在检查平面中每个参考标记专指在印刷电路板上和特征局部的特殊的,唯一的位置,并且该局部被定位电路板放置。
在步骤102中,为了具体的参考标记,如果该局部存在于“青铜”电路板并且在那个参考标记缺少粘贴和放置电路板,那么具体局部类型的默认图像和结构模型被用来首次检查。
之后处理进入到步骤104,在这里一旦从步骤102中产生的一系列确定被核实,那么模型被训练在由举例参考标记得出的三种图像中(注意,这里不需要去训练所有三种图像。在一些实施例中,裸露电路板发现是没用的)。如步骤106所示,学习的模型被用来检查与局部类型相关的在“青铜”放置电路板上和粘贴,裸露电路板上的剩余的参考标记。
在步骤108所示中,根据它们从肯定的样品,“缺少的局部”中将肯定的样品,“存在的局部”分离的好坏程度,在特殊参考标记上被训练的模型可以被估计。对于每个被用作训练样品的参考标记,在提供这次隔离时,可以被估计有效的程度。在步骤110中,提供最佳分离的图像样品组应当被选择出来作为训练样品被使用在整个生产电路板的检查中。
在步骤112所示中,可以发现一系列训练图像对于一种局部类型的模型去分离正极和负极是不充分的。例如,一种局部类型,在一个板子上可能既有棕色的又有白色的实例。比起在白色样品或棕色样品之间进行选择要更好的是,我么可以训练两组模型,一组在棕色局部上并且一组在白色局部上。在图像输出上和结构模型存储中的简单的参数组可被用于确定是否需要更多的参考标记。参数组将确定有多少参考标记样品被需要。
在步骤114中,用于每个参考标记组的图像组被选择。为了每个参考标记组,默认的图像和结构模型被产生。之后,用于每组<模型,参考标记>的学习功能被执行。
之后,处理进入步骤116,在这里学习模型被存储到检查平面中。处理结束。
应当理解在图4中,描述了一种情况,其中三种图像为一个单组被用于训练。其他被检测的N-1个图像用于确定或衡量模型工作的好坏程度。然而,应当注意的是,在这些应用中,多个参考标记可以被用于在步骤104中的训练,并且由此它可以被期待去选择最好的一组或多组参考标记,这将超越测试组(即,无论左边是什么)给与模型最佳的辨别能力。
例如,如果两个参考标记被应用,那么在粘贴和放置图像中,其中一个可以被用来提供快照,并其另一个被用来训练模型。在其他情况中,假设三个参考标记,第一个参考标记可被用于快照,并且剩余的两个参考标记被用于训练。该情况可以被扩展到N个参考标记被应用,其中M个被用于训练,剩下的N-M个参考标记用于测试。最终,可以注意到该处理可以用于选择出最佳快照和最佳ROIs训练组。
在上述的描述中值得注意的是,在选择快照与选择粘贴,放置,和裸露训练图像之间没有产生差异。在更坏的情况中,每个参考标记应当作为用于快照的侯选者被检查。然而,在实际情况中,这样作太耗费时间。
一旦在一组样品图像中,用于每个局部类型的模型被产生并且被训练,那么系统就准备去检查电路板。图5显示了利用在多个模型中的检查处理的步骤。
参考图5,步骤118处理在开始,首先获得在电路板中感兴趣区域的图像,该电路板包括具体的局部类型。之后,处理进入步骤120,在这里与局部类型有关的模型被获得。
下一步,如步骤122所示,图像模型被用来捕捉图像。在这些模型中任何一个理想的模型都可以被我们应用到在所有可能的旋转度所有可能的中心位置,由此来确定局部的中心和旋转度。众所周知,这是个周密的检查过程,并确保如果在模型中的某个局部看起来与该图像模型中的快照相同的话,那么该图像模型将被发现。对于发行速度,当搜索到ROI时,图像模型可以对这组中心和可能的旋转进行抽样。大量的采样加速了操作。然而,由于采样规模的增加,模型发现局部的可能性减小了。为了试图去最大化速度和有效性,我们使用由粗到精的方法;首先粗略的抽样,之后围绕区域精确的抽样,该区域对于实际局部中心和旋转度来说是最佳侯选区域。该方法可以被任何模型使用,而不仅限于图像模型。
之后处理进入到确定步骤124,这里确定图像模型是否显示了存在的局部。
如果确定图像模型相信局部存在,那么处理继续到步骤126,这里结构模型环绕相对小一些的区域去搜索,在该区域中图像模型发现了局部。如果确定局部不存在,那么处理进入到步骤128,这里结构模型被用来执行对ROI的所有搜索。当结构模型搜索了整个ROI后,他可以使用由粗到精的搜索方法。
下一步,在步骤130中,基于结构模型产生的结果,该局部是否存在的最终确定被产生。(注意,在确定该局部是否存在的过程中,结构模型可以使用图像模型值作为它的确定函数)如果局部被认为不存在,那么处理结束。
如果,另一方面,局部被认为存在,那么处理继续到步骤132,在这里,几何模型被使用去精密的定位该局部,并且被用来去提供更多有关局部的详细旋转信息。之后处理结束。
图6和6A中显示了检查处理步骤的更多细节,该检查处理用于由特殊参考标记表示的特殊部件。与三个模型的应用不同的步骤被识别。用来确定是否图像模型和结构模型表示该局部存在的确定程序也被描述。
在步骤134中,为了局部类型,模型被装载到检查平面内。下面如步骤136所示,为了特殊的参考标记,系统获得局部的图像和它的周围环境。该图像被标示为“感兴趣的区域”或ROI。该ROI可以从电路板中较大的图像中被剪切,该电路板已经被获得或者由若干个相机框架拼凑在一起,该框架决定了ROI的尺寸是依赖于局部类型,它的尺寸,由用户输入的位置允许误差,以及模型中的任何周围区域的尺寸。
首先可选择的步骤138是去检查ROI,该ROI的特征出现在裸露或粘贴电路板上,但是当局部存在时,应当被隐藏。这些特征包括通道,轨迹,和板(粘贴或裸露),该板被普遍隐藏在例如集成电路板这样较大的局部下面或隐藏在具有隐蔽线路的诸如球状栅格阵列这样的局部下面。该步骤的实施是去检查期待尺寸的圆形,矩形或直线形特征。其他实施是将目前的RIO与在学习粘贴电路板上的ROI进行比较。如果在步骤104中确定隐藏特征的存在具有高可信度,那么由于缺少局部装置,处理被结束。
如果在步骤140中确定隐藏特征不存在,可以假设这些事情(即,正确的局部或其他一些事情)是在图像中。之后,系统执行第二个选择步骤142处理ROI,去寻找主要角度特征。作这件事的一种方法是在图像中的每个点上计算倾斜方向和幅度。基于该角度特征,系统计算在图像中目标的主要角度。如果局部不存在,则电路板轨迹和板的后台将产生0,90,180,或360度中的主要角度。这是因为这些特征通常与相对于相机框架排成一行或垂直。如果局部存在,他的特征将作用于一系列的主要角度。除了0,90,180,360外,最好的主要角度,θ,被显示于以后使用。这些使系统能预计到局部如何被旋转,但是在这里局部不能被定位。
下面在步骤114所示中,图像模型被应用到ROI图像。这些图像模型本质上看ROI是否包括一个结构,该结构看上去与被剪切的快照很相似,并且与裸露或粘贴的图像有很大区别。它使用学习的数据去计算正确局部出现的可能性或可信度。该图像模型搜索整个ROI。在图像中的多个旋转度和多个位置上,该图像模型应当匹配快照,在这种情况下,局部本身从期待的位置被转移并且被旋转的超过了期待的旋转度。为了增加速度,图像模型可以不检查在ROI中的每个位置上的局部。局部尺寸和局部类型目前决定了图像模型采样图像空间的粗略程度。另外,为了增加速度,图像模型仅仅检查两个旋转度,期待的旋转度和θ。经过粗略搜索后,图像模型可以围绕用于局部中心的最优侯选者作一个精确的搜索。图像模型输出最佳位置,<x1,y1>和假设角度,θ2,被用于ROI中的局部。它也可以输出存在局部的可能性Φ。
下面,在步骤146中,产生一个判定,判定是否图像模型表示局部存在。该判定是基于第一阈值,这里用Φ表示。值得注意的是,尽管相对简单的阈值在这里被使用,在一些应用中,它是有利的或理想的利用复杂的程序去提供阈值。例如,更加复杂的函数可以计算可能性Φ,在图像快照和用于局部的侯选位置之间的实际匹配值,侯选位置,以及没粘贴的图象决定局部是否真的存在的可能性。
如果图像模型确信局部存在,并且看上去完全象它已经学习过的东西,那么处理进入到步骤148,并且结构模型被使用去核实局部存在。为了试图去增加局部图像分辨率,它去搜索在该区域的周围该区域相对小一些并且在其中图像模型发现了局部。在这种情况下,它仅仅检查在小尺寸例如1或2个象素范围内,位置<x1,y1>和角度θ2周围的局部。
如果图像模型确信局部不存在,那么处理进入到步骤150,在这里,结构模型执行了ROI的全部搜索。再次为了速度,该结构模型不检查在ROI内的每个位置上和旋转度的局部。局部尺寸通常确定结构模型采样ROI的粗略程度。另外,为了更多的增加速度,机构模型仅仅检查两个可能的局部旋转度,期待的旋转度和θ。
结构模型最终确定局部是否存在。在步骤152所示中,如果,无论怎样,它确定局部存在于ROI中,则它返回最优位置,<x2,y2>和角度θ3。在步骤156所示中,该信息被发送到几何模型,之后由此定位该局部到子象素精确度并且精确θ的估计值。在步骤158所示中,几何模型返回“存在”标志,最终的中心位置,<x3,y3>,和角度θ4。
如果结构模型确定局部不存在,则系统停止操作并且返回“缺席”标志。
描述在图6和6A中的流程是使速度最优化。比较裸露电路板特征和计算θ估计值的在先选择步骤能被省略。在最全面的方式中,在ROI内的局部中的每个可能的位置上图像模型和结构模型被搜索。它们也能在各种角度中执行局部的搜索检查。另外,它们也可以用由粗到精的方法在位置和旋转度中执行搜索。
通过学习和调试,轮流图象模型或结构模型已被具体化是可能的。如果是这种情况,在合适的时间里,两者都可以被应用。如果其中一个被匹配,那么处理将继续被具体化在图4中。
应当注意到,在图6和6A中的确定功能可以基于其他因素或者比“可能性大于Φ”表现的更加复杂。这仅仅是举例。而且,模型得分的混和组合可以被使用在判定功能中,例如在机构模型的判定功能中。
应当注意到,尽管图6和6A仅仅显示了“存在”和“缺席”的输出。但这里有个中间情况,其中一些事情在图像中,然而,这些事情不是正确的局部。在这种情况下,在结构模型阶段,利用第二判定功能,如果局部存在的可能性是中间程度,那么系统可以转移到其他的分析程序,在这里执行分析并且输出“被损坏的局部”,“错误的局部”,“弄脏的粘贴”,“死亡的局部”…
最后,这项工作针对于印刷电路板检查,但是该方法被应用到图像处理领域。例如,一个人可以使用同样的方法用于面部识别,个人识别,和图像数据库检索。
现在考虑图7和7A,图像模型160,结构模型162,和几何模型164显示在指定的方位上,并且在被捕捉的图像区域166,168上被训练。图像区域166,168对应于PCB的局部。图像区域166是所谓的粘贴图像,意思是PCB已经在电路元件被安置的区域中进行了粘贴处理(例如,焊接)。因此,没有电路元件显示在图像166中。图像区域168是所谓的“放置”图像,意思是区域168中,电路元件170应当被安置在具体的位置上。
三种类型模型中的每一种都被提供给预定的视觉分类。使用在一个印刷电路板检查的具体实施例中的11种分类类型结合附图2被列出来。如上所述,多于11种或少于11种的分类类型也可以被使用,并且根据特殊应用的需要,分类类型的具体数值以及分类本身将被选择。
为了确定视觉分类的种数,我们考虑用于表面安装印刷电路板的所有典型的元件类型。我们本质上集合这些基于局部的普通视觉特征的元件。我们的目标是去产生最小数量的视觉分类,该视觉分类贯穿典型局部的所有类型。在PCB组成局部的情况中,我们发现导线类型的元件显示元件的视觉表面。例如,具有尾部金属帽的元件是普通的电阻和电容,所有这些都有两个尾部金属帽和彩色的身体。具有鸥翼引线的元件是通常的集成电路,该电路通常具有黑色的矩形身体并具有从身体里伸出的金属引线,在Z轴上向下弯曲,然后成为直线。在这种情况中,即使整个包的尺寸和它的子局部能改变,但是元件的全部构造仍保持相同。这就是结构模型被适当的代表这些分类的原因。
将视觉刺激分组到视觉分类的技术不仅用在印刷电路板检查当中。它被更多的应用到计算机视觉应用中,为了产生一系列能覆盖视觉刺激分类的模型用于该应用。一个实例是在面部区域检测中。脸在不同照明的条件下有不同的表现,不同性别和年龄的人可以根据相似的视觉被分在一组中。例如,在现有的关于面部图像处理的技术中,可以发现脸的正面可以被分到六种视觉类型中。尽管视觉类型对于人来说没有名称或语义,但是如果面部被检测,则分组对这个问题有更大的帮助。如果一个新的图像,当被处理时落入了视觉分组中的一种,那么它作为表面被识别。如果它在分组之外,那么它作为无表面被识别。在分析中信用度的衡量,是新图像对于表面分组靠近的额程度。
视觉分类组在其他应用中被普遍应用。这些应用例如,医学图像(例如,通过传感器来表现和收集肿瘤的表面特征),军事应用(例如,来自合成孔径雷达的用于探测目标的分级结构),和例如交通流量监测应用(例如交通流量中不同图案的分来)。
在这个具体的实施例中,模型160-164中的每个都属于被称为DISCRETES的视觉分类类型。对于全部匹配方法,11种视觉分类类型包括九个要素,这九个要素是(1)隐藏特征;(2)θ估计量范围;(3)图像模型属性;(4)结构模型属性;(5)几何模型属性;(6)方位标记类型;(7)交替模型;(8)学习参数;(9)确定函数。
闭合属性明确了所关心区域(ROI,region of interest)中被期望提供的闭合特征。估计量θ的属性确定了估计量θ应当使用的区域。结构模型属性描述了构成模型的多个区域,区域的性质及关系。几何模型属性描述了高梯度或边缘特征成分。方向标记明确了在各局部体上所期望使用的标记类型。
备用模型属性明确了备用模型在某一特定的类型中,可被应用于每一局部。例如,一备用模型可能包括一倒置的图象模型局部。学习性包括关于信息的处理,其中特征被学习并被存储用于每一同类的模型。最后,最后一个性质描述了判断函数用于判断该局部是否存在。该判断函数可以将一个或多个类型模型的输出作为输入。
下表1中给出一将组合元件的视觉类别的视觉类别信息应用于印刷电路板的实例。
图象模型160是与上述技术方案相应的剪切图。结构模型162在印刷电路板的不同实例中使用了相关标记R29。
既然将结构模型用于一组类型并没有精确的确定相关标记R29所指示的特定局部,于是提出了一种新的结构模型,当该新模型被用于包类型RC1206且使用了相关标记R29时,被用于确定电路板上特定局部的特定位置。如图11A所示,从而在放置局部以及如分组210的位置指示的粘贴局部之间取得了良好的区分效果。组210展示了由用于相关标记R29所指示的放置局部的图象新模型所得的值。因此,图11A同时展示了R29模型(组210)以及非R29模型(组206用于粘贴图象以及组204用于放置图象)的确定值,从而使粘贴局部和放置局部得到良好的区分。
图11和图11A图示了通过测试一组例图,可以确定需要专门化的或经过专门训练的模型的元件,其中,该模型被用于检测和识别。例如,上述的步骤100-108,连同图4,图示说明了一生成分离区域的技术,该技术用于衡量模型能够分辨肯定和否定的一组粘贴和放置图象实例的程度。图4讨论了怎样选择最佳的模型组,从而使粘贴和放置图象更好的区分。
注意到在图11A的处理过程的最后,我们已经加入了一个用于零件类型RC1206新的结构模型。这意味着两个结构模型与该零件类型联系在一起。我们可以使用同样的过程判断是否需要创造一个新的图象或几何模型。
现在来看图12,图12中展示了一个对应于元件比如RC0805的图象模型。再次,在这个特定的实例中,在粘贴局部和放置局部214,216之间有一个良好的区分效果,也就是说,图象模型可以正确的区分粘贴和放置局部。这个分析表明,对于零件类型,匹配方法最好按照图9A的流程图所示,这里结构模型除了用于局部检测及确定位置外,被更多的用于检验。
图13展示了一用于类RC1206的粘贴以及放置图象图象模型值。其中粘贴值,如组218所示,放置值如图13中的阴影局部所示。为了与现有技术和图13所取得的结果做比较,必须明确,在先技术中(例如仅被用于一个图象模型去确定和区别印刷电路板上的放置及粘贴区域),如图13所示粘贴和放置图象之间存在很少或没有区分。注意到现有技术中描述的过程能够使用结构模型来弥补图象模型的缺陷。如图11A所示,结构模型在粘贴和放置图象之间,提供了一个良好的区分效果。
这个分析表明,对该零件类型,匹配方法将更多的符合如图9B和9C的流程图,这时,结构模型被用于局部检测和定位。
如图14-14B所示,展示了一用于学习提供零件类型的图象以良好的分类的模型的技术。该过程由步骤230开始。步骤230从一组模型类型中选出一个适用于该零件类型的模型。该模型可以是一图象模型,结构模型或者是一几何模型。每一模型都可以被独立的学习,且我们目前同时学习一图象模型和一结构模型。
如步骤232所示,模型被用于所有的相同零件类型的“放置图象”。放置图象涉及一图象,该图象中位于一定范围内的期望位置的目标被检测。接着继续下一个步骤234,在所关心区域内的选定的模型和每一“放置图象”之间,计算得到一“放置图象值”。每一“放置图象值”是一个代表或指示模型和特定位置图象匹配程度的值。
处理过程继续至步骤236和238,其中,对于所有的相同零件类型的粘贴图象,应用相同的模型,计算得到一“粘贴图象值”,在所关心区域的选定模型和每一“粘贴图象”之间,计算得到一“粘贴图象值”。
计算得出放置图象值和粘贴图象值后,它们被存储用于之后的处理过程。接着,在步骤242中,进行了对于“分离值”(或者更简单“分离”)的检查。术语“分离”指的是那些明显超过常规放置及粘贴图象值的放置及粘贴图象值。如果确定了分离,接着就要确定分离的原因。因为,如果分离是因为反常的形势出现,并表现出不被期望重复的特征,那么分离点就不应当被包括在关于值分布状况的计算中。如果,另一方面,分离值出现在一定形势下并表现出一定的特征,该形势和特征是期望被重复的,那么分离点就应当被包括在关于值分布状况的计算中。例如,一尾帽上有粘贴图象的离散元件将提供一个分离值。我们将想要从好的放置组中消除该值,因为该分离值实质上是一个缺陷。同时,如果一放置图象被不正确的标记后,意味着期望的目标不在图象中,我们想要从该放置值组中移去与该图象相关的值。另一方面,举一个有效的实例,如果一离散元件通常有一个黑色的身体且包括一零件,该零件有一个白色的身体(或者具有强烈差别的外观),我们就将要把这个有效的实例体现在良好放置值的分布中。
简要的拿图14B做如下说明,例如,有表明值出现的次数的两柱状图。X轴上的每一局部表示值的范围。Y轴表示值的表面数量或值的范围的表面数量。曲线254对应于高斯曲线适应于放置图象值的几何柱状图且曲线256对应于GAUSSIAN曲线适应于粘贴图象值的柱状图。点258代表放置图象值的一分离点。也就是说,点258对应于一点,该点并没有包括在生成曲线254的计算中。近似的,点260代表粘贴图象值的一分离点且该点没有被包括在产生曲线256的计算中。
再来看图14和14A,处理过程继续到步骤244,该步骤用于计算一分离函数。分离函数的计算方式取决于多个因素,包括但不仅限定于步骤230选出的模型的类型,放置及粘贴图象的特征以及模型的特殊应用。例如,在一应用中,比如一印刷电路板检查步骤,在这里模型使用一图象模型,分离函数可以由相关函数的值产生。该值可以由任何模型匹配方法生成。最后的值可以输入到与步骤244相同的步骤中以得到分离函数。
在这种情况下,分离函数试图使一高斯曲线适合一肯定的实例以及另一高斯曲线适合否定的实例。一个高斯曲线可能不足以取得足够的曲线匹配。因此可能使用多个高斯曲线以近似每一类中的数据。例如,粘贴实例中,如果印刷电路板(PCB)有两个不同的背景颜色。可能产生双峰分布。有若干个分组参数,例如K-法,对于本领域普通技术人员达到该技术目的时是熟知技术。另一种计算分离函数的方法是假定我们不知道或者我们不强加任何的分布函数,然后找到符合该数据的最佳曲线。
提供一个新的数据点,然后在曲线上查找对应该点的值。基于计算的值和分布的状况,可以计算出该数据点属于某类的概率或可能性。在某些情况中,点会落于两个或多个分布区的交集中。在这种情况下,我们可以计算点属于每一分布区的可能性。在最简单的情况下,将该点标记在最具有可能性的分布区域。然而我们可以用较低的可信度报告该分析结果。
在分离函数计算得出后,处理流程至判定块246,在这里确定分离函数是否可接受。再次,确定的方法以及确定需考虑的因素取决于多个方面。例如,在一个如印刷电路板检测的应用里,相应的采用一图象模型作为模型,且分离函数包括相关函数,通过计算最小相关值和最大相关值之间的差值且将该差值与一预先设定的阀值比较,从而确定该分离函数是否可接受。
在其他应用中,然而,分离函数可以是区域的相互关系以及区域性质匹配结构模型的程度,或一个梯度模式匹配边缘模型的程度。
必须留意的是,该过程对于在任何肯定的或否定的实例得到值的应用中,是基本上相同的。然而,有多个输出值也是可以的。在这种情况下,需要更高维的高斯型曲线去近似该数据。
如果在判定块246中,确定分离函数的可接受的,则处理过程继续到步骤248,这里中模型被储存以留作以后使用。如果,另一方面,确定块246判断分离函数是不可接受的,则处理过程继续到步骤250,这里模型被确认为将来不再使用(或者该模型可以被简单的标记为将被处理)这个“坏”模型可以被用于作为将来模型的基准。
处理过程继续到步骤252,以确定是否有其他任何同类的需要评估的模型存在。如果没有更多的此类模型,那么处理过程结束。如果,另一方面,确定块252确定仍然有同类的其他需要评估的模型存在,那么处理过程至步骤253,再这里选择了下一类模型且处理流程返回至步骤232。在步骤232,上述的处理步骤再次重复。
是否有其他模型存在的问题可以通过多个方法表达出来。在最受限的范围里,问题是询问是否有其他同类的模型。例如,如果模型种类是一种图象模型,那么问题是询问是否有任何其他的相关图象不符合所有的数据。如果问题是询问是否有任何其他的用于那个局部或者那类局部的模型,那么下一个模型类型可以采用结构或几何模型。
如图14-14B所示的学习方法或确定函数的生成装置,是使用所有可利用的肯定的和否定的方法。该确定函数在新的实例出现后,可以不断的得到精确。模型的精确化可以发生,例如图2中的组件70的后台学习步骤。
该学习方法不同于图3A和4中的方法。该方法使用了所有可以利用的数据以生成模型。图3A和4集中于最典型的数据来训练模型。
应该注意图1和图14A中,仅假定了两种分析方法是可以利用的:存在的局部,不存在的局部。然而我们有可能需要描述其他的情况,例如局部受损,错误的局部,弄脏粘贴等等。如果新测得的图象落于真实位置和真实位置之间,我们可以为每一标记过的图象计算一分布值或者生成一更加复杂的函数以对新的图象进行分类。
符合本领域普通技术人员理解范围以内且在上述较佳实施例范围以外的其他实施例也可以被使用。上述其他实施例不应当限制于已公开的实施例,所有符合所附的权利要求书的范围和精神的实施例都在保护范围内。
申请文件中所有被引用的公开以及相关文献此处被特意的整体用参考书目引用。

Claims (11)

1.一种检查一个图像的方法,以便获得在有关区域中的对象的信息,其特征在于,该方法包括:应用第一模型和第二模型,第二模型的应用是基于应用第一模型的结果,其中第一模型产生一个输出,它通过识别图象中的第一组属性,预测是否一个对象被描绘在有关区域中,和第二模型通过识别第二类型的属性来预测是否一个具体类型的对象是存在于有关区域中。
2.如权利要求1所述的方法,附加的包括应用第三模型,所述第三模型的应用导致对象的一个精确的位置。
3.如权利要求2所述的方法,其中第三模型的应用导致从一个期待的位置在一个对象中的位移的指示和相对于一个期待的方位的旋转。
4.如前述任意权利要求所述的方法,其中第一模型是一个图像模型,它包括正面属性,当出现在一个图像中时,指示一个对象出现在有关区域中,以及还包括负面属性,当在出现一个图像中时,指示一个对象不出现在有关的区域中。
5.用于检查印刷电路板的权利要求4的方法,其中负面属性包括在印刷电路板的表面上表示结构的封闭特性,它将通过在印刷电路板上适当地放置零件来阻塞。
6.如前述任意权利要求所述的方法,其中通过在多个旋转上把一个图案相关于图像的子-区域来应用第一模型以产生多个相关分数,并根据相关分数识别对象的存在和位置。
7.如权利要求6所述的方法,其中只在图像中可能的子-区域的一部分中应用图案和识别的位置表示一个过程位置。
8.如前述任意权利要求所述的方法,其中第一模型的应用在预测上产生一个对象存在于有关区域中的一个置信度因数,以及第二模型的应用包括在图像子-区域内用一个预定的位置关系搜索多个特性。
9.如权利要求8所述的方法,其中所述多个特性包括表示图象中对象边缘的图像中的大梯度。
10.如权利要求8或9所述的方法,其中第二模型被应用到多个子-区域,且当置信度因数是较高时,对于应用于第二模型的子-区域数是较小的。
11.如前述任意权利要求所述的用检查一个图像的使用方法检查一个印刷电路板的方法,其中所述图像表示印刷电路板的一个区域,在那里应该安装一个电子部件,并且包括下列附加步骤,产生一个检查计划,它包括基于期待被安装在印刷电路板的区域中的部件的类型选择合适的模型来使用。
CNB018120776A 2000-06-28 2001-06-25 使用检查系统的图像处理系统 Expired - Fee Related CN100361159C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/605,289 US7167583B1 (en) 2000-06-28 2000-06-28 Image processing system for use with inspection systems
US09/605,289 2000-06-28

Publications (2)

Publication Number Publication Date
CN1440543A true CN1440543A (zh) 2003-09-03
CN100361159C CN100361159C (zh) 2008-01-09

Family

ID=24423041

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018120776A Expired - Fee Related CN100361159C (zh) 2000-06-28 2001-06-25 使用检查系统的图像处理系统

Country Status (11)

Country Link
US (1) US7167583B1 (zh)
EP (1) EP1297493A2 (zh)
JP (1) JP2004502250A (zh)
KR (1) KR100830523B1 (zh)
CN (1) CN100361159C (zh)
AU (1) AU2001271447A1 (zh)
CZ (1) CZ20024260A3 (zh)
HU (1) HUP0301721A3 (zh)
PL (1) PL365818A1 (zh)
TW (1) TW561427B (zh)
WO (1) WO2002001504A2 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101714180A (zh) * 2008-09-23 2010-05-26 卡姆特有限公司 基于参考信息的评价方法、系统和计算机程序产品
CN101103373B (zh) * 2005-01-10 2010-06-02 西泰克公司 改进的图像分割方法
CN103186789A (zh) * 2011-12-27 2013-07-03 英业达股份有限公司 自动判别零件正确性的方法
CN103366038A (zh) * 2012-03-28 2013-10-23 株式会社高永科技 印刷电路板检查装置的工作数据的生成及检查方法
CN105849774A (zh) * 2014-01-15 2016-08-10 欧姆龙株式会社 图像对照装置、图像传感器、处理系统、图像对照方法
CN106094568A (zh) * 2010-05-21 2016-11-09 费希尔-罗斯蒙特系统公司 多阶段过程建模方法
CN107408297A (zh) * 2014-11-24 2017-11-28 基托夫系统有限公司 自动检查
CN110084260A (zh) * 2013-06-28 2019-08-02 康耐视公司 一种训练多图案识别和配准工具模型的半监督方法
CN110132978A (zh) * 2019-04-28 2019-08-16 无锡和博永新科技有限公司 电阻片整片检测装置及检测方法
CN111191800A (zh) * 2019-12-05 2020-05-22 万翼科技有限公司 设备模型核查方法、装置、计算机设备和存储介质
CN111727412A (zh) * 2018-03-05 2020-09-29 欧姆龙株式会社 用于设定照明条件的方法、装置、系统及程序以及存储介质
CN111752457A (zh) * 2019-03-28 2020-10-09 株式会社电装天 检查数据输出设备、显示系统和检查数据输出方法
WO2023236038A1 (zh) * 2022-06-07 2023-12-14 西门子股份公司 电路板检测模型的更新方法、系统、电子设备和存储介质

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6988088B1 (en) * 2000-10-17 2006-01-17 Recare, Inc. Systems and methods for adaptive medical decision support
FI20031835A (fi) 2003-12-15 2005-06-16 Instrumentarium Corp Menetelmä ja järjestelmä referenssimerkin paikantamiseksi digitaalisista projektiokuvista
DE102004012125B3 (de) * 2004-03-12 2005-09-01 Nanofilm Technologie Gmbh Ellipsometrisches Messverfahren mit ROI-gestützter Bildkorrektur
GB2417073A (en) * 2004-08-13 2006-02-15 Mv Res Ltd A machine vision analysis system and method
JP2006235762A (ja) * 2005-02-22 2006-09-07 Orion Denki Kk プリント基板用cadシステム
US7505949B2 (en) * 2006-01-31 2009-03-17 Caterpillar Inc. Process model error correction method and system
JP4855141B2 (ja) * 2006-05-19 2012-01-18 富士フイルム株式会社 医用画像部位認識装置、及び、医用画像部位認識プログラム
WO2008003036A2 (en) * 2006-06-29 2008-01-03 Se2 Labs Systems and methods for providing spectral feedback to visually convey a quantitative value
US8041141B2 (en) * 2006-06-30 2011-10-18 The University Of Louisville Research Foundation, Inc. Method and software for shape representation with curve skeletons
US7809170B2 (en) 2006-08-10 2010-10-05 Louisiana Tech University Foundation, Inc. Method and apparatus for choosing and evaluating sample size for biometric training process
US8131055B2 (en) * 2008-01-31 2012-03-06 Caterpillar Inc. System and method for assembly inspection
US8009921B2 (en) * 2008-02-19 2011-08-30 Xerox Corporation Context dependent intelligent thumbnail images
US8224021B2 (en) * 2008-03-14 2012-07-17 Millivision Technologies, Inc. Method and system for automatic detection of a class of objects
US7869645B2 (en) * 2008-07-22 2011-01-11 Seiko Epson Corporation Image capture and calibratiion
US8090184B2 (en) * 2008-07-23 2012-01-03 Seiko Epson Corporation Fault detection of a printed dot-pattern bitmap
US8269836B2 (en) * 2008-07-24 2012-09-18 Seiko Epson Corporation Image capture, alignment, and registration
US20100034452A1 (en) * 2008-08-08 2010-02-11 Gines David L Method And Apparatus For Reconstructing Solder Joints Using Constrained X-ray Photogrammetry
JP5381166B2 (ja) * 2009-03-04 2014-01-08 オムロン株式会社 モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP5714232B2 (ja) * 2009-03-12 2015-05-07 オムロン株式会社 キャリブレーション装置および3次元計測のためのパラメータの精度の確認支援方法
JP2010210585A (ja) * 2009-03-12 2010-09-24 Omron Corp 3次元視覚センサにおけるモデル表示方法および3次元視覚センサ
JP5282614B2 (ja) * 2009-03-13 2013-09-04 オムロン株式会社 視覚認識処理用のモデルデータの登録方法および視覚センサ
US20110173127A1 (en) * 2010-01-08 2011-07-14 Albert Ho System and method used for configuration of an inspection compliance tool with machine readable tags and their associations to inspected components
JP5468981B2 (ja) * 2010-05-11 2014-04-09 株式会社ミツトヨ 画像測定機、プログラム、及び画像測定機のティーチング方法
US8904517B2 (en) 2011-06-28 2014-12-02 International Business Machines Corporation System and method for contexually interpreting image sequences
DE102012215120B4 (de) * 2012-08-24 2017-04-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Auswertevorrichtung, verfahren und prüfsystem zur prüfung von elektro-chemischen zellenanordnungen
EP3428881B1 (en) * 2012-10-26 2020-12-23 Brainlab AG Matching patient images and images of an anatomical atlas
US9880694B2 (en) 2013-05-09 2018-01-30 The Boeing Company Shop order status visualization system
US9612725B1 (en) 2013-02-28 2017-04-04 The Boeing Company Nonconformance visualization system
US9870444B2 (en) 2013-03-05 2018-01-16 The Boeing Company Shop order status visualization system
US10481768B2 (en) 2013-04-12 2019-11-19 The Boeing Company Nonconformance identification and visualization system and method
US9340304B2 (en) 2013-02-28 2016-05-17 The Boeing Company Aircraft comparison system
US9492900B2 (en) * 2013-03-15 2016-11-15 The Boeing Company Condition of assembly visualization system based on build cycles
US10061481B2 (en) 2013-02-28 2018-08-28 The Boeing Company Methods and devices for visually querying an aircraft based on an area of an image
US20140298216A1 (en) 2013-03-28 2014-10-02 The Boeing Company Visualization of an Object Using a Visual Query System
US10416857B2 (en) 2013-05-09 2019-09-17 The Boeing Company Serial number control visualization system
US20140375957A1 (en) * 2013-06-20 2014-12-25 Northrop Grumman Systems Corporation Discrete area circuit board image projection system and method
CN104021251B (zh) * 2014-06-10 2018-01-09 浪潮(北京)电子信息产业有限公司 一种pcb检查方法和装置
KR102447970B1 (ko) * 2014-08-08 2022-09-27 삼성전자주식회사 환경 프로파일 생성 방법 및 환경 프로파일 생성 장치
JP2016071597A (ja) * 2014-09-30 2016-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2017117568A1 (en) 2015-12-31 2017-07-06 Kla-Tencor Corporation Accelerated training of a machine learning based model for semiconductor applications
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
EP3405932A1 (en) * 2016-01-29 2018-11-28 KiwiSecurity Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
US9868212B1 (en) * 2016-02-18 2018-01-16 X Development Llc Methods and apparatus for determining the pose of an object based on point cloud data
US10685147B2 (en) 2016-02-29 2020-06-16 The Boeing Company Non-conformance mapping and visualization
JP6707920B2 (ja) 2016-03-14 2020-06-10 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
JP2017223448A (ja) * 2016-06-13 2017-12-21 株式会社キーエンス 画像処理センサ、画像処理方法及び画像処理プログラム並びにコンピュータで読み取り可能な記録媒体
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
KR101900180B1 (ko) * 2017-01-11 2018-09-18 포항공과대학교 산학협력단 영상의 특성 추출을 위한 영상 분석 방법 및 장치
CN109685756A (zh) * 2017-10-16 2019-04-26 乐达创意科技有限公司 影像特征自动辨识装置、系统及方法
US10664717B2 (en) * 2018-06-18 2020-05-26 Interra Systems, Inc. System and method for searching an image within another image
US11379788B1 (en) 2018-10-09 2022-07-05 Fida, Llc Multilayered method and apparatus to facilitate the accurate calculation of freight density, area, and classification and provide recommendations to optimize shipping efficiency
JP7194613B2 (ja) * 2019-02-28 2022-12-22 デンカ株式会社 基板の製造方法
JP7195977B2 (ja) * 2019-02-28 2022-12-26 デンカ株式会社 基板検査装置、基板検査方法、およびプログラム
US11210770B2 (en) 2019-03-15 2021-12-28 Hitachi, Ltd. AI-based inspection in transportation
US11937019B2 (en) 2021-06-07 2024-03-19 Elementary Robotics, Inc. Intelligent quality assurance and inspection device having multiple camera modules
EP3941177A1 (en) * 2020-07-13 2022-01-19 Siemens Aktiengesellschaft Inspection and production of printed circuit board assemblies
KR102459695B1 (ko) 2020-11-03 2022-10-28 주식회사 고영테크놀러지 실장 정보를 결정하기 위한 장치, 방법 및 명령을 기록한 기록 매체
US11605159B1 (en) 2021-11-03 2023-03-14 Elementary Robotics, Inc. Computationally efficient quality assurance inspection processes using machine learning
US20230133152A1 (en) * 2021-11-03 2023-05-04 Elementary Robotics, Inc. Automatic Object Detection and Changeover for Quality Assurance Inspection
US11675345B2 (en) 2021-11-10 2023-06-13 Elementary Robotics, Inc. Cloud-based multi-camera quality assurance architecture
US11605216B1 (en) 2022-02-10 2023-03-14 Elementary Robotics, Inc. Intelligent automated image clustering for quality assurance

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4894790A (en) 1986-02-05 1990-01-16 Omron Tateisi Electronics Co. Input method for reference printed circuit board assembly data to an image processing printed circuit board assembly automatic inspection apparatus
IL85862A (en) 1988-03-24 1993-01-14 Orbot Systems Ltd Telecentric imaging system
JP2885823B2 (ja) * 1989-04-11 1999-04-26 株式会社豊田中央研究所 視覚認識装置
US5058982A (en) 1989-06-21 1991-10-22 Orbot Systems Ltd. Illumination system and inspection apparatus including same
JP2840347B2 (ja) * 1989-12-29 1998-12-24 キヤノン株式会社 基板実装検査装置
EP0435660B1 (en) 1989-12-29 1997-06-04 Canon Kabushiki Kaisha Method of evaluating objects based upon image processing, and inspection apparatus using said method
IL99823A0 (en) 1990-11-16 1992-08-18 Orbot Instr Ltd Optical inspection method and apparatus
IL125217A (en) 1990-12-04 1999-10-28 Orbot Instr Ltd Apparatus and method for microscopic inspection of articles
EP0985991A3 (en) 1991-11-07 2000-05-31 Omron Corporation Apparatus and method for automatically correcting soldering
US5371690A (en) * 1992-01-17 1994-12-06 Cognex Corporation Method and apparatus for inspection of surface mounted devices
IL102659A (en) 1992-07-27 1997-07-13 Orbot Instr Ltd Apparatus and method for comparing and aligning two digital representations of an image
US5307421A (en) * 1992-10-14 1994-04-26 Commissariat A L'energie Atomique Process for producing a synthesized reference image for the inspection of objects and apparatus for performing the same
IL104708A (en) 1993-02-12 1995-12-31 Orbotech Ltd Device and method for optical inspection of items
US5465221A (en) * 1993-12-30 1995-11-07 The United States Of America As Represented By The Secretary Of The Air Force Automated process planning for quality control inspection
JPH0835935A (ja) * 1994-07-21 1996-02-06 Hioki Ee Corp ビジュアル型x−y方式インサーキットテスタ
JPH0896129A (ja) 1994-09-21 1996-04-12 Omron Corp モデル画像登録方法
US5793901A (en) 1994-09-30 1998-08-11 Omron Corporation Device and method to detect dislocation of object image data
KR0168243B1 (ko) 1994-12-19 1999-05-01 다떼이시 요시오 관측 영역 설정 방법 및 그 장치와, 이 관측 영역 설정 방법을 이용한 외관 검사 방법 및 그 장치
US5848189A (en) 1996-03-25 1998-12-08 Focus Automation Systems Inc. Method, apparatus and system for verification of patterns
US5963662A (en) 1996-08-07 1999-10-05 Georgia Tech Research Corporation Inspection system and method for bond detection and validation of surface mount devices
US5982927A (en) * 1996-12-19 1999-11-09 Cognex Corporation Methods and apparatuses for in-line solder paste inspection
US6317513B2 (en) * 1996-12-19 2001-11-13 Cognex Corporation Method and apparatus for inspecting solder paste using geometric constraints
US6324298B1 (en) * 1998-07-15 2001-11-27 August Technology Corp. Automated wafer defect inspection system and a process of performing such inspection
US6539106B1 (en) * 1999-01-08 2003-03-25 Applied Materials, Inc. Feature-based defect detection

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101103373B (zh) * 2005-01-10 2010-06-02 西泰克公司 改进的图像分割方法
CN101714180A (zh) * 2008-09-23 2010-05-26 卡姆特有限公司 基于参考信息的评价方法、系统和计算机程序产品
CN106094568A (zh) * 2010-05-21 2016-11-09 费希尔-罗斯蒙特系统公司 多阶段过程建模方法
CN106094568B (zh) * 2010-05-21 2019-04-02 费希尔-罗斯蒙特系统公司 多阶段过程建模方法
CN103186789A (zh) * 2011-12-27 2013-07-03 英业达股份有限公司 自动判别零件正确性的方法
CN103186789B (zh) * 2011-12-27 2016-09-07 英业达股份有限公司 自动判别零件正确性的方法
CN103366038A (zh) * 2012-03-28 2013-10-23 株式会社高永科技 印刷电路板检查装置的工作数据的生成及检查方法
CN105844048A (zh) * 2012-03-28 2016-08-10 株式会社高永科技 印刷电路板检查装置的工作数据的生成及检查方法
CN110084260A (zh) * 2013-06-28 2019-08-02 康耐视公司 一种训练多图案识别和配准工具模型的半监督方法
CN105849774B (zh) * 2014-01-15 2019-01-11 欧姆龙株式会社 图像对照装置、图像传感器、处理系统、图像对照方法
US9978138B2 (en) 2014-01-15 2018-05-22 Omron Corporation Image comparison device, image sensor, processing system, and image comparison method
CN105849774A (zh) * 2014-01-15 2016-08-10 欧姆龙株式会社 图像对照装置、图像传感器、处理系统、图像对照方法
CN107408297A (zh) * 2014-11-24 2017-11-28 基托夫系统有限公司 自动检查
CN107408297B (zh) * 2014-11-24 2021-02-02 基托夫系统有限公司 自动检查
CN111727412A (zh) * 2018-03-05 2020-09-29 欧姆龙株式会社 用于设定照明条件的方法、装置、系统及程序以及存储介质
CN111727412B (zh) * 2018-03-05 2023-07-14 欧姆龙株式会社 用于设定照明条件的方法、装置、系统以及存储介质
CN111752457A (zh) * 2019-03-28 2020-10-09 株式会社电装天 检查数据输出设备、显示系统和检查数据输出方法
CN110132978A (zh) * 2019-04-28 2019-08-16 无锡和博永新科技有限公司 电阻片整片检测装置及检测方法
CN111191800A (zh) * 2019-12-05 2020-05-22 万翼科技有限公司 设备模型核查方法、装置、计算机设备和存储介质
WO2023236038A1 (zh) * 2022-06-07 2023-12-14 西门子股份公司 电路板检测模型的更新方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
EP1297493A2 (en) 2003-04-02
CZ20024260A3 (cs) 2003-10-15
JP2004502250A (ja) 2004-01-22
AU2001271447A1 (en) 2002-01-08
KR20030012901A (ko) 2003-02-12
WO2002001504A3 (en) 2002-04-25
CN100361159C (zh) 2008-01-09
WO2002001504A2 (en) 2002-01-03
HUP0301721A3 (en) 2004-08-30
HUP0301721A2 (hu) 2003-08-28
PL365818A1 (en) 2005-01-10
US7167583B1 (en) 2007-01-23
KR100830523B1 (ko) 2008-05-21
TW561427B (en) 2003-11-11

Similar Documents

Publication Publication Date Title
CN1440543A (zh) 使用检查系统的图像处理系统
US8908957B2 (en) Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis
Li et al. Automatic industry PCB board DIP process defect detection system based on deep ensemble self-adaption method
Anitha et al. A survey on defect detection in bare PCB and assembled PCB using image processing techniques
US7409081B2 (en) Apparatus and computer-readable medium for assisting image classification
CN1942757A (zh) 分类装置和分类方法
CN107945184A (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
CN1573800A (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
Li et al. Automatic industry PCB board DIP process defect detection with deep ensemble method
CN111666824A (zh) 移动机器人的基于颜色属性和机器学习的指示灯识别方法
JP5045591B2 (ja) 検査領域の領域設定データの作成方法および基板外観検査装置
CN112304952A (zh) 影像辨识装置、影像辨识方法及其计算机程序产品
CN1308893C (zh) 生成电路板检验系统中使用的电路板特征调色板的方法
KR101441326B1 (ko) 자동광학검사기의 티칭데이터 자동 생성 장치 및 그 방법
Duong et al. Vision inspection system for pharmaceuticals
CN116091505B (zh) 一种蓝宝石衬底自动缺陷检测分类的方法和系统
Beuth et al. Improving automated visual fault detection by combining a biologically plausible model of visual attention with deep learning
CN116958052A (zh) 一种基于yolo和注意力机制的印刷电路板缺陷检测方法
CN1434918A (zh) 用于检验多色和轮廓图像的cam(计算机辅助制造)参考
KR101563332B1 (ko) 표면실장부품 패키지의 분류 시스템 및 방법
JPH03202707A (ja) 基板実装検査装置
JP2012028460A (ja) 部品有無判定装置及び部品有無判定方法
CN113298166A (zh) 缺陷分类器和缺陷分类方法、装置、设备及存储介质
CN1685358A (zh) 图像中文本区域自动定位方法和系统
JP3052734B2 (ja) 電子部品の欠品検査方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: LIANGRUI TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: TERADYNE, INC.

Effective date: 20041022

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20041022

Address after: Taiwan County, Taipei, China

Applicant after: Teradyne Inc.

Address before: Massachusetts, USA

Applicant before: Teradyne, INC.

C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080109

Termination date: 20130625