刚果民主共和国2018年选民重复数据消除项目

案例分析

刚果民主共和国2018年选民重复数据消除项目

MegaMatcher自动生物特征识别系统(ABIS)和MegaMatcher Accelerator Extreme对4670万条多生物特征选民记录提供了快速准确的重复数据消除,识别了600多万条重复数据和90万条未成年人记录。Neurotechnology与刚果民主共和国全国独立选举委员会合作,在不到两个月的时间内完成了该项目。

  • 4670万选民完成注册
  • 6百万重复记录被发现
  • 90万年龄不足投票记录被发现
  • 2个月完成选票去重复化
  • 刚果民主共和国(DRC)在为2018年选举做准备时,希望尽可能多的选民登记,并希望这些登记能够准确记录所有潜在选民。国家独立选举委员会(CommissionÉlectorale National Indépendante或CÉNI)在其收集的数据库中有4670万选民的多生物测量数据,与Neurotechnology合作消除了登记册的重复。使用基于MegaMatcher Accelerator Extreme多生物测量匹配引擎的MegaMatcher ABIS,识别了600多万个重复项和90多万个未成年记录,并在不到两个月的时间内取得了结果。

    对于这个非常大规模的项目,CÉNI评估了许多解决方案,并选择Neurotechnology作为技术提供商和集成商,以帮助他们获得一组准确的选民记录。通过各种实地操作,收集了4670万名多生物计量注册者,Neurotechnology负责验证和消除由此产生的数据集的重复。

    Neurotechnology使用每秒可匹配多达12亿个指纹和人脸的MegaMatcher Accelerator Extreme(MMA Extreme)匹配引擎,建立了一个MegaMatcher自动生物识别系统(ABIS)交钥匙系统,对每个记录的10个指纹和面部生物特征进行全方位比较,匹配星等超过4670万x 4670万。

    背景

    • 客户:Astride The赤道,位于非洲中部,刚果民主共和国(DRC),按面积计算,是撒哈拉以南非洲******的国家,也是该大陆第二大国家。刚果民主共和国人口超过8600万,是非洲人口第四多的国家,也是世界上人口第十六多的国家。
    • 需要:了解到要进行公平公正的选举,必须核实4670万注册选民的基础,CÉNI与Neurotechnology合作,对每个人的多生物特征面部和指纹记录数据集进行了核实和消除重复,最终发现了600多万重复和90万未成年选民记录。
    • 挑战:随着2018年选举的快速临近,刚果民主共和国需要在两个月内消除选民数据库的重复数据,以确保该国所有选区在议会中都有公平的代表性。 集成商:Neurotechnology使用专有技术实施了该项目,以在现场完成系统安装和重复数据消除过程支持。
    • 解决方案:MegaMatcher ABIS是Neurotechnology基于MegaMatcher Accelerator的交钥匙解决方案,为家级项目提供高速、高容量指纹、虹膜和人脸生物识别以及数据库重复数据消除。

    “在选民登记清理过程中,我们的目标是找到尽可能多的重复和其他不符合要求的案例。Neurotechnology帮助我们实现了目标,并在创纪录的时间内开始和完成了重复数据消除过程,超出了我们的预期,他们能够识别数百万个重复数据。”Cornelle Nangaa Yobeluo先生, 国家独立选举委员会主席。

    通过大量注册数据寻求速度和准确性

    刚果民主共和国国民议会是以选区选民人数为基础的,因此在建立选民名册时尽可能准确是非常重要的。为了确保选民数据库的准确性,Neurotechnology团队建立了MegaMatcher ABIS,使用Neurotechology的MegaMatcher Accelerator Extreme匹配引擎,在所有人同时比较的情况下处理所有4670万注册选民的多生物量脸+10指纹记录;将数据库中的每个记录与其他记录进行匹配。

    大型数据集(如DRC收集的数据集)中的ABIS和重复数据消除过程需要一个强大的系统。虽然一些生物识别系统试图通过按区域划分重复数据消除或将人分组(例如按年龄或性别)来简化处理并提高速度,但这种复杂性的降低也会降低准确性。对于许多不同的供应商解决方案,这些缩减或切片的数据集有时可以显示出令人印象深刻的结果。但是,当数据集庞大、多方面且作为一个整体进行处理时,它需要一个更强大的系统,如Neurotechnology的MegaMatcher ABIS和MegaMatcher Accelerator Extreme。

    由于刚果民主共和国的一些选举被推迟,人们认为当前的进程应该迅速、最重要的是准确地进行,这一点很重要。在这种情况下,以Neurotechnology为集成商,重复数据消除过程;从设置、需求检查、配置和试点到整个数据集的最终重复数据消除;用了不到两个月的时间。

    支持公平选举的重要结果

    Neurotechnology的软件和操作员团队通过对46815156份多生物测量选民记录的研究,发现了6002346份重复或多重复记录,占整个记录的12%以上。该系统发现了300多种个人登记参加选举超过六次的情况。此外,这一过程确定902290名登记选民未成年,因此没有资格投票。考虑到刚果民主共和国选区在议会中的代表人数,这些数字足以影响选举。

    这一过程的准确性不仅仅基于自动重复数据消除系统,该系统完全匹配指纹和面部生物特征以及年龄识别;它还包括一支由近300名操作员组成的骨干队伍,他们手动审查并确认了该系统识别的重复和未成年记录。

    虽然MMA Extreme设置能够应对4670万x 4670万的匹配挑战,但由于其效率,它仍然只使用了11台服务器,整个MegaMatcher ABIS系统可以轻松安装在两个机架内,极大地简化了维护,同时将相关成本降至最低。

    用于DRC选民重复数据消除过程的系统

    DRC重复数据消除过程利用了MegaMatcher ABIS(MM ABIS)的模块化体系结构。该神经技术系统的结构使其能够根据不同的功能和性能要求进行配置。该体系结构可以在逻辑上分为各种服务和应用程序。

    MM ABIS的管理服务旨在维护系统的完整性,确保各个操作的一致执行。它是MM ABIS的核心组件,负责协调所有系统服务的工作并管理操作的工作流。

    图像处理服务基于MegaMatcher生物特征模板提取技术。该组件用于生物特征数据质量评估以及从指纹、人脸和虹膜图像中提取生物特征数据。

    匹配服务是一个高性能的生物特征引擎,可执行以下操作:

    • 身份验证–将生物特征模板与选定的数据库记录进行匹配(1对1)。
    • 人员识别–将生物特征模板与整个数据库进行匹配(一对多)。
    • 记录重复数据消除—将数据库中的所有生物特征模板相互匹配(多对多)。有问题的匹配结果通过裁决程序自动或由人工操作员解决。

    “小规模创建、部署和使用自动生物识别系统相对容易;随着规模的扩大,复杂性和重大挑战也随之出现。随着该项目的成功实施,我们的MegaMatcher ABIS和MegaMatcher Accelerator Extreme产品被证明适用于大规模的国家部署。”Denis Kačan先生, MegaMatcher ABIS Neurotechnology产品经理

    该服务基于MegaMatcher加速器技术,由管理服务控制。匹配服务是一个可扩展的单元。多个单元可以排列成一个集群,以满足特定项目的性能和容量要求

    MM ABIS数据库服务为事务相关数据提供可靠的存储。它可以是由多个数据库实例组成的可靠集群的一部分。MM ABIS使用两个数据库——Main和Template。

    主数据库仅由管理服务访问,用于MM ABIS特定数据:

    • 交易信息(基于图形和标准的生物特征样本、传记数据、上下文数据、状态、结果、注册时间戳、执行时间戳、完成时间戳等)。
    • 用户信息(用户名、角色、所采取的操作)。

    匹配服务使用的模板数据库是生物特征数据的主要存储区域。记录以Neurotechnology专有格式存储,以确保高性能。

    裁决模块旨在为生物特征专家提供一个全面的工具集,以手动调查生物特征操作并对未解决的记录做出决定。

    系统管理模块旨在使用基于角色的访问控制来管理和监控MegaMatcher ABIS系统,它由以下部分组成:

    • 系统管理–提供管理MegaMatcher ABIS系统状态的能力。
    • 系统监控-专用于可视化MegaMatcher ABIS实时执行监控。
    • 用户管理—专门用于创建和撤销用户,以及提供或限制对特定MegaMatcher ABIS模块的访问权限。
    • 系统配置–提供定义搜索引擎标准的能力(例如用于识别和验证的匹配阈值)。
    • 报告生成-提供带有过滤选项的统计报告,用于完整的MMABIS行动检查。
    阅读更多