工业AI质检产线每天读写几十万张图片(MB级大文件)和CSV文件(KB级小文件),合规要求电子产品保存1-3年、汽车产品保存10-30年,亿级文件的混合读写、目录层级深、快速检索、过期删除——工业AI质检对存储系统提出了近乎苛刻的要求。联想这份白皮书提供了ONTAP与DXN分布式存储双方案,为制造业AI质检场景构建了完整的存储架构。
工业AI质检的存储挑战
工业AI质检正在成为制造业质量管控的核心手段。机台通过高分辨率工业相机持续采集产品图像,利用AI算法实时识别缺陷并分类,数据量呈爆发式增长。一个典型的面板产线每天可产生几十万张图片和CSV文件,在线数据保留1个月,归档数据保存数年甚至数十年。
工业AI质检存储面临五大核心挑战。数据量爆发式增长——机台持续产生大量数据,合规驱动数据归档需求(电子产品需保存1-3年,汽车产品产线质检数据则要保存10-30年)。可靠性与数据安全要求高——稳定性要求高,接受前端机台不间断输出文件,支持生产线持续运行,数据安全关系到产品质量和企业声誉,防止数据丢失、篡改。数据存储与管理难题——支持各种访问数据协议(SMB/NFS/S3/FTP),海量(亿级)小图片文件混合读写,文件目录层级深,过期数据需要归档或快速删除以释放存储空间,支持海量数据快速检索,图片压缩以降低存储空间。数据高效流动——各个阶段数据快速流转,无缝对接应用层及AI分析平台。
ONTAP方案——高性能与企业级数据服务
对于可靠性要求高、预算充足的工业AI质检场景,联想推荐ONTAP统一存储方案。ONTAP具备数据安全成熟稳定高可靠的特点,存储内置快照、D2D、灾备、归档、防勒索等功能,能够确保质检数据在整个生命周期内的安全性和完整性。
ONTAP方案的核心优势包括:支持多种数据访问协议(NFS/CIFS/S3/FTP),满足不同前端应用的数据访问需求;高性能NVME全闪存储结合NVRAM+WAFL架构,满足海量小文件的高IOPS读写需求;内置重复数据删除和数据压缩技术,可有效降低图片存储空间;存储内置快照和SnapCenter实现数据一致性保护,无须第三方备份软件;支持数据按热度自动分层,温数据自动迁移至低成本存储层,降低整体TCO;防勒索功能保护质检数据免受勒索病毒攻击。
在不影响性能的前提下,ONTAP对象存储可极大满足根据元数据高效检索图片的需求。自研产品可以定制满足检索、转存图片格式、压缩图片、批量删除文件等功能,有效应对亿级文件的管理挑战。
DXN分布式存储方案——成本可控的大规模扩展
对于预算有限、数据量持续增长的工业AI质检场景,联想推荐问天DXN分布式存储系统。DXN是联想自研的自主可控分布式非结构化存储产品,可为工业质检系统提供统一的非结构化存储和管理平台。
DXN方案的核心优势包括:支持标准的S3/SMB/NFS/FTP/POSIX等协议,前端业务系统可直接读写访问;分布式架构支持横向扩展,根据数据量和业务需求灵活扩容;节点内部利用分布式技术将NVMe、SSD、HDD等存储介质组织起来,构建全分布式存储池;支持智能数据分层,根据数据访问热度自动迁移至不同存储介质;支持多副本和纠删码数据保护,确保数据高可用性和完整性。
DXN在工业质检场景的典型适用型号为DXN3000 G2(4U36混闪,适用于中等规模集群部署)和DXN3500 G3(4U60混闪,适用于大容量集群部署)。对于更大规模的质检数据存储,DXN支持从TB级到PB级的无缝扩展。
成功案例——某头部面板厂商工业质检项目
某头部面板厂商的工业质检系统面临核心挑战:缺陷识别和分类系统每天读写几十万张图片(MB级别大文件)和CSV文件(KB级别小文件),在线保留1个月数据,每天读写的同时还需要删除超时数据,当前容量不超过100TB但未来数据会根据业务需求快速增长需要方便快捷扩容。
联想的解决方案采用联想问天DXN分布式存储,通过SMB协议支撑前端质检系统的数据读写,支持在线数据的快速访问和过期数据的自动删除,未来可基于DXN的横向扩展能力实现无缝扩容,满足业务快速增长的需求。
客户收益包括:海量小文件混合读写场景下的稳定性能表现,在线数据1个月保留周期内的快速访问,过期数据的自动化清理释放存储空间,按需扩展的灵活架构支撑未来数据增长,自研DXN产品的自主可控满足国产化需求。
该案例验证了DXN分布式存储在工业AI质检场景的适用性——对于海量小文件、混合读写、数据生命周期管理、弹性扩展等核心需求,DXN提供了成本可控、性能稳定、自主可控的完整解决方案。