许多企业在推出人工默认名目时关注的是计算才干和网络。但他们或许疏忽了他们对海量存储需求的更大图景。
随着企业开局部署和经常使用人工默认，许多人看法到他们须要取得渺小的计算才干和极速的网络性能，但存储需求或许被漠视了。
一些人工默认和存储专家示意，启动聊天机器人或驳回人工默认助手不太或许对大少数企业的存储容量形成累赘，但可以访问数百万个数据点的大型人工默认名目或许须要数tb的新存储空间，或许会破费数千万美元。
Duos Technologies公司首席技术官Jeffrey Necciai示意，目前有几种存储选用，关于某些人工默认性能来说，云存储或传统硬盘或许就足够了。该公司应用人工默认与成像技术来审核行驶中的火车。
但Necciai和其余专家示意，关于须要提供即时照应或消息的人工默认系统，距离人工默认上班负载位置数百英里的硬盘和云存储或许太慢了。
Necciai说，例如，Duos Technologies公司在扫描铁路车辆后60秒内提供通知。在这种状况下，该公司须要与人工默认计算单元一同上班的超高速存储。
不只仅是硬盘的大小
Necciai说，思考大型人工默认名目的企业须要思考他们须要的存储量以及他们的存储同时处置多个义务的才干。
他补充说:“咱们须要为多个线程同时极速地写入存储，咱们须要为多个线程极速地从故事存储中读取。”“对咱们来说十分关键的是，能够同时对存储启动操作。”
去年，Duos Technologies公司扫描了850万辆火车车厢，每次扫描或许发生1050多张图像。Duos轨道车审核门户经常使用四个高性能存储阵列，每个存储阵列蕴含16个NVMe驱动器，总容量约为500TB。
该公司还经常使用了大概25TB的传统存储空间，用于外部培训和开发人工默认，缩小了对即时结果的需求。Necciai说:“咱们宿愿应用一切这些资源来做咱们须要做的事情。归根结底，就是用正确的工具做正确的上班。”
海量数据需求
与Duos Technologies公司一样，其余一些运转大型人工默认名目的企业正在转向大容量SSD或NAND闪存来满足其存储需求。
高速内存比硬盘贵得多，每千兆字节的老本高达1,000美元，但它们还有其余长处。企业固态硬盘制作商Solidigm公司的指导力营销初级总监Roger Corell举例说，固态硬盘的能效简直是主机和硬盘机架的三倍，占用的空间也更小。
他说，随着企业驳回更复杂、多形式的人工默认名目，以及越来越多的员工开局经常使用人工默认工具，对高容量、多线程存储选项的需求只会参与。
科雷尔补充道:“人工默认在须要存储的数据量以及须要以多快的速度访问这些海量数据集方面是如此弱小。
此外，人工默认和机器学习名目的对象存储公司MinIO公司首席技术官Ugur Tigli示意，除了SSD或NAND选项外，一些公司正在经常使用私有云或托管设备来满足他们的存储需求。
他说，驳回人工默认的MinIO客户通常会将存储容量参与4到10倍，他激励大规模人工默认用户在公共云之外寻觅存储需求，由于经常使用私有云或托管服务的老本或许比公共云低60%。
他说:“在数百P字节或1E字节或2E字节的规模上，在公共云中行不通。依据容量、分层和数据访问性能，每年的总老本将在数千万到数亿美元之间。”
Tigli补充说，与公共云不同，企业用户可以私下构建并“突发”到云上，以取得额外的GPU经常使用。他说:“这里的关键是，计算是弹性的，但数据有引力，并且以可预测的(虽然是减速的)速度增长，因此须要相应地构建计算。”
存储作为平台
数字转型服务商AHEAD公司的畛域首席技术官Priyanka Karan补充说，另一个选用触及PB规模存储平台。她示意，“PB规模存储平台旨在缩小数据移动的应战，行将数据从最后起飞的中央带到可以用于人工默认训练的中央。咱们的指标不是建设一个新的仓库。”
她说，一些可用的存储平台建设在NAND闪存上，这提供了高吞吐量和低提前，关于将数据馈送到GPU和TPU至关关键。
一些人工默认用户和专家示意，如今有几种选用，所需的存储数量和类型取决于组织正在部署的人工默认名目。
Karan示意，脱机批处置比实时上班负载的内存需求更低。她补充说，在某些状况下，二级存储选项可用于保留训练和运转人工默认模型所需的少量数据。
选用正确的存储选项还取决于经常提到的数据重力（也就是数据集的大小），能否可以将其移动到云中启动处置，或许对数据启动处置能否无心义。在一些人工默认名目中，数据存储与人工默认计算一同位于数据中心、另一个公共云或数据创立的边缘。
企业还有许多其余起因须要思考，包括安保性、法规或听从性应战。关于云存储，Karan说。“网络、距离和提前都是思考起因，但他们必需思考额外的老本变量。”
此外，除了存储自身的老本之外，或许还有数据传输费用、访问费用和非本地存储的治理费。另一方面，本地存储选项或许触及渺小的前期投资，以及保养、电力和冷却以及员工工资。
Karan说:“组织必需评价他们的特定需求，包括性能、老本和可裁减性，为他们的人工默认方案选用最佳处置方案。”