殿上欢,性爱有声小说在线收听,有声小说在线收听网

通過(guò)NVMe讓AI更智能的四種方式

2018-11-26 21:30:06 未知

點(diǎn)擊關(guān)注->創(chuàng)芯網(wǎng)公眾號(hào)，后臺(tái)告知EETOP論壇用戶(hù)名，獎(jiǎng)勵(lì)200信元

作者：西部數(shù)據(jù)公司企業(yè)級(jí)Device產(chǎn)品管理部副總裁 Ulrich Hansen

各領(lǐng)域的業(yè)務(wù)都在將以AI為例的機(jī)器學(xué)習(xí)技術(shù)引入其流程中，以期為客戶(hù)帶來(lái)更好的產(chǎn)品，為股東創(chuàng)造更高的營(yíng)收成果。然而，要有效部署AI，需要自定義的機(jī)器學(xué)習(xí)模型、大量的計(jì)算和數(shù)量不可預(yù)估的數(shù)據(jù)。處理PB級(jí)數(shù)據(jù)，無(wú)論這數(shù)據(jù)是來(lái)自于最小的物聯(lián)網(wǎng)設(shè)備還是世界上最大的城市，這一任務(wù)對(duì)設(shè)計(jì)于兆字節(jié)和毫秒的時(shí)代的存儲(chǔ)技術(shù)來(lái)說(shuō)都將是一大挑戰(zhàn)。

為機(jī)器學(xué)習(xí)提供所有的數(shù)據(jù)，就需要為內(nèi)存速度存儲(chǔ)設(shè)計(jì)一項(xiàng)新的存儲(chǔ)接口技術(shù)：NVM Express (NVMe)。NVMe與SATA和SAS不同，它消除了磁盤(pán)為中心協(xié)議的延遲誘導(dǎo)水平，而使用更快的通用處理器連接技術(shù)和PCI Express (PCIe)來(lái)減少延遲，為每個(gè)設(shè)備提供大量的帶寬能力。對(duì)于PB級(jí)別的專(zhuān)注和微秒的處理使得NVMe非常適合機(jī)器學(xué)習(xí)。

數(shù)據(jù)是AI傳遞途徑

機(jī)器學(xué)習(xí)的關(guān)鍵是數(shù)據(jù)。生成有意義的結(jié)果需要處理大量數(shù)據(jù)，這就要求我們有經(jīng)過(guò)深思熟慮的數(shù)據(jù)工作流程。每個(gè)公司都有著不同的數(shù)據(jù)工作流程，以滿(mǎn)足其自身的業(yè)務(wù)需求，流程可大概分為以下階段：收集、準(zhǔn)備、設(shè)計(jì)和訓(xùn)練。這四個(gè)階段的數(shù)據(jù)工作流程輸出的通常是可以對(duì)邊緣或核心的新數(shù)據(jù)進(jìn)行推斷的模型。由于需要大量的數(shù)據(jù)，因此所有階段都需要通過(guò)其對(duì)數(shù)據(jù)流的優(yōu)化，避免出現(xiàn)瓶頸。NVMe接口的設(shè)計(jì)就是為了滿(mǎn)足此要求，可以通過(guò)以下四種方式為AI的傳遞途徑提供幫助：

更快捷、更經(jīng)濟(jì)實(shí)惠的數(shù)據(jù)收集
更快速的數(shù)據(jù)集準(zhǔn)備周期
更短的模型設(shè)計(jì)周期轉(zhuǎn)變時(shí)間
更有硬件效率的模型訓(xùn)練

NVMe用于更智能的數(shù)據(jù)收集

實(shí)現(xiàn)AI首先會(huì)面臨到的挑戰(zhàn)即是如何將原始數(shù)據(jù)收集到集中式數(shù)據(jù)存儲(chǔ)中。這些數(shù)據(jù)的種類(lèi)幾乎是無(wú)限的：包括來(lái)自IOT設(shè)備的傳感器報(bào)告、網(wǎng)絡(luò)日志、制造質(zhì)量報(bào)告等。事實(shí)上，數(shù)據(jù)是由例如Apache Spark™之類(lèi)的工具或商業(yè)服務(wù)對(duì)該任務(wù)進(jìn)行處理，然后在新的數(shù)據(jù)流中進(jìn)行篩選，最后將非結(jié)構(gòu)化數(shù)據(jù)輸出到NoSQL數(shù)據(jù)庫(kù)集群中。NVMe在提高其反應(yīng)速度的同時(shí)，還能減少占用這些服務(wù)器的物理空間。

傳統(tǒng)的非結(jié)構(gòu)化查詢(xún)語(yǔ)言（NoSQL＝Not Only SQL）集群由具有多個(gè)本地硬盤(pán)接口的服務(wù)器和SATA硬盤(pán)組成。硬盤(pán)確實(shí)為PB級(jí)的數(shù)據(jù)提供了經(jīng)濟(jì)實(shí)惠的存儲(chǔ)方法，但要實(shí)現(xiàn)更大的帶寬，需要通過(guò)幾十個(gè)SATA或SAS硬盤(pán)與服務(wù)器連接。此架構(gòu)明顯增加了單個(gè)服務(wù)器的大小，并且快速填充數(shù)據(jù)中心的機(jī)架，其中CPU服務(wù)器卻大多處于空閑的狀態(tài)。

單獨(dú)的NVMe接口即可為多種獨(dú)立的SATA或SAS接口提供所需的帶寬，且只需要一個(gè)附加卡或2.5寸硬盤(pán)。用更小的NVMe SSD替換單個(gè)NoSQL服務(wù)器的大硬盤(pán)陣列，可以縮小單個(gè)NoSQL節(jié)點(diǎn)并顯著減少整個(gè)機(jī)架的空間。

NVMe用于更智能數(shù)據(jù)準(zhǔn)備

當(dāng)今AI訓(xùn)練的一個(gè)必要前提就是擁有TB級(jí)或PB級(jí)的數(shù)據(jù)。但通常該數(shù)據(jù)并不是隨時(shí)可用的格式。需要將數(shù)據(jù)轉(zhuǎn)化成更容易被AI傳遞途徑處理的格式，過(guò)濾掉異常值和虛假數(shù)據(jù)。對(duì)于部分不適合使用或不能合法使用的數(shù)據(jù)，例如受到保護(hù)的個(gè)人信息，也可能需要在這一階段將其過(guò)濾掉。

這種處理需求可能會(huì)超過(guò)一個(gè)存儲(chǔ)系統(tǒng)的可受范圍，如果該存儲(chǔ)系統(tǒng)不是為高吞吐量而設(shè)計(jì)的話(huà)。與NVMe基于PCIe高達(dá)6.4GB/s或更高的帶寬相比，SAS和SATA的每個(gè)接口的有限帶寬顯得相對(duì)緩慢。同時(shí)在這一準(zhǔn)備階段，帶寬不是存儲(chǔ)系統(tǒng)的唯一要求：并行性也是一大關(guān)鍵因素。由于處理的數(shù)據(jù)量非常大，因此，在這一處理階段，并行操作存在于集群中的多個(gè)服務(wù)器，以及在單個(gè)服務(wù)器中多個(gè)核心上。NVMe支持高達(dá)64K的命令隊(duì)列和64K的命令，簡(jiǎn)化了這些服務(wù)器內(nèi)的并行操作。

NVMe用于更智能的模型設(shè)計(jì)

在將數(shù)據(jù)清理、準(zhǔn)備成統(tǒng)一且容易理解的格式后，數(shù)據(jù)科學(xué)家的工作才正要開(kāi)始。由于每個(gè)問(wèn)題都是不同的，因此很多時(shí)候，科學(xué)家需要迭代地開(kāi)發(fā)出獨(dú)特的機(jī)器學(xué)習(xí)結(jié)構(gòu)。只有在多次試驗(yàn)和失敗后，較小的數(shù)據(jù)子集才能成為候選的可訓(xùn)練模型，發(fā)送到下一個(gè)處理階段。畢竟在所有科學(xué)工程項(xiàng)目在得到最終解決方案前，都會(huì)經(jīng)歷過(guò)許多錯(cuò)誤，因此需要進(jìn)行多次的嘗試。

在試錯(cuò)的過(guò)程中，單個(gè)循環(huán)的速度會(huì)對(duì)最后的模型設(shè)計(jì)和產(chǎn)生的機(jī)器學(xué)習(xí)模型的質(zhì)量造成外部影響。而將設(shè)計(jì)測(cè)試的循環(huán)時(shí)間從10個(gè)小時(shí)縮短到8個(gè)小時(shí)，會(huì)使數(shù)據(jù)科學(xué)家的效率翻倍。科學(xué)家可以在早上設(shè)計(jì)和運(yùn)行測(cè)試，獲得結(jié)果，并及時(shí)調(diào)整參數(shù)，而不是在早上開(kāi)始工作，直到第二天才看到結(jié)果。以每天進(jìn)行一個(gè)測(cè)試的效率來(lái)說(shuō)，科學(xué)家在下午下班前就能開(kāi)始另一項(xiàng)工作，每天能有兩個(gè)循環(huán)的效率。

就如之前的階段，NVMe帶寬和并行性發(fā)揮其作用，幫助提高數(shù)據(jù)科學(xué)家的效率。在科學(xué)家們的個(gè)人工作室，他們對(duì)模型進(jìn)行沙盤(pán)推演的測(cè)試，利用NVMe的低延時(shí)性運(yùn)行系統(tǒng)、測(cè)試數(shù)據(jù)集，并為分析和測(cè)試運(yùn)行提供更快的暫存空間。

NVMe用于更智能的模型訓(xùn)練

在數(shù)據(jù)工程師將數(shù)據(jù)格式化成為可用于機(jī)器學(xué)習(xí)的格式，同時(shí)數(shù)據(jù)科學(xué)家對(duì)學(xué)習(xí)模型的結(jié)構(gòu)進(jìn)行設(shè)計(jì)后，網(wǎng)絡(luò)的實(shí)際訓(xùn)練才正式開(kāi)始。通過(guò)無(wú)數(shù)配備了加速器的機(jī)器將格式化后的數(shù)據(jù)提取出來(lái)，并用它來(lái)提煉模型的參數(shù)，直到將數(shù)據(jù)匯聚成一個(gè)模型，才可用于實(shí)際的推理應(yīng)用。

基于GPU的早期加速技術(shù)很少受到I/O的限制，因此存儲(chǔ)性能往往不是我們關(guān)注的焦點(diǎn)。運(yùn)行服務(wù)器的通用CPU有充足的時(shí)間處理I/O操作，并為GPU準(zhǔn)備下一批數(shù)據(jù)。但這在現(xiàn)今早已不適用了，其擁有FPGA，甚至實(shí)現(xiàn)了ASIC硬件定制以進(jìn)行模式訓(xùn)練。

相比以前的技術(shù)，由于現(xiàn)代機(jī)器學(xué)習(xí)加速器可以更快地處理數(shù)量級(jí)的數(shù)據(jù)，運(yùn)行服務(wù)器的通用CPU需要能有效地處理I/O數(shù)量級(jí)的模式。像SATA和SAS這樣的傳統(tǒng)I/O棧浪費(fèi)了寶貴的CPU周期，將I/O請(qǐng)求轉(zhuǎn)換為上世紀(jì)設(shè)計(jì)的協(xié)議。這樣就增加了I/O請(qǐng)求的延遲，會(huì)直接影響加速器的使用。這些遺留I/O棧也增加了主機(jī)CPU的負(fù)載，限制了每個(gè)處理器上可運(yùn)行的加速器的數(shù)量。

由于從一開(kāi)始就將NVMe設(shè)計(jì)成為內(nèi)存速度存儲(chǔ)協(xié)議，因此其不會(huì)產(chǎn)生協(xié)議轉(zhuǎn)換的成本。這就減少了處理器的負(fù)載，有助于保證及時(shí)將數(shù)據(jù)反饋到下一代加速器中。目前正在研究的NVMe協(xié)議具有一個(gè)激動(dòng)人心的擴(kuò)展—控制器內(nèi)存緩沖（CMB），允許NVMe設(shè)備在不受主機(jī)干預(yù)的情況下，得以直接處理內(nèi)存轉(zhuǎn)換并進(jìn)一步減少負(fù)載。

NVMe-用于更智能的AI

機(jī)器學(xué)習(xí)和AI是建立在數(shù)據(jù)之上。從最初的數(shù)據(jù)收集、將其處理為可用的格式、開(kāi)發(fā)學(xué)習(xí)架構(gòu)、到最后訓(xùn)練的模型都需要一個(gè)在PB級(jí)規(guī)模上有效的存儲(chǔ)接口，并且針對(duì)微秒級(jí)延遲進(jìn)行優(yōu)化。NVMe作為一項(xiàng)提升內(nèi)存速度的存儲(chǔ)技術(shù)能為機(jī)器學(xué)習(xí)和其它應(yīng)用提供所需的存儲(chǔ)接口。

關(guān)于作者：
Ulrich Hansen

Ulrich Hansen，西部數(shù)據(jù)公司企業(yè)級(jí)Device產(chǎn)品管理部副總裁。他負(fù)責(zé)西部數(shù)據(jù)公司企業(yè)級(jí)SSD產(chǎn)品組合的產(chǎn)品策劃、生產(chǎn)線管理和技術(shù)市場(chǎng)，包括確保在新產(chǎn)品和技術(shù)成功引入公司和數(shù)據(jù)中心市場(chǎng)時(shí)，對(duì)公司下一代的SSD產(chǎn)品進(jìn)行定義。同時(shí)他還負(fù)責(zé)市場(chǎng)機(jī)遇和新興產(chǎn)品的評(píng)估、新產(chǎn)品需求定義、將客戶(hù)和行業(yè)合作伙伴與西部數(shù)據(jù)的產(chǎn)品和技術(shù)戰(zhàn)略相結(jié)合。

Ulrich Hansen擁有超過(guò)20年的高科技領(lǐng)域經(jīng)驗(yàn)，包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)和通訊系統(tǒng)。在HGST加入西部數(shù)據(jù)之前，Ulrich Hansen曾任Entorian Technologies市場(chǎng)部的高級(jí)總監(jiān)，并在A.T. Kearney和戴爾等管理咨詢(xún)公司和科技公司擔(dān)任產(chǎn)品開(kāi)發(fā)、市場(chǎng)規(guī)劃和企業(yè)策略等高級(jí)職位。

Ulrich Hansen擁有德克薩斯大學(xué)奧斯汀分校企業(yè)管理碩士學(xué)位以及德國(guó)亞琛工業(yè)大學(xué)電氣工程的碩士學(xué)位。