it技術(shù)員會(huì)所以高深技術(shù)總結(jié)一下吧。高手參加時(shí)提高很大。1：是一個(gè)大數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)管理系統(tǒng)，以提供平臺(tái)及其開發(fā)的各種應(yīng)用開發(fā)框架hdfs為核心。在此框架下，所有數(shù)據(jù)都會(huì)存儲(chǔ)在類似hdfs中的文件系統(tǒng)里，并且定期（年月日次）進(jìn)行調(diào)度分析。

hdfs可以相當(dāng)于一個(gè)小型數(shù)據(jù)庫(kù)，所有數(shù)據(jù)可以合并，并且可以按數(shù)據(jù)顆粒度，將數(shù)據(jù)按時(shí)間段分組。如redis、solr、、，、db2等，還有物聯(lián)網(wǎng)，互聯(lián)網(wǎng)，生物醫(yī)藥，影像分析這樣的業(yè)務(wù)應(yīng)用，都會(huì)用到。分組，顆粒度，按顆粒度分配數(shù)據(jù)，分配數(shù)據(jù)通過分組，再按數(shù)據(jù)集分組，再組合，存儲(chǔ)在顆粒度上一些磁盤，內(nèi)存這樣的計(jì)算資源計(jì)算資源，通過平臺(tái)里的文件系統(tǒng)加載，平臺(tái)用來(lái)調(diào)度執(zhí)行計(jì)算。

為了解決生產(chǎn)環(huán)境計(jì)算力不足問題，將一些信息存儲(chǔ)在hdfs上，調(diào)度計(jì)算的時(shí)候也調(diào)用hdfs上存儲(chǔ)的這些計(jì)算資源。2：隨著應(yīng)用規(guī)模的不斷增大，的實(shí)際并發(fā)量也跟著大量增長(zhǎng)it技術(shù)員，在這個(gè)過程中，計(jì)算壓力也隨之增大，計(jì)算壓力如何管理，應(yīng)該如何管理都需要知道。后面講3：虛擬機(jī)，大量應(yīng)用的運(yùn)行需要文件系統(tǒng)，讀寫了hdfs和文件系統(tǒng)實(shí)時(shí)數(shù)據(jù)。

虛擬機(jī)可以管理和復(fù)制hdfs的數(shù)據(jù)，對(duì)hdfs和文件系統(tǒng)起管理作用。目前來(lái)看，用虛擬機(jī)管理hdfs文件系統(tǒng)實(shí)際挺方便的，又有it技術(shù)員，中間數(shù)據(jù)處理不需要，也不需要實(shí)時(shí)數(shù)據(jù)，所以用虛擬機(jī)管理hdfs，中間數(shù)據(jù)交互使用虛擬機(jī)。4：其他的相關(guān)的設(shè)置問題也要知道，比如在某個(gè)數(shù)據(jù)集上結(jié)果存儲(chǔ)時(shí)需要幾個(gè)虛擬機(jī)，各虛擬機(jī)在什么時(shí)候啟動(dòng)，虛擬機(jī)和各虛擬機(jī)使用場(chǎng)景差異，虛擬機(jī)不能隨時(shí)建立連接等。

5：還需要知道hdfs的存儲(chǔ)結(jié)構(gòu)，虛擬機(jī)可以存一些應(yīng)用的數(shù)據(jù)，但是hdfs數(shù)據(jù)很多，比如運(yùn)行時(shí)，數(shù)據(jù)已經(jīng)連接到文件系統(tǒng)，但是把運(yùn)行時(shí)應(yīng)用存在hdfs文件系統(tǒng)不容易。因此，hdfs可以存在文件系統(tǒng)和文件系統(tǒng)里，也可以存在一個(gè)獨(dú)立的hdfs文件系統(tǒng)里，這里主要區(qū)別是一個(gè)是文件系統(tǒng)，一個(gè)是文件系統(tǒng)。6：寫入設(shè)備相關(guān)的控制（io相關(guān)和內(nèi)存相關(guān)）和讀取設(shè)備相關(guān)的控制（讀寫設(shè)備相關(guān)）。