相比於邏輯回歸，在很多情況下，SVM算法能夠對數據計算從而產生更好的精度。而傳統的SVM只能適用於二分類操作，不過卻可以通過核技巧（核函數），使得SVM可以應用於多分類的任務中。

本篇文章只是介紹SVM的原理以及核技巧究竟是怎麼一回事，最後會介紹sklearn svm各個參數作用和一個demo實戰的內容，盡量通俗易懂。至於公式推導方面，網上關於這方面的文章太多了，這裏就不多進行展開了~

1.SVM簡介

支持向量機，能在N維平面中，找到最明顯得對數據進行分類的一個超平面！看下面這幅圖：

如上圖中，在二維平面中，有紅和藍兩類點。要對這兩類點進行分類，可以有很多種分類方法，就如同圖中多條綠線，都可以把數據分成兩部分。

但SVM做的，是找到最好的那條線（二維空間），或者說那個超平面（更高維度的空間），來對數據進行分類。這個最好的標準，就是最大間距。

至於要怎麼找到這個最大間距，要找到這個最大間距，這裏大概簡單說一下，兩個類別的數據，到超平面的距離之和，稱之為間隔。而要做的就是找到最大的間隔。

這最終就變成了一個最大化間隔的優化問題。

2.SVM的核技巧

核技巧，主要是為了解決線性SVM無法進行多分類以及SVM在某些線性不可分的情況下無法分類的情況。

比如下面這樣的數據：

這種時候就可以使用核函數，將數據轉換一下，比如這裏，我們手動定義了一個新的點，然後對所有的數據，計算和這個新的點的歐式距離，這樣我們就得到一個新的數據。而其中，離這個新點距離近的數據，就被歸為一類，否則就是另一類。這就是核函數。

這是最粗淺，也是比較直觀的介紹了。通過上面的介紹，是不是和Sigmoid有點像呢？都是通過將數據用一個函數進行轉換，最終得到結果，其實啊，Sigmoid就是一鍾核函數來着，而上面說的那種方式，是高斯核函數。

這裏補充幾點：

• 1.上面的圖中只有一個點，實際可以有無限多個點，這就是為什麼說SVM可以將數據映射到多維空間中。計算一個點的距離就是1維，2個點就是二維，3個點就是三維等等。。。
• 2.上面例子中的紅點是直接手動指定，實際情況中可沒辦法這樣，通常是用隨機產生，再慢慢試出最好的點。
• 3.上面舉例這種情況屬於高斯核函數，而實際常見的核函數還有多項式核函數，Sigmoid核函數等等。

OK，以上就是關於核技巧（核函數）的初步介紹，更高級的這裏也不展開了，網上的教程已經非常多了。

接下來我們繼續介紹sklearn中SVM的應用方面內容。

3.sklearn中SVM的參數

def SVC(C=1.0, 
             kernel='rbf', 
             degree=3, 
             gamma='auto_deprecated',
             coef0=0.0, 
             shrinking=True, 
             probability=False,
             tol=1e-3, 
             cache_size=200, 
             class_weight=None,
             verbose=False, 
             max_iter=-1, 
             decision_function_shape='ovr',
             random_state=None)
 
- C：類似於Logistic regression中的正則化係數，必須為正的浮點數，默認為 1.0，這個值越小，說明正則化效果越強。換句話說，這個值越小，越訓練的模型更泛化，但也更容易欠擬合。
- kernel：核函數選擇，比較複雜，稍後介紹
- degree：多項式階數，僅在核函數選擇多項式（即“poly”）的時候才生效，int類型，默認為3。
- gamma：核函數係數，僅在核函數為高斯核，多項式核，Sigmoid核（即“rbf“，“poly“ ，“sigmoid“）時生效。float類型，默認為“auto”（即值為 1 / n_features）。
- coef0：核函數的獨立項，僅在核函數為多項式核核Sigmoid核（即“poly“ ，“sigmoid“）時生效。float類型，默認為0.0。獨立項就是常數項。
- shrinking：不斷縮小的啟髮式方法可以加快優化速度。 就像在FAQ中說的那樣，它們有時會有所幫助，有時卻沒有幫助。 我認為這是運行時問題，而不是收斂問題。
- probability：是否使用概率評估，布爾類型，默認為False。開啟的話會評估數據到每個分類的概率，不過這個會使用到較多的計算資源，慎用！！
- tol：停止迭代求解的閾值，單精度類型，默認為1e-3。邏輯回歸也有這樣的一個參數，功能都是一樣的。
- cache_size：指定使用多少內存來運行，浮點型，默認200，單位是MB。
- class_weight：分類權重，也是和邏輯回歸的一樣，我直接就搬當時的內容了：分類權重，可以是一個dict（字典類型），也可以是一個字符串"balanced"字符串。默認是None，也就是不做任何處理，而"balanced"則會去自動計算權重，分類越多的類，權重越低，反之權重越高。也可以自己輸出一個字典，比如一個 0/1 的二元分類，可以傳入{0:0.1,1:0.9}，這樣 0 這個分類的權重是0.1，1這個分類的權重是0.9。這樣的目的是因為有些分類問題，樣本極端不平衡，比如網絡攻擊，大部分正常流量，小部分攻擊流量，但攻擊流量非常重要，需要有效識別，這時候就可以設置權重這個參數。
- verbose：輸出詳細過程，int類型，默認為0（不輸出）。當大於等於1時，輸出訓練的詳細過程。僅當"solvers"參數設置為"liblinear"和"lbfgs"時有效。
- max_iter：最大迭代次數，int類型，默認-1（即無限制）。注意前面也有一個tol迭代限制，但這個max_iter的優先級是比它高的，也就如果限制了這個參數，那是不會去管tol這個參數的。
- decision_function_shape：多分類的方案選擇，有“ovo”，“ovr”兩種方案，也可以選則“None”，默認是“ovr”，詳細區別見下面。
- random_state：隨時數種子。

sklearn-SVM參數，kernel特徵選擇

kernel：核函數選擇，字符串類型，可選的有“linear”，“poly”，“rbf”，“sigmoid”，“precomputed”以及自定義的核函數，默認選擇是“rbf”。各個核函數介紹如下：
“linear”：線性核函數，最基礎的核函數，計算速度較快，但無法將數據從低維度演化到高維度
“poly”：多項式核函數，依靠提升維度使得原本線性不可分的數據變得線性可分
“rbf”：高斯核函數，這個可以映射到無限維度，缺點是計算量比較大
“sigmoid”：Sigmoid核函數，對，就是邏輯回歸裏面的那個Sigmoid函數，使用Sigmoid的話，其實就類似使用一個一層的神經網絡
“precomputed”：提供已經計算好的核函數矩陣，sklearn不會再去計算，這個應該不常用
“自定義核函數”：sklearn會使用提供的核函數來進行計算
說這麼多，那麼給個不大嚴謹的推薦吧
樣本多，特徵多，二分類，選擇線性核函數
樣本多，特徵多，多分類，多項式核函數
樣本不多，特徵多，二分類/多分類，高斯核函數
樣本不多，特徵不多，二分類/多分類，高斯核函數

當然，正常情況下，一般都是用交叉驗證來選擇特徵，上面所說只是一個較為粗淺的推薦。

sklearn-SVM參數，多分類方案

其實這個在邏輯回歸裏面已經有說過了，這裏還是多說一下。

原始的SVM是基於二分類的，但有些需求肯定是需要多分類。那麼有沒有辦法讓SVM實現多分類呢？那肯定是有的，還不止一種。

實際上二元分類問題很容易推廣到多元邏輯回歸。比如總是認為某種類型為正值，其餘為0值。

舉個例子，要分類為A，B，C三類，那麼就可以把A當作正向數據，B和C當作負向數據來處理，這樣就可以用二分類的方法解決多分類的問題，這種方法就是最常用的one-vs-rest，簡稱OvR。而且這種方法也可以方便得推廣到其他二分類模型中（當然其他算法可能有更好的多分類辦法）。

另一種多分類的方案是Many-vs-Many(MvM)，它會選擇一部分類別的樣本和另一部分類別的樣本來做二分類。

聽起來很不可思議，但其實確實是能辦到的。比如數據有A，B，C三個分類。

我們將A，B作為正向數據，C作為負向數據，訓練出一個分模型。再將A，C作為正向數據，B作為負向數據，訓練出一個分類模型。最後B，C作為正向數據，C作為負向數據，訓練出一個模型。

通過這三個模型就能實現多分類，當然這裏只是舉個例子，實際使用中有其他更好的MVM方法。限於篇幅這裏不展開了。

MVM中最常用的是One-Vs-One（OvO）。OvO是MvM的特例。即每次選擇兩類樣本來做二元邏輯回歸。

對比下兩種多分類方法，通常情況下，Ovr比較簡單，速度也比較快，但模型精度上沒MvM那麼高。MvM則正好相反，精度高，但速度上比不過Ovr。

4.sklearn SVM實戰

我們還是使用鳶尾花數據集，不過這次只使用其中的兩種花來進行分類。首先準備數據：

import matplotlib.pyplot as plt
import numpy as np
from sklearn import svm,datasets
import pandas as pd
tem_X = iris.data[:, :2]
tem_Y = iris.target
new_data = pd.DataFrame(np.column_stack([tem_X,tem_Y]))
#過濾掉其中一種類型的花
new_data = new_data[new_data[2] != 1.0]
#生成X和Y
X = new_data[[0,1]].values
Y = new_data[[2]].values

然後用數據訓練，並生成最終圖形

# 擬合一個SVM模型
clf = svm.SVC(kernel='linear')
clf.fit(X, Y)

# 獲取分割超平面
w = clf.coef_[0]
# 斜率
a = -w[0] / w[1]
# 從-5到5，順序間隔採樣50個樣本，默認是num=50
# xx = np.linspace(-5, 5)  # , num=50)
xx = np.linspace(-2, 10)  # , num=50)
# 二維的直線方程
yy = a * xx - (clf.intercept_[0]) / w[1]
print("yy=", yy)

# plot the parallels to the separating hyperplane that pass through the support vectors
# 通過支持向量繪製分割超平面
print("support_vectors_=", clf.support_vectors_)
b = clf.support_vectors_[0]
yy_down = a * xx + (b[1] - a * b[0])
b = clf.support_vectors_[-1]
yy_up = a * xx + (b[1] - a * b[0])

# plot the line, the points, and the nearest vectors to the plane
plt.plot(xx, yy, 'k-')
plt.plot(xx, yy_down, 'k--')
plt.plot(xx, yy_up, 'k--')

plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80, facecolors='none')


plt.scatter(X[:, 0].flat, X[:, 1].flat, c='#86c6ec', cmap=plt.cm.Paired)
# import operator
# from functools import reduce
# plt.scatter(X[:, 0].flat, X[:, 1].flat, c=reduce(operator.add, Y), cmap=plt.cm.Paired)

plt.axis('tight')
plt.show()

最終的SVM的分類結果如下：

以上~

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※高價收購3C產品,價格不怕你比較

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※3c收購,鏡頭 收購有可能以全新價回收嗎?

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

質量和效率似乎永遠都是一對冤家，儘管我們都希望既有質量，又有效率。

把“質量”當做宗旨的企業，通常都有一系列的規章制度，甚至是繁重且冗餘的流程用來約束軟件開發過程中種種“有意”或“無意”的威脅軟件質量的行為。

把“效率”當做宗旨的企業，通常其內部並無嚴格的規章制度，甚至寬鬆到一個人都可以輕鬆地完成從刪庫到跑路。

從事IT行業的相關人員大多知道，軟件開發不同於一般性的勞動，它並不能單純地增加人手就能縮減開發周期，也就是說一個軟件1個人開發需要10天，這並不意味着10個人就可以1天開發完成。並且在軟件開發的過程中，由於需要“適應市場的快速發展”，常常伴隨需求變更等不可預知的問題。也就是在前期所做的工作可能因為某個需求而全部推倒重來。

下面從要質量還是要效率兩個方面來闡述，不同的側重點所帶來的的問題。

我們首先假設，公理P1：作為IT行業的從業者（開發、測試、產品等）都知道，軟件開發具有一定的不可預知性。

那麼在這個前提下，傾向於“質量”的企業通常情況下有以下做法：

• 通過規章制度讓軟件開發具有一定的可預知性

讓軟件開發具有一定的可預知性，這種方式有很多種實現，比較常見的手段是讓需求變更的成本上升。一旦進入開發階段（含設計階段），需求不得隨意變更，這種方式對開發人員相對比較友好，開發人員不再被隨意變更的需求所打擾，但同時也對產品經理提出了更多的要求。這要求產品經理需要有高超的業務能力，以及一定的前瞻性。除了讓需求變更的成本上升以外，通常也會在前期做大量的工作，包括需求評審、文檔設計、設計評審等會議，在軟件開發的中後期不斷地進行代碼評審等工作。這一系列的規章制度流程，能使得軟件開發不再隨心所欲，而是有章可循。顯而易見，這樣“傳統”的開發形式，勢必帶來效率的下降。例如我曾經見過有的公司，一年最多發布2個版本。這在如今快速的互聯網發展中是不可接受的。

而傾向於“效率”的企業，也就是通常所說的互聯網公司對於效率的提升通常採取以下手段：

• 通過縮短開發周期使軟件開發具有一定的可預知性

目前在部分互聯網公司所倡導的“敏捷開發”實際上就是通過縮短開發周期來使軟件具有一定的可預知性。我們在開頭假設了了公理P1，軟件開發具有一定的不可預知性。並且開發周期越長，不可預知性越大。注重質量的公司，可能更傾向於提高需求變更的成本，而注重效率的公司則縮短開發周期。兩者都是為了使得軟件開發變得可控。但兩個不同的方式則導致了兩個不同的傾向。

縮短開發周期的確會讓效率變得更高，起碼能更快的適應市場的需求。那為什麼會說縮短開發周期會使得質量降低呢？

其實這是一個顯而易見的道理，縮短開發周期，理論上來講似乎就能縮短開發時間。10個需求需要做10天，平均1個需求不就只需要1天嗎？那麼我為了提高我的效率，快速響應市場變化，我就採取敏捷開發的方式，這樣不就既滿足了效率，同時也滿足了開發時間，這樣的做法似乎並不會降低軟件開發的質量。這麼想的通常是沒有從事過技術研發的同學。仍然回到公理P1，軟件開發具有一定的不可預知性。我在做當前開發的時候，所採取的的設計基本上只適用於當前的業務模型，對於未來幾乎一無所知。隨着系統不斷地快速迭代，一次又一次的在原有的系統上疊加新的功能修改刪除舊的功能。這對於軟件開發者可以說是災難性的，沒有哪一個系統架構師能遇見未來的所有可能。“天下武功唯快不破”，快是快了，代碼後院也快起火了。

天底下沒有公司敢說我不注重質量，我只注重效率。無論是什麼公司都會採取以下手段去保證軟件質量。

• 通過一定的經濟利益懲罰手段

一定的懲罰手段，簡單粗暴地將開發人員的bug數與績效掛鈎。不過直接將bug數與績效掛鈎的情況比較少，大多情況是bug的reopen次數，以及是否有新引入的bug。其中reopen是較為常見的一種懲罰手段，同樣也能較好地推動軟件質量提升。

事實上，並沒有哪一種絕對完美的兼顧了質量和效率，對於目前的互聯網公司大多所採用的是快速迭代的開發方式。但這並不代表採用這種方式的公司質量就一定低下。

“快速適應市場的變化”這本身也是一種需求，採取快速迭代的方式實際上也是為了滿足這一“需求”。阿里巴巴集團CTO行癲曾談到過，“最早，業務比技術跑的快，技術一直追業務，因為業務增長實在太快了。前兩年我覺得是技術推動業務，特別是人工智能興起的之後，包括我們程序化交易、廣告平台、千人千面、推薦、搜索大量用算法和AI，包括客服等等大量用數據智能在驅動業務”。

“業務比技術跑得快”，這意味着一定一個快速迭代的過程。而後來“技術推動業務”，意味着技術走在了業務的前面，反倒是技術追着業務打。這其中儘管並未提及質量，但我認為技術能推動業務不斷向前跑，一定是因為有堅實的技術後盾做支撐，而堅實的技術後盾也就意味着有超高的軟件質量。

所以，在質量與效率的權衡利弊平衡中，不妨回過頭來重新審視技術的重要性。在滿足“市場快速變化”這一需求的同時，不要忘記技術也會負債，欠得越多越不牢靠。

這是一個能給程序員加buff的公眾號 （CoderBuff）

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※高價收購3C產品,價格不怕你比較

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※網頁設計一頭霧水??該從何著手呢? 找到專業技術的網頁設計公司，幫您輕鬆架站!

※3c收購,鏡頭 收購有可能以全新價回收嗎?

※想知道最厲害的台北網頁設計公司推薦、台中網頁設計公司推薦專業設計師”嚨底家”!!

目錄

無論是 NoSQL，還是大數據領域，HBase 都是非常”炙熱”的一門數據庫。
本文將對 HBase 做一些基礎性的介紹，旨在入門。

一、簡介

HBase 是一個開源的、面向列的非關係型分佈式數據庫，目前是Hadoop體系中非常關鍵的一部分。
在最初，HBase是基於谷歌的 BigTable 原型實現的，許多技術來自於Fay Chang在2006年所撰寫的Google論文”BigTable”。與 BigTable基於Google文件系統（File System）一樣，HBase則是基於HDFS(Hadoop的分佈式文件系統)之上而開發的。

HBase 採用 Java 語言實現，在其內部實現了BigTable論文提到的一些壓縮算法、內存操作和布隆過濾器等，這些能力使得HBase 在海量數據存儲、高性能讀寫場景中得到了大量應用，如 Facebook 在 2010年11 月開始便一直選用 HBase來作為消息平台的存儲層技術。
HBase 以 Apache License Version 2.0開源，這是一種對商業應用友好的協議，同時該項目當前也是Apache軟件基金會的頂級項目之一。

有什麼特性

• 基於列式存儲模型，對於數據實現了高度壓縮，節省存儲成本
• 採用 LSM 機制而不是B(+)樹，這使得HBase非常適合海量數據實時寫入的場景
• 高可靠，一個數據會包含多個副本(默認是3副本)，這得益於HDFS的複製能力，由RegionServer提供自動故障轉移的功能
• 高擴展，支持分片擴展能力(基於Region)，可實現自動、數據均衡
• 強一致性讀寫，數據的讀寫都針對主Region上進行，屬於CP型的系統
• 易操作，HBase提供了Java API、RestAPI/Thrift API等接口
• 查詢優化，採用Block Cache 和 布隆過濾器來支持海量數據的快速查找

與RDBMS的區別

對於傳統 RDBMS 來說，支持 ACID 事務是數據庫的基本能力，而 HBase 則使用行級鎖來保證寫操作的原子性，但是不支持多行寫操作的事務性，這主要是從靈活性和擴展性上做出的權衡。

ACID 要素包含 原子性（Atomicity）、一致性（Consistency）、隔離性（Isolation）以及持久性（Durability）

總體來說， HBase 與傳統關係數據庫的區別，如下錶所示：

二、數據模型

下面，我們以關係型數據庫的一個數據表來演示 HBase 的不同之處。 先來看下面這張表：

這裏記錄的是一些家庭設備上報的狀態數據(DeviceState)，其中包括設備名、狀態、時間戳這些字段。

在 HBase 中，數據是按照列族(Column Family，簡稱CF)來存儲的，也就是說對於不同的列會被分開存儲到不同的文件。
那麼對於上面的狀態數據表來說，在HBase中會被存儲為兩份：

列族1. 設備名

列族2. 狀態

這裏Row-key是唯一定位數據行的ID字段，而Row-key 加上 CF、Column-Key，再加上一個時間戳才可以定位到一個單元格數據。
其中時間戳用來表示數據行的版本， 在HBase中默認會有 3 個時間戳的版本數據，這意味着對同一條數據(同一個Rowkey關聯的數據)進行寫入時，最多可以保存3個版本。

在查詢某一行的數據時，HBase需要同時從兩個列族(文件)中進行查找，最終將結果合併后返回給客戶端。 由此可見如果列族太多，則會影響讀取的性能，在設計時就需要做一些權衡。

由此可見，HBase的使用方式與關係型數據庫是大不相同的，在使用 HBase 時需要拋棄許多關係型數據庫的思維及做法，比如強類型、二級索引、表連接、觸發器等等。

然而 HBase 的靈活性及高度可伸縮性卻是傳統 RDBMS 無法比擬的。

三、安裝HBase

單機環境安裝

1. 準備JDK環境

確保環境上JDK已經裝好，可執行java -version確認：

host:/home/hbase # java -version
openjdk version "1.8.0_201"
OpenJDK Runtime Environment (build 1.8.0_201-Huawei_JDK_V100R001C00SPC060B003-b10)
OpenJDK 64-Bit Server VM (build 25.201-b10, mixed mode)

1. 下載軟件

官網的下載地址頁面：

選擇合適的版本，比如1.4.10。 下載后解壓：

wget http://archive.apache.org/dist/hbase/2.1.5/hbase-2.1.5-bin.tar.gz
tar -xzvf hbase-2.1.5-bin.tar.gz
mkdir -p /opt/local
mv hbase-2.1.5 /opt/local/hbase

配置HBase執行命令路徑：

export HBASE_HOME=/opt/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

1. 配置軟件

vim conf/hbase-env.sh

#JDK安裝目錄
export JAVA_HOME=/usr/local/jre1.8.0_201
#配置hbase自己管理zookeeper
export HBASE_MANAGES_ZK=true

vim conf/hbase-site.xml

<configuration>

  <!-- zookeeper端口  -->
  <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2182</value>                                                                                                                                           
  </property>

  <!--  HBase 數據存儲目錄 -->
  <property>
    <name>hbase.rootdir</name>
    <value>file:///opt/local/hbase/data</value>
  </property>

  <!-- 用於指定 ZooKeeper 數據存儲目錄 -->
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/opt/local/hbase/data/zookeeper</value>
  </property>

  <!-- 用於指定臨時數據存儲目錄 -->
  <property>
    <name>hbase.tmp.dir</name>
    <value>/opt/local/hbase/temp/hbase-${user.name}</value>
  </property>
</configuration>

其中 hbase.rootdir 和 hbase.zookeeper.property.dataDir 都用來指定數據存放的目錄，默認情況下hbase會使用/tmp目錄，這顯然是不合適的。
配置了這兩個路徑之後，hbase會自動創建相應的目錄。

關於更多的參數設定可

1. 啟動軟件

start-hbase.sh

此時查看 logs/hbase-root-master-host-xxx.log，如下：

2019-07-11 07:37:23,654 INFO  [localhost:33539.activeMasterManager] hbase.MetaMigrationConvertingToPB: hbase:meta doesn't have any entries to update.
2019-07-11 07:37:23,654 INFO  [localhost:33539.activeMasterManager] hbase.MetaMigrationConvertingToPB: META already up-to date with PB serialization
2019-07-11 07:37:23,664 INFO  [localhost:33539.activeMasterManager] master.AssignmentManager: Clean cluster startup. Assigning user regions
2019-07-11 07:37:23,665 INFO  [localhost:33539.activeMasterManager] master.AssignmentManager: Joined the cluster in 11ms, failover=false
2019-07-11 07:37:23,672 INFO  [localhost:33539.activeMasterManager] master.TableNamespaceManager: Namespace table not found. Creating...

檢查進程情況，發現進程已經啟動

ps -ef |grep hadoop
root     11049 11032  2 07:37 pts/1    00:00:20 /usr/local/jre1.8.0_201/bin/java -Dproc_master -XX:OnOutOfMemoryError=kill -9 %p -XX:+UseConcMarkSweepGC -XX:PermSize=128m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=256m -Dhbase.log.dir=/opt/local/hbase/logs -Dhbase.log.file=hbase-root-master-host-192-168-138-148.log -Dhbase.home.dir=/opt/local/hbase -Dhbase.id.str=root -Dhbase.root.logger=INFO,RFA -Dhbase.security.logger=INFO,RFAS org.apache.hadoop.hbase.master.HMaster start
root     18907 30747  0 07:50 pts/1    00:00:00 grep --color=auto hadoop

通過JPS(JDK自帶的檢查工具) 可以看到當前啟動的Java進程：

# jps
5701 Jps
4826 HMaster
1311 jar

查看 data目錄，發現生成了對應的文件：

host:/opt/local/hbase/data # ls -lh .
total 36K
drwx------. 4 root root 4.0K Jul 11 08:08 data
drwx------. 4 root root 4.0K Jul 11 08:08 hbase
-rw-r--r--. 1 root root   42 Jul 11 08:08 hbase.id
-rw-r--r--. 1 root root    7 Jul 11 08:08 hbase.version
drwx------. 2 root root 4.0K Jul 11 08:08 MasterProcWALs
drwx------. 2 root root 4.0K Jul 11 08:08 oldWALs
drwx------. 3 root root 4.0K Jul 11 08:08 .tmp
drwx------. 3 root root 4.0K Jul 11 08:08 WALs
drwx------. 3 root root 4.0K Jul 11 08:08 zookeeper

關於運行模式
HBase啟動時默認會使用單機模式，此時 Zookeeper和 HMaster/RegionServer 會運行在同一個JVM中。
以standalone模式啟動的HBase會包含一個HMaster、RegionServer、Zookeeper實例，此時 HBase 會直接使用本地文件系統而不是HDFS。

通過將 conf/hbase-site.xml中的 hbase.cluster.distributed 配置為true，就是集群模式了。
在這個模式下，你可以使用分佈式環境進行部署，或者是”偽分佈式”的多進程環境。

<configuration>
  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
</configuration>

需要注意的是，如果以standalone啟動的話，HMaster、RegionServer端口都是隨機的，無法通過配置文件指定。

四、基本使用

打開HBase Shell

hbase shell

執行status命令

Version 2.1.5, r76ab087819fe82ccf6f531096e18ad1bed079651, Wed Jun  5 16:48:11 PDT 2019

hbase(main):001:0> status
1 active master, 0 backup masters, 1 servers, 0 dead, 2.0000 average load

這表示有一個Master在運行，一個RegionServer，每個RegionServer包含2個Region。

表操作

• 創建DeviceState表

hbase(main):002:0> create "DeviceState", "name:c1", "state:c2"

=> Hbase::Table - DeviceState

此時，已經創建了一個DeviceState表，包含name(設備名稱)、state(狀態)兩個列。

查看錶信息：

hbase(main):003:0> list
TABLE
DeviceState
1 row(s) in 0.0090 seconds

=> ["DeviceState"]

hbase(main):003:0> describe "DeviceState"
Table DeviceState is ENABLED
DeviceState
COLUMN FAMILIES DESCRIPTION
{NAME => 'name', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSIO
N => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
{NAME => 'state', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSI
ON => 'NONE', MIN_VERSIONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
2 row(s) in 0.0870 seconds

• 寫入數據

通過下面的命令，向DeviceState寫入兩條記錄，由於有兩個列族，因此需要寫入四個單元格數據：

put "DeviceState", "row1", "name", "空調"
put "DeviceState", "row1", "state", "打開"
put "DeviceState", "row2", "name", "電視機"
put "DeviceState", "row2", "state", "關閉"

• 查詢數據

查詢某行、某列

hbase(main):012:0> get "DeviceState","row1"
COLUMN                                      CELL
 name:                                      timestamp=1562834473008, value=\xE7\x94\xB5\xE8\xA7\x86\xE6\x9C\xBA
 state:                                     timestamp=1562834474630, value=\xE5\x85\xB3\xE9\x97\xAD
1 row(s) in 0.0230 seconds

hbase(main):013:0> get "DeviceState","row1", "name"
COLUMN                                      CELL
 name:                                      timestamp=1562834473008, value=\xE7\x94\xB5\xE8\xA7\x86\xE6\x9C\xBA
1 row(s) in 0.0200 seconds

掃描表

hbase(main):026:0> scan "DeviceState"
ROW                                         COLUMN+CELL
 row1                                       column=name:, timestamp=1562834999374, value=\xE7\xA9\xBA\xE8\xB0\x83
 row1                                       column=state:, timestamp=1562834999421, value=\xE6\x89\x93\xE5\xBC\x80
 row2                                       column=name:, timestamp=1562834999452, value=\xE7\x94\xB5\xE8\xA7\x86\xE6\x9C\xBA
 row2                                       column=state:, timestamp=1562835001064, value=\xE5\x85\xB3\xE9\x97\xAD
2 row(s) in 0.0250 seconds

查詢數量

hbase(main):014:0> count "DeviceState"
2 row(s) in 0.0370 seconds

=> 1

• 清除數據

刪除某列、某行

delete "DeviceState", "row1", "name"
0 row(s) in 0.0080 seconds

hbase(main):003:0> deleteall "DeviceState", "row2"
0 row(s) in 0.1290 seconds

清空整個表數據

hbase(main):021:0> truncate "DeviceState"
Truncating 'DeviceState' table (it may take a while):
 - Disabling table...
 - Truncating table...
0 row(s) in 3.5060 seconds

刪除表(需要先disable)

hbase(main):006:0> disable "DeviceState"
0 row(s) in 2.2690 seconds

hbase(main):007:0> drop "DeviceState"
0 row(s) in 1.2880 seconds

五、FAQ

• 啟動時提示 ZK 端口監聽失敗：
  Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) will not be able to find this ZK quorum

原因
HBase需要啟動Zookeeper，而本地的2181端口已經被啟用(可能有其他Zookeeper實例)

解決辦法
conf/hbase-site.xml中修改hbase.zookeeper.property.clientPort的值，將其修改為2182，：

<configuration>
  <property>
      <name>hbase.zookeeper.property.clientPort</name>
      <value>2182</value>                                                                                                                                           
  </property>
</configuration>

• 啟動HBase Shell時提示java.lang.UnsatisfiedLinkError

原因
在執行hbase shell期間，JRuby會在“java.io.tmpdir”路徑下創建一個臨時文件，該路徑的默認值為“/tmp”。如果為“/tmp”目錄設置NOEXEC權限，然後hbase shell會啟動失敗並拋出“java.lang.UnsatisfiedLinkError”錯誤。

解決辦法

1. 取消/tmp的noexec權限(不推薦)
2. 設置java.io.tmpdir變量，指向可用的路徑，編輯conf/hbase-env.sh文件：

export HBASE_TMP_DIR=/opt/local/hbase/temp
export HBASE_OPTS="-XX:+UseConcMarkSweepGC -Djava.io.tmpdir=$HBASE_TMP_DIR"

參考文檔

HBase 官方權威指南

HBase 單機模式搭建

HBase 深入淺出
較詳細介紹了HBase的由來以及特性，文中提供了HBase集群、存儲機制的一些簡介，非常適合入門閱讀

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理【其他文章推薦】

※帶您來了解什麼是 USB CONNECTOR  ?

※平板收購,iphone手機收購,二手筆電回收,二手iphone收購-全台皆可收購

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

※如何讓商品強力曝光呢? 網頁設計公司幫您建置最吸引人的網站，提高曝光率!!

※綠能、環保無空污,成為電動車最新代名詞，目前市場使用率逐漸普及化

※廣告預算用在刀口上，網站設計公司幫您達到更多曝光效益