简体中文（ZH-CN）English（EN）繁体中文（ZH-TW）日本語（JA）한국어（KO）Melayu（MS）Français（FR）Deutsch（DE）
ホームページ
記事
に質問
コース
特集
ダウンロード
ゲーム
辞書
最近の更新

ホームページ  >  記事  >  バックエンド開発  >  HBase Java プログラミング例_PHP チュートリアル

HBase Java プログラミング例_PHP チュートリアル

WBOY
WBOYオリジナル
2016-07-12 08:57:201137ブラウズ

HBase Java プログラムの例

HBase Java プログラミング例_PHP チュートリアルHelloWorld.zip
  1. package Elementary;

  3. import java.io.IOException;
  4. import java.text.SimpleDateFormat;
  5. java.util.ArrayListをインポートする;
  6. import java.util.Date;
  7. import java.util.List;
  8. import java.util.concurrent.atomic.AtomicInteger;
  9. import java.util.concurrent.ExecutorService;
  10. import java.util.concurrent.Executors;
  11. import java.util.concurrent.TimeUnit;

  13. import org.apache.hadoop.conf .Configuration;
  14. import org.apache.hadoop.hbase.Cell;
  15. import org.apache.hadoop.hbase.HBaseConfiguration;
  16. import org.apache.hadoop.hbase.HColumnDescriptor;
  17. import org .apache.hadoop.hbase.HTableDescriptor;
  18. import org.apache.hadoop.hbase.MasterNotRunningException;
  19. import org.apache.hadoop.hbase.TableName;
  20. import org.apache.hadoop.hbase.ZooKeeperConnectionException ;
  21. import org.apache.hadoop.hbase.client.Delete;
  22. import org.apache.hadoop.hbase.client.Get;
  23. import org.apache.hadoop.hbase.client.Admin;
  24. import org.apache.hadoop.hbase.client.BufferedMutator;
  25. import org.apache.hadoop.hbase.client.BufferedMutatorParams;
  26. import org.apache.hadoop.hbase.client.Connection;
  27. import org.apache.hadoop.hbase.client.ConnectionFactory;
  28. import org.apache.hadoop.hbase.client.Table;
  29. import org.apache.hadoop.hbase.client.Put;
  30. import org .apache.hadoop.hbase.client.Result;
  31. import org.apache.hadoop.hbase.client.ResultScanner;
  32. import org.apache.hadoop.hbase.client.Scan;
  33. import org.apache .hadoop.hbase.util.Bytes;
  34. import org.apache.hadoop.util.ThreadUtil;

  36. public class HelloWorld {
  37. private static Configuration conf = null;
  38. private static Connection conn = null;
  39. private static Admin admin = null;
  40. public static AtomicInteger count = new AtomicInteger();

  42. /**
  43. * 初期構成
  44. */
  45. static {
  46. conf = HBaseConfiguration.create();
  47. //如果沒有構成文件，必要記得手動宣告

  49. conf.set("hbase.zookeeper.quorum", "10.148.137.143");
  50. conf .set（ "hbase.zookeeper.property.clientport"、 "2181"）; = conn.getAdmin();
  51. } catch (IOException e) {
  52. e.printStackTrace();
  53. }
  54. }

  56. static public class MyThread extends Thread
  57. {
  58. int _start;
  59. String _tablename;
  60. Connection conn;
  61. //BufferedMutator table;
  62. Table table;

  64. public MyThread(int start) 、文字列テーブル名) {
  65. _start = 開始;
  66. _tablename = テーブル名;
  67. }

  69. public void run() {
  70. String tablename = _tablename;
  71. スレッドcurrent = Thread.currentThread();
  72. long thread_id = current.getId();
  73. System.out.printf("thread[%d] runn", thread_id);

  75. try {
  76. conn = ConnectionFactory.createConnection( );
  77. //BufferedMutatorParams params = new BufferedMutatorParams(TableName.valueOf(tablename));
  78. //params.writeBufferSize(1024 * 4);
  79. //table = conn.getBufferedMutator(params);
  80. table = conn.getTable(TableName.valueOf(tablename));

  82. for (int j=_start; j
  83. for (int i=0; i
  84. // zkb_0_0
  85. String zkb = "zkb_" + String.valueOf(_start) + "_" + String.valueOf(i);
  86. Put put = new Put( Bytes.toBytes(zkb));
  87. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes("フィールド1"),Bytes.toBytes(String.valueOf(i+0)));
  88. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes("フィールド2"),Bytes.toBytes(String.valueOf(i+1)));
  89. put.addColumn(Bytes.toBytes ("グレード"),Bytes.toBytes("フィールド3"),Bytes.toBytes(String.valueOf(i+2)));
  90. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes( "field4"),Bytes.toBytes(String.valueOf(i+3)));
  91. put.addColumn(Bytes.toBytes("grade"),Bytes.toBytes("field5"),Bytes.toBytes(String .valueOf(i+4)));
  92. put.addColumn(Bytes.toBytes("grade"),Bytes.toBytes("field6"),Bytes.toBytes(String.valueOf(i+5)));
  93. put.addColumn(Bytes.toBytes( "グレード"),Bytes.toBytes("フィールド7"),Bytes.toBytes(String.valueOf(i+6)));
  94. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes(" field8"),Bytes.toBytes(String.valueOf(i+7)));
  95. put.addColumn(Bytes.toBytes("grade"),Bytes.toBytes("field9"),Bytes.toBytes(String. valueOf(i+8)));
  96. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes("フィールド10"),Bytes.toBytes(String.valueOf(i+9)));
  97. put.addColumn(Bytes.toBytes("grade"),Bytes.toBytes("field11"),Bytes.toBytes(String.valueOf(i+10)));
  98. put.addColumn(Bytes.toBytes( "グレード"),Bytes.toBytes("フィールド12"),Bytes.toBytes(String.valueOf(i+11)));
  99. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes(" field13"),Bytes.toBytes(String.valueOf(i+12)));
  100. put.addColumn(Bytes.toBytes("grade"),Bytes.toBytes("field14"),Bytes.toBytes(String. valueOf(i+13)));
  101. put.addColumn(Bytes.toBytes("グレード"),Bytes.toBytes("フィールド15"),Bytes.toBytes(String.valueOf(i+14)));
  102. //table.mutate(put);
  103. table.put(put);

  105. int m = HelloWorld.count.incrementAndGet();
  106. if (m % 10000 == 0) {
  107. Date dt = new Date();
  108. SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss aa");
  109. String now = sdf.format(dt);
  110. System.out.printf("[%s] thread[%d] m=%d, j=%d, i=%dn", now, thread_id, m, j, i);
  111. }
  112. }
  113. }

  115. System.out.printf("thread[%d] overn", thread_id);
  116. }
  117. catch (例外 e) {
  118. e.printStackTrace();
  119. }
  120. }
  121. }

  123. /**
  124. * テーブルを作成します
  125. * @param tablename
  126. * @param cfs
  127. */
  128. public静的 void createTable (String tablename, String[] cfs){
  129. try {
  130. if (admin.tableExists(TableName.valueOf(tablename))) {
  131. System.out.println("テーブルはすでに存在します!");
  132. } else {
  133. HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf(tablename));
  134. for (int i = 0; i < cfs.length; i++) {
  135. HColumnDescriptor desc = new HColumnDescriptor(cfs[i]);
  136. desc.setMaxVersions(3650);
  137. tabledesc.addfamily（desc）;
  138. }

  140. byte[] [[] [] splitkeys = new byte [] [] {
  141. bytes.tobytes（ "zkb_0_0"）、
  142. bytes .toBytes("zkb_10_0")、
  143. Bytes.toBytes("zkb_20_0")、
  144. Bytes.toBytes("zkb_30_0")、
  145. Bytes.toBytes("zkb_40_0")、
  146. Bytes .toBytes ("zkb_50_0")、
  147. Bytes.toBytes("zkb_60_0")、
  148. Bytes.toBytes("zkb_70_0")、
  149. Bytes.toBytes("zkb_80_0")、
  150. Bytes.toBytes(" zkb_90_0 "）、
  151. bytes.tobytes（" zkb_100_0 "）
  152. }; "create table " + tablename + " ok.");
  153. }
  154. } catch (MasterNotRunningException e) {
  155. e.printStackTrace();
  156. } catch (ZooKeeperConnectionException e) {
  157. e .printStackTrace();
  158. } catch (IOException e) {
  159. e.printStackTrace();
  160. }
  161. }

  163. /**
  164. * テーブルを削除
  165. * @param tablename
  166. */
  167. 公共のstatic void deleteTable(String tablename){
  168. try {
  169. //接続 conn = ConnectionFactory.createConnection();
  170. //Admin admin = conn.getAdmin();
  171. admin.disableTable(TableName.valueOf(テーブル名));
  172. admin.deleteTable(TableName.valueOf(テーブル名));
  173. System.out.println("テーブルの削除 " + テーブル名 + " OK。" ）;
  174. } catch（ioexception e）{
  175. e.printstacktrace（）; (String tableName, String rowKey){
  176. try {
  177. Table table = conn.getTable(TableName.valueOf(tableName));

  179. List<削除> list = new ArrayList();
  180. Delete del = new Delete(rowKey.getBytes());
  181. list.add(del);
  182. table.delete(list);
  183. システム.out.println("del recored " + rowKey + " ok.");
  184. } catch (IOException e) {
  185. e.printStackTrace();
  186. }
  187. }

  189. /**
  190. * 一筆資料取得
  191. * @param tableName
  192. * @param rowKey
  193. */
  194. public static void getOneRecord (String tableName, String rowKey){
  195. try {
  196. Table table = conn.getTable(TableName. valueOf(tableName));

  198. Get get = new Get(rowKey.getBytes());
  199. Result rs = table.get(get);
  200. List list = rs.listCells();
  201. for(Cell cell:list){
  202. System.out.print(new String(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength()) + " " );
  203. System.out.print(new String(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength()) + ":" );
  204. System.out.print(new String(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength()) + " " );
  205. System.out.print(cell.getTimestamp() + " " );
  206. System.out .print(new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()) + " " );
  207. System.out.println("");
  208. }
  209. } catch (IOException e) {
  210. e.printStackTrace();
  211. }
  212. }

  214. /**
  215. * すべての情報を入手してください
  216. * @param tableName
  217. */
  218. public static void getAllRecord (String tableName) {
  219. try{
  220. //Connection conn = ConnectionFactory.createConnection();
  221. Table table = conn.getTable(TableName.valueOf(tableName));

  223. Scan scan = new Scan();
  224. ResultScanner resultscanner = table.getScanner(scan);
  225. for(Result rs:resultscanner){
  226. List list = rs.listCells();
  227. for(Cell cell:list){
  228. System.out.print(new String(cell.getRowArray(),cell.getRowOffset(),cell.getRowLength()) + " " );
  229. System.out.print(new String(cell.getFamilyArray(),cell.getFamilyOffset(),cell.getFamilyLength()) + ":" );
  230. System.out.print(new String(cell.getQualifierArray(),cell.getQualifierOffset(),cell.getQualifierLength()) + " " );
  231. System.out.print(cell.getTimestamp() + " " );
  232. System.out .print(new String(cell.getValueArray(),cell.getValueOffset(),cell.getValueLength()) + " " );
  233. System.out.println("");
  234. }
  235. }
  236. } catch (IOException e){
  237. e.printStackTrace();
  238. }
  239. }

  241. /**
  242. * ファミリーリストを取得
  243. * @param tableName
  244. * @return
  245. */
  246. public static<文字列> getAllFamilyName(String tableName) {
  247. ArrayList familyname_list = new ArrayList();
  248. try{
  249. //接続 conn = ConnectionFactory.createConnection();
  250. テーブル table = conn.getTable(TableName.valueOf(tableName));

  252. HTableDescriptor htabledescriptor = table.getTableDescriptor();
  253. HColumnDescriptor[] hdlist = htabledescriptor.getColumnFamilies();
  254. for(int i=0;i
  255. HColumnDescriptor hd = hdlist[i];
  256. familyname_list.add(hd.getNameAsString());
  257. }
  258. } catch (IOException e){
  259. e.printStackTrace();
  260. }
  261. return familyname_list;
  262. }

  264. // java -cp HelloWorld.jar:`ls lib/*.jar|awk '{printf("%s:", $0)}'elementary.HelloWorld 5
  265. public static void main(String[] args) {
  266. System.out.println("HelloWorldX");
  267. if (args.length > 0)
  268. System.out.println(args [0]);

  270. int start = 0;
  271. if (args.length > 1)
  272. start = Integer.valueOf(args[1]);
  273. if (start < ; 0)
  274. start = 0;

  276. int num_threads = 16;
  277. if (args.length > 2)
  278. num_threads = Integer.valueOf(args[2]);

  280. try {
  281. String tablename = "スコア";
  282. String[] ファミリー = {"学年", "コース"};
  283. HelloWorld.createTable(tablename, familys);

  285. //ExecutorService thread_pool = Executors.newSingleThreadExecutor();
  286. ExecutorService thread_pool = Executors.newFixedThreadPool(num_threads)
    287. スレッド[]プール = new HelloWorld.MyThread[80];

    288. for (int i=0; i
    pool[i] = new HelloWorld.MyThread(i, tablename);

    289. thread_pool.execute(pool[i]);

    290. }


    292. thread_pool.shutdown();

    293. System.out.println("over");

    294. }

    295. catch (例外) e) {

    296. e.printStackTrace();

    297. }

    298. }

  300. }

www.bkjia.com本当http://www.bkjia.com/PHPjc/1109310.html技術記事 HBase Java プログラムの例 HelloWorld.zip パッケージの基本。インポート java.io.IOException;インポート java.text.SimpleDateFormat; java.util.ArrayListをインポートします。 java.util.Dateをインポートします。インポート j...
声明：
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。
前の記事：php CLI、CGI、FastCGI、mod_php、fastcgimod_php_PHP チュートリアルのいくつかの動作モード次の記事：php CLI、CGI、FastCGI、mod_php、fastcgimod_php_PHP チュートリアルのいくつかの動作モード

関連記事

続きを見る