Blog.YHT.Web.ID

Icon

Bosan adalah awal dari penciptaan perubahan.

Load Data CSV dengan Hive

Pada tulisan terdahulu, saya menulis mengenai Load Data CSV ke Hadoop dengan Impala. Perintah dalam tulisan tersebut masih bisa dilakukan, namun untuk memperpendek langkah dan baris perintah saya akhir-akhir ini lebih suka menggunakan Hive.

Langkah pertama dan kedua masih sama dengan tulisan sebelumnya, silakan cek. Pada langkah ketiga terdapat perbedaan dimana dengan Hive kita tidak perlu melakukan pengunggahan ke HDFS terlebih dahulu karena memiliki fitur ‘LOCAL INPATH’. Berikut beberapa langkah perintahnya sebagai pengganti langkah ketiga dan seterusnya.

yht@server-dev:~$ hive
2015-12-18 10:59:51,040 WARN [main] conf.HiveConf (HiveConf.java:initialize(1491)) – DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.2.4-1.cdh5.2.4.p0.3/jars/hive-common-0.13.1-cdh5.2.4.jar!/hive-log4j.properties
hive>

Lalu buat tabel.

hive> create table example1(name String, address String, price int) row format delimited fields terminated by ‘|’ stored as textfile;

Muat berkas dengan perintah.

hive> LOAD DATA LOCAL INPATH ‘/home/yht/data.csv’ OVERWRITE INTO TABLE example1;

Lalu coba pilih 5 baris dari tabel.

hive> select * from example1 limit 5;

Semoga bermanfaat..

Kategori: /tips-n-trick

Tag: , , ,

Leave a Reply