Blog.YHT.Web.ID

Icon

Bosan adalah awal dari penciptaan perubahan.

Impala ODBC

Karena setiap hari mengakses data di Impala dan melakukan export hasil pengolahan menjadi text delimited dan mengubahnya menjadi format spreadsheet excel merupakan rutinitas, maka saya mulai mencari celah untuk mempermudah rute yang selalu saja saya jalani ini tiap hari. Hal pertama adalah mencari konektor yang bisa langsung terhubung dengan Impala. Dan saya menemukan halaman unduhan dari situs resmi Cloudera.

Karena menggunakan Debian 8.x (jessie) 64bit, maka saya mengunduh untuk paket Debian yang ada di sana. Saya mengunduh paket untuk Debian 7 64-bit. Dari banyak referensi instalasi yang beredar semua bisa digunakan, namun ada beberapa hal yang menjadi alasan saya mengapa saya harus mencatat konfigurasi pada mesin saya. Koneksi tidak serta merta dapat dilakukan karena pustaka ODBC tidak otomatis di load.

Instalasi Driver

Pertama kita cek apakah unixodbc telah terpasang. Selengkapnya… »

Load Data CSV dengan Hive

Pada tulisan terdahulu, saya menulis mengenai Load Data CSV ke Hadoop dengan Impala. Perintah dalam tulisan tersebut masih bisa dilakukan, namun untuk memperpendek langkah dan baris perintah saya akhir-akhir ini lebih suka menggunakan Hive.

Langkah pertama dan kedua masih sama dengan tulisan sebelumnya, silakan cek. Pada langkah ketiga terdapat perbedaan dimana dengan Hive kita tidak perlu melakukan pengunggahan ke HDFS terlebih dahulu karena memiliki fitur ‘LOCAL INPATH’. Berikut beberapa langkah perintahnya sebagai pengganti langkah ketiga dan seterusnya.

yht@server-dev:~$ hive
2015-12-18 10:59:51,040 WARN [main] conf.HiveConf (HiveConf.java:initialize(1491)) – DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.2.4-1.cdh5.2.4.p0.3/jars/hive-common-0.13.1-cdh5.2.4.jar!/hive-log4j.properties
hive>

Selengkapnya… »

Arsip