Blog.YHT.Web.ID

Karena setiap hari mengakses data di Impala dan melakukan export hasil pengolahan menjadi text delimited dan mengubahnya menjadi format spreadsheet excel merupakan rutinitas, maka saya mulai mencari celah untuk mempermudah rute yang selalu saja saya jalani ini tiap hari. Hal pertama adalah mencari konektor yang bisa langsung terhubung dengan Impala. Dan saya menemukan halaman unduhan dari situs resmi Cloudera.

Karena menggunakan Debian 8.x (jessie) 64bit, maka saya mengunduh untuk paket Debian yang ada di sana. Saya mengunduh paket untuk Debian 7 64-bit. Dari banyak referensi instalasi yang beredar semua bisa digunakan, namun ada beberapa hal yang menjadi alasan saya mengapa saya harus mencatat konfigurasi pada mesin saya. Koneksi tidak serta merta dapat dilakukan karena pustaka ODBC tidak otomatis di load.

Instalasi Driver

Pertama kita cek apakah unixodbc telah terpasang. Selengkapnya… »

Beberapa minggu terakhir ini saya harus berkutat dengan Hadoop yang digunakan sebagai basis data terpusat yang digunakan oleh unit kecil dimana saya bertugas. Pengaplikasian Hadoop adalah sebagai gudang data dimana semua data akan dimasukkan tanpa terkecuali.

Tugas saya adalah melakukan pengolahan data terhadap pola-pola tertentu oleh pihak-pihak tertentu yang identitasnya terdapat dalam basis data. Tugas ini memerlukan akses tulis untuk membuat tabel referensi.

Mencari melalui gugel, saya menemukan artikel ini yang setelah saya coba implementasikan dapat berjalan dengan baik. Namun antar muka ke Hadoop tidak menggunakan Hive, melainkan Impala.

Pertama-tama siapkan berkas tanpa kolom judul ke server Hadoop. Selengkapnya… »