Blog.YHT.Web.ID

Icon

Bosan adalah awal dari penciptaan perubahan.

Load Data CSV ke Hadoop dengan Impala

Beberapa minggu terakhir ini saya harus berkutat dengan Hadoop yang digunakan sebagai basis data terpusat yang digunakan oleh unit kecil dimana saya bertugas. Pengaplikasian Hadoop adalah sebagai gudang data dimana semua data akan dimasukkan tanpa terkecuali.

Tugas saya adalah melakukan pengolahan data terhadap pola-pola tertentu oleh pihak-pihak tertentu yang identitasnya terdapat dalam basis data. Tugas ini memerlukan akses tulis untuk membuat tabel referensi.

Mencari melalui gugel, saya menemukan artikel ini yang setelah saya coba implementasikan dapat berjalan dengan baik. Namun antar muka ke Hadoop tidak menggunakan Hive, melainkan Impala.

Pertama-tama siapkan berkas tanpa kolom judul ke server Hadoop. Selengkapnya… »

R dan Koneksi Data

Setelah berkenalan dengan R dan intens melakukan beberapa tes terhadap data, saya sangat bersyukur bahwa para pengembang membuat semuanya terbuka dan bisa saya nikmati sampai saat ini. R dengan konektivitasnya telah membuat saya nyaman menggunakan tanpa perlu khawatir tidak bisa mengakses data.

Sampai dengan saat ini, saya telah berhasil melakukan koneksi data dengan menggunakan paket :
RMySQL;
ROracle; dan
RODBC, yang terkoneksi dengan Hadoop melalui Impala.

Sampai saat ini tidak ada masalah berarti, selain kurangnya RAM saat mengolah data yang besar.

Namun bila memang tempat saya bekerja akan menggunakan teradata sebagai data warehouse, saya pasti akan mencoba Selengkapnya… »

To Do List

Masih banyak hal yang tertinggal di posisi saya yang lama. Banyak hal yang belum selesai dikerjakan dan dikembangkan.

Di posisi saya yang lama masih banyak yang masuk daftar negatif saya, diantaranya :
– Pengembangan Model Perkiraan (Forecasting) Penerimaan;
– Pengembangan Model Perencanaan Agresif;
– Pengembangan Model Kelakuan; dan
– Pengembangan Model Resiko.

Sebagian besar memang telah berjalan, namun masih banyak yang harus dikerjakan. Beberapa telah coba dilakukan dengan pengolahan data sederhana, namun tentu model yang ada penuh dengan asumsi yang harus dipenuhi sebagai syarat penggunaan. Selengkapnya… »

Laporan Singkat

Karena bisa dipastikan bahwa mulai minggu depan saya tidak lagi berada pada posisi saya yang 2 (dua) tahun 11 (sebelas) bulan ini saya emban, mungkin saya akan membuat laporan singkat yang sudah saya lakukan. Tentunya tidak semua bisa saya bagi di sini mengingat rahasia jabatan yang melekat.

Pada posisi saya ini saya telah banyak belajar mengenai analisis dampak dengan berbagai metode dan peralatan yang dibutuhkan. Propensity score matching (PSM) dan difference in differences / double differences (DD) menjadi hal yang wajib kuasai. Saya menjadi mengenal Eviews, Stata dan R. Namun dalam beberapa laporan yang saya buat tidak semua sudah terpakai.

Selain hal di atas, pekerjaan saya tidak bisa lepas dari pengolahan data. Di kantor telah menggunakan Oracle sebagai basis data, namun saya lebih nyaman menggunakan MySQL yang saat ini juga dikembangkan oleh Oracle. Selengkapnya… »

Mengaktifkan SSL

Ini bukan tulisan teknis, hanya sebuah pengumuman.

Untuk menambah kepercayaan diri saya, SSL di NGINX pada mesin VPS telah saya aktifkan. Sudah sebulan ini sih uji cobanya.

Semoga makin aman…