Blog.YHT.Web.ID

Icon

Bosan adalah awal dari penciptaan perubahan.

R: Impor Data Ms Access

Beberapa waktu lalu saya harus melakukan pengolahan data, namun data yang diberikan adalah berupa format Ms Access. Bagi sebagian orang, format ini adalah format biasa dalam menyimpan data portabel, namun ini tidak biasa buat saya.

Dalam pengolahan data ini saya masih beruntung PC di kantor menggunakan Sistem Operasi Windows 7 yang merupakan produk dari perusahaan yang sama dengan Ms Access sehingga bisa dilakukan dengan mudah tanpa kendala. Kendala saya hadapi saat saya menggunakan sistem operasi lain, yang biasa saya pakai sehari-hari.

Kendala utama saya adalah impor data. Yang akhirnya saya selesaikan di mesin kantor dan menyimpannya dalam format Rdata. Lebih kurang saya menggunakan cara Dainius yaitu menggunakan paket koneksi RODBC. Saya salin tempel saja di sini.

library(“RODBC”) #load package
db< -file.path("C:/path/to/your/database.accdb") #connect database. #Note the UNIX style slash (/). "\" is "escape character" so all "\"you should replace either with "/" or "\\" channel<-odbcConnectAccess2007(db) #internal RODBC function dataSetName<-sqlFetch(channel,"TableName") #read particular table from Access database file.

Setelah itu saya bisa menyimpan dataSetName ke berkas Rdata yang bisa saya gunakan di mesin lain. Diolah atau dites dengan kebutuhan yang ada.

Buku Elektronik : R

Dalam mempelajari R, seringkali dihadapkan dengan manual atau buku berbahasa Inggris yang terpaksa, mau tidak mau, menggunakan kamus. Karena saya seorang pemalas, saya menanyakan buku yang mengenalkan R berbahasa Indonesia ke grup Belajar GNU R Indonesia di Telegram. Dan dari Pak Kris, saya mendapatkan informasi mengenai Pak Dasapta Erwin Irawan yang menggunakan R dalam proyeknya.

Dari dokumentasi beliau yang berjudul Introduction to R for computational chemistry student ITB, saya mendapatkan beberapa tautan buku-buku milik universitas. Salah duanya adalah :

Lumayan untuk belajar, tanpa harus pusing bolak-balik buka kamus.

Load Data CSV dengan Hive

Pada tulisan terdahulu, saya menulis mengenai Load Data CSV ke Hadoop dengan Impala. Perintah dalam tulisan tersebut masih bisa dilakukan, namun untuk memperpendek langkah dan baris perintah saya akhir-akhir ini lebih suka menggunakan Hive.

Langkah pertama dan kedua masih sama dengan tulisan sebelumnya, silakan cek. Pada langkah ketiga terdapat perbedaan dimana dengan Hive kita tidak perlu melakukan pengunggahan ke HDFS terlebih dahulu karena memiliki fitur ‘LOCAL INPATH’. Berikut beberapa langkah perintahnya sebagai pengganti langkah ketiga dan seterusnya.

yht@server-dev:~$ hive
2015-12-18 10:59:51,040 WARN [main] conf.HiveConf (HiveConf.java:initialize(1491)) – DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.2.4-1.cdh5.2.4.p0.3/jars/hive-common-0.13.1-cdh5.2.4.jar!/hive-log4j.properties
hive>

Selengkapnya… »

Analytics Platform berbasis R

Sampai dengan beberapa bulan terakhir ini salah satu pekerjaan saya adalah melakukan riset untuk penggunaan teknologi berbasis free software atau open source software dalam hal perangkat analisis data. Mengingat data yang ada pada instansi di tempat saya bekerja mengumpulkan sebagian besar data dari pihak ketiga, bisa dibilang analisis yang diperlukan memerlukan kemampuan untuk menganalisis big data.

Sebenarnya riset mengenai big data sendiri sebagai basis data telah dilakukan oleh bagian lain dengan melakukan pengembangan berbasis Hadoop. Dalam pengembangan ini bagian saya hanya mendukung dalam hal perangkat keras yang digunakan sebagai riset. Menurut kabar mereka menggunakan paket distribusi dari cloudera di atas CentOS.

Sedangkan dalam hal perangkat analisis saya mendapatkan mandat untuk melakukan riset perangkat apa saja dan bagaimana penggunaannya di bagian tempat saya bertugas. Pilihan yang ada tidak lain dan tidak bukan adalam lingkungan pengembangan dan analisis berbasis R. Berikut perangkat yang termasuk dalam perangkat analisis. Selengkapnya… »

Load Data CSV ke Hadoop dengan Impala

Beberapa minggu terakhir ini saya harus berkutat dengan Hadoop yang digunakan sebagai basis data terpusat yang digunakan oleh unit kecil dimana saya bertugas. Pengaplikasian Hadoop adalah sebagai gudang data dimana semua data akan dimasukkan tanpa terkecuali.

Tugas saya adalah melakukan pengolahan data terhadap pola-pola tertentu oleh pihak-pihak tertentu yang identitasnya terdapat dalam basis data. Tugas ini memerlukan akses tulis untuk membuat tabel referensi.

Mencari melalui gugel, saya menemukan artikel ini yang setelah saya coba implementasikan dapat berjalan dengan baik. Namun antar muka ke Hadoop tidak menggunakan Hive, melainkan Impala.

Pertama-tama siapkan berkas tanpa kolom judul ke server Hadoop. Selengkapnya… »

R dan Koneksi Data

Setelah berkenalan dengan R dan intens melakukan beberapa tes terhadap data, saya sangat bersyukur bahwa para pengembang membuat semuanya terbuka dan bisa saya nikmati sampai saat ini. R dengan konektivitasnya telah membuat saya nyaman menggunakan tanpa perlu khawatir tidak bisa mengakses data.

Sampai dengan saat ini, saya telah berhasil melakukan koneksi data dengan menggunakan paket :
RMySQL;
ROracle; dan
RODBC, yang terkoneksi dengan Hadoop melalui Impala.

Sampai saat ini tidak ada masalah berarti, selain kurangnya RAM saat mengolah data yang besar.

Namun bila memang tempat saya bekerja akan menggunakan teradata sebagai data warehouse, saya pasti akan mencoba Selengkapnya… »

Bash For Loop untuk Mengunduh mp3 BSDTalk

Saya hanya ingin mencatat agar tidak lupa.

Dengan perintah sebagai berikut kita bisa mengunduh bsdtalk dari nomor 200 sampai dengan nomor 235.

for i in {200..235..1};
do wget -c -w 5 http://cis01.uma.edu/~wbackman/bsdtalk/bsdtalk$i.mp3;
done

Silakan dimanipulasi sesuai kebutuhan.

Arsip