Blog.YHT.Web.ID

Icon

Bosan adalah awal dari penciptaan perubahan.

Sparklyr Error: Failed to launch Spark shell. Ports file does not exist.

Hanya mendapatkan galat ini ketika menghubungi Spark.

Error in start_shell(scon, list(), jars, packages) :
Failed to launch Spark shell. Ports file does not exist.
Path: C:\Users\User\AppData\Local\rstudio\spark\Cache\spark-2.0.0-bin-hadoop2.7\bin\spark-submit.cmd
Parameters: –packages “com.databricks:spark-csv_2.11:1.3.0,com.amazonaws:aws-java-sdk-pom:1.10.34” –jars “C:\Users\User\Documents\R\win-library\3.3\sparklyr\java\rspark_utils.jar” sparkr-shell C:\Users\User\Temp\RtmpO0cLos\file23c0703c73bf.out

In addition: Warning message:
running command ‘”C:\Users\User\AppData\Local\rstudio\spark\Cache\spark-2.0.0-bin-hadoop2.7\bin\spark-submit.cmd” –packages “com.databricks:spark-csv_2.11:1.3.0,com.amazonaws:aws-java-sdk-pom:1.10.34” –jars “C:\Users\User\Documents\R\win-library\3.3\sparklyr\java\rspark_utils.jar” sparkr-shell C:\Users\User\Temp\RtmpO0cLos\file23c0703c73bf.out’ had status 127

Berdasarkan artikel ini katanya hanya masalah hak akses. Yaitu tidak adanya Selengkapnya… »

Docker: Hapus Image dan Container tak Terpakai

Karena makin ‘seru’-nya bermain dengan docker, tak terasa banyak image dan container yang terbentuk di mesin lokal. Dan karena perubahan pada tag-ing dalam perubahan versi image, banyak image dan container lama yang sudah tidak terpakai masih ‘nongkrong’.

‘Nongkrong’-nya image dan container lama tersebut tidak berpengaruh apa-apa pada mesin lokal saya, atau belum. Namun sedikit mengganggu saat ingin melihat semua container yang berjalan (`docker ps -a`) atau melihat image di mesin lokal (`docker images`). Dan hal ini akan sangat saya butuhkan bila mesin lokal saya kehabisan space. Selengkapnya… »

R: Impor Data Ms Access

Beberapa waktu lalu saya harus melakukan pengolahan data, namun data yang diberikan adalah berupa format Ms Access. Bagi sebagian orang, format ini adalah format biasa dalam menyimpan data portabel, namun ini tidak biasa buat saya.

Dalam pengolahan data ini saya masih beruntung PC di kantor menggunakan Sistem Operasi Windows 7 yang merupakan produk dari perusahaan yang sama dengan Ms Access sehingga bisa dilakukan dengan mudah tanpa kendala. Kendala saya hadapi saat saya menggunakan sistem operasi lain, yang biasa saya pakai sehari-hari.

Kendala utama saya adalah impor data. Yang akhirnya saya selesaikan di mesin kantor dan menyimpannya dalam format Rdata. Lebih kurang saya menggunakan cara Dainius yaitu menggunakan paket koneksi RODBC. Saya salin tempel saja di sini.

library(“RODBC”) #load package
db< -file.path("C:/path/to/your/database.accdb") #connect database. #Note the UNIX style slash (/). "\" is "escape character" so all "\"you should replace either with "/" or "\\" channel<-odbcConnectAccess2007(db) #internal RODBC function dataSetName<-sqlFetch(channel,"TableName") #read particular table from Access database file.

Setelah itu saya bisa menyimpan dataSetName ke berkas Rdata yang bisa saya gunakan di mesin lain. Diolah atau dites dengan kebutuhan yang ada.

Debian IPv6 6to4 Configuration

Beberapa hari terakhir saya mengalami masalah saat melakukan apt-get update di mesin VPS. Berkali-kali dicoba koneksi ke server repository apt sepertinya menggunakan alamat IPv6. Saya akhirnya mencari tahu bagaimana menon-aktifkan fitur ini. Namun bukan bagaimana cara menon-aktifkan saya malah menemukan halaman proyek penerapan IPv6 di Debian.

Dari membaca halaman proyek tersebut saya menyimpulkan tidak perlu menon-aktifkan fitur ini, toh nantinya fitur ini akan digunakan juga nantinya. Saya akan menggunakan konfigurasi 6to4 dimana adalah mekanisme transisi dari IPv4 ke IPv6.

Berikut tata cara mengaktifkan fitur tersebut :

Selengkapnya… »

MySQL ke MariaDB, MyISAM ke Aria

Setelah beberapa waktu mencoba MariaDB, saya rasa akan mulai masuk ke tahap produksi.

Fase pertama percobaan pergantian MariaDB ke MySQL terlihat berjalan normal. Fase kedua adalah mengubah semua mesin basis data menjadi Aria. Setelah mencari beberapa waktu, saya menemukan ini di coderwall. Silakan ubah sesuai kebutuhan dan simpan ke sebuah berkas bila diperlukan.

for i in $(mysql –skip-column-names –silent -e’show databases;’|grep -Ev ‘(mysql|_schema|runtime)’);
do
mysql –skip-column-names –silent -e”SELECT table_name FROM information_schema.TABLES WHERE TABLE_SCHEMA = ‘$i’ AND engine = ‘MyISAM'” | xargs -I{} mysql -e”ALTER TABLE {} ENGINE=’ARIA’ TRANSACTIONAL=1;” $i;
done

Semoga membantu.

Load Data CSV dengan Hive

Pada tulisan terdahulu, saya menulis mengenai Load Data CSV ke Hadoop dengan Impala. Perintah dalam tulisan tersebut masih bisa dilakukan, namun untuk memperpendek langkah dan baris perintah saya akhir-akhir ini lebih suka menggunakan Hive.

Langkah pertama dan kedua masih sama dengan tulisan sebelumnya, silakan cek. Pada langkah ketiga terdapat perbedaan dimana dengan Hive kita tidak perlu melakukan pengunggahan ke HDFS terlebih dahulu karena memiliki fitur ‘LOCAL INPATH’. Berikut beberapa langkah perintahnya sebagai pengganti langkah ketiga dan seterusnya.

yht@server-dev:~$ hive
2015-12-18 10:59:51,040 WARN [main] conf.HiveConf (HiveConf.java:initialize(1491)) – DEPRECATED: Configuration property hive.metastore.local no longer has any effect. Make sure to provide a valid value for hive.metastore.uris if you are connecting to a remote metastore.
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-5.2.4-1.cdh5.2.4.p0.3/jars/hive-common-0.13.1-cdh5.2.4.jar!/hive-log4j.properties
hive>

Selengkapnya… »

Load Data CSV ke Hadoop dengan Impala

Beberapa minggu terakhir ini saya harus berkutat dengan Hadoop yang digunakan sebagai basis data terpusat yang digunakan oleh unit kecil dimana saya bertugas. Pengaplikasian Hadoop adalah sebagai gudang data dimana semua data akan dimasukkan tanpa terkecuali.

Tugas saya adalah melakukan pengolahan data terhadap pola-pola tertentu oleh pihak-pihak tertentu yang identitasnya terdapat dalam basis data. Tugas ini memerlukan akses tulis untuk membuat tabel referensi.

Mencari melalui gugel, saya menemukan artikel ini yang setelah saya coba implementasikan dapat berjalan dengan baik. Namun antar muka ke Hadoop tidak menggunakan Hive, melainkan Impala.

Pertama-tama siapkan berkas tanpa kolom judul ke server Hadoop. Selengkapnya… »

Arsip