Oct 13, 2009
Mesin Pencari Kepunyaan Sendiri
Saya memiliki impian untuk menjadi seorang pengusaha dibidang teknologi, terutama pengembangan perangkat lunak, seperti halnya pengembang perangkat lunak internasional pemilik google, microsoft dan facebook. Mereka bekerja dengan tujuan untuk memudahkan orang lain, sebuah bisnis yang mulia, meskipun tak dapat dipungkiri semua hal ada harganya. Sampai saat ini, impian tersebut masih ada, saya masih belajar terus mengenai teknologi.
Saat ini saya tertarik dengan sebuah teknologi mesin pencari. Sebuah teknologi yang dimiliki hampir seluruh pengembang besar perangkat lunak. Mereka berperang dingin menciptakan mesin pencari dengan fitur yang paling canggih. Dalam literatur yang saya baca, salah satunya wikipedia mengenai Web Crawler, dijelaskan bahwa dalam proses kerja mesin pencari harus ada sebuah program yang bekerja sebagai pengumpul data secara otomatis. Program ini diharapkan bisa mendapatkan data akurat dan terbaru dari sumber sehingga hasil yang diinginkan oleh pengguna pun maksimal.
Saya menemukan sebuah proyek open source bernama OpenWebSpider. Proyek ini merupakan proyek dasar mesin pencari yang menyertakan tatap muka web siap pakai. Proyek ini menggunakan bahasa C# yang membuat saya lagi-lagi harus mempelajari bahasa pemrograman baru.
Proyek ini sudah saya uji coba dengan tatap muka web berada pada server proyek saya. Silakan kunjungi halaman pencari saya bila Anda berkenan.
Saat tulisan ini saya tulis proses pengumpulan data masih berlangsung. Dimulai dari web ini tentunya. 😆
Nice post on web crawlers, simple and too the point :), I use python for simple html web crawlers, but for larger projects like documents, files, or the web i tried http://www.extractingdata.com/web%20crawler.htm which worked great, they build quick custom screen scrapers, web crawlers, and data parsing programs
It’s my 1st step to learn, and I still running on it.
On the extractingdata.com, you’ve to pay for the data you need. What I need is the how to do it, not the result.
Maybe I’ve to learn how to parse the data that I get to maximize my own search engine.
Thx for coming.
[…] kemungkinan besar dalam beberapa bulan terakhir akan kembali membangkitkan riset awal saya mengenai web clawler jika infrastruktur tersedia. Riset awal saya itu sudah tidak saya lanjutkan karena banyak sekali […]
[…] kemungkinan besar dalam beberapa bulan terakhir akan kembali membangkitkan riset awal saya mengenai web clawler jika infrastruktur tersedia. Riset awal saya itu sudah tidak saya lanjutkan karena banyak sekali […]