2010年11月12日金曜日
Technologies to be used in next generation search engine.
First of all, I would like to introduce several technologies that are to be implemented in my next generation search engine.
I am going to use :
1. Most importantly, I will be using Hadoop to analyze logs and rank web results. I will be making a small cluster of computers, and use virtualization technology.
2. Semantic Web search. Metadata and ontology is an important part of semantic web search. I will be focusing on this from this year and start implementing by next year.
3. mod_pagespeed : a new mod by Google for using in Apache web server, which will at maximum make web page load time 50% shorter. The technology is new, and I will have to try it on my server to see if it will really make some change. I am excited for this.
I am going to use :
1. Most importantly, I will be using Hadoop to analyze logs and rank web results. I will be making a small cluster of computers, and use virtualization technology.
2. Semantic Web search. Metadata and ontology is an important part of semantic web search. I will be focusing on this from this year and start implementing by next year.
3. mod_pagespeed : a new mod by Google for using in Apache web server, which will at maximum make web page load time 50% shorter. The technology is new, and I will have to try it on my server to see if it will really make some change. I am excited for this.
2010年11月6日土曜日
Looking for partners in improving Mohawk.
I am currently looking for partners in improving Mohawk Search Engine. If you are interested, just DM me at @stingraze on twitter.
Looking for skills in: C, C++, Java, Cent OS, Perl, (preferably expert in all these) and skills in MySQL tuning.
Japanese skill will be helpful.
I will be looking for partners globally.
Tsubasa Kato
Looking for skills in: C, C++, Java, Cent OS, Perl, (preferably expert in all these) and skills in MySQL tuning.
Japanese skill will be helpful.
I will be looking for partners globally.
Tsubasa Kato
2010年11月4日木曜日
今日の気になったキーワード
今日の気になったキーワードを紹介します。
-Google クラウドの核心から-
「サーバーラック1つでも、すぐに現在のデータセンター並のハードウェアスレッドを持てるようになるだろう」
NAS装置
オーバーサブスクリプション
共有メモリシステム
「どこまでローエンドにできるか」- まさにこれですね!
メモリパリティ検知
誤り訂正符号付きDRAM
上記のキーワードを使って、僕のMohawkを改良、公開したいと思っています。
-Google クラウドの核心から-
「サーバーラック1つでも、すぐに現在のデータセンター並のハードウェアスレッドを持てるようになるだろう」
NAS装置
オーバーサブスクリプション
共有メモリシステム
「どこまでローエンドにできるか」- まさにこれですね!
メモリパリティ検知
誤り訂正符号付きDRAM
上記のキーワードを使って、僕のMohawkを改良、公開したいと思っています。
2010年10月25日月曜日
I tried using Polaris
I tried using Polaris to datamine, and used my resume to see how it works. It's quite interesting, but I have to install Chasen to use the Japanese Word Splitting.
ウェブの暴君
「ウェブの暴君 」
このフレーズを聞いたことのある人は恐らく少数派だろう。
僕が初めて聞いたのは今日、それも偶然見つけたのでは無くて、ネット検索革命と言うアレクサンダー・ハラヴェ著の本を読んでからだ。
ウェブは民主的だと言われているが実際はそうだろうか。
どの検索エンジンを作っている方々にも直面する事実があると思う。
Are we a tyrant of the web?
こういうことだ。
本当にウェブを民主的にするなら、一般市民がランキングに携われるようにするのが理想だろう。
だが、ほとんどの場合、営利目的で運営されている今日の検索エンジンはそう簡単にこのシステムを導入する事ができないだろう。
僕自身、今開発中の検索エンジンでランキングの部分で少し悩んでいるが、本当にウェブは民主的なのだろうか。
今からまたランキングの新しいアイディアをひらめくまで考えるとする。
-stingraze
このフレーズを聞いたことのある人は恐らく少数派だろう。
僕が初めて聞いたのは今日、それも偶然見つけたのでは無くて、ネット検索革命と言うアレクサンダー・ハラヴェ著の本を読んでからだ。
ウェブは民主的だと言われているが実際はそうだろうか。
どの検索エンジンを作っている方々にも直面する事実があると思う。
Are we a tyrant of the web?
こういうことだ。
本当にウェブを民主的にするなら、一般市民がランキングに携われるようにするのが理想だろう。
だが、ほとんどの場合、営利目的で運営されている今日の検索エンジンはそう簡単にこのシステムを導入する事ができないだろう。
僕自身、今開発中の検索エンジンでランキングの部分で少し悩んでいるが、本当にウェブは民主的なのだろうか。
今からまたランキングの新しいアイディアをひらめくまで考えるとする。
-stingraze
2010年9月18日土曜日
登録:
投稿 (Atom)
