- NAMAAN Staff UMAブログ -   rss

2006年05月31日

NAMAANの卒論がHackされました

大崎＠NAMAAN　UMAです
先日ですが、とうとう私の卒業論文が発見されてしまいまして
今日の井原 - blog検索エンジン「NAMAAN」の中身
にてHackされておりました。
井原さんありがとうございます。

今までは、人が発表している内容をHackしている立場だったんですが、
自分の発表しているものがHackされるのは初めの体験で恥ずかしさのあまり、
NAMAAN事務所では大騒ぎしてしまいました。。。

さて、井原さんがブログにて紹介されていますが、恥ずかしながら著者として
論文の内容について簡単に紹介したいと思います。

論文ではNAMAANのシステム概要を簡単ですが説明しています。
現在のNAMAANは、論文に書いてありますように。オープンソースのNamazuを利
用して並列検索システムを実現しています。
NAMAZUを選択した理由は、非常に高機能で構築が簡単だったためです。

ですが、テスト開発を開始するとNamazuには...
　・XMLのインデックスパーサが標準ではない。
　・インデックスが巨大になると遅くなる。
　・逆にインデックスが細かいのが多くても余計に遅い。
　・データ量が多いとインデックス処理が遅くなってしまう。
　・Namazuの標準インデックス処理には、Namaanでは必要の無い余計な処理も
　　あった。
　・ハイライト処理も貧弱。
　・形態素解析はChasen?Kakashi?Mecabがいいのか？
　
等など、数多くの問題点がNamazuにはありました。。。
インデックス処理が遅い件に関しては、Perlで書かれているのが原因だと思い、
Cで書き無そうかとも考えましたが、とりあえずソースを変更してNAMAAN独自
のチューニングを行っています。

またNamazuには、サーバ間での並列検索処理機能が備わっていません。
そのためNAMAANでは、検索とインデックス作成部分のプログラムに関しては
Namazuの上に並列プログラムを書くことで、独自の並列検索システムを実現し
ています。

このシステムにより、サーバを追加することで簡単に検索データ量と処理の高
速化が可能なシステムになっています。

しかし、現在のシステムはまだまだ未熟なところが多く、次期システムは現状
の検索システムの不満点、改善点を洗い出して一から設計をしています。

この件については、今後このブログでお話していきたいと思っています。

今後ともNAMAANをよろしくお願い致します。

投稿者 staff : 2006年05月31日 12:00 このエントリーを含むはてなブックマーク

2006年05月30日

NAMAANスタッフブログを開設しました

ますだ＠ＮＡＭＡＡＮ UMAです
いつもNAMAANをご利用いただきありがとうございます。
本日より、NAMAANスタッフによるブログを開設いたしました。

このブログでは、NAMAANで開発中のプロジェクトについてや、日々のスタッフ
の様子や、ちょっとした出来事をお伝えしながら、NAMAANをより身近に感じて
頂きたいと思っています。


さて、少しNAMAANについてご説明します。
NAMAANは2004年11月9日からサービスを開始し、はや1年半が経過しました。
当時はブログはまだまだあまり知られておらず、ましてや検索サービスが存在
することすら知られていませんでした。

NAMAANは、株式会社ウェブシャーク内
の１プロジェクトとして細々とサービスを運営していました。
しかし、2005年も半ばを過ぎる頃には、ブログブームが起き多くの人がブログ
を通じて世界へ情報を発信するようになりました。そんな中NAMAANは2005年9
月に電脳卸を運営する株式会社ウェブ
シャークの完全子会社として法人化されました。

技術的な歴史を振り返ると、サービス運営当初はDB(MySQL)を使った簡単な検
索
システムでした。
しかし、その後ブログブームなどにより、ブログ情報は飛躍的に増加し、MySQL
による検索サービスには限界が見え（より高度に使いこなせば、MySQLでも処
理は可能なのでしょうが。。）、様々な実験を行いNAMAZUを使用した検索シス
テムを構築しました。
しかしNAMAZUをそのまま利用しただけでは、現在のブログ量、更新スピードを
維持できないため、弊社スタッフ総出で（といっても2人でしたが。。）様々
なアイディアを盛り込み、工夫することでリリースに至りました。

現在は、そのNAMAZUを利用した検索システムの不満点を洗い出し、利便性を高
めた検索システムを開発中です。これについてはまだ設計段階のため、お話で
きることがないのですが、これについてもいずれこのブログでご説明したいと
思っています。

なお、現在NAMAAN技術者は2名で開発していますが、人手不足です。
NAMAANでは現在開発スタッフを募集しております。info＠namaan.netまでお問
い合わせください。


それでは、今後ともNAMAANをよろしくお願い致します。

投稿者 staff : 2006年05月30日 12:00 このエントリーを含むはてなブックマーク