TOP > 検索ソリューション > データ収集サービス

データ収集サービス

インターネット上の様々なコンテンツを対象にデータを収集し、お客さまが必要とするデータ規模・内容を、ご活用しやすい形に変えて提供します。

マーズフラッグが検索ポータルサイトの運営やサイト内検索サービスでエンハンスし続けてきたクローラとデータマイニング技術を基に、データマイニング・サマライズ・フォーマット加工等を施し、納品します。

これまでにお客さまに納品したデータは、製品・サービスの開発・Webマーケティング等に多数ご活用いただいております。

事例はこちら

作業フローと提供サービス

データ収集に付随する作業全体のコンサルティングを始め、サマライズ・納品フォーマット加工まで、お客さまの業務に合わせたメニューをご用意しています。インターネット上のデータをただ収集するだけではありません。お客さまのデータ活用方法に合わせて、必要なサービスを選定してください。

コンサルティング(全体)

お客さまのプロジェクトの背景、目的、ゴールを共有させていただき、最短・最小コストでゴールに辿り着くためのデータ収集方法から納品形態まで、トータルにコンサルティングさせていただきます。また、データ活用を踏まえた日々の運用での課題解決についても、ご提案・サポートさせていただきます。

データ収集元の選定

Webサービス(コンテンツ)・Webサイト群(リスト)・収集範囲等、最大の成果を得るためのデータ収集元の選定を行います。データ収集元の選定はお客さまがよく悩まれる所です。プロジェクトのゴールに合わせて、経験則や最新情報を基にしたご提案をさせていただきます。

データ収集

膨大なデータのクロールおよびデータ収集を実現します。認証サイトへのクロールや、SSLページのクロールにも対応しています。また、国内からのアクセスが困難なWebサービスへのクロールも、マーズフラッグが所有する海外IDCからのクロールにより容易に可能です。

抽出

フォーマットの異なる膨大な収集データから、必要な情報だけを抽出して納品します。Webサイトの構造を基にしたページ選別・HTMLの書式を基にした抽出・特定キーワードの前後の文字列の抽出・Webページの位置を基にした抽出等、様々なデータ抽出手法をご用意しています。

データマイニング(解析)

データ同士の相関関係の検出や、名寄せによるデータの統一性の担保、パターン認識や学習機能による重み付け等、ビッグデータ解析ならではのデータ補完を実現します。

サマライズ・統計

収集データをサマライズした統計データを納品します。膨大なデータを分母として必要な計算を実施し、また、データを蓄積し、時間軸での統計データの抽出も可能です。

納品フォーマット加工

収集データをお客さまのプロジェクトに合わせた形態に加工し、納品します。フォーマットを指定したファイルでの納品はもちろんのこと、APIでのフィード型式による納品や、ファイル形式ではなく検索サービスとしての納品も可能です。

収集が可能なデータの例

上記は対象コンテンツとしてニーズの高いデータソース群です。その他ご要望に応じて、様々なWebサイト・Webサービスを対象にデータ収集を実施します。

収集が可能なフォーマットの例

様々なフォーマットのコンテンツを対象に収集できます。上記全て、動的に作成されるページもデータ収集可能です。記載のないフォーマットに関しては、お問い合わせください。

サービスのご利用事例・実績

データ収集サービスをご利用いただいた事例を一部ご紹介します。企業様名等の開示には制限がありますので、ご了承ください。

ソフトウェアの開発・エンハンスに必要な言語データを収集

新語を含めた文章、特に新語とその使われ方に注視したいというお客さまの意向があり、多数のニュースサイトを対象にクロールを行いました。収集したデータはお客さまのデータ組み込みスケジュールに合わせた周期で納品し、クロールするニュースサイトをマーズフラッグが選定するオプションも好評を得ました。

ブログサイトを常時クロールし必要な情報だけを抽出

日々増加し続けるブログ記事全てをクロール対象とし、リアルタイムで更新を行い、ブログ検索サービスとしてご活用いただきました。収集した膨大なデータを瞬時に検索してご利用いただけることに好評を得ました。

アクセスログ・検索ログの解析基盤を構築

Webサイトのアクセスログと検索ログを対象としたビッグデータ解析基盤を構築し、お客さまの使い勝手を考慮したユーザインタフェースを合わせて提供させていただきました。データ収集に特殊な手法を用い、該当Webサイトへの訪問ユーザのユニーク性や、サイトを跨ぐユーザ動向の把握性をご評価いただきました。

お問い合わせ

検索ソリューションに関するご質問・お問い合わせはこちらからどうぞ

Page TOP