オルタナティブ・データ（代替データ）とは？どのように使えるか？
Photo by Franki Chamaki on Unsplash
オルタナティブ・データ（代替データ）とは？
オルタナティブ・データ（代替データ）は、大規模で複雑なメトリックであるため、多くの場合、ビッグデータの一種としても認識されています。これらのデータセットは通常、Excelで簡単に処理できる従来のデータよりもアクセスしにくく、構造化されています。 代替データは、主にヘッジファンドやその他の金融業界で採用されています。
この情報爆発時代においては、従来のデータソースは、もはや金融業界の投資分析とリスク管理のニーズを満たすことができません。それに合わせて由来した代替データはさまざまな角度からデータを抽出して、予期できないリスクと潜在的な投資機会を見極めることが重要です。
なぜ代替データはそれほど魅力的なのか？
代替データはなぜ投資家にとって魅力的なものになっているかに疑問を持っていませんか。モバイルデータプロバイダーのThasosは、テスラの工場でスマートフォンデバイスから発生した数兆の地理座標を収集し、2018年6月から10月にかけて夜間シフトが30％増加したことを発見しました。その後、Thasosはテスラの株価が上昇すると推測しました。予想どおり、Tesla Model 3の生産量は2倍になり、シェアは9.1％増加しました。 Thasosがトレーダーが在庫移動を予測するのに使用したのは、代替データです。データは直接または関連しているようには見えませんが、戦略的洞察にとって重要です。
最も一般的な代替データは次のとおりです。
1.Webデータ：特定の期間における各アイテムの販売数量と価格に関するeコマースWebサイトのWebデータをスクレイピングします。この情報から、セルサイド企業と小売業者は、次のシーズンに向けて販売するアイテムを決定できます。
2.Webトラフィック：ユーザーの訪問時間、ユーザー数、およびWebページでのユーザーアクティビティ。これらのデータは、マーケティング担当者が消費者の購買決定をオンラインに移行するのに役立ちます。
3.地理位置：地元の小売店の駐車場の衛星画像データは、地元の経済を測定します。
代替データを取得する方法
代替データを予測することはチャンレジに富むことです。適切な技術サポートのない、長くて退屈なプロセスであるため、現在のところ、代替データを取得するためのベストプラクティスは、通常Webスクレイピングを使用することです。しかし、人々がデータを取得できない場合があるいくつかの障害があります：
1.高い料金：貴重なデータを取得するには費用がかかります。Thasosの創立者であるスキビスキー氏は、一部の顧客は年間100万ドル以上を支払っていると結論付けました。
2.長時間：一部の代替データには、より長い期間が必要でした。一部の企業では、全期間にわたって資金を調達する資本がない。
3.データ値：経営者は、データがもたらす可能性のある資産を確信していません。急にトレンドを追うと、事業は借金になる可能性があります。
Webスクレイピングはどのように役立ちますか？
代替データプロバイダーの数は、ここ10年間で増加しています。この調査は、フリーランスのデータプロバイダーのほとんどは高校学歴であることを示しています。企業がさまざまなソースから大量のデータを取得することは、コンピューティングと法律上の複雑さのために非常に困難な場合があります。これは、データプロバイダーを選択する際の投資決定にリスクがあり、苦痛を伴う場合があります。予算のある企業にとって、Webスクレイピングはデータを取得するための安価な代替手段です。また、不正確なリスクは、データソースプロバイダーからの二次データよりもはるかに低くなります。
From: alternativedata.org
Webスクレイピングにより、データ抽出プロセスが自動化され、希望どおりにデータをスクレイピングできます。Octoparseは、世界500大企業に世界クラスのサービスを提供する長い歴史を持つ信頼できるWebスクレイピングプロバイダーです。 また、コーディングスキルを必要としないインテリジェントなWebスクレイピングソフトウェアも提供します。このシナリオでは、Webクローラーを構築して、選択したソースからデータを取得し、APIを介してデータベースに統合できます。
2019年おすすめBIツール10選！
ビジネスインテリジェンス（英: Business Intelligence、BI）は、wikipediaによると、企業などの組織のデータを、収集・蓄積・分析・報告することで、経営上などの意思決定に役立てる手法や技術のこと。経営判断上の過去・現在・未来予測などの視点を提供する。ビジネスインテリジェンス技術で使われる一般的な機能には、データ分析、データとテキストマイニング、ビジネス業績管理(BPM)、予測分析(en)、規範分析(en)などがある。
BIツールは、情報ウェアハウスの整理、視覚化されたデータの表示、分析の構築などに使用されます。ビジネス運用には、使いやすいビジネスインテリジェンスツールが不可欠です。この記事では Octoparseを利用して、今人気となっているBI ツール20選を紹介します。
#1 Tableau
Tableauは視覚的に使いやすいデータ分析ができるBIツールです。ドラッグ&ドロップ機能を使用すると、データ構造を詳しく理解しなくても分析チャートを編集および作成できます。
満足度：4.9
PC・モバイル対応：Mac/Windows Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート、ベンチマーク、予算と予測、ダッシュボード、データ分析、データの視覚化、主要業績評価指標 OLAP、パフォーマンス指標、予測分析、収益性分析、戦略的計画など。
サイト：www.tableau.com
#2 QlikView
QlikViewは、ユーザが自由に分析でき、業務に必要なデータを探索することができる分析プラットフォームです。QlikViewのAssociative Data Indexing Engineを使用すると、ユーザーは異なるデータベースをクリックして組み合わせることで、簡単に分析することができます。
満足度：4.7
特徴キーワード：アドホックレポート、ダッシュボード、データ分析、データの可視化
#3 SAP Business Objects
SAP BusinessObjectsは、レポーティング、分析やデータ統合など、すべてのユーザーの情報活用ニーズに応えるための適切なインタフェースおよび情報の一元管理機能が用意されているBIツールです。
満足度：4.7
PC・モバイル対応：Mac/Windows/Android/iOS
特徴キーワード：レポート作成、モデリング、分析、ダッシュボード、ストーリー、イベント管理など。
サイト:https://www.sap.com/index.html
#4 IBM Cognos Analytics
IBM Cognos Analyticsは、拡張インテリジェンスを組み込んだセルフサービス分析プラットフォームです。インタラクティブダッシュボードはデータ分析を簡素化し、また、what-if分析、高度な分析、分析レポート、傾向分析など、さまざまな分析機能もあります。さらに、Cognos Analyticsを使用すると、ユーザーは自分のモバイルデバイスからのレポートやオフラインなども操作できます。
満足度：4.6
特徴キーワード：自動モデリングデータソース検証、データ視覚化、レポートスケジュール設定、ナレーションなど。
サイト：https://www.ibm.com/products/cognos-analytics
Microsoft Business Intelligence Platformは、分析サービス、統合サービス、マスタデータサービス、レポートサービスなどの機能を含む1つのソリューションにすべて統合されています。Analysis ServicesとReporting Servicesは、スタンドアロンサーバーとしてインストールできます。 SharePointファームにすることもできます。
満足度：4.4
PC・モバイル対応：Windows
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマーク、パフォーマンス指標など。
サイト：https://www.microsoft.com/en-us/sql-server
#6 Oracle Business Intelligence
Oracle Business Intelligencは、すべての関連情報へのアクセスを提供するビジネスインテリジェンスサービスです。データマイニング、レポート作成、および分析アプリケーションを含む他のスーツにサービスを提供します。
満足度：4.4
PC・モバイル対応：Windows
特徴キーワード：エンタープライズビジネスモデル、抽象化レイヤ、アドホッククエリ、アドホックレポート、インタラクティブなダッシュボード、予防事業活動監視と警告、エンタープライズレポート、分布レポート、予測分析、戦略的な目標設定と追跡、データの視覚化など。
サイト:https://www.oracle.com/solutions/business-analytics/business-intelligence/
#7 Yellowfin
Yellowfinは、BI、分析、およびデータに関するレポートで構成される一連の製品を提供します。ユーザーは独特な視点を生み出し、ストーリーテリングという形で共同編集者と共有できます。その分析スイートは、シグナル、ダッシュボード、ストーリー、データ検出、およびデータ準備を含む5つのコンポーネントで構成されています。その上、アプリケーションにYellowfinを埋め込むこともできます。
満足度：4.1
PC・モバイル対応：Windows
特徴キーワード：アドホック分析、アドホッククエリ、 アドホックレポート、ベンチマーク、戦略的計画; 傾向/問題の指標、マーケティングレポートなど。
サイト：https://www.yellowfinbi.com/
#8 WebFOCUS
WebFOCUSは企業内外にいるさまざまな人に適切な情報を届ける統合BI プラットフォームです。レポーティングからセルフサービスまで、BIに求められる機能をすべて装備。利用者のニーズはもちろん、IT部門のニーズも叶えます。
満足度：4.1
PC・モバイル対応：Windows
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマーク、戦略的計画; 傾向/問題の指標、感情分析、アプリケーション開発など。
サイト：https://www.informationbuilders.com/products/bi-and-analytics-platform
#9 TIBCO Spotfire
TIBCO Spotfireは、データの収集、分析、視覚化などの機能を提供する1つのBIソフトウェアです。 TIBCOが他のBIソフトウェアと異なる点は、ユーザーが独自のKPIを設定し、iPhone / Androidに通知を送信して、外出先でも作業にアクセスできることです。
満足度：4.1
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート、ベンチマーク、主要業績評価指標、パフォーマンス指標、アプリケーション開発、パフォーマンス指標など。
#10 SAS
SAS Business Intelligence SAS BIは、SASの分析とデータ統合を活用し意思決定に必要な洞察を導き出す、包括的で扱いやすいビジネス・インテリジェンス・ソリューションです。このソフトウェアは、意思決定者がビジネス指標を監視し、実用的な洞察を引き出すことを可能にするリアルタイム分析を提供します。ビジュアル分析、ビジュアル統計、オフィス分析、エンタープライズガイド、およびエンタープライズBIサーバを含む6つのモジュールで構成されています。
満足度：4.0
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、 アドホックレポート ダッシュボード、データソースコネクタ、データの視覚化など。
サイト：https://www.sas.com/en_hk/home.html
#11 Targit
TARGIT Decision Suiteは、視覚的なデータ検出ツール、ビジネス分析、レポート作成、およびダッシュボードを提供する唯一のビジネスインテリジェンスプラットフォームです。CRMとERPを接続して、プロセス全体をインタラクティブにします。
満足度：3.9
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマーク、パフォーマンス指標、予測分析、収益性分析など。
#12 Izenda Embedded BI & Analytics
Izendaはリアルタイムのデータ発見を可能にします。アプリケーションにBI機能と分析機能を必要とする企業向けの組み込みプラットフォームです。WebブラウザまたはモバイルデバイスからIzendaにアクセスできます。Ruby、Python、Java、.NET、PHPなどとの統合を可能にする柔軟なアーキテクチャも組み込まれています。
満足度：3.9
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマーク、データの視覚化、パフォーマンス指標など。
サイト： www.izenda.com
#13 MicroStrategy
企業のレポート作成やデータの発見からモバイルの生産性やリアルタイムのテレメトリまで、MicroStrategyだけが、組織のデータを実際のインテリジェンスに変換し、Intelligent Enterpriseへと進化させるために必要な幅広い機能を組織に提供します。
満足度：3.9
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：データブレンド、データクレンジング、データマイニング、ビジュアル分析 ウィジェット ダッシュボードの作成 フィルター処理されたビュー、リレーショナル表示、ウェブサイト分析など。
サイト：https://www.microstrategy.com/us
#14 Board
Boardは、パフォーマンス管理とビジネス分析を組み合わせたフル機能のBIシステムです。これにより、ユーザーはデータソースを取得してレポートを作成できます。多国籍企業が別の言語でレポートを配信するための多言語パッケージもあります。データ収集機能とデータ分析機能により、企業は洞察に満ちた決定を下すことができます。
満足度：3.7
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマークなど。
#15 Sisense
Sisenseは、2018年および2018年にSupreme Software Awardを受賞し、最優秀ビジネスインテリジェンス賞を受賞しました。ドラッグアンドドロップ機能を使用して、ダッシュボードからデータを視覚化できます。データを洞察に富んだグラフやチャートに変換します。それは、ソニー、ESPNそしてNASAのようなフォーチュン500大企業を含む様々な規模のビジネスのための優れた能力を持っています。
満足度：3.6
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマークなど。
#16 Statsbot
Statsbotを使用すると、他のBIツールのように複雑な設定をすることなく、SQLデータベースからビジネスメトリクスを視覚化できます。Mixpanel、Salesforce、SQLサーバーへの簡単な接続、バージョン管理やコードの再利用などの技術的手法を適用して、データに対してクリーンで保守可能な変換ロジックを構築することもできます。内部最適化エンジンを使用すると、依存関係が自動的に計算され、どのクエリセットを具体化するかが決定されます。さらに、ビジネスリクエストごとに特別なSQLクエリを記述する必要はありません。
満足度：3.4
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポートなど。
#17 Panorama - Necto
Necto Telecomはデータの下に隠された傾向を明らかにすることができます。それは外出先でビジネスメトリクスに追いつくためにビジネスの意思決定者にとって非常に便利ですKPIのアラートと通知を設定することができます。 複数のデータソースを処理し、それらを1つにまとめることができます。 あなたが複雑な分析と報告を構築する必要があるならば、それは良い選択です。
満足度：3.3
PC・モバイル対応： Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマークなど。
サイト： http://www.panorama.com/necto/
#18 InetSoft
InetSoftは、データビジュアライゼーションを使用してオンザフライでのデータモデリングを実現します。これにより、インタラクティブダッシュボードやピクセルパーフェクトレポートなどのデータビューをすばやく繰り返し作成することができます。
満足度：3.1
PC・モバイル対応：Mac/Windows/Android/iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ダッシュボードなど。
#19 Birst
Birstは、様々な情報に基づいた決定を下すのに役立つクラウドBIおよび分析ソリューションです。その適応性のあるユーザーエクスペリエンスにより、多数のセルフサービス分析とデータ消費オプションが得られます。
満足度：3.0
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマーク、キャンペーン管理、ダッシュボードの作成、マーケティングレポートなど。
#20 Domo
Domoはクラウドベースのシステムなので、ダウンロードやインストールは必要ありません。エンジンで抽出、変換、ロード（ELT）を操作することができます。また、オンプレミスのデータを統合できるようにするさまざまなアプリケーションコネクタも用意されています。
満足度：3.0
PC・モバイル対応：iOS
特徴キーワード：アドホック分析、アドホッククエリ、アドホックレポート ベンチマークなど。
結論
これらのBIツールはすべて、企業が使用するための豊富な機能セットを提供します。絶え間なく変化するマーケティングの動向についていくためには、意思決定者が大量のデータの中から洞察を得ることが不可欠です。情報ウェアハウスを構築するには、データ量を増やすためにOctoparseのようなWebスクレイピングツールが必要です。
Webスクレイピングとデータ分析は、ビジネスの成長にどのように役立ちますか？
データ分析が我々の生活に一定的な影響をもたらしています。ビジネスや企業はデータによって顧客の行動や市場の要求を分析することが簡単になりました。
Wal-Martは、Amazonと競合するために、統計分析と意味分析に基づく「Polaris」という検索エンジンを開発しました。Polarisは、Facebookから、pined/liked/savedなどの商品に関するメッセージを受け取ることができます。これでWal-Martは消費者の動向を一刻も早く把握することができます。
それにひかれて、私もデータからユーザーのログイン頻度と販売数この２つのの間にいったいどういう關係性があるのかをを分析してみました。
以下では、それらのデータを取得する方法と、データの分析について説明します。
Part 1、ユーザー記録データの収集
オンラインユーザー管理システムには多くのユーザー記録データを保存しているはずです。データを構造化してエクスポートし、さらに分析するためにローカル側に保存する必要があります。企業にとって、プログラミングによってWebサイトからデータをクロールするコストは予算オーバーになる可能性があります。この記事ではオンライン管理システムからデータをクロールする方法について紹介します。
データをクロールするにはコーディングする必要がなく、無料WebスクレイピングツールのOctoparseが必要です。ドラッグとクリックするだけで、目的のデータを簡単に収集できます。オンライン管理システムからデータを抽出する方法は不便なので、今度は別のサイトを利用してデータを抽出する方法と、実際にオンライン管理システムから抽出したデータに基づいた分析を説明します。
手順：
ステップ1、ターゲットURLを入力して下さい。内蔵ブラウザでWebページを完全に読み込まれるのを待ちます。
ステップ2、ページネーションループを設定します。Octoparseは自動的に次のページに渡ります。
ステップ3、下記画像の中にある赤枠のように、全てのターゲットデータを含むループアイテムを作成します。
ステップ4、データフィールドを選択します。このサイトは商品名、商品価格とポイントですが、オンライン管理システムの場合ではログイン頻度、購入品番やユーザーIDなどそれぞれにニーズに合わせて選択してください。
ステップ5、指示に従って次のステップをクリックし、「ローカル抽出」を選択します。データがどのように短期間で抽出されるのかをローカル抽出画面で確認できます。
OctoparseではExcel、CSV、HTMLなどを含むさまざまな形式にデータを抽出できます。
Part 2、データ分析
（これからの内容は全て実際のオンライン管理システムから収集されたデータに基づいた分析です。上記のサイトから抽出されたデータとは無関係です。）
ステップ1、推測
データをExcelにエクスポートしましたので、これら2つの要素（ログイン頻度、販売数）が実際に互いに關係性があるかどうかを調べます。データを再編成して以下ようになります。
取得されたデータに基づき以下のような散布図を作って、分析したいデータ（ログイン頻度、購入数）が規則的に分布していることが一見でわかります。購入数のほとんどはログイン頻度の2〜5の間に集まっています。これは、ログイン頻度が2〜5の範囲にある人々がより高い購入傾向を示すというシナリオを想定しています。さらに、赤線から見れば、ログイン頻度がこの範囲内であるほど、顧客が購入する商品の数が多くなると予測できます。 しかし、これは単なる主観的な推測です。この仮説を試すためにさらに進む必要があります。
ステップ2、統計的仮説検定分析（P値）
ユーザーのログイン頻度と購入数の間に一定的な関係があると想定してみましょう。
まず、ログイン頻度は2～5以内だと仮定しました。
次に、ログイン頻度2、3、5のデータに統計的仮説検定分析を行います。
それから、データ全体からランダムサンプリングを行い、22のサンプルデータを選択します。
その後、Matlabまたは他の利用可能なデータ分析ツールを使用して単一因子分散分析を実行できます。有意水準α、すなわちタイプＩエラーを起こす確率を0.05に設定します。
最終結果は以下の通りです。3つのグループは平均値が異なっていることがわかります。サンプルグループの違いは、実験のサンプリングエラーによって発生したと仮設します。
P値をαと比較すると、P値がα未満であることがわかります。したがって、これら3つのグループに違いがあるという対立仮説を支持して帰無仮説を棄却できます。さらに、ユーザーの購買数が、ログイン頻度の影響を受けることが検証できます。
上記の分析から、指定されたログイン頻度を持つターゲットユーザーにもっと目を向け、目標と予算計画に焦点を合わせる分析に役立つことができます。
Webスクレイピングに関する10のよくある誤解
世間ではWebスクレイピングに関する多くの誤解も見られるようになっています。特に多く見られる10の誤解として、以下が挙げられ、説明します。
1. Webスクレイピングは違法だ
「スクレイピングは違法だ」ということもよく耳にしたことがあり、実際のところはどうなんだろう？Webスクレイピングそのものは違法ではなく、データ分析を目的とし、新たに自社のデータベースとして活用する場合は違法とはなりません。10のよくある誤解の中でも、特に大きな誤解を与えるものは、この誤解です。しかし、著作権を侵害したり、スクレイピングを行うWebサイトの規約に違反すると違法とみなされ、法的措置をとられる可能性があります。調査によると、Webスクレイピングによるコンテンツの悪用により、オンライン収益の2％が失われる可能性があります。
Webスクレイピングには、その適用に対処するための明確な法律や用語がありませんが、スクレイピングを行う際に気を付けなければ違法になってしまう場合が3つあります。
2. WebスクレイピングとWebクローリングは同じだ
WebスクレイピングとWebクローリングは、2つの関連概念です。Webスクレイピングには、ターゲットとされたWebページからの具体的なデータ抽出、たとえば、セールスリスト、物件情報、商品在庫に関するデータの抽出が含まれます。一方的に、WebクローリングはWebサイトをGoogleなどの検索結果に表示させるため、クローラーというbotにサイトを知ってもらうことです。
3. 任意のWebサイトでもスクレイピングできる
多くの場合、ユーザー名、パスワードなどの個人情報はスクレイピングできません。しかしメールアドレス、Facebookの投稿、LinkedInの企業情報などのスクレイピングニーズもたくさんあります。LinkedInのデータをスクレイピングした企業とLinkedInの法的紛争は大きな話題となっています。ですからWebサイトをスクレイピングするする前に、必ずrobots.txtを確認してください。Robots.txtは、Webサイトがスクレイピングできるかどうか、またはWebサイトの所有者が指定したとおりにスクレイピングする方法をクローラー、ボット、スパイダに伝えるテキストファイルです。そのため、Webスクレイピング中にブロックされないようにrobots.txtファイルを理解することが重要です。
4. プログラミング方法を知っておく必要がある
普通には、スクレイピングはプログラミングにより実現するのです。しかし、今では、プログラミングしなくても、同じく機能できるWebスクレイピングツール（データ抽出ツール）がたくさん開発されました。スクレイピングツールは、マーケティング担当者、統計学者、財務コンサルタント、研究者、ジャーナリストなどの非プログラマーにとって非常に便利です。それに、OctoparseはWebスクレイピングテンプレートという機能を提供します。それはFacebook、Twitter、Amazon、eBay、Instagramなどを含む30以上のWebサイトをカバーしています。起動で必要なのはキーワード/ URLなどのパラメータを入力することだけです。必要なデータを抽出するのに効率的で便利です。
5. スクレイピングしたデータは自由に使える
先ほど言った通り、データ分析を目的とし、新たに自社のデータベースとしてスクレイピングしたデータを活用する場合は合法です。しかし、著作権を侵害したり、Webサイトの規約に違反したり、機密情報を収集すると違法とはなります。たとえば、許可なく個人の連絡先情報をスクレイピングし、それを第三者に売却して利益を得ることは違法です。その上、元ソースを提供せずにスクレイピングされたコンテンツをあなた自身のものとして再パッケージ化することも倫理的ではありません。法律に従って、スパム、盗作、またはデータの不正使用は禁止されているので、法律に従うべきです。
6. Webスクレーパーは万能だ
同じWebスクレーパーで同じサイトを2度目にスクレイピングするとき、データを抽出できないことがありますか？それは多くの理由があります。時には、Webサイトはレイアウトや構造が更新される場合もあります。スクレーパーを疑わしいボットとして識別することによって引き起こされることもあります。地理的な場所やマシンへのアクセスが異なるために発生することもあります。この場合、調整を設定する前にWebスクレーパがWebサイトの解析に失敗するのは正常なことです。
7. 速い速度でスクレイピングできる
Webクローラーがいかに速いか、数秒でデータを集めることができるのを表示している広告をよく見えますね。それは良さそうですが、アクセスリクエストがはや過ぎると、Webサーバーが過負荷になり、サーバーがクラッシュする可能性があります。過去に、スクレイピングを行って、サーバーに負荷をかけてしまった、という疑いで逮捕された事例（岡崎市中央図書館事件）があります。Webサイトがスクレイピング可能かどうかわからない場合は、Webスクレイピングサービスプロバイダにお問い合わせください。
APIは、データリクエストをWebサーバーに送信して対象データを取得するためのチャネルのようなものです。APIはHTTPプロトコルを介してデータをJSON形式で返します。たとえば、Facebook API、Twitter API、Instagram APIなどです。ただし、要求したデータをすべて取得できるわけではありません。Webスクレイピングを使用すると、Webサイトとやり取りできるため、プロセスを視覚化できます。OctoparseにはWebスクレイピングテンプレートがあり、キーワード/ URLなどのパラメータを入力することによってデータ抽出はさらに便利です。
9. Web全体からデータを抽出できる
Webスクレイピングは、ワールドワイドウェブ全体または少なくとも数十万ものWebサイトからデータをスクレイピングするために使用できると多くの人が信じています。これは実際には実現不可能です。異なるWebサイトは同じページ構造に従っていないため、1つのWebスクレーパーがすべてのページをスクレイピングするののは無理です。
10. Webスクレイピングはビジネスでのみ使える
Webスクレイピングはさまざまな分野で広く使用されています。見込み顧客生成、価格監視、ビジネスの市場分析に加えて、学生は、Google scholarから研究を行うこともできます。不動産業者は住宅研究を行い、住宅市場を予測することができます。それに、ブランドを宣伝するには、YoutubeインフルエンサーやTwitterのエバンジェリストを見つけることもできます。あるいは、ニュースメディアとRSSフィードをスクレイピングすることによってニューストピックを集めることも可能です。
いかがでしたか？今回の紹介はスクレイピングを客観的に見つめ直すいい機会になるだろう。
2019年おすすめのデータ分析・データ可視化ツール30選！
データの視覚化は、情報やデータを見える化することによって、人々が効果的に洞察を得ることに役立ちます。データ視覚化ツールは、グラフやチャートなどを利用してデータをより分かりやすく読み上げます。多くのデータ視覚化ツールから最適なのはどれですか。本記事では2019年おすすめのデータ可視化ツール30選を紹介します。あなたのニーズに合わせて一番ふさわしいツールを選びましょう。
ノーコード型ツール
1.チャートとグラフ
1) RAWGraphs
RAWGraphsは、オープンソースのWebデータ視覚化ツールです。Microsoft ExcelおよびApple Numbersのようなスプレッドシートと、Adobe Illustrator とSketchのようなベクトルグラフィックエディタの利用を結びつけることを目的としています。RAWGraphにデータをインポートして、グラフをカスタマイズし、SVGかPNGの画像をエクスポートするだけです。さらに、RAWにインポートされたデータはWeb側に処理されるので、データの安全性が保証されます。
2) ChartBlocks
ChartBlocksはシンプルなオンライングラフ作成ツールであり、データインポートとチャートデザインの仕方はデータインポートガイドに従えば簡単にできます。SNS上でグラフを共有したり、グラフ編集可能なベクトルグラフィックとしてエクスポートしたり、グラフをWebサイトに埋め込むこともできます。現在、無料版、プロ版とエリート版が提供されています。
コマーシャル - 個人または企業用
データ視覚化ツールの中には、個人、小規模チーム、および組織に異なる有料プランを提供するものがあります。これらのツールは無料のものよりも多くの機能と技術サポートを持っています。
3) Tableau
Tableauは世界中で有名なデータ視覚化ツールとして、人々にデータを効果的な見える化にするサービスを提供しています。Tableauは非常に強力で柔軟な分析プラットフォームで、プログラミングなどの専門知識・スキル不要で複数のユーザのコラボレーションも可能です。また、ブラウザ・デスクトップ・モバイルからデータを使ったり、アプリケーションに埋め込んだりすることもできます。
4) Power BI
Power BIは、Microsoft社が開発したBIツールです。Excel、CSV、Oracle、Webページ、Googleアナリティクスなど、どんなデータにも接続できます。誰でも利用でき、どんなデータでも対応可能なので、欲しいデータをすぐに取得できます。利用制限付き無料版、プロプランと高級機能付きプレミアムプランの3種類を提供しています。
5) QlikView
QlikViewは、主にビジネスユーザーに焦点を当てたビジネススマートツールであり、ユーザーはデータを簡単に分析できます。データセット内で検索したいキーワードを入力するだけで、関連情報やデータを見つけることができます。個々のユーザーに無料版でも強力な機能を利用できます。
6) Datawrapper
Datawrapperは、オンラインのデータ可視化ツールであり、創立者の多くは記者出身であるため、プラグラミングの知識を持たない記者を主な対象として、グラフや地図の作成機能をサポートしています。記者はDatawrapperを利用すれば、豊かなグラフを作成して読者の注目を集め、内容をよりよく説明することができます。さらに、 サイトのブログにグラフの設計経験や裏にある様々なストーリーを共有しています。
7) Visme
Vismeは、プレゼンテーション、グラフ、レポートを作成するためのアイコン、テンプレート、フォントをサポートし、さらに動画やデータのリアルタイム更新もできます。３つのステップだけで、ユーザはInstagram、LinkedInやYouTubeなどのSNS用のグラフが作成できます。Vismeを使えば、モバイル端末の制限がなく、内容をいつでもチェックすることができます。無料プランの他に、教育と非営利団体向けに割引を提供します。
コマースー企業のみ
8) Grow
Growは、企業専用のBIツールです。企業全員がデータを追跡し、独自のダッシュボードを作成できます。Growは競合他社の8倍の処理速度に達し、300以上のレポートデータのリアルタイム更新もビジネス目的でサポートされます。
9) iCharts
iChartsは、NetSuiteとGoogle Cloudユーザー向けのBIツールです。iCharts BIをNetSuiteのダッシュボードに追加することで、データを分析し、毎週頻度でレポートを自動的に更新できます。Google Cloudユーザーにとって強力で直感的な機能を備えた、iChartはドラッグアンドドロップ操作だけでデータにドリルインできます。
2. インフォグラフィック
数回のクリックだけでソーシャルネットワークインフォグラフィックを作成することができます。視覚化ツールによってインフォグラフィックを作成することは非常に簡単で便利です。
10) Infogram
インフォグラフィックを作成できるブラウザベースのサービスです。無料テンプレートを使ってインフォグラフィック、チャート、およびマップを作成できます。ダウンロードするか、またはWebサイトにソースコードを埋め込むこともできます。インフォグラムは非常に強力で人気があり、無料の基本計画を除いて、それはまたプロの計画、事業計画などを提供しています。
11) Visual.ly
Visual.lyはマーケティングためのインフォグラフィック、ビデオ、レポート、および電子ブックを簡単に作成できます。ユーザーはVisual.lyに数多くの優れたインフォグラフィックをアップロードしたので、いつでも参考できます。SNS上でかなり人気を持っています。
3. マップ
コードを書けなくても以下のソフトを利用すれば、地理情報レポートを生成できます。
12) InstantAtlas
InstantAtlasは、可視化マップレポートを生成するサービスであり、プロフェッショナルなサポートも提供しています。これにより、情報アナリストや研究者は、統計データとマップを組み合わせた動的でインタラクティブなパップレポートを作成できます。
4. ネットワークグラフ
ネットワークのデータを視覚化するネットワークグラフの複雑なノードとリーフを生成するには専門のツールが必要です。
13) Gephi
Gephiは、あらゆる種類のグラフやネットワークを対象とした、主要なオープンソースの視覚化ソフトです。SNSでのフォロー状況や選挙状況などを可視化を簡単にできます。
5. 数学のグラフ
数学のグラフは教育で広く使用されており、誰でもこれらのグラフをオンラインで簡単に生成できます。
14) Wolfram|Alpha
Wolfram | Alphaは入力した質問に対してエンジン内に構造されたデータに基づいて解答を返してくれる計算知識エンジンです。Wolfram | Alphaの基礎操作とデータ処理を行うMathematicaは 数値的、記号的計算をサポートし、科学的および数学的グラフィックスの強力なグラフィカル可視化を持っています。したがって、Wolfram | Alphaはさまざまな数学的問題に答え、その答えを明確で美しいグラフでユーザに提示することができます。Wolfram | Alpha Proにアップグレードしてデータや画像をアップロードして分析することもできます。
エンジニア向けツール
エンジニアはデータを統合し、チャートライブラリを使ってこれらのデータを美しく複雑なチャートやグラフに変換します。オンラインで利用可能なチャートライブラリが何百もあります。その中の多くはウェブとモバイルデバイスディスプレイのためにJavaScriptで実行されます。
1. チャートとグラフ
15) ECharts
EChartsは、"Enterprise Charts"の略で、JavaScriptで実現されたオープンソースの視覚化ライブラリです。ドラッグアンドドロップによるデータの再計算、データビュー、バリュードメインローミングなどの革新的な機能の多くは、ユーザーとのインタラクティブを大幅に向上させ、データをマイニングおよび統合する機能を提供します。
16) D3.js
D3.jsは、JavaScript性の可視化ライブラリであり、最初の習得は複雑ですが、強力で柔軟性があり、深く学ぶ価値があります。
17) Plot.ly
Plotlyは、インタラクティブなグラフを作成し、多種多様なグラフやマップを作成するためのよく知られている強力なデータ視覚化フレームワークです。等高線図および3Dチャートなどあまり見かけないグラフを作成できます。Plotlyのチームは、今最も急速に成長しているR、Python、およびJavaScript製のオープンソースの視覚化ライブラリを保守しています。同時に企業にPythonを利用して作成した最新の豊富な分析アプリケーションを提供します。
18) Chart.js
Chart.jsは、デザイナーや開発者向けのオープンソースのJavaScriptグラフライブラリであります。データにカスタマイズ可能な8つの動的視覚化の表示方法を提供します。Chart.jsは、HTML 5 Canvasで優れたレスポンシブグラフを作れます。Chart.jsではさまざまな種類のグラフを組み合わせたり、日付、対数、またはスケールデータをプロットできます。データの変更か色の更新の時に利用できる動画がたくさんあります。
19) Google Charts
Google もグラフライブラリのGoogle Chartsを開発しました。開発者に無償で利用していただくだけでなく、3年間の下位互換性の保証も完全に無償で提供しています。単純なJavaScriptをWebページに埋め込むことで、さまざまなチャートテンプレートから選択してカスタマイズして、独自のインタラクティブチャートを作成できます。
20) Ember Charts
Ember ChartsはEmber.jsとd3.jsフレームワークで構築されたオープンソースのチャート作成ライブラリであり、拡張性に優れています。Ember Chartsは主に時系列図、ヒストグラム、円グラフ、散布図を描画します。Ember.js開発チームと一緒に、Ember Chartsはグラフィックスのインタラクションに焦点を当てて、常に強力なエラー処理機能を備えています。
21) Chartist.js
Chartist.jsは使いやすて、即応性と柔軟性に富んだOSSのグラフライブラリであり、カスタマイズ可能な応答グラフを作成するために使用できます。
商業場面の利用
テクニカルサポートを利用してビジネス上の目的で複雑なグラフをたくさん表示したい場合は、強力なチャートライブラリのライセンスを購入することをお勧めします。
22) Highcharts
JavaScriptのOSSグラフライブラリであり、インタラクティブなグラフをWebサイトやWebアプリケーションに簡単に追加でき、個人学習、個人Webサイト、および非営利目的の使用に無料で利用できます。さらに、HighchartsはD3.jsよりも互換性があり、最新のブラウザではSVGを使用し、グラフィック描画用のIEブラウザの下位バージョンではVMLを使用して、コンピュータのすべてのモバイルデバイスおよびブラウザで使用できます。Highchartsを商用または政府のWebサイト、イントラネット、またはプロジェクトで実行したい場合は、プレミアムサポートとともにライセンスを購入する必要があります。
23) FusionCharts
FusionChartsは、無料バージョンのほかに、強力なJavaScriptのグラフライブラリと直接の技術サポートにより有料サービスを提供します。FusionChartsはインタラクティブなデータ視覚化を通して素晴らしいグラフと地図を生成することによって開発者の負担を減らすことができます。
24) ZingChart
ZingChartは、主にSaaSサービスとしてEnterprise向けにJavaScriptで実装された有料のグラフライブラリです。1秒以内に10万データポイントを表示できるビッグデータグラフを提供します。あらゆるデバイスサイズに対応する応答グラフやインタラクティブグラフもサポートされています。個々のユーザーはZingChartの無料版を使用することができます。
2.地図
開発者がWebサイトでインタラクティブな地図を表示したい場合は、JavaScriptの地図ライブラリが不可欠です。
25) Leaflet
Leafletは、JavaScriptのOSSグラフライブラリであり、モバイル向けのインタラクティブマップ用です。それはすべての主要なデスクトップとモバイルプラットフォームにわたって効率的に働き、たくさんのプラグインで拡張することができます。
26) OpenLayers
OpenLayersは、インタラクティブなWebマップを作成するためのクライアントサイドOSSグラフライブラリです。ほとんどのブラウザをサポートし、何も設定せずに使用することができます。業界で最も広く使用されているマップエンジンの1つとして、OpenLayersは主要なGISベンダーと大多数のWeb GIS開発者によって採用されています。
27) Kartograph
Kartographは、インタラクティブな地図アプリケーションを構築するためのシンプルで軽量なフレームワークです。デザイナーやデータジャーナリストのニーズを念頭に置いて作成されました。Kartographは2つのライブラリです。Kartograph.pyは美しくコンパクトなSVGマップを生成する強力なPythonライブラリである一方で、Kartograph.jsはすべての主要ブラウザで動作するインタラクティブマップを作成できるJSライブラリです。
28) CARTO
CARTO（元CartoDB）は、位置データを自動的に検出して分析するための、オープンソースの強力で直感的なプラットフォームです。 CARTOを使用すると、地理空間データをアップロードしてデータセットまたはインタラクティブマップに視覚化することができます。
3. ネットワークグラフ
ソーシャルネットワークを視覚化するためのソフトウェアであるGephiは、リレーショナルデータを扱う人々の間で非常に人気があります。また、ネットワーク表示用のJavaScriptチャートライブラリもあります。
29) Sigma
Sigmaはグラフ描画専用の対話型可視化JavaScriptライブラリであり、ネットワークの単純な対話型出版物から動的なネットワーク探索を特徴とするリッチWebアプリケーションまで、Webページにネットワークを表示できるように支援することを目的としているため、ビッグデータネットワークの視覚化に非常に役立ちます。 Gephiからグラフをエクスポートする場合は、Sigmaを使ってWebページにグラフを表示できます。
4. 株価チャート
オンラインの株価情報は、時系列と密なデータをサポートする特別なチャートライブラリに表示されます。
30) dygraphs
dygraphsは、主に株価チャートや資金調達チャートに使用される、高速で柔軟J avaScriptのOSSグラフライブラリです。インタラクティブでスケーラブルな時系列チャートを作成し、ユーザーが高密度のデータセットを調べたり解釈したりできるようにします。dygraphsはデフォルトのマウスオーバータグ、ズーム、パンと非常にインタラクティブで、同期や範囲セレクタなどの他の便利なインタラクティブ機能もあります。
結論
上記のツールのほか、データ分析に役立つツールはまだたくさんあります。これらのデータ視覚化ツールを使ってから、あなたに一番適しているツールがどれなのかがわかります。データ分析に必要なデータはどこから取得すれば良いのかという疑問があるのではないですか。ご安心ください。全てのデータ分析にはデータスクレイピングサービスもそれらのツールと同じように盛んになっています。
中国のシリコンバレー、Huaweiも本社をおく深センで暮すにはいくらかかる？
米中貿易戦争、米中「5G戦略」の炎上にとともに、中国の通信機器大手である「HUAWEI（ファーウェイ/華為技術）」が世界で注目を集めています。HUAWEIは、1987年に中国 ・深センに設立され、30年かけて世界有数のICTソリューション・プロバイダーで、世界市場シェアは3位になっています。Tech系モノ作りの精神にあふれた深センも「中国のシリコンバレー」としていま世界中から注目されています。
Huawei、Tencent、ZTEなどのテクノロジー系会社が深センに本社を置くようになり、驚くべきスピードで新しい最先端技術を駆使して成長しています。深セン、中国の経済を推進する非常に多くの大企業を惹きつけてきた都市の魔法は何ですか？
深センは、中国の南側にある都市で香港に近く、港があるためコンテナ輸出入に有利な地形があり、1980年代には中国の最初の経済特区として設立され、その後、「トリクルダウン」政策の原動力となった深センでは、1,300万人が暮らしています。深センの経済と人々の生活状況をよりよく理解するために、住宅販売に関する20,000件以上の情報をスクレイピングしました。以下では調査結果を説明したいと思います。
ステップ1. データを収集する
Webサイト：Lianjia.com（中国で最も広く利用されている不動産Webサイト）
Octoparseを使用して、には、住宅名、住所、価格、利点、住居計画、住居地域、発売日、賃貸期間、賃貸要件、駐車スペース、電気、および駅までまでの距離が含まれる情報をスクレイピングします。
ステップ2. データを整理する
ステップ3. データを視覚化する
上のグラフは平方メートル当たりの家賃を示し、青は価格帯の安いのほうを、赤は高いのほうを表し、円の大きさは市場での家賃の数を表します。地図から家賃の放射輝度を見ると、香港（深センの南の方にある）に近いほど家賃は高くなる傾向が見られます。
次に、家賃と物件の数です。棒が物件のレコード数で、赤い線が中国人民元の平方メートル当たりの単価を表しています。例えば、左から2番目の棒は、福田区の2550戸が平均130元/㎡で賃貸可能であることを示しています。
それでは、小地域（1つ区にはの複数の小地域がある）のデータを詳しく見てみましょう。どの区内でも都心部に近いエリアほど家賃が高いです。
下のグラフは平方メートル当たりの費用とアパートの面積の関係を示しています。小さいアパートは単価レベルでより多くの費用がかかることは明らかです。20㎡より小さいアパートは最も高いです。
8〜15㎡の物件は1戸当たりの家賃が最も高いのに対し、70〜110㎡の物件は1戸当たりの家賃がはるかに低くなります。一方、家賃は110㎡を超える物件で回復しています。
家賃と地下鉄駅までの徒歩距離の相関関係を見てみましょう。相関係数の値は-0.49で、これは、地下鉄の駅までの距離が家賃と強い相関を持つことを意味します。駅に近いほど家賃が高くなる傾向があります。
HUAWEIの本社は深セン市の中心部の外として扱われてきた龍崗区にあり、家賃は55元/㎡なので、50㎡のアパートは50 * 55 = 2750元となります。
しかし、TencentやZTEを含むほとんどのハイテク企業と南山区のすべてのスタートアップ企業で働いている場合、例えば、毎月の給料は8000元で、50㎡のアパートを借りるなら、現在の家賃は50 * 130 = 6500元になり、相当大変でしょう。ですから、南山区ではルームシェアは普通です。もし一人暮らししたいなら、給料はそらく月に2万元ぐらいなら、そんな余裕があると思います。もちろん、平均㎡単価の低いエリアに住むのもいいですが、毎日の通勤ストレスを考えると思い切ってオフィスの近くに引っ越しをするというのもいいかもしれませんね。
いかがでしたか？深センに住みたい方はぜひ参考にしてみてください！
Octoparse Japanは1周年を迎えました！
2018年から、新たな成長戦略の一環として、Octoparseは日本市場に進出し始めました。今年の７月、Octoparseは日本語サービスをリリースしてから一年になりました。ご利用いただいた皆さんには大変感謝しております。感謝の気持ちを込めまして、2019年7月18日（木）～7月26日（金）の期間で1周年記念セールを開催いたします。（セールの詳細はこちら）
Octoparseについて
世界中のユーザーから愛用されているOctoparseは、初心者から高級者向けのWebスクレイピングツールです。直感的に操作できる操作画面、コーディングせず簡単なポイントアンドクリック操作をして、Webサイトからすべてのテキストを収集ことが可能です。取得したデータはExcel、HTML、CSV、またはご指定のデータベースのような構造化フォーマットに保存されます。Octoparseを通して、コードを書くことなく、Web上から情報を手軽にスクレイピングすることができ、しかも大幅な時間短縮ができるようになりました。
過去1年間にやったこと
あっという間に1年が過ぎ去ったように見えて、振り返ってみると色んな事があったことに気付きます。
1.独立の日本語サイトとサポートサービス
去年６月日本進出してから、日本語サイトではほとんどの内容ページが日本語化されましたが、ログイン、新規登録、お問い合わせ関わる機能ページは英語版のみがあります。ユーザー体験を改善するために、今年の一月では、それらの機能ページを全部日本語化にしました。また、今回の改善に伴い、日本語のお問い合わせやトレーニングも可能にし、これまで英語サイトで受付の方にも日本語でサポートを提供しています。それに、スマホで見やすい・使いやすいように、Web サイトのスマホ対応もしています。
２.日本語バージョンのソフトウェア
Octoparseのクライアントが英語のUIなので、お使いの不便などによりお客様から日本語バージョンが欲しいというお声を受けることもしばしばありました。という訳で、二ヶ月間の努力で、今年の2月27日に要望の多かった日本語バージョン7.2.0をリリースいたしました。しかし、このバージョンはベタ版なので、重くて使いにくくて、機能改善が数多く実装されたあと、「Octoparse 7.2.6」をリリースいたしました。使い勝手が格段に向上しています。
３.日本語のチュートリアル
チュートリアル、活用例、FAQ、スクレイピングの紹介ブログなど、たくさん用意しています。各チュートリアルはGIF画像を使って、操作の手順がよく説明されていますが、文字とGIFの形で分かりづらいところがたくさんあると思います。それらのチュートリアルのに従って、データのスクレイピングするタスクを作るのがうまくいかない方もたくさんいます。ですから、Octoparseの機能や魅力なども伝わりやすくように、ソフトの日本語化をきっかけに、複雑な操作方法や言葉では伝えられない動きなどを動画形式で紹介したいと思います。今年の５月、初めての方向けにOctoparseの入門レッスン動画をご用意しています。このシリーズは8つのレッスンに分けて、OctoparseをダウンロードすることからWebデータを抽出するまでの基本操作についてご説明いたします。必要なものを揃えてフローに沿って作業していけば、誰でも簡単にWebデータをスクレイピングすることが可能です。これからもいろいろな動画を作って、チュートリアルの内容を豊富しようとします。
４.業界初のWebスクレイピングテンプレート
もしパワーポイントテンプレートのようにWebスクレイピングにもテンプレートがあれば、対象となるWebサイトのテンプレートを選択して、収集したいデータを選択してスクレイピングを開始できますよね。Octoparseは業界初の革新的なWebスクレイピングテンプレートという機能をリリースしました。Webスクレイピングテンプレートを使うと、プログラミング知識の少ない/ない人でも簡単にWebスクレイピングを達成できます。具体的には、Octoparseのソフトには数十種類のあらかじめ作成されたテンプレートがあり、パラメータ（ターゲットWebサイトのURL、検索キーワードなど）を入力するだけで、データが抽出されてきます。この時点でテンプレートはAmazon、Instagram、Twitter、YouTube、楽天市場、Googleマップなど多くの人気サイトがカバーされています。
５.法人プラン
法人ユーザーの大規模なデータ抽出プロジェクトを満足する、Webスクレイピングを簡単にご使用いただくことを目的として、今年の三月Octoparseは法人様向けプランをリリースしました。法人様向けプランは複数ユーザーのアクセス、Webベースのデータ管理と検索、拡張性のあるクラウドリソースを特徴として、あらゆる規模のデータスクレイピングを達成できます。
日本語クライアント開発や新機能リリースなどの形で運営改善を少しずつ実践してきたら、いつの間にか今年の7月が間近に迫っていたというのが実情です。色々とご不便な操作をさせてしまいつつも、これらの努力により、Octoparseの日本語サイトは月間ユニークビジター数が10万人を超えるまでに成長しました。たくさんのお客様にOctoparseを選んでもらえた事、とても感謝しております。
ユーザー数の増加により、ユーザーから多くの高評価を得ました。皆さんからのご意見がOctoparseをより良いサービスに成長させる大きな原動力となりますので、ぜひお聞かせください。
この一年間、成長を実感しましたが、Octoparseにはきっと多くの不足が存在しています。これからもユーザーとの交流を踏まえて、今までよりも積極的なサービスを提供して、大きく成長できるように日々努力していきますので、今後ともどうぞ宜しくお願い致します。
