Webスクレイピングの始まりはいつ?これからどうなる?

Webスクレイピングとは? Wikiでの紹介はこうです:ウェブスクレイピング(英: Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれる。 通常このようなソフト…

Webスクレイピングを簡単にする

Webスクレイピングを簡単なクリックとフェッチに主張したいが、これは本当ではなく、Webスクレイピングは難しいです。さて、Octoparse、Parsehub、MozendaのようなビジュアルなWebスクレイピングツールがなかった時代を考えてみましょう。プログラミング知識…

2018年ソーシャルメディアスクレイピングツールトップ5

ソーシャルメディアスクレイパーとは自動スクレイピングツールで、Facebook、Twitter、Instagram、LinkedInなどソーシャルメディアだけでなく、ブログ、ニュースなどからデータを抽出できます。これらのチャンネルは、Webを介してユーザーがコンテンツを生成…

Webクローラーを構築してホテルの最新情報を入手しよう!

世界観光機関(UNWTO)によると、2017年の世界の観光客の総数は、前年と比べ7%増加して約13億2,220万人を果たしました。宿泊施設や交通サービスが支配的な旅行業は、最も競争力のある業界の1つとなります。 旅行業の発展に伴い、Booking.com、TripAdvisor.com…

機械学習に知っておくべき8つの用語

近年、機械学習に関する記事、ニュースなどで耳にした方もいると思いますが、それが本当に何かを知っていますか?簡単に言えば、人の仕事がロボットに置き換わってくるテクノロジーの一つが機械学習です。先日機械学習に知っておくべきアルゴリズムを10つを…

機械学習に知っておくべき10のアルゴリズム

「ビッグデータ」という言葉は2017年に普及し、ハイテク業界で最も人気が高まってきています。前回の記事では、ビッグデータ、機械学習、データマイニングの概念を簡単に紹介しました(参照記事:「5分で分かる!ビッグデータ、機械学習、データマイニングの…

動的Webサイトからリアルタイムデータを取得する

データ多様化、情報技術の革新といった時代的背景に、ソーシャルメディアなどによってもたらされる動的データをリアルタイムに分析、価値を最大限に引き出す動きが盛り上がりを見せています。 この記事では、次の質問に答えます: - なぜ動的データの取得は…

Twitterトレンド - 新しいiPhoneについて人々が何を話しているか?

Appleは現地時間の9月12日朝10時、米国カリフォルニア州クパチーノにある本社で、iPhoneをはじめとする新製品の発表会を開催し、iPhoneは新たな3モデルiPhone(Xs、Xs Max、XR)と新たなApple Watchを発表しました。毎年、Appleの新製品発表イベントは間違い…

Webスクレイピングを使ってデータ分析とインテリジェンスを向上する

「インターネットからのデータは使えますか?」という疑問がある人もいるかもしれません。今、インターネットが信じられないほどの情報を提供し、それがどれほど価値があるかを掘り下げることができることは間違いありません。これはWebデータのスクレイピン…

Webスクレイピングでコンテンツマーケティングを進める!

ここ数年、新たなマーケティング手法として「コンテンツ マーケティング」が注目されています。アメリカのコンテンツマーケティング研究所(以下CMIを略します)はによりますと、88%のB2B企業はコンテンツマーケティングを実施しているそうです。コンテンツ…

疑問に答えます!なぜWebスクレイピングを学ぶのか?

Webスクレイピングとは? Webスクレイピングは、Webサイトから情報を抽出し、その情報を分析可能な構造化データに変換するプロセスです。Webスクレイピングは、Webデータ抽出またはスクリーンスクレイピングとも呼ばれます。膨大なデータがインターネット上…

Webスクレイピングに不可欠!Xpathのまとめ

Octoparseを利用する時、要素をクリックすることでデータの位置が自動識別されますが、ページ遷移、データ取得などのステップにXpathを直す場合もあります。Octoparseを活用するには、XPathの知識は欠かせないので、今回はXPathについてまとめします。 XPath…

Webデータを活用!WebサイトからデータをExcelに取り込む方法

Excelは、様々なデータを集計・分析できる表計算ソフトです。書式とスタイル、検索・置換、数式と関数、グラフの作成、データベースなど様々な機能があります。ほとんどの場合、Webサイトから情報を取得して、データをExcelにインポートして、いろいろな分析…

Webスクレイピングするなら何言語?Python、Ruby、またはJavaScript?

昨日、あるQ&Aサイトで「Webスクレイピングするなら何言語?Python、Ruby、またはJavaScript?」という質問を見ました。 確かに、Python、Ruby、JavaScriptなど、その言語でもスクレイピングはできますが、各方法のメリットデメリットがいまいちわからず選ぶ…

リンクされている画像を一括ダウンロードするのに超便利なツール5選

皆さんは、大量の画像を一気にダウンロードしたい!って時はありませんか?好きなキャラとかアイドルの写真をまとめて保存したい!でも、一枚一枚やるのはかなり面倒臭い・・ !って状況がありますよね。私も画像の一括ダウンロードに関する多くのお問い合わ…

働き方改革 | 2018年注目の業務自動化ツール30選

今の世界では、「オートメーション」の時代に入っています。ますますのシステム運用業務が手動からツールによる自動化に移りつつあります。あなたの周りにも「実は自動化できるのでは?」と思う業務があるのではないでしょうか。 そこで今回は、オートメーシ…

2018年に注目すべき世界8大技術トレンド

世界的な大手情報サービス企業であるIHS Markitは2018年1月、「8 in 2018: the top transformative technologies to watch this year」というホワイト・ブックを発表しました。この中で2018年に産業界の改革/革新に大きな影響を与える可能性が高いテクノロ…

GoogleスプレッドシートでWebからデータを取得する

Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕…

5分で分かる!ビッグデータ、機械学習、データマイニングの意味

近年のWeb、スマホ、アプリなどの発展により、以前とは比較にならないほど膨大な量の情報があふれています。このようなビッグデータを扱う需要が増えてきており、そのデータ分析を行う分野であるデータサイエンスに注目が集まっています。 そんな中、上司か…

Webスクレイピングで第10回AKB48世界選抜総選挙のデータを取得

毎年6月になるとAKB48の総選挙で盛り上がりを見せています。2018年もやってきました。6月16日、「第10回AKB48世界選抜総選挙」(別名:AKB48 53rdシングル 世界選抜総選挙 ~世界のセンターは誰だ?~)の開票イベントが、愛知・ナゴヤドームにて開催されま…

WebサイトをスクレイピングするWebクローラー20選

今では、Webクローリング(Webスクレイピングとも呼ばれる)は多くの分野で広く適用されています。これは、任意のWebサイトから取得されたデータを簡単にアクセスできるようにデータベースに保管することを目的としています。Webクローラーツールは、クロー…

まだ知らない?Webクローラーのあれこれ

マーケティング、SEOを担当されている方ならWebクローラーやクローリングといった言葉をよく耳にするのではないでしょうか。今回はそんなWebクローラーに関する基礎知識について紹介します。 Webクローラーとは? Webクローラーとはインターネット上に公開さ…

Webスクレイピング用のソフト30選

Webスクレピング (Webデータ抽出、スクリーンスクレイピングとも呼ばれます)は、Webからデータを抽出し、Web上の非構造化データをデータベースやスプレッドシートに格納・分析可能な構造化データへの変換するWeb技術です。 Webスクレイピング技術は、スク…

Octoparseが日本語化サービスを開始

Octoparseは2016年3月15日に公開されたから2年も経ちました。ここ2年間では、高成長期を迎えており、今年からも多くのアップデートが行われています。 Octoparseの成長に関するチャートがあります: Google TrendsにOctoparseの人気度 過去2年間にやったこと…

BIツールとは | おすすめツール5選を紹介!

会社経営には、会社の将来を不安に感じたことがあると思います。例えば「今何が求められているのか」「足りないものは何なのか」など、悩みは尽きません。その悩みを解決するために「ユーザーアンケート」や「市場動向」といった情報が必要です。ですから「…

ネット情報収集の味方「スクレイピングツール」3選

みなさんはどのような方法で情報収集をされていますか? 昔の情報収集方法は書籍や新聞の内容をコピー機で複写するか、手打ち入力でデータを作成するかしか手段がありませんでした。とにかく相当な労力を費やした時代です。 ネットが普及した現代社会におい…