2019年スクレイピングツールトップ10

Webクローリング、またはWebデータ抽出とも呼ばれるWebスクレイピングは、単にWebサイトからデータを収集してローカルデータベースまたはスプレッドシートに保存するプロセスです。Webスクレイピングを初心者が聞いたら、遠ざけていく専門用語だと思われるか…

Webスクレイピングで知るべき5つのCAPTCHA知識

Webサイトにログインしようとしますが、読みにくい文字を入力するように求められたことがありませんか。これらの判読しにくい文字をCAPTCHAと呼ばれます。ユーザーにとって少し面倒な存在です。さらにWebスクレイパーにとっても利用環境が厳しくなったので、…

Webスクレイピングに関するよくある質問

最近では、ビッグデータ分析のため、データ集めにWebスクレイピングが行われることも増えており、スクレイピングという言葉も一般に認知されるようになってきましたが、ほかの分野の多くの人にとって謎のままです。Webスクレイピングサービスプロバイダとし…

Octoparse法人様向けプラン

3周年を迎える際に、Octoparseは法人様向けプランをリリースしました!法人様向けプランは複数ユーザーのアクセス、Webベースのデータ管理と検索、拡張性のあるクラウドリソースを特徴として、あらゆる規模のデータスクレイピングを達成できます。 Octoparse…

カスタマー・エクスペリエンスを向上させる6つの方法

カスタマー・エクスペリエンス(CX:顧客体験)は、今の競争の激しいビジネスの世界における新しい戦場です。Salesforceの調査結果が示すように、80%の顧客が、企業が提供するエクスペリエンスは製品やサービスと同じくらい重要であると答え、57%の顧客が…

Webスクレイピングでビジネスを成長させる方法30個

データが急速に成長していることは皆が知っています。Data Age 2025と題されたIDCの調査によると、2025年までに世界規模のデータは163ゼタバイト(ZB)に増えると予測されています。それに、IBMによれば、1日に2.5百京バイトのデータが作られ、そして世界中…

学術研究用のツールとリソース30個

研究(英: research)とは、ある特定の物事について、人間の知識を集めて考察し、実験、観察、調査などを通して調べて、その物事についての事実を深く追求する一連の過程のことです。学術研究は専門性の高い分野における学問研究です。学術研究を行うのは簡…

データ分析用のビッグデータツール30選!

データ分析とは、「数あるデータから有益な情報を探し出し、改善に役立てる取り組みのこと」を指します。データ分析には、ビッグデータツールがたくさんあります。この記事では、オープンソースデータツール、データ可視化ツール、センチメントツール、デー…

ゼロからWebクローラーを構築する方法

We Are Social とHootsuiteの調査報告書「Global Digital in 2018」によると、世界中のインターネットユーザーの数は、2017年から7%増加して40億を超えました。世界の人口は約76億人、インターネット利用者は約40億人で、総人口の53%に相当します。 インタ…

超初心者向けのWebスクレイピングーーTemplate Mode

データ業界で長年働いてきたOctoparseチームは、データをより使いやすく、誰でも利用できるようにずっと努力しています。ですから、今年11月には、テンプレートモード(Template Mode)という、数々の革新の1つであるバージョン7.1 [ ダウンロード ]をリリー…

スタートアップの成長に役立つツール6選!

あなたが起業やベンチャーにキャリアチェンジすることを考えたことがありますか?正直、私があります、特に仕事がうまくいかない時ですね。でも、何からはじめますか? 資金、経験、失敗、アイデア……と、いろいろな疑問が浮かび上がってきます。 今のビッグ…

「地下ホテル」に対する評価を取得してみました!

皆さんは中国・上海市の「地下ホテル」を聞いたことがありますか? 今日、中国・上海市に世界で最も海抜の低い5つ星ホテル「インターコンチネンタル上海ワンダーランド(InterContinental Shanghai Wonderland)」が正式開業しました。このホテルは、2002年ま…

Webスクレイピングの始まりはいつ?これからどうなる?

Webスクレイピングとは? Wikiでの紹介はこうです:ウェブスクレイピング(英: Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれる。 通常このようなソフト…

Webスクレイピングを簡単にする

Webスクレイピングを簡単なクリックとフェッチに主張したいが、これは本当ではなく、Webスクレイピングは難しいです。さて、Octoparse 、Parsehub、MozendaのようなビジュアルなWebスクレイピングツールがなかった時代を考えてみましょう。プログラミング知…

2018年ソーシャルメディアスクレイピングツールトップ5

ソーシャルメディアスクレイパーとは自動スクレイピングツールで、Facebook、Twitter、Instagram、LinkedInなどソーシャルメディアだけでなく、ブログ、ニュースなどからデータを抽出できます。これらのチャンネルは、Webを介してユーザーがコンテンツを生成…

Webクローラーを構築してホテルの最新情報を入手しよう!

世界観光機関(UNWTO)によると、2017年の世界の観光客の総数は、前年と比べ7%増加して約13億2,220万人を果たしました。宿泊施設や交通サービスが支配的な旅行業は、最も競争力のある業界の1つとなります。 旅行業の発展に伴い、Booking.com、TripAdvisor.com…

機械学習に知っておくべき8つの用語

近年、機械学習に関する記事、ニュースなどで耳にした方もいると思いますが、それが本当に何かを知っていますか?簡単に言えば、人の仕事がロボットに置き換わってくるテクノロジーの一つが機械学習です。先日機械学習に知っておくべきアルゴリズムを10つを…

機械学習に知っておくべき10のアルゴリズム

「ビッグデータ」という言葉は2017年に普及し、ハイテク業界で最も人気が高まってきています。前回の記事では、ビッグデータ、機械学習、データマイニングの概念を簡単に紹介しました(参照記事:「5分で分かる!ビッグデータ、機械学習、データマイニングの…

動的Webサイトからリアルタイムデータを取得する

データ多様化、情報技術の革新といった時代的背景に、ソーシャルメディアなどによってもたらされる動的データをリアルタイムに分析、価値を最大限に引き出す動きが盛り上がりを見せています。 この記事では、次の質問に答えます: - なぜ動的データの取得は…

Twitterトレンド - 新しいiPhoneについて人々が何を話しているか?

Appleは現地時間の9月12日朝10時、米国カリフォルニア州クパチーノにある本社で、iPhoneをはじめとする新製品の発表会を開催し、iPhoneは新たな3モデルiPhone(Xs、Xs Max、XR)と新たなApple Watchを発表しました。毎年、Appleの新製品発表イベントは間違い…

Webスクレイピングを使ってデータ分析とインテリジェンスを向上する

「インターネットからのデータは使えますか?」という疑問がある人もいるかもしれません。今、インターネットが信じられないほどの情報を提供し、それがどれほど価値があるかを掘り下げることができることは間違いありません。これはWebデータのスクレイピン…

Webスクレイピングでコンテンツマーケティングを進める!

ここ数年、新たなマーケティング手法として「コンテンツ マーケティング」が注目されています。アメリカのコンテンツマーケティング研究所(以下CMIを略します)はによりますと、88%のB2B企業はコンテンツマーケティングを実施しているそうです。コンテンツ…

疑問に答えます!なぜWebスクレイピングを学ぶのか?

Webスクレイピングとは? Webスクレイピングは、Webサイトから情報を抽出し、その情報を分析可能な構造化データに変換するプロセスです。Webスクレイピングは、Webデータ抽出またはスクリーンスクレイピングとも呼ばれます。膨大なデータがインターネット上…

Webスクレイピングに不可欠!Xpathのまとめ

Octoparseを利用する時、要素をクリックすることでデータの位置が自動識別されますが、ページ遷移、データ取得などのステップにXpathを直す場合もあります。Octoparseを活用するには、XPathの知識は欠かせないので、今回はXPathについてまとめします。 XPath…

Webデータを活用!WebサイトからデータをExcelに取り込む方法

Excelは、様々なデータを集計・分析できる表計算ソフトです。書式とスタイル、検索・置換、数式と関数、グラフの作成、データベースなど様々な機能があります。ほとんどの場合、Webサイトから情報を取得して、データをExcelにインポートして、いろいろな分析…

Webスクレイピングするなら何言語?Python、Ruby、またはJavaScript?

昨日、あるQ&Aサイトで「Webスクレイピング するなら何言語?Python、Ruby、またはJavaScript?」という質問を見ました。 確かに、Python、Ruby、JavaScriptなど、その言語でもスクレイピングはできますが、各方法のメリットデメリットがいまいちわからず選…

リンクされている画像を一括ダウンロードするのに超便利なツール5選

皆さんは、大量の画像を一気にダウンロードしたい!って時はありませんか?好きなキャラとかアイドルの写真をまとめて保存したい!でも、一枚一枚やるのはかなり面倒臭い・・ !って状況がありますよね。私も画像の一括ダウンロードに関する多くのお問い合わ…

働き方改革 | 2018年注目の業務自動化ツール30選

今の世界では、「オートメーション」の時代に入っています。ますますのシステム運用業務が手動からツールによる自動化に移りつつあります。あなたの周りにも「実は自動化できるのでは?」と思う業務があるのではないでしょうか。 そこで今回は、オートメーシ…

2018年に注目すべき世界8大技術トレンド

世界的な大手情報サービス企業であるIHS Markitは2018年1月、「8 in 2018: the top transformative technologies to watch this year」というホワイト・ブックを発表しました。この中で2018年に産業界の改革/革新に大きな影響を与える可能性が高いテクノロ…

GoogleスプレッドシートでWebからデータを取得する

Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕…