元記事：https://www.octoparse.jp/blog/intro-to-web-scraping-with-excel-vba/ スクレイピングとは、WebページのHTMLコードから、必要な情報やデータを抽出することです。言い換えれば、自動的にWebページ上のデータを収集する技術です。 現在、スクレイピ…

元記事：https://www.octoparse.jp/blog/a-complete-guide-to-web-scraping-job-postings/ 2020年以来、新型コロナウイルス感染症の感染拡大による景気低迷によって悪化に転じました。総務省が12月25日発表した11月の労働力調査によると、完全失業率は2.9%に…

私たちの顧客はWebスクレイピングで利益を生み出す独自の方法を持っています。もしお金を稼ぐことや単に物語を読むことに興味があるなら、一緒に以下の文章を読みましょう。 Webスクレイピングはどのようにお金を稼ぐことができますか？ 1. 再販の機会を見つ…

新型コロナウイルスの影響でオンラインショッピングの需要が高まるにより、4月21日、Googleは「Googleショッピング」への商品登録を無料化することと発表しました。まずはアメリカで4月末までに実施し、年内に世界に拡大する計画があります。 ネット販売を始…

新型コロナウイルスによる肺炎の感染を警戒することで、消費者が外出を控えるなどして、停滞しつつある消費を刺激しようと、EC企業が相次いで割引セールや企業向けのマーケティング支援を打ち出しています。 ECセールといえば、日本では「楽天スーパーSALE」…

世の中では、Webデータ収集を容易にするスクレイピングツールがたくさんありますが、macOSに対応できるのがまだ少ないです。iPhone人気も背景に年々Macのシェアが伸びている中で、スクレイピング業界でもMacへの対応も必須とのことで、お客様より長らくご要…

2020年1月に中国で感染が報告された新型コロナウィルス（COVID-19）は、世界に蔓延し、3月中旬には他国の感染者数が中国の感染者数を追い抜きました。各国で外出制限等が行われ、金融市場は大きく動き、実体経済も多くの国で大きく落ち込みました。新型コロ…

WebスクレイピングツールであるOctoparseの新バージョン ver 8.1 が2020年4月15日よりリリースされました。今回の新バージョンのリリースでは、、Webページの自動認識機能の追加と内蔵ブラウザのアップグレードにより、パフォーマンスが向上し、データ取得の…

価格監視、ビジネス分析などのデータ関連プロジェクトを実施する場合、常にWebサイトからデータをエクセルに記録する必要があります。ただし、データを1行ずつコピペするのは時代遅れになり、Webスクレイピングにおけるニーズが高まっています。この記事では…

世間ではWebスクレイピングに関する多くの誤解も見られるようになっています。特に多く見られる10の誤解として、以下が挙げられ、説明します。 1. Webスクレイピングは違法だ 「スクレイピングは違法だ」ということもよく耳にしたことがあり、実際のところは…

Webサイトから必要な情報を収集ことと言えば、近年流行りのPythonだよね！今回は初心者がPHPで簡単なクローラーを作り、わかりやすくスクレイピングの方法についてご紹介します。 始める前に、WebスクレイピングとWebクローラーの概要を説明します。 Webスク…

今では、副業としてAmazonと楽天市場に出店している人がたくさんいるでしょう。Amazonの販売者だった場合、競合店がどのような価格で同様の製品を販売しているのかを調査しなければなりませんね。Amazonデータベースに直接アクセスすることはできないので、…

Webスクレイピングは、Webページから大量のデータを効率的に取得する目的で、人間のコピペ作業を自動化するためによく使用される手法です。 OctoparseのようなさまざまなWebスクレイピングツールが普及してきており、多くの分野で活用されていますが、いろん…

世の中には様々なスクレイピングツールがあります。しかし、すべてのWebスクレイピングツールが非プログラマーに向けるものではありません。この記事では、初心者向けに無料で利用できるWebスクレイピングツールをご紹介します。 ソフトウェア型 1. Octoparse…

Webスクレイピングツールとは？ Webスクレイピングツールは、Web上に表示されるデータをすばやく取得してExcel、テキスト、CVSなどの構造化形式に変換するのに役立つツールとして簡単に理解できます。Webスクレイピングツールの最も認識されている価値の1つ…

ここ数年、ネット通販を副業として、個人事業を立ち上げたサラリーマンや主婦の方が増えてきています。ネットショップの開設が簡単であることは間違いありませんが、もちろん誰でも簡単に成功する訳ではありません。 特に「価格戦略」や「価格設定」は簡単に…

1. 実際、robots.txtファイルによると、Facebookはスクレイピングを禁止している Webサイトをスクレイピングするする前に、必ずrobots.txtを確認してください。Robots.txt は、Googleなどのロボット型検索エンジンのクローラーの巡回を指示するファイルです…

11年続いたマーベル・シネマティック・ユニバース(MCU)の「アベンジャーズ」シリーズがいよいよ完結しました。待ちに待った「アベンジャーズ エンドゲーム」が４月26日に公開され、MCUファンではない私も観に行ってきました。さすが集大成の作品です！MCU史…

Webクローリング、またはWebデータ抽出とも呼ばれるWebスクレイピングは、単にWebサイトからデータを収集してローカルデータベースまたはスプレッドシートに保存するプロセスです。Webスクレイピングを初心者が聞いたら、遠ざけていく専門用語だと思われるか…

最近では、ビッグデータ分析のため、データ集めにWebスクレイピングが行われることも増えており、スクレイピングという言葉も一般に認知されるようになってきましたが、ほかの分野の多くの人にとって謎のままです。Webスクレイピングサービスプロバイダとし…

3周年を迎える際に、Octoparseは法人様向けプランをリリースしました！法人様向けプランは複数ユーザーのアクセス、Webベースのデータ管理と検索、拡張性のあるクラウドリソースを特徴として、あらゆる規模のデータスクレイピングを達成できます。 Octoparse…

データが急速に成長していることは皆が知っています。Data Age 2025と題されたIDCの調査によると、2025年までに世界規模のデータは163ゼタバイト（ZB）に増えると予測されています。それに、IBMによれば、1日に2.5百京バイトのデータが作られ、そして世界中…

We Are Social とHootsuiteの調査報告書「Global Digital in 2018」によると、世界中のインターネットユーザーの数は、2017年から7％増加して40億を超えました。世界の人口は約76億人、インターネット利用者は約40億人で、総人口の53％に相当します。 インタ…

データ業界で長年働いてきたOctoparseチームは、データをより使いやすく、誰でも利用できるようにずっと努力しています。ですから、今年11月には、テンプレートモード（Template Mode）という、数々の革新の1つであるバージョン7.1 [ ダウンロード ]をリリー…

Webスクレイピングとは？ Wikiでの紹介はこうです：ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれる。 通常このようなソフト…

Webスクレイピングを簡単なクリックとフェッチに主張したいが、これは本当ではなく、Webスクレイピングは難しいです。さて、Octoparse 、Parsehub、MozendaのようなビジュアルなWebスクレイピングツールがなかった時代を考えてみましょう。プログラミング知…

ソーシャルメディアスクレイパーとは自動スクレイピングツールで、Facebook、Twitter、Instagram、LinkedInなどソーシャルメディアだけでなく、ブログ、ニュースなどからデータを抽出できます。これらのチャンネルは、Webを介してユーザーがコンテンツを生成…

「インターネットからのデータは使えますか？」という疑問がある人もいるかもしれません。今、インターネットが信じられないほどの情報を提供し、それがどれほど価値があるかを掘り下げることができることは間違いありません。これはWebデータのスクレイピン…

ここ数年、新たなマーケティング手法として「コンテンツ マーケティング」が注目されています。アメリカのコンテンツマーケティング研究所（以下CMIを略します）はによりますと、88％のB2B企業はコンテンツマーケティングを実施しているそうです。コンテンツ…

Webスクレイピングとは？ Webスクレイピングは、Webサイトから情報を抽出し、その情報を分析可能な構造化データに変換するプロセスです。Webスクレイピングは、Webデータ抽出またはスクリーンスクレイピングとも呼ばれます。膨大なデータがインターネット上…