2019年データサイエンスにオススメの本80冊!

ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで…

オルタナティブ・データ(代替データ)とは?どのように使えるか?

Photo by Franki Chamaki on Unsplash オルタナティブ・データ(代替データ)とは? オルタナティブ・データ(代替データ)は、大規模で複雑なメトリックであるため、多くの場合、ビッグデータの一種としても認識されています。これらのデータセットは通常、…

2019年おすすめBIツール10選!

ビジネスインテリジェンス(英: Business Intelligence、BI)は、wikipediaによると、企業などの組織のデータを、収集・蓄積・分析・報告することで、経営上などの意思決定に役立てる手法や技術のこと。経営判断上の過去・現在・未来予測などの視点を提供す…

Webスクレイピングとデータ分析は、ビジネスの成長にどのように役立ちますか?

データ分析が我々の生活に一定的な影響をもたらしています。ビジネスや企業はデータによって顧客の行動や市場の要求を分析することが簡単になりました。 Wal-Martは、Amazonと競合するために、統計分析と意味分析に基づく「Polaris」という検索エンジンを開…

Webスクレイピングに関する10のよくある誤解

世間ではWebスクレイピングに関する多くの誤解も見られるようになっています。特に多く見られる10の誤解として、以下が挙げられ、説明します。 1. Webスクレイピングは違法だ 「スクレイピングは違法だ」ということもよく耳にしたことがあり、実際のところは…

2019年おすすめのデータ分析・データ可視化ツール30選!

データの視覚化は、情報やデータを見える化することによって、人々が効果的に洞察を得ることに役立ちます。データ視覚化ツールは、グラフやチャートなどを利用してデータをより分かりやすく読み上げます。多くのデータ視覚化ツールから最適なのはどれですか…

中国のシリコンバレー、Huaweiも本社をおく深センで暮すにはいくらかかる?

米中貿易戦争、米中「5G戦略」の炎上にとともに、中国の通信機器大手である「HUAWEI(ファーウェイ/華為技術)」が世界で注目を集めています。HUAWEIは、1987年に中国 ・深センに設立され、30年かけて世界有数のICTソリューション・プロバイダーで、世界市場…

Octoparse Japanは1周年を迎えました!

2018年から、新たな成長戦略の一環として、Octoparseは日本市場に進出し始めました。今年の7月、Octoparseは日本語サービスをリリースしてから一年になりました。ご利用いただいた皆さんには大変感謝しております。感謝の気持ちを込めまして、2019年7月18日…

ビッグデータ分析用オンライン講座10選

データサイエンスは、データ駆動型社会市場の台頭としてはもはや流行語ではありません。PWC(Price Waterhouse Coopers)によると、2015年から2018年までの間に「分析スキル」で5000万人を超える雇用が創出されています。IBMのレポートでは、2020年までにデ…

清華大学の科学研究におけるWebスクレイピングの役割

2017年から、Octoparseは清華大学と共同で社会科学および経済関連分野の科学研究を行っています。清華大学の中で、経済研究所は社会科学部およびデータデータサイエンス研究所と連携して、インターネットから有用なデータを収集し分析することを目的とした「…

PHPで簡単なWebクローラーを作ってみた

Webサイトから必要な情報を収集ことと言えば、近年流行りのPythonだよね!今回は初心者がPHPで簡単なクローラーを作り、わかりやすくスクレイピングの方法についてご紹介します。 始める前に、WebスクレイピングとWebクローラーの概要を説明します。 Webスク…

業界初!Webデータを自動収集できるWebスクレイピングテンプレート

今では、副業としてAmazonと楽天市場に出店している人がたくさんいるでしょう。Amazonの販売者だった場合、競合店がどのような価格で同様の製品を販売しているのかを調査しなければなりませんね。Amazonデータベースに直接アクセスすることはできないので、…

スクレイピングテクニック - ブロックを回避する方法

Webスクレイピングは、Webページから大量のデータを効率的に取得する目的で、人間のコピペ作業を自動化するためによく使用される手法です。 OctoparseのようなさまざまなWebスクレイピングツールが普及してきており、多くの分野で活用されていますが、いろん…

無料で使えるスクレイピングツール9選

世の中には様々なスクレイピングツールがあります。しかし、すべてのWebスクレイピングツールが非プログラマーに向けるものではありません。この記事では、初心者向けに無料で利用できるWebスクレイピングツールをご紹介します。 ソフトウェア型 1. Octoparse…

データマイニングに必要なスキルは?

近年、「ビッグデータ」の注目に伴い、ビッグデータを活用するための手段として、「データマイニング」にもよく耳にします。「データマイニング」とは、そもそもどのようなものなのでしょうか? データマイニングとは データマイニング(Data mining)とは、…

注目のWebスクレイピングツール5選を徹底比較!

Webスクレイピングツールとは? Webスクレイピングツールは、Web上に表示されるデータをすばやく取得してExcel、テキスト、CVSなどの構造化形式に変換するのに役立つツールとして簡単に理解できます。Webスクレイピングツールの最も認識されている価値の1つ…

Webスクレイピングを用いたEコマース価格戦略

ここ数年、ネット通販を副業として、個人事業を立ち上げたサラリーマンや主婦の方が増えてきています。ネットショップの開設が簡単であることは間違いありませんが、もちろん誰でも簡単に成功する訳ではありません。 特に「価格戦略」や「価格設定」は簡単に…

Facebookからデータを収集する前に知っておくべき5つのこと

1. 実際、robots.txtファイルによると、Facebookはスクレイピングを禁止している Webサイトをスクレイピングするする前に、必ずrobots.txtを確認してください。Robots.txt は、Googleなどのロボット型検索エンジンのクローラーの巡回を指示するファイルです…

【Python】マーベル映画における男女格差を調べてみた

11年続いたマーベル・シネマティック・ユニバース(MCU)の「アベンジャーズ」シリーズがいよいよ完結しました。待ちに待った「アベンジャーズ エンドゲーム」が4月26日に公開され、MCUファンではない私も観に行ってきました。さすが集大成の作品です!MCU史…

【Python】ドナルド・トランプにおけるTwitter民の感情分析

今世界で最も話題の人、ドナルド・トランプ米大統領は就任から3年目になりました。大統領就任後、相次いで発信されるツイートがさまざまな波紋を引き起こしています。トランプの「迷」言集はいつもニュースやソーシャルメディアで響いて、日本のマスコミでも…

2019年スクレイピングツールトップ10

Webクローリング、またはWebデータ抽出とも呼ばれるWebスクレイピングは、単にWebサイトからデータを収集してローカルデータベースまたはスプレッドシートに保存するプロセスです。Webスクレイピングを初心者が聞いたら、遠ざけていく専門用語だと思われるか…

Webスクレイピングで知るべき5つのCAPTCHA知識

Webサイトにログインしようとしますが、読みにくい文字を入力するように求められたことがありませんか。これらの判読しにくい文字をCAPTCHAと呼ばれます。ユーザーにとって少し面倒な存在です。さらにWebスクレイパーにとっても利用環境が厳しくなったので、…

Webスクレイピングに関するよくある質問

最近では、ビッグデータ分析のため、データ集めにWebスクレイピングが行われることも増えており、スクレイピングという言葉も一般に認知されるようになってきましたが、ほかの分野の多くの人にとって謎のままです。Webスクレイピングサービスプロバイダとし…

Octoparse法人様向けプラン

3周年を迎える際に、Octoparseは法人様向けプランをリリースしました!法人様向けプランは複数ユーザーのアクセス、Webベースのデータ管理と検索、拡張性のあるクラウドリソースを特徴として、あらゆる規模のデータスクレイピングを達成できます。 Octoparse…

カスタマー・エクスペリエンスを向上させる6つの方法

カスタマー・エクスペリエンス(CX:顧客体験)は、今の競争の激しいビジネスの世界における新しい戦場です。Salesforceの調査結果が示すように、80%の顧客が、企業が提供するエクスペリエンスは製品やサービスと同じくらい重要であると答え、57%の顧客が…

Webスクレイピングでビジネスを成長させる方法30個

データが急速に成長していることは皆が知っています。Data Age 2025と題されたIDCの調査によると、2025年までに世界規模のデータは163ゼタバイト(ZB)に増えると予測されています。それに、IBMによれば、1日に2.5百京バイトのデータが作られ、そして世界中…

学術研究用のツールとリソース30個

研究(英: research)とは、ある特定の物事について、人間の知識を集めて考察し、実験、観察、調査などを通して調べて、その物事についての事実を深く追求する一連の過程のことです。学術研究は専門性の高い分野における学問研究です。学術研究を行うのは簡…

データ分析用のビッグデータツール30選!

データ分析とは、「数あるデータから有益な情報を探し出し、改善に役立てる取り組みのこと」を指します。データ分析には、ビッグデータツールがたくさんあります。この記事では、オープンソースデータツール、データ可視化ツール、センチメントツール、デー…

ゼロからWebクローラーを構築する方法

We Are Social とHootsuiteの調査報告書「Global Digital in 2018」によると、世界中のインターネットユーザーの数は、2017年から7%増加して40億を超えました。世界の人口は約76億人、インターネット利用者は約40億人で、総人口の53%に相当します。 インタ…

超初心者向けのWebスクレイピングーーTemplate Mode

データ業界で長年働いてきたOctoparseチームは、データをより使いやすく、誰でも利用できるようにずっと努力しています。ですから、今年11月には、テンプレートモード(Template Mode)という、数々の革新の1つであるバージョン7.1 [ ダウンロード ]をリリー…