PythonによるWebスクレイピングを解説

価格監視、ビジネス分析などのデータ関連プロジェクトを実施する場合、常にWebサイトからデータをエクセルに記録する必要があります。ただし、データを1行ずつコピペするのは時代遅れになり、Webスクレイピングにおけるニーズが高まっています。この記事では…

データサイエンティストになるにはオススメの認定資格9選徹底紹介!

「ビッグデータ」時代において「データサイエンティスト」という職業はすでに、業界で最も注目となっている職業の1つであると言えるのでしょう。その年収は経験やスキルによってばらつきはありますが、約350万円から1000万円くらいまでだと言われています。…

2019年に知っておくべきオープンデータソース70選

ほとんどの人は、ビッグデータの収集は大変な仕事だと考えていますが、そうでもないと思います。実際にはオープンデータソースがたくさんあり、誰でも利用できます。ここでは、政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア…

データマイニングとは?その5つの特徴を知りましょう!

データマイニングとは、DM(Data mining)の省略で、統計学、パターン認識、人工知能などのデータを解析する技法を使って、情報管理システムなどに蓄積された膨大なデータの中から、パターンや相関関係などを見出し、マーケティングや営業などに活用するテクノ…

RPAとは?2019年オススメのRPAツール15選

今では、RPAという言葉は話題になっています。RPAは仮想知的労働者とも呼ばれ、働き方改革や人手不足を解決する手段として期待されています。そこで、今回はRPAとは何か、導入のメリット、オススメのRPAツールということを紹介したいと思います。 RPAとは? …

大企業がこれらの人気サイトからデータを取得している!ジャンル別24選

我々が現在にいる社会はすでに「ビッグデータ」という言葉があたり前のように見聞きする時代になりました。近い将来、テクノロジー、ビジネス、金融、法律、人々の暮らしなど、ビッグデータによって大きく変わっていくのでしょう。 それで、ビッグデータの中…

クローラーエンジニアになるには?学習すべきことを解説

ビッグデータ・AIの台頭とともに、データ収集、活用の重要性が高まるようになりました。ビッグデータを収集するために、多くの企業は専門のクローラーエンジニアを採用しています。今回の記事では、「クローラーエンジニア」の仕事内容、学習すべきスキルに…

スタートアップの成長におけるビッグデータの活用

ビッグデータの時代に、スピードが加速する今日のビジネスでは24時間体制で業務を続けるのも不十分です。スタートアップは、この激しい競争の中で生き残りたいなら、ビッグデータの急速な進歩に遅れをとらず、自社の強みを把握し、自社事業の持続的な成長が…

2019年データマイニングに関する面白い記事10選

「ビッグデータ」という言葉は生活の中で、身近によく使われている言葉になってきた感じがありませんか。その分析の実用例として、データマイニング(Data mining)技術が挙げられます。データマイニング(Datamining)とは、統計学、パターン認識、人工知能…

AI(人工知能)がこれからどのように世界を変えていくのか?

中国検索エンジン最大手「百度Baidu」創業者であり、現会長兼CEO李彦宏(英語名:ロビン・リー)はTime Asiaの2019年1月29号の「The Innovator」表紙に登場しました。 中国のIT起業家がTime Asiaの表紙に登場したのは今回初めてです。作品の見出しには、「B…

2019年データサイエンスにオススメの本80冊!

ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで…

オルタナティブ・データ(代替データ)とは?どのように使えるか?

Photo by Franki Chamaki on Unsplash オルタナティブ・データ(代替データ)とは? オルタナティブ・データ(代替データ)は、大規模で複雑なメトリックであるため、多くの場合、ビッグデータの一種としても認識されています。これらのデータセットは通常、…

2019年おすすめBIツール10選!

ビジネスインテリジェンス(英: Business Intelligence、BI)は、wikipediaによると、企業などの組織のデータを、収集・蓄積・分析・報告することで、経営上などの意思決定に役立てる手法や技術のこと。経営判断上の過去・現在・未来予測などの視点を提供す…

Webスクレイピングとデータ分析は、ビジネスの成長にどのように役立ちますか?

データ分析が我々の生活に一定的な影響をもたらしています。ビジネスや企業はデータによって顧客の行動や市場の要求を分析することが簡単になりました。 Wal-Martは、Amazonと競合するために、統計分析と意味分析に基づく「Polaris」という検索エンジンを開…

Webスクレイピングに関する10のよくある誤解

世間ではWebスクレイピングに関する多くの誤解も見られるようになっています。特に多く見られる10の誤解として、以下が挙げられ、説明します。 1. Webスクレイピングは違法だ 「スクレイピングは違法だ」ということもよく耳にしたことがあり、実際のところは…

2019年おすすめのデータ分析・データ可視化ツール30選!

データの視覚化は、情報やデータを見える化することによって、人々が効果的に洞察を得ることに役立ちます。データ視覚化ツールは、グラフやチャートなどを利用してデータをより分かりやすく読み上げます。多くのデータ視覚化ツールから最適なのはどれですか…

中国のシリコンバレー、Huaweiも本社をおく深センで暮すにはいくらかかる?

米中貿易戦争、米中「5G戦略」の炎上にとともに、中国の通信機器大手である「HUAWEI(ファーウェイ/華為技術)」が世界で注目を集めています。HUAWEIは、1987年に中国 ・深センに設立され、30年かけて世界有数のICTソリューション・プロバイダーで、世界市場…

Octoparse Japanは1周年を迎えました!

2018年から、新たな成長戦略の一環として、Octoparseは日本市場に進出し始めました。今年の7月、Octoparseは日本語サービスをリリースしてから一年になりました。ご利用いただいた皆さんには大変感謝しております。感謝の気持ちを込めまして、2019年7月18日…

ビッグデータ分析用オンライン講座10選

データサイエンスは、データ駆動型社会市場の台頭としてはもはや流行語ではありません。PWC(Price Waterhouse Coopers)によると、2015年から2018年までの間に「分析スキル」で5000万人を超える雇用が創出されています。IBMのレポートでは、2020年までにデ…

清華大学の科学研究におけるWebスクレイピングの役割

2017年から、Octoparseは清華大学と共同で社会科学および経済関連分野の科学研究を行っています。清華大学の中で、経済研究所は社会科学部およびデータデータサイエンス研究所と連携して、インターネットから有用なデータを収集し分析することを目的とした「…

PHPで簡単なWebクローラーを作ってみた

Webサイトから必要な情報を収集ことと言えば、近年流行りのPythonだよね!今回は初心者がPHPで簡単なクローラーを作り、わかりやすくスクレイピングの方法についてご紹介します。 始める前に、WebスクレイピングとWebクローラーの概要を説明します。 Webスク…

業界初!Webデータを自動収集できるWebスクレイピングテンプレート

今では、副業としてAmazonと楽天市場に出店している人がたくさんいるでしょう。Amazonの販売者だった場合、競合店がどのような価格で同様の製品を販売しているのかを調査しなければなりませんね。Amazonデータベースに直接アクセスすることはできないので、…

スクレイピングテクニック - ブロックを回避する方法

Webスクレイピングは、Webページから大量のデータを効率的に取得する目的で、人間のコピペ作業を自動化するためによく使用される手法です。 OctoparseのようなさまざまなWebスクレイピングツールが普及してきており、多くの分野で活用されていますが、いろん…

無料で使えるスクレイピングツール9選

世の中には様々なスクレイピングツールがあります。しかし、すべてのWebスクレイピングツールが非プログラマーに向けるものではありません。この記事では、初心者向けに無料で利用できるWebスクレイピングツールをご紹介します。 ソフトウェア型 1. Octoparse…

データマイニングに必要なスキルは?

近年、「ビッグデータ」の注目に伴い、ビッグデータを活用するための手段として、「データマイニング」にもよく耳にします。「データマイニング」とは、そもそもどのようなものなのでしょうか? データマイニングとは データマイニング(Data mining)とは、…

注目のWebスクレイピングツール5選を徹底比較!

Webスクレイピングツールとは? Webスクレイピングツールは、Web上に表示されるデータをすばやく取得してExcel、テキスト、CVSなどの構造化形式に変換するのに役立つツールとして簡単に理解できます。Webスクレイピングツールの最も認識されている価値の1つ…

Webスクレイピングを用いたEコマース価格戦略

ここ数年、ネット通販を副業として、個人事業を立ち上げたサラリーマンや主婦の方が増えてきています。ネットショップの開設が簡単であることは間違いありませんが、もちろん誰でも簡単に成功する訳ではありません。 特に「価格戦略」や「価格設定」は簡単に…

Facebookからデータを収集する前に知っておくべき5つのこと

1. 実際、robots.txtファイルによると、Facebookはスクレイピングを禁止している Webサイトをスクレイピングするする前に、必ずrobots.txtを確認してください。Robots.txt は、Googleなどのロボット型検索エンジンのクローラーの巡回を指示するファイルです…

【Python】マーベル映画における男女格差を調べてみた

11年続いたマーベル・シネマティック・ユニバース(MCU)の「アベンジャーズ」シリーズがいよいよ完結しました。待ちに待った「アベンジャーズ エンドゲーム」が4月26日に公開され、MCUファンではない私も観に行ってきました。さすが集大成の作品です!MCU史…

【Python】ドナルド・トランプにおけるTwitter民の感情分析

今世界で最も話題の人、ドナルド・トランプ米大統領は就任から3年目になりました。大統領就任後、相次いで発信されるツイートがさまざまな波紋を引き起こしています。トランプの「迷」言集はいつもニュースやソーシャルメディアで響いて、日本のマスコミでも…