新型コロナウイルスに関するツイートへの感情分析

欧米で新型コロナウイルスの感染拡大の中、ウイルス関連の陰謀論も盛り上がっています。SNSでも根拠が不明なまま人々の不安をあおる発言がじわじわ広がっているため、FacebookやTwitterは、投稿の精査 ・確認に積極的に取り組んできました。 信頼できる情報…

Googleショッピングから商品情報をスクレイピングする方法

新型コロナウイルスの影響でオンラインショッピングの需要が高まるにより、4月21日、Googleは「Googleショッピング」への商品登録を無料化することと発表しました。まずはアメリカで4月末までに実施し、年内に世界に拡大する計画があります。 ネット販売を始…

競合他社調査から引き出す価格と品揃え戦略

新型コロナウイルスによる肺炎の感染を警戒することで、消費者が外出を控えるなどして、停滞しつつある消費を刺激しようと、EC企業が相次いで割引セールや企業向けのマーケティング支援を打ち出しています。 ECセールといえば、日本では「楽天スーパーSALE」…

Octoparse:Macユーザー向けのWebスクレイピングツールがリリース!

世の中では、Webデータ収集を容易にするスクレイピングツールがたくさんありますが、macOSに対応できるのがまだ少ないです。iPhone人気も背景に年々Macのシェアが伸びている中で、スクレイピング業界でもMacへの対応も必須とのことで、お客様より長らくご要…

Excelでデータ分析を行う際に知っておくべき関数10選

データ分析を行う際に、必ずExcelを活用しますね。Excel では数多くの関数が用意されており、うまく使うことで Excel をより便利に利用することができます。この記事では、データ分析を容易にするために、よく使うExcel関数を10選紹介します。 並べ替えとフ…

コンサルティング業界で求められるスキルとオススメのツール

マッキンゼー、ボストン、ベインなどのトップコンサルティング会社で就職したい方が多いですが、今のままではビジネスパーソンとして本当に十分なスキルを持てているのかという不安になる人も多いでしょう。 コンサルティング (consulting) とは、企業などの…

「新型コロナ」で株価急落?Webスクレイピングで日経平均株価を取得してみた

2020年1月に中国で感染が報告された新型コロナウィルス(COVID-19)は、世界に蔓延し、3月中旬には他国の感染者数が中国の感染者数を追い抜きました。各国で外出制限等が行われ、金融市場は大きく動き、実体経済も多くの国で大きく落ち込みました。新型コロ…

スクレイピング業界の変革|Octoparse 新バージョン 8.1 Beta がリリース!

WebスクレイピングツールであるOctoparseの新バージョン ver 8.1 が2020年4月15日よりリリースされました。今回の新バージョンのリリースでは、、Webページの自動認識機能の追加と内蔵ブラウザのアップグレードにより、パフォーマンスが向上し、データ取得の…

未経験からデータアナリストを勉強すべきスキルとは?

「データアナリストになろうと思うけど、その将来性について不安がある。また、自分がデータアナリストに向いているのか?どんな必要なスキルがあるだろう?頑張りたいけど、いったいどこから手をつけたらいいだろう…もしわかれば、教えてください!」 本記…

Tableauで新型コロナウイルスの感染状況を可視化してみた

数日前、「データ分析がどのように新型コロナウイルスの真実を明らかにするのか?」という記事を発表し、コロナウイルス(COVID-19)の社会的影響を分析しました。ただし、一部の人は、今回の爆発的な感染についてまだ完全に理解していません。ですから、今…

データ分析がどのように新型コロナウイルスの真実を明らかにするのか?

https://www.chappatte.com/en/ 2019年12月以降、中国湖北省武漢市を中心に新型コロナウイルス(2019-nCoV)が発生し、短期間で世界に広まっています。日本国内では2020年1月15日に武漢市に渡航歴のある肺炎患者からこのウイルスが検出されており、今までは…

初心者向け:未経験からデータアナリストになるには?

ビッグデータ時代の到来に伴い、さまざまな領域でビッグデータの活用が進んでいて、データアナリストなどの人材の需要はますます高まってきています。Indeed.comによると、この職業の成長率が4,000%以上に達しました。この記事では、未経験からでもデータア…

Web担当者として身につけるべきスキルとは?

明けましておめでとうございます!ついに2020年が始まりました!皆さん、お正月はいかがお過ごしでしょうか?新年の始まりにあたり、今年の目標/やりたいことを立てる方が多いと思います。Web担当者としての私、2020に何かの新しいWebスキルを勉強するのか、…

2019年ビッグデータ応用シーン8つまとめ

ビッグデータによって、サービスの必要性に応じて合理的な分析レポートを実行することができます。 生成されたデータには、非構造化データ、半構造化データ、および構造化データが含まれます。これらのデータは、他の構造化データを処理するために使用されま…

知っておくべき9つのWebスクレイピングの課題

Webスクレイピングは、ビッグデータに対する需要が高まっている人々の間で注目を集めています。複数のWebサイトからデータを抽出してビジネス開発を支援したい人が増えています。ビッグデータは、市場動向、顧客の好み、競合他社の活動の最先端を提供します…

Googleマップから座標(緯度・経度)を取得する方法ご紹介

「座標」の意味は点の位置を表すのに使ういくつかの数の組のことです。地球のどの場所でも座標(すなわち経度と緯度)を確認できます。先日Googleマップのデータをスクレイピングする方法を紹介して、この記事では、Googleマップで場所の緯度・経度の座標を…

Amazonから製品データ取得する3つの方法を公開!

Photoed by Christian Wiediger on Unsplash 元記事:https://www.octoparse.jp/blog/scrape-product-data-from-amazon/ 「なぜAmazonデータを取得する必要があるのですか?」と疑問に思うかもしれません。 アメリカ最大の電子商取引会社であるアマゾンは、…

2019年に遭遇可能5つのスクレイピング防止技術

Photoed by Ian Schneider on Unsplash ビッグデータの台頭により、データ分析にWebクローラーを使ってインターネットからデータを取得し始めるようになりました。クローラーを作成するにはさまざまな方法があります。ブラウザーの拡張機能、Beautiful Soup…

PythonによるWebスクレイピングを解説

価格監視、ビジネス分析などのデータ関連プロジェクトを実施する場合、常にWebサイトからデータをエクセルに記録する必要があります。ただし、データを1行ずつコピペするのは時代遅れになり、Webスクレイピングにおけるニーズが高まっています。この記事では…

データサイエンティストになるにはオススメの認定資格9選徹底紹介!

「ビッグデータ」時代において「データサイエンティスト」という職業はすでに、業界で最も注目となっている職業の1つであると言えるのでしょう。その年収は経験やスキルによってばらつきはありますが、約350万円から1000万円くらいまでだと言われています。…

2019年に知っておくべきオープンデータソース70選

ほとんどの人は、ビッグデータの収集は大変な仕事だと考えていますが、そうでもないと思います。実際にはオープンデータソースがたくさんあり、誰でも利用できます。ここでは、政府機関、医療・健康、 金融・経済、ビジネス・企業、ジャーナリズム・メディア…

データマイニングとは?その5つの特徴を知りましょう!

データマイニングとは、DM(Data mining)の省略で、統計学、パターン認識、人工知能などのデータを解析する技法を使って、情報管理システムなどに蓄積された膨大なデータの中から、パターンや相関関係などを見出し、マーケティングや営業などに活用するテクノ…

RPAとは?2019年オススメのRPAツール15選

今では、RPAという言葉は話題になっています。RPAは仮想知的労働者とも呼ばれ、働き方改革や人手不足を解決する手段として期待されています。そこで、今回はRPAとは何か、導入のメリット、オススメのRPAツールということを紹介したいと思います。 RPAとは? …

大企業がこれらの人気サイトからデータを取得している!ジャンル別24選

我々が現在にいる社会はすでに「ビッグデータ」という言葉があたり前のように見聞きする時代になりました。近い将来、テクノロジー、ビジネス、金融、法律、人々の暮らしなど、ビッグデータによって大きく変わっていくのでしょう。 それで、ビッグデータの中…

クローラーエンジニアになるには?学習すべきことを解説

ビッグデータ・AIの台頭とともに、データ収集、活用の重要性が高まるようになりました。ビッグデータを収集するために、多くの企業は専門のクローラーエンジニアを採用しています。今回の記事では、「クローラーエンジニア」の仕事内容、学習すべきスキルに…

スタートアップの成長におけるビッグデータの活用

ビッグデータの時代に、スピードが加速する今日のビジネスでは24時間体制で業務を続けるのも不十分です。スタートアップは、この激しい競争の中で生き残りたいなら、ビッグデータの急速な進歩に遅れをとらず、自社の強みを把握し、自社事業の持続的な成長が…

2019年データマイニングに関する面白い記事10選

「ビッグデータ」という言葉は生活の中で、身近によく使われている言葉になってきた感じがありませんか。その分析の実用例として、データマイニング(Data mining)技術が挙げられます。データマイニング(Datamining)とは、統計学、パターン認識、人工知能…

AI(人工知能)がこれからどのように世界を変えていくのか?

中国検索エンジン最大手「百度Baidu」創業者であり、現会長兼CEO李彦宏(英語名:ロビン・リー)はTime Asiaの2019年1月29号の「The Innovator」表紙に登場しました。 中国のIT起業家がTime Asiaの表紙に登場したのは今回初めてです。作品の見出しには、「B…

2019年データサイエンスにオススメの本80冊!

ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで…

オルタナティブ・データ(代替データ)とは?どのように使えるか?

Photo by Franki Chamaki on Unsplash オルタナティブ・データ(代替データ)とは? オルタナティブ・データ(代替データ)は、大規模で複雑なメトリックであるため、多くの場合、ビッグデータの一種としても認識されています。これらのデータセットは通常、…