データ取得

Webページ上の画像を一括保存(ダウンロード)する方法4選

元記事:https://www.octoparse.jp/blog/4-ways-to-scrape-images-from-web-pages-or-websites/ InstagramやPinterestなどの写真プラットフォームには非常に多くの素晴らしい写真があり、デザインの制作や商品の資料作成など画像素材を利用するシーンが様々…

Webサイトから画像を一括ダウンロードする方法

元記事:https://www.octoparse.jp/blog/how-to-scrape-and-bulk-download-images-from-any-website/ 1. Webサイトから画像を取得する方法 Webサイトから全ての画像を一括で保存したいとき、1枚ずつ保存するのは非常に面倒です。これは非常に退屈なプロセス…

Googleマップから座標(緯度・経度)を取得する方法ご紹介

「座標」の意味は点の位置を表すのに使ういくつかの数の組のことです。地球のどの場所でも座標(すなわち経度と緯度)を確認できます。先日Googleマップのデータをスクレイピングする方法を紹介して、この記事では、Googleマップで場所の緯度・経度の座標を…

中国のシリコンバレー、Huaweiも本社をおく深センで暮すにはいくらかかる?

米中貿易戦争、米中「5G戦略」の炎上にとともに、中国の通信機器大手である「HUAWEI(ファーウェイ/華為技術)」が世界で注目を集めています。HUAWEIは、1987年に中国 ・深センに設立され、30年かけて世界有数のICTソリューション・プロバイダーで、世界市場…

Facebookからデータを収集する前に知っておくべき5つのこと

1. 実際、robots.txtファイルによると、Facebookはスクレイピングを禁止している Webサイトをスクレイピングするする前に、必ずrobots.txtを確認してください。Robots.txt は、Googleなどのロボット型検索エンジンのクローラーの巡回を指示するファイルです…

【Python】マーベル映画における男女格差を調べてみた

11年続いたマーベル・シネマティック・ユニバース(MCU)の「アベンジャーズ」シリーズがいよいよ完結しました。待ちに待った「アベンジャーズ エンドゲーム」が4月26日に公開され、MCUファンではない私も観に行ってきました。さすが集大成の作品です!MCU史…

「地下ホテル」に対する評価を取得してみました!

皆さんは中国・上海市の「地下ホテル」を聞いたことがありますか? 今日、中国・上海市に世界で最も海抜の低い5つ星ホテル「インターコンチネンタル上海ワンダーランド(InterContinental Shanghai Wonderland)」が正式開業しました。このホテルは、2002年ま…

Webクローラーを構築してホテルの最新情報を入手しよう!

世界観光機関(UNWTO)によると、2017年の世界の観光客の総数は、前年と比べ7%増加して約13億2,220万人を果たしました。宿泊施設や交通サービスが支配的な旅行業は、最も競争力のある業界の1つとなります。 旅行業の発展に伴い、Booking.com、TripAdvisor.com…

動的Webサイトからリアルタイムデータを取得する

データ多様化、情報技術の革新といった時代的背景に、ソーシャルメディアなどによってもたらされる動的データをリアルタイムに分析、価値を最大限に引き出す動きが盛り上がりを見せています。 この記事では、次の質問に答えます: - なぜ動的データの取得は…

Twitterトレンド - 新しいiPhoneについて人々が何を話しているか?

Appleは現地時間の9月12日朝10時、米国カリフォルニア州クパチーノにある本社で、iPhoneをはじめとする新製品の発表会を開催し、iPhoneは新たな3モデルiPhone(Xs、Xs Max、XR)と新たなApple Watchを発表しました。毎年、Appleの新製品発表イベントは間違い…

Webデータを活用!WebサイトからデータをExcelに取り込む方法

Excelは、様々なデータを集計・分析できる表計算ソフトです。書式とスタイル、検索・置換、数式と関数、グラフの作成、データベースなど様々な機能があります。ほとんどの場合、Webサイトから情報を取得して、データをExcelにインポートして、いろいろな分析…

リンクされている画像を一括ダウンロードするのに超便利なツール5選

皆さんは、大量の画像を一気にダウンロードしたい!って時はありませんか?好きなキャラとかアイドルの写真をまとめて保存したい!でも、一枚一枚やるのはかなり面倒臭い・・ !って状況がありますよね。私も画像の一括ダウンロードに関する多くのお問い合わ…

GoogleスプレッドシートでWebからデータを取得する

Webサイトからデータを抜き出し、xls、csv、txt、xmlなどに変換するには、コピペが一番使われますよね。でも、データの量が多いなら、相当な労力を費やします。もしPythonなどのプログラミング技術があれば、Webスクレイピングでコピペを自動化でき、その仕…

Webスクレイピングで第10回AKB48世界選抜総選挙のデータを取得

毎年6月になるとAKB48の総選挙で盛り上がりを見せています。2018年もやってきました。6月16日、「第10回AKB48世界選抜総選挙」(別名:AKB48 53rdシングル 世界選抜総選挙 ~世界のセンターは誰だ?~)の開票イベントが、愛知・ナゴヤドームにて開催されま…