プログラミングでは、よく使う仕組みを1つにまとめ、同じソースコードを何度も書くことが無いようライブラリと呼ばれる物が存在しています。

Pythonでスクレイピングを行う際に良く使われるライブラリについては、下記の3つが挙げられます。

・Requests（Webページを取得する）

・Beautiful Soup（取得したWebページをパースする）

・Selenium（Webページの取得やデータ解析ができる）


今回は、requestsライブラリとBeautiful Soupライブラリのみを使用した記事になるので、Seleniumは次の機会でお話しさせて頂きます。


それでは、まずはRequestsライブラリを使って、簡単なスクレイピングを行ってみましょう！

前回インストールした、Anaconda Navigatorを使ってJupyter Notebookを起動しましょう。

まずは今回使用するRequestsライブラリをインストールしないといけないので、Jupyter Notebook上で下記コマンドを入力し、Runボタンを押下して下さい。

pip install requests


これでJupyter Notebook上にRequestsライブラリがインストールされたので、次にRequestsライブラリを認識させるために下記コマンドを入力し、Runボタンを押下してください

import requests


上記2つのコマンドを実行することで、

①Jupyter NotebookにRequestsライブラリがインストールされた

②Jupyter NotebookにRequestsライブラリが認識された


次に、どのWEBサイトの情報を収集するかを指定するため、下記コマンドを入力してください。

※Runボタンは未だ押さないでください

r= requests.get(URL)


上記コマンドはを解説すると、"r"という変数にrequestsライブラリが持つgetメソッドを使って、該当URLから情報を取得しています。

"URL"部分は、現在は変数部分となっていますが、文字列として直接指定することも可能となっております。（下記はgoogleのURLを記載する場合）

r= requests.get("https://www.google.com/?hl=ja")


これで、"r"という変数にgoogleトップページの情報が保存されたので、下記コマンドを入力し画面上で確認してみましょう。

print(r.content)


上記コマンドを入力すると、画面上には下記画像の様な英語の羅列が出力されていると思います。

拒否反応が出た方が大勢いらっしゃると思いますが、これは画面情報をHTML形式で取得した結果となのでご安心ください！

上記でrequestsライブラリを使ったスクレイピングを行いましたが、今回はBeautifulSoupを使い、requestsライブラリで取得したHTML情報の解析を行ってみましょう！


まずは下記コマンドで、requestsライブラリの時と同様にはBeautifulSoupのインストールを行っていきます。

　pip install beautifulsoup4


無事にインストールが完了したら、次にJupyter NotebookにBeautifulSoupを認識させます。

　from bs4 import BeautifulSoup


これで準備が整いましたので、いよいよ解析です！

まずは何も考えず、下記コマンドを入力してください。


　url = "https://www.google.com/?hl=ja"


　r = requests.get(url)


　soup = BeautifulSoup(r.content, "html.parser")


　print(soup.select("p"))


ソースコードを順番に解説していきます。


①url = "https://www.google.com/?hl=ja"

任意で作成した“url”変数に、解析したいWEBページのURLを代入しています。


②r = requests.get(url)

requestsメソッドを活用し、該当ページのHTML情報を取得し、”r”変数に代入


③soup = BeautifulSoup(r.content, "html.parser")

BeautifulSoupを使い、取得したWEBページの情報を解析、代入

この段階で、soup変数には解析したWEBページの全ての情報が保管されています。


④print(soup.select("p"))

解析結果の情報から、pタグだけを画面に表示


以上が、今回のソースコードで行われている処理の内容です。

まだイメージがフワッとしている方もいらっしゃると思いますが、やって行くうちに慣れてくるので、ここでは気にしなくて問題ないです！