Bloggerのフィードからブログカードを一気に作成 - Python編

import requests
from bs4 import BeautifulSoup
import re
import pandas as pd

# フィードを取得するURL
feedURL = "https://www.blogger.com/feeds/6266051941055901697/posts/default?published-min=2018-09-16T00:00:00&published-max=2021-12-14T23:59:59&max-results=300"

# ブログカードのひな型
card_template = """
<article class="blog-card">
  <a href="{0}"  aria-label="{2}">
    <img src="{1}" width="160" height="90" alt="thumbnail" loading="lazy"/>
  </a>
  <div class="text-contents">
    <h3 class="title">
      <a href="{0}">
    {2}
      </a>
    </h3>
    <p>
      {3} ...
    </p>
  </div>
</article>
"""

# フィードをURLから取得して BeauifulSoup へ読み込む
res = requests.get(feedURL)
soup = BeautifulSoup(res.text, 'lxml')

# 各記事 (entry タグの中身) を配列 items に入れる
items = soup.findAll('entry')
# 前記事のブログカードに必要なデータを入れる配列
feed_items = []

for item in items:
    feed_item = {}
    feed_item['title'] = item.title.text
    print(feed_item['title'])
    feed_item['uri'] = item.find('link', rel='alternate')['href']
    feed_item['content'] = item.content.text
    feed_item['published'] = item.published.text

    # 各記事の本文 (feed_item 変数に格納された entry タグの中の、contentタグの中身)
    # に対して、さらに BeauifulSoup に読み込み 
    soup_a = BeautifulSoup(feed_item['content'], 'lxml')
    # 本文内の画像の URL を抜き出す。Bloggerでは img タグの src 属性に画像サイズを指定する文字列があるため
    # 文字列置換で、幅 160px の画像URLを feed_item['img'] に入れる
    if soup_a.img.has_attr('src'):
        feed_item['img'] = re.sub('/[whs]\d{1,4}-?.+/','/w160/',soup_a.img['src'])
    # 本文の p タグ内の最初の50文字をスニペットとして feed_item['snippet'] に格納
    feed_item['snippet'] = soup_a.p.text[:50]

    # 上記取得したデータをひな型に入れてブログカードのHTMLを作成、feed_item['card'] に格納
    feed_item['card'] = card_template.format(feed_item['uri'],feed_item['img'],feed_item['title'],feed_item['snippet'])
    # feed_items 変数に追加していく
    feed_items.append(feed_item)

# feed_items に格納されたデータを pandsc で CSV 出力、out.csv に書き込み
df = pd.DataFrame(feed_items, columns=['title','uri','content','published','img','snippet','card'])
df.head()
df.to_csv('out.csv',index=False,encoding='utf-8')

import requests
from bs4 import BeautifulSoup
import re
import pandas as pd

# フィードを取得するURL
feedURL = "https://www.blogger.com/feeds/6266051941055901697/posts/default?published-min=2018-09-16T00:00:00&published-max=2021-12-14T23:59:59&max-results=300"

# ブログカードのひな型
card_template = """
<article class="blog-card">
  <a href="{0}"  aria-label="{2}">
    <img src="{1}" width="160" height="90" alt="thumbnail" loading="lazy"/>
  </a>
  <div class="text-contents">
    <h3 class="title">
      <a href="{0}">
    {2}
      </a>
    </h3>
    <p>
      {3} ...
    </p>
  </div>
</article>
"""

# フィードをURLから取得して BeauifulSoup へ読み込む
res = requests.get(feedURL)
soup = BeautifulSoup(res.text, 'lxml')

# 各記事 (entry タグの中身) を配列 items に入れる
items = soup.findAll('entry')

# 前記事のブログカードに必要なデータを入れる配列
feed_items = []

# BeautifulSoup に読み込んだ各記事について、それぞれタイトル等を feed_item に入れる
for item in items:
    feed_item = {}
    feed_item['title'] = item.title.text
    print(feed_item['title'])
    feed_item['uri'] = item.find('link', rel='alternate')['href']
    feed_item['content'] = item.content.text
    feed_item['published'] = item.published.text

    # 各記事の本文 (feed_item 変数に格納された entry タグの中の、contentタグの中身)
    # に対して、さらに BeauifulSoup に読み込み 
    soup_a = BeautifulSoup(feed_item['content'], 'lxml')
    # 本文内の画像の URL を抜き出す。Bloggerでは img タグの src 属性に画像サイズを指定する文字列があるため
    # 文字列置換で、幅 160px の画像URLを feed_item['img'] に入れる
    if soup_a.img.has_attr('src'):
        feed_item['img'] = re.sub('/[whs]\d{1,4}-?.+/','/w160/',soup_a.img['src'])
    # 本文の p タグ内の最初の50文字をスニペットとして feed_item['snippet'] に格納
    feed_item['snippet'] = soup_a.p.text[:50]
    # 上記取得したデータをひな型に入れてブログカードのHTMLを作成、feed_item['card'] に格納
    feed_item['card'] = card_template.format(feed_item['uri'],feed_item['img'],feed_item['title'],feed_item['snippet'])
    # feed_items 変数に追加していく
    feed_items.append(feed_item)

# feed_items に格納されたデータを pandas で CSV 出力、out.csv に書き込み
df = pd.DataFrame(feed_items, columns=['title','uri','content','published','img','snippet','card'])
df.head()
df.to_csv('out.csv',index=False,encoding='utf-8')

$ python3 blog-card.py
CloudReady(ChromeOS) linux のバーションアップグレード
【第二種電気工事士】VVRケーブルの剥き方　5つの方法を試してみた結果は！？
Stravaのブログ埋め込みで幅が切れる・はみ出すときの対処法
機械製図検定　実施要項と合格の手引き
2021年版(令和3年度) 第二種電気工事士 後期試験の合格発表日と確認方法
高槻市の駅チカに弥生時代の遺跡が眠る－安満遺跡公園－
【機械・プラント製図】ウチダ ヘキサスケールが機械製図に便利！
無人島の蔦島で海水浴と鳴門海峡うずしおクルーズ
【第二種電気工事士】VVFストリッパー比較！技能試験におすすめなのは？
キャンプ用品レビュー：キャプテンスタッグ 雷神 COB ランタン
キャンプ用品レビュー：スノーピーク(snow peak)　パイルドライバー
家族でお出かけ　せんなん里海公園
南紀串本リゾート大島でキャンプと本州最南端めぐり
忍頂寺ヒルクライム（万博記念公園～忍頂寺）
高嶋海水浴場＆オートキャンプ場で海キャンプ
川遊びスポット　丹生川上神社
初心者がGoogleアドセンスを初めて2回目の振り込みと買ったもの
琴引浜海水浴場　－日本海のきれいな海、琴引浜で小魚を見て遊ぶ
...

$ ls
blog-card.py  out.csv