はじめに

この記事では弊社で開発したTwitterのTweetsを取得して自動でクレンジング（テキストからURLを削除・リツイートの除外など）を行うパッケージを紹介します。
先日弊社ではPythonのパッケージの作成にチャレンジして、pip installできるようにするための公開方法の手順を紹介しました。（参考：【PyPI】自作のPythonパッケージを公開する）
今回はその際に作成したTwitterのAPIを使ってTweetsを取得するライブラリを実際に使用してみたいと思います。

「Tweetl」の主な機能

• ユーザーIDと任意のキーワードでツイートを取得
• テキストのクレンジング(前処理)
  • ハッシュタグ、URL、画像、絵文字、メンション、RTを削除
  • 文字の統一（大文字から小文字、半角から全角）
  • 重複ツイートの削除（RTの可能性があるため）

インストールとAPIキーの設定

PyPIに公開済みですので、以下のようにどなたでもpip installすることが出来ます。

pip install tweetl

インストールが終わったらインポートします。

import tweetl

APIキーとアクセストークンを設定します。TwitterのDeveloperアカウントを発行すると、左上のメニューにある「Apps」から発行することができます。

TwitterのDeveloperアカウントの作成方法については詳しく解説されている方がいらっしゃいましたのでこちらをご覧ください。

# APIキーとアクセストークンを設定する
consumer_api_key = "XXXXXXXXXXXXXXXXXXXXXXXX"
consumer_api_secret_key = "XXXXXXXXXXXXXXXXXXXXXXXX"
access_token = "XXXXXXXXXXXXXXXXXXXXXXXX"
access_token_secret = "XXXXXXXXXXXXXXXXXXXXXXXX"

ツイートを取得するためのインスタンスを作成します。

# インスタンスを作成する
tweet_getter = tweetl.GetTweet(
                    consumer_api_key,
                    consumer_api_secret_key,
                    access_token,
                    access_token_secret
                )

下準備はこれだけです！

ツイートを取得してみる

今回は試しに弊社のTwitterアカウントのツイートを取得してみたいと思います。
tweet_getter.get_tweets_targetを使ってアカウントIDを指定するだけで簡単にDataFrame形式で取得することが出来ます。

# Deepblueのアカウント名を指定する
df_target = tweet_getter.get_tweets_target("deepblue_ts")
df_target.head()

しかし、よく中身を見てみると改行を示す\nやURLなどが含まれており、このままだとテキストマイニングをする際にノイズになってしまう可能性があります。

df_target.text[0]

'本日日本語版がリリースされたDeepL APIを試してみました！\n\nDeepL APIをPythonから利用して文章を日本語に翻訳する\nhttps://t.co/eHNh6T4Tn9'

ツイートをクレンジングする

tweet_cleanser.cleansing_dfを使って、text列を対象としてノイズとなる可能性のあるテキストのクレンジングを行ってみます。

# create an instance
tweet_cleanser = tweetl.CleansingTweets()
cols = ["text"]
df_clean = tweet_cleanser.cleansing_df(df_target, subset_cols=cols)
df_clean.head()

クレンジング結果を確認してみると改行を示す\nと末尾のURLがきれいに削除されていることがわかります。

df_clean.text[0]

'本日日本語版がリリースされたdeepl apiを試してみました! deepl apiをpythonから利用して文章を日本語に翻訳する'

さいごに

今回は弊社で開発した「Tweetl」というパッケージの紹介をしました。
これからも改良を続けていきたいと考えておりますが、もしライブラリに不具合や追加機能の要望などございましたらご連絡いただけると幸いです。

PyPI : https://pypi.org/project/Tweetl/
GitHub: https://github.com/deepblue-ts/Tweetl