【2017/05/25 追記】日本クラウドセキュリティアライアンス(CSAJC)に対応しました。
【2017/05/17 追記】重要生活機器連携セキュリティ協議会(CCDS)に対応しました。
以下のような、公共性の高いドキュメントを楽に集めたい。
ということで、以前公開した以下の情報源のうち、RSSに対応していないサイトの更新情報をつぶやくTwitterボットを作成中です。
仕様
アカウント名は@secutricolorです。毎日8:00に、前日に更新があったかどうかをチェックし、あった場合には「#セキュリティ新着情報」というタグを付けて以下のようなツイートをします。
首相官邸 IT総合戦略本部
— トリコロールな猫/セキュリティ (@secutricolor) 2015年11月16日
【情報通信技術(IT)の利活用に関する制度整備検討会(第2回)の開催について】https://t.co/x0JE7bbQAI(2015-11-13)#セキュリティ新着情報
言語はRuby。ツイートには、Twitter Gemを使っています。
対応サイト
以下のサイトに対応済/対応予定です。
サイト | チェック対象 | 対応 |
警察庁 サイバー犯罪対策 | What's New | 2015/11/12 済 |
警察庁 @police | What's New | 2015/11/12 済 |
内閣サイバーセキュリティセンター(NISC) | What's New | 2015/11/12 済 |
首相官邸 IT総合戦略本部 | お知らせ | 停止中 |
日本スマートフォンセキュリティ協会 | ニュース | 2015/11/12 済 |
フィッシング対策協議会 | 協議会からのお知らせ一覧 | 2015/11/12 済 |
総務省 国民のための情報セキュリティサイト | トピックス | 2015/11/20 済 |
経済産業省 情報セキュリティ政策 | 最新情報 | 未 |
CRYPTREC | トピックス一覧 | 未 |
重要生活機器連携セキュリティ協議会 | ニュース | 2017/05/17 済 |
日本シーサート協議会 | What's New(の加入者紹介以外) | 未 |
日本情報経済社会推進協会(JIPDEC) | ニューストピックス | 2015/11/20 済 |
日本クラウドセキュリティアライアンス(CSAJC) | ニュース | 2017/05/25 済 |
作ってみて
本来はセキュリティの情報源として、このエントリの「Crowsnestで旬の話題を拾う」で書いたような、TwitterのTLからセキュリティ関連のツイートを拾ってリツイートするようなボットを作るつもりだったんですが、思いの外ノイズが多くてかなりのカスタマイズが必要で公開が先延ばしになりそうだったので、先にこちらを実装して公開することにしました。
WWWCみたいな更新チェックツールを探したり、RSSフィードを作成してくれたりするサービスを試してみたりしたところ、うまく動かないとか、「差分」ではなく特定の場所の更新情報だけが欲しいとか、ツイートを自動化するためにはどっちみちコードを書かなきゃいけないとかで、作ってみることに。
ていうかなんでRSS吐いてないのって話ですよ。おかげで1個1個のWebページについて更新情報の部分からリンクURL、リンクタイトル、更新日時を取得するXpathを書くハメに。でもクローラーの勉強にはちょうどいい課題でした。
今後もこのアカウントでいろいろと実験してみるつもりです。
参考
- Rubyで書いたTwitterのbotをRaspberry Piで動かす - DesignAssembler
- RubyのNokogiriを使ってサイトをスクレイピングする - Think Big Act Local
- XPath チートシート
Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例
- 作者: 佐々木拓郎,るびきち
- 出版社/メーカー: SBクリエイティブ
- 発売日: 2014/08/23
- メディア: 単行本
- この商品を含むブログ (10件) を見る