2016年に目についた脆弱性やセキュリティインシデント、面白かった記事などを時系列で追えるようにする試み。
とりあえずは目に付いたものを放り込んでみてます。公的な文書の公開からただのネタまで雑多です。
NISC「我が国のサイバーセキュリティ推進体制の更なる機能強化に関する方針」メモ
2016年1月25日に決定したものです。
我が国のサイバーセキュリティ推進体制の更なる機能強化に関する方針
この手の「方針」は、基本的にふわっとしたことしか書かれていませんが、別の方針が出るまではずっとこの方針に付随するような仕事が増え、国のお金が使われるということになるので、セキュリティに携わる人は読んでおいたほうがいいのかなあと思います。
構成は以下。
1 更なる機能強化の必要性
２ 更なる取組強化策
（１）国が行う不正な通信の監視等の対象の拡大
（２）サイバーセキュリティに係る政府人材等の強化
（３）大規模なサイバー攻撃に備えた官民の連携体制等の構築
（４）重要インフラ事業者等に関する取組支援の強化
（５）マイナンバー事業の円滑な導入及び推進
（６）東京オリンピック・パラリンピック競技大会等に向けた取組の加速化
３ 今後の取組
nekotricolor的注目点は以下。
- NISCによる官公庁の通信の監視を独法や指定法人にも拡大、IPAに委託
- 今通常国会に提出予定の「サイバーセキュリティ基本法及び情 報処理の促進に関する法律の一部を改正する法律案」
- 平成２８年夏を目途に統一基準群の改定
- 「情報セキュリティ・情報化推進審議官（仮称）」等を設置
- 平成２７年度末を目途に「サイバーセキュリティ人材 育成総合強化方針（仮称）」を策定
- 平成２８年度末を想定 している「重要インフラの情報セキュリティ対策に係る第３次行動計画」の見直し
- 6.の検討ロードマップを平成２７年度末を目途として取りまとめ
- 情報提供ネットワークシステムの稼働に伴う、自治体情報セキュリティクラウドの構築等の自治体の情報セキュリティ対策強化
- オリンピック・パラリンピックＣＳＩＲＴの構築（２０１９年のラグビーワールドカップ開催時の稼働を目指す）
1.についてはIPAですでに採用情報が出てます。今年はたくさん人を採るんでしょうねえ。IPAがつくばにあったらよかったのにw
3.は「政府機関の情報セキュリティ対策のための統一基準群」ですかね。
「政府機関の情報セキュリティ対策のための統一基準群（平成26年度版）」について
9.に関しては伊勢志摩サミットにも触れていて、サミットと同時につくばで「G7茨城・つくば科学技術大臣会合」というのが開かれるんですが、何か動きがあるんだろうか。
サイバーセキュリティ月間 茨城県内のイベント
2月1日から「サイバーセキュリティ月間」です。
今年は2月1日から3月18日まで。内閣サイバーセキュリティセンター（NISC）が主体となり、様々なイベントが行われます。
そこで、茨城県内のイベントを集めてみました。
月間を通して行うもの
| 名称 | 会場名 |
|---|---|
| ＡＭラジオ局を活用した一般利用者向け広報啓発活動 | 茨城放送 |
1件しかありません！となりの栃木県は6件、群馬ですら3件あるのに！！
| 県 | 名称 | 会場名 |
|---|---|---|
| 栃木県 | 市役所庁舎における 広報啓発コーナーの設置 |
宇都宮市役所 |
| 栃木県 | 市役所庁舎における 広報啓発コーナーの設置 |
真岡市役所 |
| 栃木県 | ケーブルテレビを活用した 一般利用者向け広報啓発活動 |
宇都宮ケーブルテレビ |
| 栃木県 | ケーブルテレビを活用した 一般利用者向け広報啓発活動 |
那珂川町ケーブルテレビ |
| 栃木県 | ＦＭラジオ局を活用した一般 利用者向け広報啓発活動 |
RADIO BERRY FM栃木「矢板時間」 |
| 栃木県 | コミュニケーションツールを 活用した一般利用者向け広報啓発活動 |
矢板市公式LINEアカウント 「やいこみゅ」 |
| 群馬県 | 情報セキュリティ意識向上の ための街頭啓発活動 |
カワチ薬品、セキチュー（前橋市） |
| 群馬県 | ラジオ高崎を活用した一般 利用者向け広報啓発活動 |
ラジオ高崎 |
| 群馬県 | ＦＭラジオ局を活用した一般 利用者向け広報啓発活動 |
FM太郎 |
スポット的イベント
| 開催日 | 名称 | 会場名 |
|---|---|---|
| 2月2日 | 平成27年度情報セキュリティ研修会における講話 | 茨城県庁 |
| 2月16日 | IPAひろげよう情報モラル・セキュリティコンクールの地域賞表彰式 | 茨城県庁 |
| 2月27日 | 茨城県警察音楽隊定期演奏会におけるサイバー犯罪防止に関するブース展示 | 茨城県立県民文化センター |
「ひろげよう情報モラル・セキュリティコンクール」の茨城県での受賞者、3名のうち2名がつくばの竹園東小学校の生徒です。4コマ漫画がいかにもありそうな話でいい。
ちなみに標語の優秀賞の県内唯一の受賞者も竹園東の生徒です。
ひろげよう情報モラル・セキュリティコンクール 標語部門受賞作品
ポスターの優秀賞の受賞者は県内で2名、どちらもつくばの吾妻中学校。
ひろげよう情報モラル・セキュリティコンクール ポスター部門受賞作品
4コマ漫画の優秀賞の受信者は、残念ながら県内にはいませんでした。
いやーさすがつくば。優秀。
e-ネットキャラバン2015
一般社団法人「マルチメディア振興センター」による、主に保護者や教職員に向けて実施する講座です。ボランティアの講師を各地に派遣し、ケータイ依存やネットいじめなどについての対策などを解説します。特にこの期間だけ、というわけではなく通年やっています。
サイバーセキュリティ月間に実施されるe-ネットキャラバンは以下の通り。
| 開催日 | 会場名 |
|---|---|
| 1月28日 | 古河市立駒羽根小学校 |
| 1月29日 | 取手市立山王小学校 |
| 2月2日 | つくば市立竹園学園 竹園東小学校 |
| 2月9日 | 水戸市立寿小学校 |
| 2月17日 | つくば市立栗原小学校 |
| 2月24日 | 筑西市立大村小学校 |
| 2月26日 | 土浦市立右籾小学校 |
2015年度の都道府県別実施件数を見ると、茨城52件、栃木14件、群馬14件で茨城県の圧倒的勝利です！
まあ学校数の差もあるし、単純に回数だけ比較しても意味ないとは思うんですが、東京、神奈川、千葉に続き申込件数が多いのが愛知県だったり、岩手や福島が大阪より多かったり、奈良が1件、鳥取が2件だったり、九州は軒並み件数が低いなか鹿児島県だけが52件あったり、地域によって浸透具合に随分と差があるなあと思いました。
攻めのセキュリティ啓発
茨城県ではありませんが、府省庁対抗の実演訓練とか、専門家と一般市民の対話の場を提供する「サイバーセキュリティ・カフェ」など、面白そうなイベントがあります。攻殻機動隊とタイアップしてるし、NISC攻めてますねえ。
「ひろげよう情報モラル・セキュリティコンクール」を主催したIPAも、去年唐突に面白パスワード強化啓発ポスターとかやりだすし、最近のセキュリティ啓発は攻めてる。
独自ドメインに移行しました
明けましておめでとうございます。@nekotricolorです。今年もよろしくお願いします。
photo by nekotricolor
筑波山神社で初詣してきました。
ホスティングサービス＋Wordpressだったwww.nekotricolor.comをはてなブログに移行したため、こちらのブログもnekotricolor.hatenablog.comからsecurity.nekotricolor.comという独自ドメインに移行しました。
# リダイレクトの設定ははてなの方でされているようなので旧URLでもアクセスに問題なさそうです。
今年は早々にアセンブラのあれを終わらせ、Twitterの分析ももっといろいろやってみたいなあと思っています。
アセンブラのあれ↓
Twitterの分析↓
2015年下半期に公開されたセキュリティ関連文書まとめ
上半期に公開された文書は以下。
- 公共性の高いものを載せています
- WGや研究会の純粋な活動報告書、個別のインシデント・脆弱性は載せていません
- リンク先は全てPDFです。
政府機関
METI
| 文書タイトル | 公開日 |
|---|---|
| 平成 26 年度サイバーセキュリティ経済基盤構築事業 （脆弱性診断人員に対するスキル評価に係る検討） 調査報告書 | 2015/08/11？ |
| サイバーセキュリティ経営ガイドライン | 2015/12/28 |
総務省
| 文書タイトル | 公開日 |
|---|---|
| インターネット上の個人情報・利用者情報等の流通への対応について | 2015/07/17 |
| ウェブサービスに関するID・パスワードの管理・運用実態調査結果 | 2015/07/30 |
| 電気通信事業におけるサイバー攻撃への適正な対処の在り方に関する研究会 第二次とりまとめ | 2015/09/09 |
NISC
| 文書タイトル | 公開日 |
|---|---|
| サイバーセキュリティ政策に係る年次報告（2014年度） | 2015/07/23 |
| サイバーセキュリティ戦略 | 2015/09/04 |
警察庁
| 平成27年上半期のサイバー空間をめぐる脅威の情勢について | 2015/09/17 |
| 不正アクセス行為対策等の実態調査 調査報告書 | 2015/11/21 |
CRYPTREC
| 文書タイトル | 公開日 |
|---|---|
| CRYPTREC Report 2014 暗号技術評価委員会報告 | 2015/07/16 |
| CRYPTREC Report 2014 暗号技術活用委員会報告 | 2015/07/16 |
セキュリティ関連団体
IPA
| 文書タイトル | 公開日 |
|---|---|
| ハードコピーデバイス（デジタル複合機）プロテクションプロファイルv1.0 | 2015/09/10 |
| 情報セキュリティ対策ベンチマーク ver.4.4 | 2015/10/27 |
| 「2015年度情報セキュリティの倫理に対する意識調査」報告書 | 2015/12/24 |
| 「2015年度情報セキュリティの脅威に対する意識調査」報告書 | 2015/12/24 |
フィッシング対策協議会
| 文書タイトル | 公開日 |
|---|---|
| フィッシング対策ガイドライン 2015年度版 | 2015/07/24 |
| フィッシングレポート 2015― 進む対策、利用者としてできること ― | 2015/09/10 |
| 日本版 「STOP. THINK. CONNECT. 立ち止まって、考えて、ネットを楽しむためのクイズ」 | 2015/10/14 |
その他
| 文書タイトル | 公開日 | 公開組織 |
|---|---|---|
| DB 内部不正対策ガイドライン | 2015/07/28 | データベース・セキュリティ・コンソーシアム |
| データセンター セキュリティ ガイドブック 2015年度版 | 2015/08/?? | 日本データセンター協会 |
| Webシステム／Webアプリケーションセキュリティ要件書 2.0 | 2015/10/19 | OWASP |
| CSIRT人材の定義と確保(Ver.1.0) | 2015/11/16 | 日本CSIRT協議会 |
| 高度サイバー攻撃への対処におけるログの活用と分析方法 1.0版 | 2015/11/17 | JPCERT/CC |
| 電気通信事業者におけるサイバー攻撃等への対処と通信の秘密に関するガイドライン 第4版 | 2015/11/30 | JAIPA |
| 電子証明書に格納された属性情報の信頼性と 利用に関するガイドライン | 2015/12/25 | 電子認証局会議 属性ガイドライン検討会 |
JALマイレージバンクのパスワード導入記念にTwitterでパスワードについてのツイートを集め、頻出単語を探ってみました
2014年の10月23日、こんな記事を書きました。
記事は「JALさん、お願いですから英数字のパスワードの導入を！！！」という魂の叫びで締められているわけですが、ついに！2015年9月29日より、JALマイレージバンクでもパスワードが導入されることになりました！！！しかも！！！記号も使えます！！！！
で、これは何か書かねばと思いまして。
最初は、昨年調べた航空会社のパスワードの長さや使用可能な文字種について再度調べようかと思い、いくつか見てみたんですが全然変わっていなかったので、全く趣旨を変えて、Twitterでパスワードについてのツイートを集め、頻出単語を探ってみることにしました。もはやJALなんもかんけーねー。
方法
1. ツイートの収集
英語ツイートの収集ルール
- Search APIで「password」「#password」を含むツイートを取得
- langは「en」指定
日本語ツイートの収集ルール
- Search APIで「パスワード」「#パスワード」を含むツイートを取得
- langは「ja」指定
2. 単語の頻度をカウント
日本語
以下の条件でわかち書きにして出現単語をカウント。動詞はMeCabで原形に。
3. ノイズの除去
上記の方法でカウントしてみたところ、あまりにもエロ系スパムやボットのツイートが多く結果が偏ってしまったので、以下の条件に当てはまるものはノイズと判断し除去しました。
- 全期間で26回以上（＝1日平均2回以上）つぶやいているアカウント
- アカウント名が「_bot」で終わるアカウント
結果0：ツイートの概要
全期間のツイート数やアカウント数を簡単にまとめました。
英語
| 総アカウント数 | 85468 |
| 総ツイート数 | 148093 |
| ノイズと判断されたアカウント数 | 133 |
| ノイズと判断されたツイート数 | 40227 |
| 解析対象ツイート数 | 107866 |
日本語
| 総アカウント数 | 49929 |
| 総ツイート数 | 83853 |
| ノイズと判断されたアカウント数 | 991 |
| ノイズと判断されたツイート数 | 17427 |
| 解析対象ツイート数 | 66426 |
ちなみにファイルサイズは英語が1日2MB前後、日本語が1日1.5MB前後。
結果0についての考察
ノイズについてここで書いておきます。
結果を見るとノイズと判断されたアカウント数が英語133、日本語991とかなり開きがあります。これは以下が原因と思われます。
- ツイート数の多いアカウントをノイズと判断しているだけで、ツイートの内容では判断していない
- 日本語のボットが律儀に「**_bot」ってアカウント名にしてる
- 英語は別個のアカウントがスパムツイートしている（のでスパムのアカウントかの判断が今回の条件ではできない）
スパムの内容は、日本は完全にエロ。エロ画像/動画のパスワード教えます、みたいなのが大量にありました。英語では、Amazonがパスワードのリセットを要求してます、とか、Twitterのフォロワー売ります、みたいな定型句はいくつか見当たりましたが、エロ系は少ない。
で、英語の方は今日時点で11月にスパムツイートしていたアカウントはほぼ生き残ってないですね。こまめにBANされているようです。他方、日本のエロなスパムアカウントは今日も元気にツイートしています。BANされないんだろうか・・w
ノイズの除去については正直かなりの偏りが出てしまっていると思います。1日平均2ツイート以上はノイズ、というのも特に根拠ないし。いっそ全期間で1度だけつぶやいている人のツイートを解析するとかもありかなぁ。いずれにせよ改善の余地がかなりありそうです。
結果1：頻出単語TOP25
| 1 | change | 13731 | 忘れる | 17670 |
| 2 | forget | 9343 | 見る | 8049 |
| 3 | get | 9130 | 変える・変更 | 6886 |
| 4 | wifi | 7304 | ログイン | 6261 |
| 5 | account | 6676 | 入力 | 5534 |
| 6 | can | 6332 | アカウント | 5458 |
| 7 | 6044 | わかる | 4568 | |
| 8 | reset | 6040 | 自分 | 4135 |
| 9 | just | 5956 | もう | 3978 |
| 10 | remember | 5637 | 思う | 3890 |
| 11 | know | 5299 | 入れる | 3765 |
| 12 | new | 5262 | 設定 | 3154 |
| 13 | 5014 | 秘密 | 3042 | |
| 14 | phone | 4251 | ヒント | 3005 |
| 15 | need | 3766 | 開く | 2986 |
| 16 | give | 3362 | 質問 | 2918 |
| 17 | now | 3344 | 教える | 2739 |
| 18 | use | 3316 | 考える | 2686 |
| 19 | like | 3242 | 書く | 2652 |
| 20 | try | 3119 | 2563 | |
| 21 | amazon | 2615 | 登録 | 2555 |
| 22 | never | 2382 | 使う | 2534 |
| 23 | make | 2373 | 続ける | 2418 |
| 24 | still | 2285 | 出来る | 2338 |
| 25 | log | 2218 | 過去 | 2327 |
結果1についての考察
みんな忘れてる
まず世界規模でみんなパスワード忘れ過ぎ。日本語では「忘れる」がダントツ1位、「わかる」も「わからない」の原形と思われるのでもっと増えそう。「教える」も「誰か私のパスワード教えてくれー」というのが多かった。あとよくあるネタツイートで、「パスワード忘れたので秘密の質問/ヒントを見たら○○だったのでxxと答えたら当たってた」ってやつね。
LINEが上位に来るかと思いましたが45位。まあLINEはスマフォ以外では使わなそうだから必要ないのかな。
英語は「change」の方が上で意外でしたが、おそらく「forget」だけでなく「can’t/cannot remember」とかもあると思うのでやっぱり忘れてるよね。ちなみに英語24位の「still」は「still can't remember」「still can't log in」みたいな叫びが主。
日本語英語共に上位入りしている「Twitter」は「パスワード忘れたからこの端末以外からつぶやけねー」みたいなのが多かったですね。英語のWifiもそう。他の端末繋げねえよって。Amazonに関してはパスワード忘れよりスパムツイートが多かったです。14位の「phone」は携帯のロック解除のためのパスワードがわからないという悲惨な人たちが。
秘密の質問は日本ばかり
日本ではよくある「秘密の質問」も上位にありますね。英語で「秘密の質問」は「secret/security questions」となることが多いようですが、「question(s)」でも100位以下。日本じゃ秘密の質問は前述の通りネタツイートとしてすっかりおなじみですもんねえ。定番のネタツイートは2種類あるようです。
パスワード忘れたからヒント見たんだけど「忘れるほうが悪いでーすｗｗｗｗｗｗｗｗﾋﾟｯﾋﾟﾛﾋﾟｰｗｗｗｗｗｗｗｗｗﾌﾞﾌｫｗｗｗｗｗｗｗｗｗｗｗ」て書いてて過去の自分にこの上ない怒りを込めながら「ころすぞ」て入力したら、合ってた。
パスワード忘れたからヒントを見たら『今のお前のことだ』と表示されてしばらく迷った末に「バカ」と入力してみたら無事通ったけど過去の自分への殺意が止まらない
これもノイズ候補だな。
結果2：時系列ツイート数
英語
誤差の範囲な気がしなくもないですが、11月18日、24日〜26日が9,000越えで多くなっています。
日本語
平均5,000件前後ですが、11月23日は6,142件と突出して多いです。
考察2
英語圏のツイート数のばらつき
データの収集期間が短いため、誤差なのか判断しかねるところではありますが一応ツイート数が多かった日（11月18日、24日〜26日）を調査してみました。
ツイートが多い日に大量のつぶやきをしているアカウントを抽出し、それらのアカウントのツイートから頻出単語を割り出し、ツイートの生データを見て・・という原始的なやり方で原因を探ってみました。26日は特徴的なものは判別できなかったのですが、他の3日に関しては原因らしきものが判明しました。
11月18日
えー、なんか「Password」としておなじみ（popularly known as Password）のナイジェリア人プロデューサーが手がけたアルバムが出たようです。431ツイートありました。
Patrick Mathias, popular known as Password is a Nigerian producer, song writer and sing... https://****
アカウント名はバラバラ。純粋な宣伝かなぁ。それにしちゃ規模がでかい・・。
11月24日
なぜこの日なのかは不明ですが、以下のようなツイートをするスパムアカウントが大量に発生したようです。421ツイートありました。
NEW CUSTOMER OFFER! Buy 5000 Twitter Followers Without password needed only $29, See here https:/****
同じくアカウント名はバラバラ。現在はこのツイートをしたアカウントはほとんどがBANされています。
11月25日
一番分かりやすかったのが11月25日。といってもこれもなぜこの日なのかは不明ですが、Amazonのパスワードが漏れた、パスワードがリセットされた、という旨のツイートが1,724もありました。アカウント名はこれもバラバラ。
Amazon suffers potential password leak, unknown number of accounts affected https://***
Amazon force-resets some account passwords, citing password leak https://***
11月23日に日本で何があったのか
この日はツイート数が明らかに多いです。まずはこの日急に出てきた単語を以下の条件で抽出。
- 11月22日にはツイートに出現しておらず、11月23日に出現した単語
- 1. のうち、ツイート数が30以上
結果は以下の通り。
| 進研模試 | 74 |
| 安藤 | 83 |
| ひびき | 35 |
11月23日の日本語のツイートを上記の単語で検索してみたところ、どうやら以下のようなことらしい。
- ベネッセが実施している「進研模試」という高校生向けの全国規模の模試の結果が公開され、進研模試デジタルサービスにログインすることで見られるようになったが、パスワードを忘れている人が続出
- アニメ「プリパラ」で、紫京院ひびきさんが執事の安藤玲さんの名前をパスワードにしている、という話が放送された
不正アクセスによるパスワード漏えいとかそういう話かと思ったら全然違った・・。
11月24日にはセキュリティらしい頻出単語が
ツイート数は平均的ですが、24日についても上の方法で急に出てきた単語を調べてみたところ、以下のようになりました。
| ホリデー | 44 |
| 高める | 44 |
| マカフィー | 43 |
| 呼びかける | 42 |
| 標準化団体 | 31 |
| 2.0 | 31 |
これは、以下の記事を紹介するツイートが増えたため。
こういうセキュリティ関連の記事でBUZZってるものを拾ってきて、今運用している政府機関等のセキュリティ関連の新着情報をつぶやくTwitterボットにつぶやかせられると楽なんだけどなー。
やってみた感想、今後の予定など
パスワードは全世界で忘れられまくってるんだろうなあという予想を見事に裏付けてくれただけで満足ですが、ツイート数急増の原因を探るというのもとても興味深かった。特に日本、まさかアニメと模試が原因なんて思わなかったですからね。結果1が主役のはずだったんですが、それほどこうだと言えることがなく、結果2の方が面白かった。
英語に関してはスパムツイートの除去がうまくいかなかったため、結果スパムの傾向しか見られない感じになっちゃいましたね。いま別件で文書の類似度を測る、というようなことをやっているので、同じ方法で英語のツイートを丸ごとぶっこんでクラスタリングするというのもやってみたい。スパムツイートがうまいことクラスタリングされたら、それでフィルタを作ってスパムツイートを除去できたりするとかなり精度が上がりそう。逆にスパムツイートだけ集めれば、スパムの進化とかも見られるかもしれない。
スパムの傾向といっても突発的に同じスパムがバッと出るというのが分かっただけで、なぜその日なのかなど理由はよくわかりませんでした。まあスパムは定期的に出てくるんでしょうけども、曜日や感謝祭なんかのイベントで偏るのではないかと思ってましたがそうでもないし。でも考えてみるとスパムに限らず、日本語は公用語にしている国が日本（とパラオの一部）のみなのに対し、英語だとたとえばアメリカ、イギリス、オーストラリアというように多数の国で使われているため、傾向が顕著には出にくいのかもしれません。ということは、ベトナム語とかノルウェー語とか、1言語1公用語国な言語を選んでこの手の解析をすると、今回の日本がそうだったように、その国で何が起こっているかがはっきり分かりそう。
一応今も同じ条件でツイートは集めているので、もう少し長い期間で同じ解析をしてみるつもりです。同じスパムツイートが定期的に発生するのか確認したいし、クリスマスやお正月特有のツイートもありそうだから見てみたい。クリスマスと正月って日本と英語圏でだいぶ違いが出そうだし。
あとは、パスワード以外にもなんか面白そうなキーワードがないかと模索中。ファイルサイズが意外と小さかったので同時進行でいろいろ収集できそうです。
というように、今後もいろんな切り口でこの手の解析をやってみたいと思ってます。
きっかけを与えてくれた論文
JALのパスワード導入記念、というのはあるんですが、これ自体のアイディアは別のところから来ていて、最後にそちらもぜひ紹介したく。
プライバシー関連の国際学会「SOUPS（Symposium On Usable Privacy and Security）」というのがありまして、先日その論文を読破するという「SOUPS2015論文読破会」というのに参加しました。
そこで紹介されていたこの論文。
Twitterでパスワードについてのツイートを集め（”password”と#passwordで検索）、内容からなんらかのクラスタリングができないかというものでした。クラスタリングとなるとなかなか大変そうですが、「ツイートをある単語をキーワードにして収集し解析する」というアイディアはいいなと。ある程度の量のデータを簡単に集められるというのは魅力的です。
論文の読破会というものには初めて参加したのですが、これ以外にもいろいろなインスピレーションをいただけたとてもよい場でした。
参考
- Documentation | Twitter Developers
- Twitter APIの使い方まとめ
- Twitter Ruby Gemを使って、RubyでTwitterキーワード検索を試す - Qiita
- Twitter gemの検索結果インスタンスとその内部を解説（ついでに since_id モンキーパッチも） - 別館 子子子子子子（ねこのここねこ）
- 統計的テキスト解析(3)〜形態素と構文解析〜
- Python形態素解析ライブラリ3つを徹底比較 - Qiita
- Ruby - Macにmecabインストール - Qiita
- rubyのmecabバインディングnattoを使う - Qiita
- [O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
- rubyのmecabバインディングnattoを使う - Qiita
- 【natto・mecabで】5分で形態素分析に入門して、修造の「人生を強く生きる83の言葉」の頻出語を調べてみる。【形態素解析】 | Project name
- バイト先のツイッターアカウントを形態素解析して最もリツイートされやすいつぶやきを考えた - razokulover publog
- 逆引きRuby - 逆引きRuby
- 作者: 高橋征義,後藤裕蔵,まつもとゆきひろ
- 出版社/メーカー: ソフトバンククリエイティブ
- 発売日: 2013/06/04
- メディア: 単行本
- この商品を含むブログ (33件) を見る
- 作者: Peter J. Jones,arton,長尾高弘
- 出版社/メーカー: 翔泳社
- 発売日: 2015/01/09
- メディア: 大型本
- この商品を含むブログ (13件) を見る
政府機関等のセキュリティ関連の新着情報をつぶやくTwitterボットを公開しました
【2017/05/25 追記】日本クラウドセキュリティアライアンス（CSAJC）に対応しました。
【2017/05/17 追記】重要生活機器連携セキュリティ協議会（CCDS）に対応しました。
以下のような、公共性の高いドキュメントを楽に集めたい。
ということで、以前公開した以下の情報源のうち、RSSに対応していないサイトの更新情報をつぶやくTwitterボットを作成中です。
仕様
アカウント名は@secutricolorです。毎日8:00に、前日に更新があったかどうかをチェックし、あった場合には「#セキュリティ新着情報」というタグを付けて以下のようなツイートをします。
首相官邸 IT総合戦略本部
— トリコロールな猫/セキュリティ (@secutricolor) 2015年11月16日
【情報通信技術（IT）の利活用に関する制度整備検討会（第２回）の開催について】https://t.co/x0JE7bbQAI（2015-11-13）#セキュリティ新着情報
言語はRuby。ツイートには、Twitter Gemを使っています。
対応サイト
以下のサイトに対応済/対応予定です。
| サイト | チェック対象 | 対応 |
| 警察庁 サイバー犯罪対策 | What's New | 2015/11/12 済 |
| 警察庁 @police | What's New | 2015/11/12 済 |
| 内閣サイバーセキュリティセンター（NISC） | What's New | 2015/11/12 済 |
| 首相官邸 IT総合戦略本部 | お知らせ | 停止中 |
| 日本スマートフォンセキュリティ協会 | ニュース | 2015/11/12 済 |
| フィッシング対策協議会 | 協議会からのお知らせ一覧 | 2015/11/12 済 |
| 総務省 国民のための情報セキュリティサイト | トピックス | 2015/11/20 済 |
| 経済産業省 情報セキュリティ政策 | 最新情報 | 未 |
| CRYPTREC | トピックス一覧 | 未 |
| 重要生活機器連携セキュリティ協議会 | ニュース | 2017/05/17 済 |
| 日本シーサート協議会 | What's New（の加入者紹介以外） | 未 |
| 日本情報経済社会推進協会（JIPDEC） | ニューストピックス | 2015/11/20 済 |
| 日本クラウドセキュリティアライアンス（CSAJC） | ニュース | 2017/05/25 済 |
作ってみて
本来はセキュリティの情報源として、このエントリの「Crowsnestで旬の話題を拾う」で書いたような、TwitterのTLからセキュリティ関連のツイートを拾ってリツイートするようなボットを作るつもりだったんですが、思いの外ノイズが多くてかなりのカスタマイズが必要で公開が先延ばしになりそうだったので、先にこちらを実装して公開することにしました。
WWWCみたいな更新チェックツールを探したり、RSSフィードを作成してくれたりするサービスを試してみたりしたところ、うまく動かないとか、「差分」ではなく特定の場所の更新情報だけが欲しいとか、ツイートを自動化するためにはどっちみちコードを書かなきゃいけないとかで、作ってみることに。
ていうかなんでRSS吐いてないのって話ですよ。おかげで1個1個のWebページについて更新情報の部分からリンクURL、リンクタイトル、更新日時を取得するXpathを書くハメに。でもクローラーの勉強にはちょうどいい課題でした。
今後もこのアカウントでいろいろと実験してみるつもりです。
参考
- Rubyで書いたTwitterのbotをRaspberry Piで動かす - DesignAssembler
- RubyのNokogiriを使ってサイトをスクレイピングする - Think Big Act Local
- ＸPath チートシート
Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例
- 作者: 佐々木拓郎,るびきち
- 出版社/メーカー: SBクリエイティブ
- 発売日: 2014/08/23
- メディア: 単行本
- この商品を含むブログ (10件) を見る
