Feedlyのクローラー

FeedlyのクローラーのUserAgentに載ってるURLにちょっと書いてあった。304ちゃんと見るとか404ですぐにクロールしなくなるとか普通な感じ。もちろんPubSubHubbubもサポートしている。301辿って切り替えるとかはなさそう。Googleのもそうだったような気もするけど。

購読者の数をUserAgentで通知とかそういうのはない。クリティカルではないけど、ちょっと惜しいな。こういう小さな積み重ねられたRSSクローリングのアイディアみたいなのがGoogle Readerが一人勝ちだった5年以上で失われた気がしないでもない。

メランコリー。

それにしてもクローラー増えたな。Diggが30分に一回、AOLは一時間に一回来てる。BlogolovinとかThe Old Readerとかマイナーなのも上げるとキリがない。徐々にではあるけどFeverとかFeedladderとか自前で立ててる人も増えてる。同時に毎回200で全部持ってくクローラーとかもちらほら。FeedBurner捨てたの早計だったかなとか思ったり思わなかったり。もし今FeedBurner捨てること考えている人がいるなら、雨後の竹の子クローラーどもが落ち着くであろう10月くらいまでは様子見したほうがいいかも。