第三回ライブドアテクニカルセミナーに行ってきた
livedoor Techブログ : 第三回 ライブドア・テクニカルセミナーのお知らせ
こちらのライブドアテクニカルセミナーに参加してきた。
以下、めっちゃ粗いメモ。しかも途中眠くなったりしてごっそり抜け落ちている。
クラウド時代のWebストレージ/データベース戦略
- スピーカー、池邉智洋氏、ライブドア執行役員CTO
- 利用者から見たクラウド
- 物理サーバ、ネットワーク意識しない
- 高可用性
- 柔軟課金体系
- 提供者
- 高価な機器に依存しない＝スケール合うと
- 異ソース有効活用
- 管理運用の手間の効率化
- ライブドア的
- コスプレコミュニティcure面白そう
- ライブドアでは画像アップサービスが多い
- ライブドアが求めるストレージ
- サービス名はSTF
- HTTPを利用したストレージサービス
- 参考にしたのは
- mogilefs
- amazons3
- rackspace cloud files
- PROS
- cons
- ファイルシステムとしてマウントできない
- 追記できない
- すでにあるオブジェクトは一部書き換えできない
- design
- REST API
- リクエスト
- GET,PUT,DELETE
- バケットの作成、削除
- オブジェクトの取得、作成、更新、削除
- レプリカの作成はヘッダで指定
- example
- STF internals
- オープンソースで公開予定
- 現在容量は20TBあって使用は10数TB
自分たちのサービスのために作るって言っていたのが印象的だった。
オープンソースで公開するというのもライブドアらしくていいな。
ライブドア流クラウド的サービス
- スピーカー、ライブドア田畑佳則氏、ライブドア市川剛氏
- ライブドア流って
- ウェブサービスに強い
- DATAHOTEL（データセンタ）
- amazonec2利用中の企業は大部分はextra large 契約
- webフロント(ウェブサーバ)をクラウドに！
- 短期間でリソースの増減可能
- バックエンドは専用サーバに
- 試行錯誤
- ぽこぽこクラウド！
- 仮想化技術
- 検証ソフトウェアはparallels
- ネットワークの従量課金は未定話し合い中
- cactiで負荷監視
- 同じ顧客のインスタンスは同じところで動かさない
- ぽこぽこはデータベースには対応しない。フロントだけぽこぽこ。
後半眠気に襲われてJリーグの途中経過など見てたので、ごっそり抜けている。要復習。
livedoor Readerの新機能とは？
- スピーカー、ma.la氏
- 趣味で自社サービスのセキュリティ監査って！
- サーバサイドについて
- 180万のRSSをクロールしている
- データ圧縮して1TB
- 過去記事削除やってない
- 1,3時間おきにクロール
- パブサブハブハブはリアルタイム
- クローラ q4mによるリレー
- broker feed id q4m
- cronで1分おき
- fetcher リクエスト投げる
- coroを浸かった並列処理
- 同時接続数を制限
- parser
- 独自処理、既存モジュールはかゆいところに手が届かない
- CPUパワーに依存、並列数は意味ない
- updater
- DBに書き込む
- 記事のふりわけ SKIP INSERT UPDATE SILENT_UPDATE
- broker feed id q4m
- 高速化ノウハウ
- 既出フラグをfeedごとにまとめた
- ストレージとネットワークIOの節約
- 更新されていないfeedを判別する
- キューサーバ自作2種類
- 高可用性は落ちないことより落ちても平気なように
スライド多過ぎｗｗ後半は早過ぎてとてもついていけなかった。要復習。
まぁなんせ生ma.laを見ることができたのでそれだけで満足。
