読者です 読者をやめる 読者になる 読者になる

Road To Nowhere

主にWebまわりのエンジニア的なお仕事に関するようなことのあれこれ。

第三回ライブドアテクニカルセミナーに行ってきた

livedoor Techブログ : 第三回 ライブドア・テクニカルセミナーのお知らせ
こちらのライブドアテクニカルセミナーに参加してきた。
以下、めっちゃ粗いメモ。しかも途中眠くなったりしてごっそり抜け落ちている。

クラウド時代のWebストレージ/データベース戦略

  • スピーカー、池邉智洋氏、ライブドア執行役員CTO
  • 利用者から見たクラウド
    • 物理サーバ、ネットワーク意識しない
    • 高可用性
    • 柔軟課金体系
  • 提供者
    • 高価な機器に依存しない=スケール合うと
    • 異ソース有効活用
    • 管理運用の手間の効率化
  • ライブドア
    • 物理サーバは既にある
    • saas
    • さらに効率化したい
    • iaas paas 的なクラウド環境を自分たちで作り自分たちで使う
  • コスプレコミュニティcure面白そう
  • ライブドアでは画像アップサービスが多い
  • ライブドアが求めるストレージ
    • webサービスのメディアストレージ
    • 安価に拡張できる
    • 冗長化、高可用性
    • 実際の構成を意識したくない
  • サービス名はSTF
    • HTTPを利用したストレージサービス
  • 参考にしたのは
    • mogilefs
    • amazons3
    • rackspace cloud files
  • PROS
    • key-value
    • クライアントからは巨大なストレージプール(容量意識しない)
    • 普通のサーバで拡張可能
    • データのレプリケーション
    • apacheモジュール
  • cons
    • ファイルシステムとしてマウントできない
    • 追記できない
    • すでにあるオブジェクトは一部書き換えできない
  • design
    • bucketの概念
    • ディレクトリ概念なしキーバリュー
    • REST的なAPI
    • 認証は他のapacheモジュール
  • REST API
    • リクエスト
    • GET,PUT,DELETE
    • バケットの作成、削除
    • オブジェクトの取得、作成、更新、削除
    • レプリカの作成はヘッダで指定
  • example
  • STF internals
    • 基本戦略
      • 極力コードを書きたくない!
        • 作りながらサービスに投入
        • 大事な部分は枯れたコード
        • apacheモジュールcで実装
        • URI mysql
        • メッセージキューで非同期処理
        • 非同期処理のワーカーはperl
    • mysql
      • テーブル一覧
        • storavge ストレージノードマスタ
        • bucket バケット
        • object
        • entity
    • 非同期処理
  • オープンソースで公開予定
  • 現在容量は20TBあって使用は10数TB

自分たちのサービスのために作るって言っていたのが印象的だった。
オープンソースで公開するというのもライブドアらしくていいな。

ライブドアクラウド的サービス

後半眠気に襲われてJリーグの途中経過など見てたので、ごっそり抜けている。要復習。

livedoor Readerの新機能とは?

  • スピーカー、ma.la氏
  • 趣味で自社サービスのセキュリティ監査って!
  • サーバサイドについて
  • 180万のRSSをクロールしている
  • データ圧縮して1TB
  • 過去記事削除やってない
  • 1,3時間おきにクロール
  • パブサブハブハブはリアルタイム
  • クローラ q4mによるリレー
    • broker feed id q4m
      • cronで1分おき
    • fetcher リクエスト投げる
      • coroを浸かった並列処理
      • 同時接続数を制限
    • parser
      • 独自処理、既存モジュールはかゆいところに手が届かない
      • CPUパワーに依存、並列数は意味ない
    • updater
      • DBに書き込む
      • 記事のふりわけ SKIP INSERT UPDATE SILENT_UPDATE
  • 高速化ノウハウ
    • 既出フラグをfeedごとにまとめた
    • ストレージとネットワークIOの節約
    • 更新されていないfeedを判別する
  • キューサーバ自作2種類
    • 自作した理由
      • 死活監視つきランダム振り分け
      • q4mのバグにあたった
      • q4mはコンパクションでパフォーマンス悪化
  • 高可用性は落ちないことより落ちても平気なように

スライド多過ぎww後半は早過ぎてとてもついていけなかった。要復習。
まぁなんせ生ma.laを見ることができたのでそれだけで満足。

ニフティクラウドの紹介と今後の展望

  • スピーカー、ニフティ山口亮介氏
  • サービス概要
    • ニフティクラウドはiaas
    • 所有から利用へ
    • 数万台規模のシステム基盤を構築済->一般の顧客へ
    • ニフティのサービスはほとんどが既にクラウドで動いている
    • オンデマンド、コントロールパネル、サーバー構成やHDD追加、削除リアルタイムで
    • システム資源のプール化、コストの最適化
    • 従量・月額、選べる料金体系、規模用途に合わせて2種類の料金プラン
    • centos5.3
    • redhat,windows準備中
  • ここまでは今でもできるぞ
    • 注意
      • 月額課金の選択は注意。日割りしてない
      • SSHキーの紛失はやばい
      • ipatables閉じすぎ注意。(なるはやでファイアーウォール提供したい)
      • 32ビット版はメモリ2GBまで
  • 内部基盤
    • とにかく疎結合
    • 規模の経済が発揮できる?
    • 技術を使い尽くせ
    • リソース基板はvmware使い尽くしている
    • サーバーはなんでもいい。
  • これからのエンハンス計画
  • CPUやメモリの増設は、一回とめる
  • コンパネは独自でフルスクラッチ

スピーカーの方がはっちゃけていて面白かった。
ニフティクラウドは今のところ企業向けのサービスという印象。