takashabe's blog

Go向けのBigtable fixture管理ライブラリ bt-fixture を書いた

Posted on

Motivation

RDBを使ったテストをする時にFixtureを使うのはメジャーだと思うが、同様にBigtable向けのライブラリがあると便利そう。

しかしBigtable用のFixture管理ライブラリが見当たらなかったので書いた。

bt-fixture

  • 作ったもの
  • 機能
    • yamlでfixtureを管理出来る
    • fixture適用前に対象テーブルのクリーンアップをしてくれる
    • int, floatをビッグエンディアン変換して書き込んでくれる
      • 公式のCLIツールであるcbtではそもそも文字列しか書けない(はず)

全部Readmeに書いてあるけどせっかく(これ以上書くこともない)なのでどういう感じでfixture管理出来るか書いてみる

  • fixture
    • 以下のような感じで原則1ファイル1テーブル
    • column_familiesを複数定義出来て、そこに入るcolumnも複数定義出来る
    • rowのkeyがかぶっていてもversionが異なれば複数世代で保存されるようになってる
table: person
column_families:
  - family: d
    columns:
      - key: 1##a
        rows:
          name: a
          age: 10
          height: 140.0
        version: 2018-05-19 00:00:00 +09:00
      - key: 1##a
        rows:
          name: a
          abe: 11
          height: 140.0
        version: 2019-05-19 00:00:00 +09:00
  - family: e
    columns:
      - key: 2##b
        rows:
          name: b
          age: 20
          height: 180.0
        version: 2018-05-19 00:00:00 +09:00
  • output in cbt
    • 前述のfixtureを当てたあとの実際のテーブル内容をcbtで表示してみる
    • int, floatはビッグエンディアンで保存しているので人間が読むには厳しい表示になっているが、Bigtable的には8バイトビッグエンディアンになっているのが嬉しいのでそうしている
      • https://cloud.google.com/bigtable/docs/overview

      • Cloud Bigtable では、ほとんどの目的で、すべてのデータを RAW バイト文字列として扱います。Cloud Bigtable が型の決定を試みる唯一のケースは、インクリメント演算の場合です。インクリメント演算では、ターゲットは、8 バイトのビッグエンディアン値としてエンコードされた 64 ビットの整数である必要があります。

    • そのうちBigtable用のクライアントを出すので、そこで簡単に読める感じにしたい
      • というかこのbt-fixtureはそのクライアントのテスト用に書いた
$ cbt read person
----------------------------------------
1##a
  d:age                                    @ 2019/05/19-00:00:00.000000
    "\x00\x00\x00\x00\x00\x00\x00\v"
  d:age                                    @ 2018/05/19-00:00:00.000000
    "\x00\x00\x00\x00\x00\x00\x00\n"
  d:height                                 @ 2019/05/19-00:00:00.000000
    "@a\x80\x00\x00\x00\x00\x00"
  d:height                                 @ 2018/05/19-00:00:00.000000
    "@a\x80\x00\x00\x00\x00\x00"
  d:name                                   @ 2019/05/19-00:00:00.000000
    "a"
  d:name                                   @ 2018/05/19-00:00:00.000000
    "a"
----------------------------------------
2##b
  e:age                                    @ 2018/05/19-00:00:00.000000
    "\x00\x00\x00\x00\x00\x00\x00\x14"
  e:height                                 @ 2018/05/19-00:00:00.000000
    "@f\x80\x00\x00\x00\x00\x00"
  e:name                                   @ 2018/05/19-00:00:00.000000
    "b"

まとめ

Bigtableのfixture管理用ライブラリbt-fixtureを作った。必要そうな機能は大体ある気がするので興味があればぜひ使ってください!!!