私的Vowpal Wabbitまとめ

VWとは

The Vowpal Wabbit (VW) project is a fast out-of-core learning system sponsored by Microsoft Research and (previously) Yahoo! Research.

Home · JohnLangford/vowpal_wabbit Wiki

Install

要Boost．

Linux

vowpal_wabbit/README.mdに書いてある通り，git cloneしてmakeする．それが駄目なら./autogen.shしてからmakeする．

自分の場合は./autogen.shがエラーを吐いたので調べたところ，./autogen.sh内部でldconfigに失敗してBOOST_DIR_ARGが取得できていないのが原因だった．su権限でldconfigをしてLIBFILEの箇所を以下のように書き換えて対処した．当然ながらこれは環境に依存するので，自身の環境でLIBFILEに渡すコマンドを実行して置き換える．

1
2

#  LIBFILE=`ldconfig -p | grep program_options | tail -n 1 | cut -d '>' -f 2`
  LIBFILE="/usr/lib64/libboost_program_options-mt.so"

Mac OS X

Mac OS Xの場合Homebrewでバイナリをインストール可能だが，vw-varinfo等のutil系は入らない．

1
2
3
4
5
6
7
8
9
10

$ brew info vowpal-wabbit
vowpal-wabbit: stable 7.7 (bottled), HEAD
https://github.com/JohnLangford/vowpal_wabbit
/usr/local/Cellar/vowpal-wabbit/7.7 (30 files, 4.7M) *
  Poured from bottle
From: https://github.com/Homebrew/homebrew/blob/master/Library/Formula/vowpal-wabbit.rb
==> Dependencies
Build: boost ✔, autoconf ✔, automake ✔, libtool ✔

$ brew install vowpal-wabbit

Windows

VWを始めるときに気をつけるポイント

  • VWの独自フォーマット
    • VWを使いはじめるときの最初の難関ポイント
    • 自分でcsvなどのデータをVWフォーマットに変換する必要がある
    • カテゴリ変数やテキストはそのまま列挙しても大丈夫．VWの方でn-gramも取ることができる
  • VWのパラメータ名
    • 資料によってパラメータの名前が違うので注意
    • 自分の環境でvw --helpして適宜読み替える

Tutorial

vw-varinfoについて

vw-varinfoを使うことによって，変数ごとに重み等の情報を出力することができる．

Other Resources