TensorBoard:学習の可視化(翻訳)

TensorBoard:学習の可視化(翻訳)

本記事は、TensorFlow(テンソルフロー)の本家サイト「TensorBoard: Visualizing Learning」 を翻訳(適宜意訳)したものです。誤り等あればご指摘いただけたら幸いです。

TensorBoard:学習の可視化

大規模な深いニューラルネットワークのトレーニングのようなTensorFlowを使用する計算は、複雑で紛らわしいものになります。 TensorFlowプログラムの理解、デバッグ、および最適化を容易にするために、TensorBoardという一連の視覚化ツールが含まれています。 TensorBoardを使用して、TensorFlowグラフを視覚化し、グラフの実行に関する定量的なメトリックをプロットし、それを通過する画像のような追加のデータを表示することができます。 TensorBoardが設定されると、次のようになります。

このチュートリアルは、TensorBoardを簡単に使い始められることを目的としています。他にも利用可能なリソースがあります! TensorBoard READMEには、ヒントやテクニック、デバッグ情報など、TensorBoardの使い方に関する多くの情報があります。

データのシリアライズ

TensorBoardは、TensorFlowを実行するときに生成できるサマリーデータ1を含むTensorFlowイベントファイルを読み込むことによって動作します。TensorBoard内のサマリーデータの一般的なライフサイクルを以下に示します。

まず、サマリーデータを収集するTensorFlowグラフを作成し、サマリーオペレーション2で注釈を付けるノードを決定します。

たとえば、MNISTの数字を認識するために畳み込みニューラルネットワークをトレーニングしているとします。学習率が時間の経過と共にどのように変化するか、目的関数がどのように変化しているかを記録したいはずです。学習率と損失をそれぞれ出力するノードに tf.summary.scalar を付けることで、これらの必要な情報を収集します。それから、scalar_summaryに、「learning rate3」や「loss function4」のような意味のあるタグを付けます。

特定のレイヤーから取り除かれたアクティベーションの分布、またはグラデーションやウェイトの分布を視覚化することもできます。このデータを収集するには、tf.summary.histogram を勾配の出力と重みを保持する変数にそれぞれ追加します。

利用可能なすべての操作の詳細については、操作に関するドキュメントを参照してください。

TensorFlowのオペレーションは、実行するまで何もしません。また、オペレーションは出力に依存します。作成したばかりのサマリーノードはグラフの周辺にあり、現在実行しているオペレーションはどれもそれらに依存していません。したがって、サマリーを生成するには、これらのサマリー・ノードをすべて実行する必要があります。それらを手で管理するのは面倒なので、tf.summary.merge_allを使用してそれらをまとめて、すべてのサマリー・データを生成する単一のオペレーションにします。

マージされたサマリーオペレーションを実行するだけで、指定されたステップですべてのサマリーデータを含むシリアライズされたSummaryオブジェクトが生成されます。最後に、このデータをディスクに書き込むには、Summaryオブジェクトをtf.summary.FileWriterに渡します。

FileWriterは、コンストラクタ内でlogdir(ログディレクトリー)をとります。このlogdirは非常に重要で、すべてのイベントが書き出されるディレクトリです。また、FileWriterはオプションで、そのコンストラクタ内でGraphを取り込むことができます。 Graphオブジェクトを受け取った場合、TensorBoardは、Tensorの形状情報とともにグラフを視覚化します。これにより、グラフを流れるものの感覚をよりよく知ることができます。詳しくは、「Tensor shape information」を参照してください。

グラフを変更してFileWriterを作成したら、ネットワークを起動する準備が整いました!必要に応じて、1ステップごとにマージされたサマリーオペレーションを実行し、たくさんのトレーニングデータを記録することができます。しかし、それは必要以上に多いデータになる可能性がありますので、代わりに、マージされた集計演算をnステップごとに実行することを検討しましょう。

以下のコードは、「simple MNIST tutorial」を変更したものです。ここでは、いくつかのサマリーオペレーションを追加し、10ステップごとに実行しています。これを実行しtensorboard --logdir=/tmp/tensorflow/mnistを実行すると、トレーニング中に重みや精度がどのように変化したかなどの統計データを視覚化することができます。以下にコードの抜粋を載せます。完全なソースコードはこちらを参照してください。

FileWriterを初期化した後、FileWriterにサマリーを追加して、モデルのトレーニングとテストを行います。

これでTensorBoardを使用して、データを視覚化できるようになりました。

TensorBoardを起動する

TensorBoardを実行するには、次のコマンドを使用します(あるいは、python -m tensorflow.tensorboard

logdirは、FileWriterがデータをシリアライズしたディレクトリを指します。このlogdirディレクトリに、別々の実行でシリアライズされたデータを含むサブディレクトリが含まれている場合、TensorBoardはそれらのすべての実行からのデータを視覚化します。TensorBoardが起動したら、Webブラウザからlocalhost:6006にアクセスすると、TensorBoardが表示されます。

TensorBoardの画面右上にナビゲーションタブが表示されます。各タブは、可視化できる一連のシリアライズされたデータを表します。

グラフタブを使用してグラフを視覚化する方法の詳細については、「TensorBoard: Graph Visualization」を参照してください。

また、TensorBoardの一般的な使用方法については、「TensorBoard README」を参照してください。

Related Post


  1. 要約情報(summary data)

  2. summary operations

  3. 学習率

  4. 損失関数

ポッドキャスト配信中

SE社長アライの「海外スタートアップ研究室」
今、何よりも必要なのは「多様化するマーケットを読み解く力」です。
海外スタートアップの研究や、そこから学んだビジネスのヒントを共有しています。

お問合せはこちら

サービスに関する質問や記事に関するお問合せなど、お気軽にご連絡ください。お問合せをいただいてから原則24時間以内に返信させていただきます。