stockdb のデータをもとに、全銘柄、全期間の日ごとの各種平均値、標準偏差を計算するSQLを書いたのでメモ。 終値、出来高、価格変動率のそれぞれについて、過去3,5,10,15,25,50,75日の平均値と標準偏差を一気に算出します。 それなりに時間はかかります。確…

日本株の日足データをローカルのデータベースに取り込むツールを作ってみました。 github.com Quandl で公開されている日本株の日足データを取得して、ローカルのPostgreSQLに取り込みます。 Tokyo Stock Exchangeデータベースの全データを取り込むので、ETF…

Dockerイメージの脆弱性スキャンツール「Clair」 をインストールして、ローカルのイメージをチェックする手順です。微妙にはまったのでメモ。 0.環境 $ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) $ docker -v Docker version 1.10.2, b…

Docker Hub の Automated Builds を使うと、GitHub または Bitbucket の Dockerfile の変更を検知して、Docker Image を自動ビルドすることができます。 レポジトリへのコミットを検知して、Docker Hub の Docker Image を自動でビルドします。 タグやブラン…

FXシステムトレードフレームワーク「Jiji」 のサンプルその3。 レンジブレイク手法を使ったトレードをアシストするBotを作ってみました。 FX Wroks さんのサイト に掲載されていた「レンジブレイクを狙うシンプルな順張り」手法を、そのままJijiに移植してみ…

「入門 機械学習」手習い、12日目。「12章 モデル比較」です。 www.amazon.co.jp 最後のアルゴリズム、サポートベクターマシン(SVM)を学び、最後に同じデータセットにロジスティック回帰やk近傍法など、今まで学んできたアルゴリズムを適用して比較します。 …

「入門 機械学習」手習い、11日目。「11章 ソーシャルグラフの分析」です。 www.amazon.co.jp Twitterのソーシャルグラフの可視化をためし、グラフからおススメの友達を推薦するシステムを作ります。 # 前準備 > setwd("11-SNA/") ローカルコミュニティ構造…

「入門 機械学習」手習い、10日目。「10章 k近傍法:推薦システム」です。 www.amazon.co.jp k近傍法を使って類似度の高いデータを集める手法を学び、これを使ってRユーザーにRパッケージを推薦するシステムを作ります。 # 前準備 > setwd("10-Recommendation…

「入門 機械学習」手習い、9日目。「9章 MDS:米国上院議員の類似度の視覚的な調査」です。 www.amazon.co.jp 観測値をクラスタリングするための、多次元尺度構成法(MDS:multidimensional scaling)を学び、得票に基づいて米国上院議員をクラスタリングしてみ…

「入門 機械学習」手習い、8日目。「8章 PCA:株式市場指標の作成」です。 www.amazon.co.jp PCA(principal components analysis)とは、日本語で主成分分析のことで、 多数のデータを「縮約」して、傾向を表す少数の指標を作成することを指します。 今回は、…

「入門 機械学習」手習い、7日目。「7章 最適化:暗号解読」です。 www.amazon.co.jp 最適化について学び、それを使ってシーザー暗号を解読するシステムを作ります。 # 前準備 > setwd("07-Optimization/") 最適化とは 最適化とは、設定で動作を変更できる機…

「入門 機械学習」手習い、6日目。「6章 正則化:テキスト回帰」です。 www.amazon.co.jp 多項式回帰と、過学習を避けるための正則化について学び、最後に正則化を使って書籍の裏表紙の紹介文から人気順を予測します。 # 前準備 > setwd("06-Regularization/"…

「入門 機械学習」手習い、5日目。「5章 回帰:ページビューの予測」です。 www.amazon.co.jp 回帰分析を使って、Webサイトのページビューを予測します。 平均値による単純な予測と、予測精度の計測 回帰分析のイメージをつかむために、平均値を使った単純な…

「入門 機械学習」手習い、4日目。「4章 順位づけ:優先トレイ」です。 www.amazon.co.jp 電子メールを重要度で順位づけするシステムを作ります 並び替えのアプローチ 以下の素性を使って、メールに優先度をつけます。 1) 送信者のメッセージ数 やり取りが多…

「入門 機械学習」手習い、3日目。「3章 分類:スパムフィルタ」です。 www.amazon.co.jp ナイーブベイズ分類器を作って、メールがスパムかどうかを判定するフィルタを作ります。 分類器の仕組み 1) 以下の単語セットを作成 (a) スパムメッセージに出現しやす…

「入門 機械学習」手習い、今日は「2章 データの調査」です。 www.amazon.co.jp 数値によるデータの要約と、可視化手法を学びます。 テスト用データの読み込み > setwd("02-Exploration/") > data.file <- file.path('data', '01_heights_weights_genders.cs…

オライリーの「入門 機械学習」を手に入れたので、手を動かしながら学びます。 www.amazon.co.jp まずは、1章。Rのインストールと基本的な使い方の学習まで。 Rのインストール 手元にあったCentOS7にインストールしました。 $ cat /etc/redhat-release CentO…

FXシステムトレードフレームワーク「Jiji」のサンプル その2、として、 トラップリピートイフダンのような注文を発行するエージェントを作ってみました。 ※トラップリピートイフダン(トラリピ)は、マネースクウェアジャパン（M2J）の登録商標です。 トラップ…