GCP の Cloud ML Engine の使い方を勉強中です。 ローカルの開発環境をWindowsにしても、大丈夫か試してみました。 目的 結論 GCP Cloud ML セットアップ手順 Cloud ML を使う基本的なフロー 準備 Cloud SDK をインストールして初期化 Cloud SDK インストー…

データ分析、特に、テキスト分析の案件では、大量にあるデータとして、よく出てくるのが社内文書と電子メール。電子メールは特に会社の指定などでツールが決まっていることが多い。中でも厄介なのは、Microsoft Outlookの中だ。 このデータを取得する手法と…

今週はIDC Japanがこんな発表をしました。 ニュース - 国内AIシステム市場は5年で16倍に急成長、IDC Japanが予測：ITpro[統計][ビジネス][機械学習]そうね。『2016～2017年は弁護士や医師といった「ナレッジワーカー向け」、製造業向け「品質管理」。2018年…

前回、scikit-learnの GridSearch をおさらいした。今回は、前々回のコードを修正し、同じscikit-learnのデータを使ってKeras(Tensolflowバックエンド)での標準的実装で精度を出した。精度算出のメトリックを合わせるため、scikit-learnで提供されているmetr…

scikit-learnの復習のため、グリッドサーチしてみた。 テキスト分類です。 タスク テキストのマルチクラス(20クラス)問題 方法： TFIDFのBoWでベクトル作成 線形分類問題として20クラス分類(one vs the rest) グリッドサーチのパタン TF-IDF：1-gram or 1-gr…

scikitlearnでテキスト分類を復習です。KerasでのDeep Learning結果との精度比較を行うためにもベース知識として、個人的な備忘録です。 参照した場所 Classification of text documents using sparse features — scikit-learn 0.18.1 documentation scikit-…

Deep Learningが流行していますね。流行している理由は２つ。 研究的に良い精度が出る報告がされていること 使えるSDKなどの基盤がそろってきたこと これらが相まって、以下のような好循環が生まれています。 研究者が良い報告がされた論文を発表する 誰か(…