HR(人事)にいるデータサイエンスパパ

HR(人事)データを分析するデータサイエンティスト。日々のデータ周りのことを書きます!

JDLA E資格の参考文献

はじめに

JDLA Deep Learning for ENGINEERを受けるにあたって、参考になった文献をメモしておきます。


E資格とは

日本ディープラーニング協会が実施する資格試験です。 E資格はディープラーニングの理論を理解し、適切な手法を選択して実装する能力を持つ人材」と定義されるようです。
E資格エンジニアと呼ばれるので、エンジニア向けの資格になるかと思います。
(自分はエンジニアではないですが、ディープラーニング周辺分野を扱っていたので、興味があって受けました。)


JDLA認定プログラムを試験日の過去2年以内に修了していることが受験の条件となります。 本試験は会場で受験するCBT方式での受験となります。


以下が試験の範囲になります。(見づらい表ですみません)
こちらは本サイトのシラバスで確認できます。

※JDLA Deep Learning for ENGINEER 2019 #1時点での範囲です。

大項目 中項⽬ 小項⽬
線形代数 特異値分解
確率・統計 ⼀般的な確率分布 ベルヌーイの分布
マルチヌーイの分布
ガウス分布
ベイズ
情報理論 情報理論
機械学習の基礎 学習アルゴリズム タスクT
性能指標P
経験E
能⼒、過剰適合、過少適合
ハイパーパラメータ
検証集合 学習データ、検証データ、テストデータ
ホールドアウト法
k-分割交差検証法
最尤推定 条件付き対数尤度と平均⼆乗誤差
最尤法の特性
教師あり学習アルゴリズム ロジスティック回帰
サポートベクトルマシン
最近傍法、k近傍法
教師なし学習アルゴリズム 主成分分析
k平均クラスタリング
確率的勾配降下法
深層学習の発展を促す課題 次元の呪い
局所⼀様と平滑化
実用的な方法論 性能指標
データの追加収集の判断
ハイパーパラメータの選択 ⼿動でのハイパーパラメータ調整
グリッドサーチ
ランダムサーチ
モデルに基づくハイパーパラメータの最適化
順伝播型ネットワーク 線形問題と⾮線形問題
コスト関数 最尤推定による条件付き分布の学習
条件付き統計量の学習
出力ユニット ガウス出⼒分布のための線形ユニット
ベルヌーイ出⼒分布のためのシグモイドユニット
マルチヌーイ出⼒分布のためのソフトマックスユニット
隠れユニット ReLUとその⼀般化
ロジスティックシグモイドとハイパボリックタンジェント
その他の隠れユニット(RBF、ソフトプラス、Hard)
アーキテクチャの設計 万能近似定理と深さ
誤差逆伝播法およびその他の微分アルゴリズム 計算グラフ
微積分の連鎖律
誤差逆伝播のための連鎖律の再帰的な適⽤
全結合MLPでの誤差逆伝播
シンボル間の微分
⼀般的な誤差逆伝播
深層モデルのための正則化 パラメータノルムペナルティー L2パラメータ正則化
L1正則化
条件付き最適化としてのノルムペナルティ
正則化と制約不⾜問題
データ集合の拡張
ノイズに対する頑健性 出⼒⽬標へのノイズ注⼊
教師あり学習
マルチタスク学習
早期終了
パラメータ拘束とパラメータ共有
スパース表現
バギングやその他のアンサンブル⼿法
ドロップアウト
深層モデルのための最適化 学習と純粋な最適化の差異 経験損失最⼩化
代理損失関数と早期終了
バッチアルゴリズムとミニバッチアルゴリズム
ニューラルネットワーク最適化問題 悪条件
局所値
プラトー、鞍点、その他平坦な領域
崖と勾配爆発
⻑期依存性
不正確な勾配
基本的なアルゴリズム 確率的勾配降下法
モメンタム
ネステロフのモメンタム
パラメータの初期化戦略
適応的な学習率を持つアルゴリズム AdaGrad
RMSrop
Adam
二次手法の近似 ニュートン法
共役勾配
BFGS
最適化戦略とメタアルゴリズム バッチ正規化
教師あり事前学習
畳み込みネットワーク 畳み込み処理
プーリング
構造出⼒
データの種類
効率的な畳み込みアルゴリズム
ランダムあるいは教師なし特徴量
画像認識の有名なモデル VGG
AlexNet
GoogLeNet
Resnet
特徴量の転移
画像の局在化、検知、セグメンテーション
回帰結合型ニューラルネットワーク再帰的ネットワーク 回帰結合型のニューラルネットワーク 教師強制と出⼒回帰のあるネットワーク
回帰結合型ネットワークにおける勾配計算(BPTT)
有向グラフィカルモデルとしての回帰結合型のネットワーク
RNNを使った⽂脈で条件付けされた系列モデリング
双⽅向RNN
Encoder-DecoderとSequence-to-Sequence
深層回帰結合型のネットワーク
再帰ニューラルネットワーク
⻑期依存性の課題
エコーステートネットワーク
複数時間スケールのためのLeakyユニットとその他の⼿法 時間⽅向にスキップ接続を追加
Leakyユニットと異なる時間スケールのスペクトル
接続の削除
ゲート付きRNN LSTM
GRU
⻑期依存性の最適化 勾配のクリッピング
⾃然⾔語処理とRNN
メモリネットワーク Attention
生成モデル 識別モデルと⽣成モデル
オートエンコーダ VAE
GAN DCGAN
強化学習 ⽅策勾配法
価値反復法 DQN


応用数学機械学習ディープラーニングの内容で、範囲は比較的広いです。


参考になった文献


①ゼロから作るDeep LearningPythonで学ぶディープラーニングの理論と実装

ディープラーニングの本格的な入門書です。外部のライブラリに頼らずにゼロからディープラーニングを作り、原理を学べます。E資格も外部のライブラリに依存しない出題がされるので、とても参考になりました。内容としては、Pythonの入門/パーセプトロン/ニューラルネットワーク/誤差逆伝播法/畳み込みネットワークなどの実装が書かれており、画像処理がメインの本になります。


②ゼロから作るDeep Learning ❷ ―自然言語処理

①の続編になります。こちらも外部のライブラリに頼らずにゼロからディープラーニングを作り、原理を学べます。内容は自然言語処理や時系列データ処理でword2vec/RNN/LSTM/GRU/seq2seq/Attentionなどの実装が書かれています。

ゼロから作るDeep Learning ? ―自然言語処理編

ゼロから作るDeep Learning ? ―自然言語処理編


③深層学習

JDLAからの参考図書になります。分厚い本なので全てを網羅することは難しいとは思いますが、数式の表記がE資格で出題される形式と同じなので、出題されそうなテーマの数式は見ておくといいです。一見難しそうに見えますが、丁寧に分かりやすい表現で書かれていて、ある程度知識が付いた後に読むと理解でき、ディープラーニングに関する理解が深まりました。

深層学習

深層学習

  • 作者: Ian Goodfellow,Yoshua Bengio,Aaron Courville,岩澤有祐,鈴木雅大,中山浩太郎,松尾豊,味曽野雅史,黒滝紘生,保住純,野中尚輝,河野慎,冨山翔司,角田貴大
  • 出版社/メーカー: KADOKAWA
  • 発売日: 2018/03/07
  • メディア: 単行本
  • この商品を含むブログ (1件) を見る


④徹底攻略 ディープラーニングG検定 ジェネラリスト問題集

G検定の問題集です。E資格の内容に直接は関わらないかもしれませんが、実装ベースの勉強が多くなるので、忘れがちな基本的なディープラーニング周辺知識の復習に活用できました。

徹底攻略 ディープラーニングG検定 ジェネラリスト問題集

徹底攻略 ディープラーニングG検定 ジェネラリスト問題集


まとめ

参考文献を中心に学習し、無事にE資格に受かることができました。
最近できた資格のため、これから認知度は上がっていくと思いますし、一定の水準で実装能力があることを示せるので、個人的にはおすすめの資格です。学んだことを元に、外部ライブラリを使い、自分野での活用を模索したいと思います。