JDLA E資格の参考文献
はじめに
JDLA Deep Learning for ENGINEERを受けるにあたって、参考になった文献をメモしておきます。
E資格とは
日本ディープラーニング協会が実施する資格試験です。
E資格は「ディープラーニングの理論を理解し、適切な手法を選択して実装する能力を持つ人材」と定義されるようです。
E資格エンジニアと呼ばれるので、エンジニア向けの資格になるかと思います。
(自分はエンジニアではないですが、ディープラーニング周辺分野を扱っていたので、興味があって受けました。)
JDLA認定プログラムを試験日の過去2年以内に修了していることが受験の条件となります。
本試験は会場で受験するCBT方式での受験となります。
以下が試験の範囲になります。(見づらい表ですみません)
こちらは本サイトのシラバスで確認できます。
※JDLA Deep Learning for ENGINEER 2019 #1時点での範囲です。
大項目 | 中項⽬ | 小項⽬ |
---|---|---|
線形代数 | 特異値分解 | |
確率・統計 | ⼀般的な確率分布 | ベルヌーイの分布 |
マルチヌーイの分布 | ||
ガウス分布 | ||
ベイズ則 | ||
情報理論 | 情報理論 | |
機械学習の基礎 | 学習アルゴリズム | タスクT |
性能指標P | ||
経験E | ||
能⼒、過剰適合、過少適合 | ||
ハイパーパラメータ | ||
検証集合 | 学習データ、検証データ、テストデータ | |
ホールドアウト法 | ||
k-分割交差検証法 | ||
最尤推定 | 条件付き対数尤度と平均⼆乗誤差 | |
最尤法の特性 | ||
教師あり学習アルゴリズム | ロジスティック回帰 | |
サポートベクトルマシン | ||
最近傍法、k近傍法 | ||
教師なし学習アルゴリズム | 主成分分析 | |
k平均クラスタリング | ||
確率的勾配降下法 | ||
深層学習の発展を促す課題 | 次元の呪い | |
局所⼀様と平滑化 | ||
実用的な方法論 | 性能指標 | |
データの追加収集の判断 | ||
ハイパーパラメータの選択 | ⼿動でのハイパーパラメータ調整 | |
グリッドサーチ | ||
ランダムサーチ | ||
モデルに基づくハイパーパラメータの最適化 | ||
順伝播型ネットワーク | 線形問題と⾮線形問題 | |
コスト関数 | 最尤推定による条件付き分布の学習 | |
条件付き統計量の学習 | ||
出力ユニット | ガウス出⼒分布のための線形ユニット | |
ベルヌーイ出⼒分布のためのシグモイドユニット | ||
マルチヌーイ出⼒分布のためのソフトマックスユニット | ||
隠れユニット | ReLUとその⼀般化 | |
ロジスティックシグモイドとハイパボリックタンジェント | ||
その他の隠れユニット(RBF、ソフトプラス、Hard) | ||
アーキテクチャの設計 | 万能近似定理と深さ | |
誤差逆伝播法およびその他の微分アルゴリズム | 計算グラフ | |
微積分の連鎖律 | ||
誤差逆伝播のための連鎖律の再帰的な適⽤ | ||
全結合MLPでの誤差逆伝播法 | ||
シンボル間の微分 | ||
⼀般的な誤差逆伝播法 | ||
深層モデルのための正則化 | パラメータノルムペナルティー | L2パラメータ正則化 |
L1正則化 | ||
条件付き最適化としてのノルムペナルティ | ||
正則化と制約不⾜問題 | ||
データ集合の拡張 | ||
ノイズに対する頑健性 | 出⼒⽬標へのノイズ注⼊ | |
半教師あり学習 | ||
マルチタスク学習 | ||
早期終了 | ||
パラメータ拘束とパラメータ共有 | ||
スパース表現 | ||
バギングやその他のアンサンブル⼿法 | ||
ドロップアウト | ||
深層モデルのための最適化 | 学習と純粋な最適化の差異 | 経験損失最⼩化 |
代理損失関数と早期終了 | ||
バッチアルゴリズムとミニバッチアルゴリズム | ||
ニューラルネットワーク最適化問題 | 悪条件 | |
局所値 | ||
プラトー、鞍点、その他平坦な領域 | ||
崖と勾配爆発 | ||
⻑期依存性 | ||
不正確な勾配 | ||
基本的なアルゴリズム | 確率的勾配降下法 | |
モメンタム | ||
ネステロフのモメンタム | ||
パラメータの初期化戦略 | ||
適応的な学習率を持つアルゴリズム | AdaGrad | |
RMSrop | ||
Adam | ||
二次手法の近似 | ニュートン法 | |
共役勾配 | ||
BFGS | ||
最適化戦略とメタアルゴリズム | バッチ正規化 | |
教師あり事前学習 | ||
畳み込みネットワーク | 畳み込み処理 | |
プーリング | ||
構造出⼒ | ||
データの種類 | ||
効率的な畳み込みアルゴリズム | ||
ランダムあるいは教師なし特徴量 | ||
画像認識の有名なモデル | VGG | |
AlexNet | ||
GoogLeNet | ||
Resnet | ||
特徴量の転移 | ||
画像の局在化、検知、セグメンテーション | ||
回帰結合型ニューラルネットワークと再帰的ネットワーク | 回帰結合型のニューラルネットワーク | 教師強制と出⼒回帰のあるネットワーク |
回帰結合型ネットワークにおける勾配計算(BPTT) | ||
有向グラフィカルモデルとしての回帰結合型のネットワーク | ||
RNNを使った⽂脈で条件付けされた系列モデリング | ||
双⽅向RNN | ||
Encoder-DecoderとSequence-to-Sequence | ||
深層回帰結合型のネットワーク | ||
再帰型ニューラルネットワーク | ||
⻑期依存性の課題 | ||
エコーステートネットワーク | ||
複数時間スケールのためのLeakyユニットとその他の⼿法 | 時間⽅向にスキップ接続を追加 | |
Leakyユニットと異なる時間スケールのスペクトル | ||
接続の削除 | ||
ゲート付きRNN | LSTM | |
GRU | ||
⻑期依存性の最適化 | 勾配のクリッピング | |
⾃然⾔語処理とRNN | ||
メモリネットワーク | Attention | |
生成モデル | 識別モデルと⽣成モデル | |
オートエンコーダ | VAE | |
GAN | DCGAN | |
強化学習 | ⽅策勾配法 | |
価値反復法 | DQN |
応用数学・機械学習・ディープラーニングの内容で、範囲は比較的広いです。
参考になった文献
①ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
ディープラーニングの本格的な入門書です。外部のライブラリに頼らずにゼロからディープラーニングを作り、原理を学べます。E資格も外部のライブラリに依存しない出題がされるので、とても参考になりました。内容としては、Pythonの入門/パーセプトロン/ニューラルネットワーク/誤差逆伝播法/畳み込みネットワークなどの実装が書かれており、画像処理がメインの本になります。
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2016/09/24
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (18件) を見る
②ゼロから作るDeep Learning ❷ ―自然言語処理編
①の続編になります。こちらも外部のライブラリに頼らずにゼロからディープラーニングを作り、原理を学べます。内容は自然言語処理や時系列データ処理でword2vec/RNN/LSTM/GRU/seq2seq/Attentionなどの実装が書かれています。
ゼロから作るDeep Learning ? ―自然言語処理編
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2018/07/21
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (3件) を見る
③深層学習
JDLAからの参考図書になります。分厚い本なので全てを網羅することは難しいとは思いますが、数式の表記がE資格で出題される形式と同じなので、出題されそうなテーマの数式は見ておくといいです。一見難しそうに見えますが、丁寧に分かりやすい表現で書かれていて、ある程度知識が付いた後に読むと理解でき、ディープラーニングに関する理解が深まりました。
- 作者: Ian Goodfellow,Yoshua Bengio,Aaron Courville,岩澤有祐,鈴木雅大,中山浩太郎,松尾豊,味曽野雅史,黒滝紘生,保住純,野中尚輝,河野慎,冨山翔司,角田貴大
- 出版社/メーカー: KADOKAWA
- 発売日: 2018/03/07
- メディア: 単行本
- この商品を含むブログ (1件) を見る
④徹底攻略 ディープラーニングG検定 ジェネラリスト問題集
G検定の問題集です。E資格の内容に直接は関わらないかもしれませんが、実装ベースの勉強が多くなるので、忘れがちな基本的なディープラーニング周辺知識の復習に活用できました。
- 作者: スキルアップAI株式会社明松真司,スキルアップAI株式会社田原眞一,杉山将
- 出版社/メーカー: インプレス
- 発売日: 2019/02/08
- メディア: 単行本(ソフトカバー)
- この商品を含むブログを見る
まとめ
参考文献を中心に学習し、無事にE資格に受かることができました。
最近できた資格のため、これから認知度は上がっていくと思いますし、一定の水準で実装能力があることを示せるので、個人的にはおすすめの資格です。学んだことを元に、外部ライブラリを使い、自分野での活用を模索したいと思います。