Day1：Data Acquisition, Cleaning, and Manipulation
概要
ここでは、データサイエンスや機械学習の分野における用語の紹介に加え、データソースとして利用されている技術の数々を紹介します。データサイエンスや機械学習のプロジェクトでは、まずデータを取得することが重要であるため、この日の授業では、これらの作業に備えるための実践的な演習に重点を置いています。
まず必要なスキルは、このコースで選択した言語であるPythonの使用です。Pythonの基礎的な理解があることが唯一の受講条件です。Pythonを1行でも書いたことがある人なら、おそらく十分な知識があるはずです。リスト、配列、タプル、ディクショナリ、内包、そしてnumpyの変種を紹介します。
Pythonの復習の後、いくつかの理論を学び、その後すぐに実践的な演習を行い、SQL、MongoDB、Webスクレイピングについて、実際に仕事をするのに必要な知識を身に付けます。
演習
- Pythonリフレッシャー
- SQLデータへのアクセス、操作、取得
- NoSQLデータへのアクセス、操作、検索 MongoDB
- ウェブスクレイピングによるデータ取得
トピックス
- データサイエンス
- Python
- SQL
- NoSQL
- ウェブスクレイピング
Day2：Data Exploration and Statistics
概要
データサイエンスと機械学習にとって重要な統計学の基礎から始めます。この導入と、実世界のデータに対するこれらの技術の実用的な使用を提供するハンズオン演習に続いて、コースは確率論に移行します。
確率論はそれ自体が広範な分野である。このコースでは、いくつかの基礎知識を紹介した後、ベイズの定理の導出に直接取り組みます。この導入部分をベースに、学生はベイズ分析の有用なツールを構築する実習を行い、コース後半でそれを基に改良を加える。
本節の残りの部分は、得られた統計的知識を信号解析の分野に応用することである。フーリエ級数、高速フーリエ変換、離散フーリエ変換の導出と応用に関する議論の後、学生はこれらのツールを実際の脅威探索活動で使用する。
演習
- 統計学の基礎 中央値と平均値
- 統計学の基礎 分散、偏差、ロバスト測度
- 統計学の応用：データ同定
- 確率、ベイズ、フィッシング
- シグナル分析による脅威の追跡
トピックス
- 統計学
- ロバスト測定
- 確率
- ベイズの定理と推論
- フーリエ級数とその導出
Day3：Essentials of Machine Learning
概要
このコースの残りの18時間強は、様々な機械学習モデルについて学び、すぐに適用することに費やされる。各トピックの紹介と議論の後、学生は直感的な理解を深め、実際の問題にその手法を適用するために長時間の実習に取り組む。
このセクションでは、様々なクラスタリングアプローチと教師なし機械学習から始まります。サポートベクター分類器、カーネル関数、サポートベクターマシンから探究を始める。この議論と演習に続いて、K-MeansとKNNのアプローチを検討し、クラスタリングのテーマを継続する。2次元または3次元の例を扱った後、理想的なクラスタ数を決定する方法に注目する。そして、最後に高次元のアプリケーションと主成分分析による次元の削減を探求する。DBSCANアルゴリズムについては、脅威の探索や大規模データの効率的なSOC分析に応用することで、より深く掘り下げていきます。
このセクションの残りの時間は、決定木について説明します。実際に手を動かし、決定木の限界について議論した後、ランダムフォレストについて説明し、ほとんどの場合において、ランダムフォレストがより良い推論を提供することを実際に体験していただきます。最後に、ネットワーク上のユーザ活動の異常を発見するためのクラスタベースのアプローチについて説明します。
演習
- K-MeansとKNN
- エルボー関数とPCA
- DNSCANによるクラスタリング
- サポートベクター分類器
- サポートベクターマシン
- 決定木
- ランダムフォレスト
トピックス
- サポートベクトルクラシファイア
- サポートベクターマシン
- カーネル関数
- 主成分分析
- DBSCAN
- K-Means（ケイマン
- KNN
- エルボー関数
- 決定木
- ランダムフォレスト
- 異常検知
Day4：Vulnerability Validation, Triage, and Mass Data Management
概要
このセクションでは、情報セキュリティ分野における教師あり学習アプローチの理論、開発、および使用に焦点を当てます。セクション2で扱った数学と統計学をベースに、線形回帰から始まり、リアルタイムのネットワークデータを含むマルチクラス分類問題への深層学習ニューラルネットワークの適用で終わります。
教材は、教師ありの機械学習と数学を使用して予測モデルを作成することに重点を置いています。最初の議論と演習は、異常検出のための予測と傾向分析が中心です。その後、分類問題に焦点が当てられる。
セクション2で使用したベイズアプローチを基に、より正確なフィッシング検出ネットワークの開発を通じて、深層学習ニューラルネットワークと完全連結密なネットワークを紹介します。続いて、ニューラルネットワークの学習性能の可視化と測定について探求し、さらにオーバーフィット、過学習、そしてそれらを識別（そして回避！）する方法について議論します。
このセクションの次の部分は、カテゴリカルな問題に目を向け、リアルタイムネットワークプロトコル分類システムを構築します。さらに重要なことは、この分類システムにおいて、通常教師なしアプローチに留保されるタスクである異常検知を実装することです。
演習
- ポリフィット回帰
- ハロー、ワールド センチメント分析
- ディープラーニングによるハムとスパムの比較
- プロトコルの特定
- プロトコルの異常検知
トピックス
- 回帰とフィッティング
- 損失関数とエラー関数
- ベクトル、マトリックス、テンソル
- パーセプトロンの基礎
- 高密度ネットワーク
Day5：Essentials of Machine Learning
概要
このセクションでは、ディープラーニングソリューションの知識を広げることに特化しています。前半は、畳み込みネットワーク（CNN）に全面的に焦点を当てます。このクラスでは、テキスト分類問題へのCNNの応用だけでなく、ゼロデイマルウェアの予測的識別への応用も探求します。
後半は、オートエンコーダーに焦点を当てます。オートエンコーダーが何をするのか、なぜ機能するのか、潜在的な表現をどのように選択するのか、再構成損失関数がどのように機能するのか、について検討する。そして、この知識を応用して、シグネチャや人手を介さない自動ログ異常検知ソリューションを作成し、異常の特定を行います。さらに、ネットワーク上の脅威を検知するための大規模なアンサンブル・オートエンコーダの構成要素についても学びます。
演習
- マルウェアの予測識別 - ゼロデイを発見する
- CNNスタイルによるハム対スパムの比較
- CNNによるマルチクラステキスト分類
- オートエンコーダーを使ったログ異常検出
- リアルタイムのネットワーク異常
トピックス
- 畳み込みニューラルネットワーク
- レイヤーの埋め込み
- テキスト問題へのCNNの適用
- オートエンコーダ
- 再構成損失の測定
- アンサンブルオートエンコーダの作成
Day6：Essentials of Machine Learning
概要
このコースの最終セクションでは、畳み込みニューラルネットワークと、回帰問題を解くためのCNNと完全連結ネットワークの応用について引き続き説明します。このセクションでは、TensorFlowの関数パターンを使用して、CAPTCHAの品質をテストし、解決するためのディープニューラルネットワークを作成することに重点を置いています。赤、青、紫のどのチームであっても、コンピュータビジョンの問題に相当するものを解決するために、機械学習を使って考え抜き、95%以上の精度で解決する方法を学ぶことができます! その後、より少ない学習時間でより高い精度を達成するための、別の問題解決方法を探ります。
最後に、機械学習の問題に適用可能な遺伝的アルゴリズムについて説明します。
演習
- CAPTCHAを解く：POC
- CAPTCHAを解く：機能的なAPI
- CAPTCHAを解く：スプリットモデル
- 遺伝的アルゴリズム
トピックス
- 畳み込みニューラルネットワーク
- ニューラルネットワークの機能的定義
- 複数の出力を持つ深層学習ネットワーク
- 機械学習問題の考え方
- 遺伝的アルゴリズム
