紙一重の積み重ね

35歳のエンジニアがなれる最高の自分を目指して、学んだことをこつこつ情報発信するブログです。

【AWS Black Beltまとめ】AWS re:Invent 2017 Recap Machine Learning / Database #awsblackbelt

f:id:yokoyantech:20180118192618p:plain

はじめに

AWSが主催するウェビナー、AWS BlackBeltを聞いてきました。

セミナー概要

  • 2018年1月16日
  • 12:00~13:00

テーマ

  • AWS re:Invent 2017 のキャッチアップ
    • Machine Learning
    • Database

結論

  • 機械学習関連では自然言語解析等が強化されたが、まだ日本語に対応してない
  • 東京リージョンでもまだ使えない

これまで

image

re:Invent2017後

image

ML Services Portfolio

image

Rekognition Video

  • 動画解析サービス
  • S3に蓄積された動画などを分析する
  • 最大8GBまでサポート
  • バージニア、オレゴンで利用可能
    • 機能 image
  • 分析結果
    • JSONで返される
    • 動画のタイムスタンプが付いている
    • liveストリームの場合は、Kinesis DataStremasに送信する
  • ユースケース
  • image

Comprehend

  • 自然言語理解サービス
  • 入力されたテキストを解析
    • 英語とスペイン語に対応 image
  • 分析結果 image image
  • ユースケース image

Translate

  • 多言語翻訳
  • プレビュー版
  • image

Transcribe

  • スピーチTOテキスト
  • プレビュー版
  • 英語とスペイン語に対応
  • コールセンターなどの利用を想定 image
    • 話者A、話者Bを認識する
    • 句読点を自動補完する
  • ユースケース image

ML Platform

Kinesis Video Streams

  • 動画ストリームの収集が可能
  • 東京リージョンで利用可能!!
  • ストリームとして動画を取得し、S3に保存。ダッシュボードで確認したり、コンシューマで処理できる
  • ユースケース image

SageMaker

  • 機械学習開発プロセスを簡単にするフルマネージド機械学習サービス
    • データサイエンティスト向け
  • バージニア、オハイオ、オレゴン、アイルランドで提供
    • image
  • image
    • ブラウザ上でJupiterノートブックを開いて開発できる
    • 学習ジョブに対して、Dockerイメージを使って複数同時に学習を実施
      • 定番のアルゴリズムはサンプルで提供
    • APIサーバを1クリックで立ち上げられる
      • 10分ほどで立ち上がる
      • ABテストも可能
    • 各要素を個別に使うことも可能

ML Engine

Deep Learning AMI for Windows

  • ライブラリ込みのAMI
  • Windows版
    • 2012R2
    • 2016

Infrastructure

IOT関連の発表

DeepLens

  • 物理的なカメラデバイスを提供
  • 発売は今年の春
  • image
  • あくまでも開発用。プロトタイプ作成用途を想定。

Greengrass ML Inference

  • プレビュー版
  • image
  • DeepLensと組み合わせて開発プロセスが楽になる

Database Services Update

講師

  • 星野さん

Amazon Neptune

  • RDS,-NoSQLに続く3つ目のサービス
    • graph DB
    • image
  • image
  • graphDBのユースケース
    • SNSの友人関係をグラフ化
    • レストランのレコメンド
    • 詐欺の検知
    • image

Aurora MySQL-compatible

Aurora Multi-Master

  • Writerがスケールできるようになった
  • image
    • まずはシングルリージョンのマルチマスタ11/29プレビュー開始
  • どうやってコンフリクトを解消するか?
    • 複数のマスタから同じ行を更新した場合
    • image

Aurora Serverless

  • Lambdaは関係ない
  • image
  • テスト環境で特定の時間だけ利用されるAuroraなどの利用を想定
    • 夜はTerminateする
    • クエリが実行されたら5秒くらいで作成される
      • image
    • image
    • もっとAuroraを気軽に使えるサービス
      • 既存のAuroraを置き換えるものではない

Batched scans

-高速化をねらう image

Hash Join

  • Auroraで有効になった
  • image

Parallel query

  • 開発中。
  • インデックスが使えないクエリで24.6倍クエリが早くなる image

RDS関連

  • MySQLがバックアップから起動可能に
  • R4、T2、M4インスタンスに対応
    • Oracle,MySQL、MariaDB
  • EBSのストレージを16TBまでサポート
  • 4万IOPSまで拡張

DynamoDB Global Tables

  • オハイオとオレゴンなどで同じデータを読み込みできる
  • image

DynamoDB backup&restore

  • 監査など長期間のアーカイブ向け
  • バックアップはすぐ終わるが、リストアに数時間かかる

ElastiCache

  • シャードを変えられるようになった

RedShift

細かい性能向上があった - SQA - Result Caching