SAS Japan
活用事例からデータ分析のテクニックまで、SAS Japanが解き明かすアナリティクスの全てPythonからSAS Viyaの機能を利用するための基本パッケージであるSWATと、よりハイレベルなPython向けAPIパッケージであるDLPyを使用して、Jupyter NotebookからPythonでSAS Viyaのディープラーニング機能を使用した時系列予測を試してみました。 大まかな処理の流れは以下の通りです。 1.必要なパッケージ(ライブラリ)のインポート 2.Sin波データの生成 3.セッションの作成 4.RNN向け時系列データセットの作成 5.モデル構造の定義 6.モデル生成(学習) 7.予測 1.必要なパッケージ(ライブラリ)のインポート swatやdlpyなど、必要なパッケージをインポートします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import swat.cas.datamsghandlers as dmh from swat import * import dlpy from dlpy import Sequential from dlpy.layers import * from dlpy.model import Optimizer, AdamSolver, Sequence
PythonからSAS Viyaの機能を利用するための基本パッケージであるSWATと、よりハイレベルなPython向けAPIパッケージであるDLPyを使用して、Jupyter NotebookからPythonでSAS Viyaの機能を使用して一般物体検出(Object Detection)を試してみました。 今回は、弊社で用意した数枚の画像データを使用して、処理の流れを確認するだけなので、精度に関しては度外視です。 大まかな処理の流れは以下の通りです。 1.必要なパッケージ(ライブラリ)のインポートとセッションの作成 2.一般物体検出向け学習用データの作成 3.モデル構造の定義 4.モデル生成(学習) 5.物体検出(スコアリング) 1.必要なパッケージ(ライブラリ)のインポートとセッションの作成 swatやdlpyなど、必要なパッケージをインポートします。 from swat import * import sys sys.path.append(dlpy_path) from dlpy.model import * from dlpy.layers import * from dlpy.applications import * from dlpy.utils import * from dlpy.images import ImageTable from dlpy.splitting import two_way_split from dlpy.blocks import *
最近、SNSなどで「AI開発ミステリー ~そして誰も作らなかった~」という記事が話題になりました。人工知能(AI)を導入しようという企業の最悪の顛末をコミカルに描いたジョーク・ストーリーですが、これを面白がる人が多いというのは、多少なりとも日本のIT業界の現実を反映しているのかもしれません。 このような事態になっているのは、AIに対する過度な期待が原因の一つかもしれません。AIは、機械に任せれば素晴らしいことが起こる魔法ではなく、明確に定義されたタスクを実行するように機械をトレーニングする方法です。人間が行うタスクを機械が代替することになるのですが、人間が活動しているシステムのなかで、どの部分を機械にやらせるかを考え、実装し、運用しなければなりません。これは、これまでSASが実現してきたアナリティクスの延長にほかなりません。 「AIが発達すればデータサイエンティストはいらない」という説もあります。データサイエンティストが機械学習を実装する役割だけを持つのであれば、そうかもしれません。しかし、本当に必要とされる仕事が「人間が活動するシステムの中でのアナリティクスの活用」であるなら、まさにAIが使われる仕組みを考え、実装し、運用できる状態にする人材こそが求められているのではないでしょうか。 今年5月、SAS Forum Japan のなかで開催された「データサイエンティスト・キャリア・トラック」では、アナリティクスを活用する組織のなかでデータサイエンティストがどのように活躍するかについて、企業の方々から学生向けの講演をいただきました。例えば、ITや数理モデルを使いこなせることは初級レベルで、ビジネススキルを身に着けながら、最終的には経営幹部候補となるキャリアパスを提示している組織や、一方で、趣味で培ったスキルをビジネスに生かすデータサイエンティストがいます。このように、データサイエンティストのキャリアは組織・個人によってさまざまですので、多様人材がそれぞれの強みをもって活躍することができそうです。 しかし、どの組織・個人でも共通しているのは「目的志向」である点です。何のためにデータ分析をするのか、それがどのような価値を持つのかを明確にしなければ、課題解決のためのデータ分析はできません。データサイエンティストは単にデータ分析の技術で課題解決するだけでなく、「課題設定」をする役割を持たなければ本当の価値は生み出せないのです。そもためには、さまざまな問題意識を抱える人たちと異業種交流をするなど、幅広い視野が必要となりそうです。 データサイエンティスト協会が示した3つのスキルのうち、「ビジネススキル」については、ときどき「ドメイン知識」(業界や業務についての知識)として紹介されることがあります。しかし、本当に必要なのは、その知識を解決すべき課題に変換する力だと考えます。データサイエンティストを目指す学生が、すべての業界・業務についての知識を得ることは難しいですが、アナリティクスが活用される代表的な業界において、どんな課題がどのようにアナリティクスにより解決されているかを知ることで、応用力を身に着けられるのではないでしょうか。そこで、SAS Japanでは、次のような内容の学生向けセミナー「データサイエンティストのキャリアと活躍のかたち」をシリーズで開催します。 データサイエンティストのキャリア ... 「データサイエンティスト・キャリア・トラック」の講師陣による、それぞれの組織や個人としてのデータサイエンティストのキャリアや活躍のかたちを紹介 ビジネスで活用されるアナリティクス ... データサイエンスやアナリティクスがどのような業界のどんな課題を解決するために活用されているかをSAS社員が紹介 学生によるデータサイエンスの学び ... 学生がどのようにデータサイエンスを学習しているかを学生自身による体験を交えながら紹介 第1回は11月30日(金)に開催します。データサイエンティストを目指す学生の皆様のご参加をお待ちしています。
SASでは、従来からオープン・AIプラットフォームであるSAS Viyaの機能をPythonから効率的に活用いただくためのハイレベルなPython向けAPIパッケージであるDLPyを提供してきました。 従来のDLPyは、Viya3.3以降のディープラーニング(CNN)と画像処理(image action set)のために作成された、Python API向けハイレベルパッケージです。 DLPyではKerasに似たAPIを提供し、より簡潔なコーディングで高度な画像処理やCNNモデリングが可能でした。 そして、この度、このDLPyが大幅に機能拡張されました。 最新版DLPy1.0では、以下の機能が拡張されています。 ■ 従来からの画像データに加え、テキスト、オーディオ、そして時系列データを解析可能 ■ 新たなAPIの提供: ・ RNN に基づくタスク: テキスト分類、テキスト生成、そして 系列ラベリング(sequence labeling) ・ 一般物体検出(Object Detection) ・ 時系列処理とモデリング ・ オーディオファイルの処理と音声認識モデル生成 ■ 事前定義ネットワーク(DenseNet, DarkNet, Inception, and Yolo)の追加 ■ データビジュアライゼーションとメタデータハンドリングの拡張 今回はこれらの拡張機能の中から「一般物体検出(Object Detection)」機能を覗いてみましょう。 SAS Viyaでは従来から画像分類(資料画像1.の左から2番目:Classification)は可能でした。例えば、画像に映っている物体が「猫」なのか「犬」なのかを認識・分類するものです。 これに加えて、DLPy1.0では、一般物体検出(資料画像1.の左から3番目:Object Detection)が可能になりました。 資料画像1. (引用:Fei-Fei Li & Justin Johnson & Serena Yeung’s Lecture