Required Knowledge to be a Process Miner
English follows Japanese. Before proofread.
プロセスマイニングに通暁したエキスパートを「プロセスマイナー」と呼びます。
マイナー（Miner）は、本来、炭鉱などで採掘を行う「鉱夫」のことを指します。プロセスマイニングは、プロセスに関わる大量データを採掘して「知見」を掘り出すこと。したがって、その専門家を「プロセスマイナー」と呼ぶのは納得でしょう。
さて、プロセスマイニング自体は、「分析手法」だと狭く定義することもできますが、業務プロセスの改革・改善プロジェクト、および継続的プロセス改善のための主軸となる方法論だと広く捉えれば、プロセスマイナーとして関わる領域は以下を含む幅広いものとなります。
- 業務改革・改善プロジェクトとしてのトータルマネジメント
- スコーピング（分析計画）の作成
- 各種システムからのイベントログデータの抽出
- データ前処理（クリーニング等）
- プロセスマイニングツールの操作・分析ダッシュボードの作成
- 根本原因分析と改善策の立案
- 改善策の展開・定着
- 改善策施行後の継続的モニタリング・改善体制の確立
もちろん、上記すべてを一個人が担うことは困難でしょう。現実には、データサイエンティスト、システム管理者、ツールオペレーター、ビジネスアナリスト、ビジネスコンサルタントなど、なんらかの肩書を持つ人々がチームを組んで取り組むことになります。
私は、プロセスマイナーとは、どのような肩書きであれ、業務プロセスに関わるデータ分析から知見を引き出し、改善につなげる知識や経験を有する人材だと考えています。
ですので、プロセスマイナーとして認められるためには、それぞれが得意なスキルを有しつつ、プロセスに関わる知識を幅広く習得していくことが必要と考えています。
では、以下にプロセスマイナーとして身に着けるべき知識を示します。
１ プロセスマイニングの基本知識
プロセスマイニングとはそもそもどんな方法論なのか、イベントログデータからプロセスモデルを再現するアルゴリズムの基本的なアプローチはどんなものなのか、など、原理原則を理解しておくことが望ましいです。
これについては、プロセスマイニングのゴッドファーザー、Wil van der Aalst教授の著作を読めば大丈夫です。
⇒ プロセスマイニング Data Science in Action（日本語）
また、業務プロセス改善・改革のノウハウも含む、初心者向けの書籍として以下の拙著をお勧めします。
⇒ DXに必須 プロセスマイニング活用入門 ファクトベースの業務改善を実現する（白桃書房）
プロセスマイニングの基本知識は、プロセスマイニングに関わる全ての人の基本科目だと考えています。
２ ビジネスアナリシス
ビジネスアナリシスは、ビジネスの様々な側面について、データを収集し分析する包括的な方法論です。ビジネスアナリシスの主な落としどころは、現状をできる限り正確に把握し、またビジネス上の課題を明確に抑えることで、優れた戦略立案、実効性の高いシステム要件定義や組織改編などにつなげること。
分析手法としてプロセスマイニングを捉えると、ビジネスアナリシスに含まれるプロセスに特化した分析手法と位置付けることができます。現実のプロセスマイニングプロジェクト、あるいは業務改革・改善プロジェクトでは、イベントログデータの分析だけで十分ということはなく、周辺的な調査・分析や、根本原因のためのヒアリング、ワークショップなどを行うことも多いため、ビジネスアナリシスの知識を有しておくのがベターです。
⇒ BA(Business Analysis)とは？（IIBA Japan)
ビジネスアナリシスの知識は、ビジネスアナリストは当然ながら、データサイエンティストも持っておきたい知識です。
３ ビジネスプロセスマネジメント（BPM)
ビジネスプロセスマネジメント（BPM)とは、文字通り、ビジネスプロセスを適切にコントロールすることであり、その目的は、業務プロセスの継続的改善を通じた収益拡大、コスト削減、顧客満足度向上等にあります。
したがって、BPMでは、プロセスの開発から運営、変革までのサイクル全体を網羅する様々な考え方や手法が開発、体系化されています。プロセスマイニングは、BPMのそれぞれの局面において、データに基づく現状把握、改善施策のシミュレーション、そして運営サポートと様々な形での支援を行うことができます。
プロセスマイニングの究極の目的はプロセスの改革・改善ですから、BPMについての知識は非常に重要だといえます。
⇒ BPMとは（日本BPM協会）
ビジネスプロセスマネジメントの知識は、プロセスマイニングに関わるビジネスアナリスト、ビジネスコンサルタントの必須知識です。
４ データベース
プロセスマイニングツールの分析対象とするイベントログの抽出元のほとんどは、業務システム内のデータベースに蓄積されているトランザクションデータです。
システムによっては過去の操作履歴、取引履歴を一括ダウンロードできる機能が実装されていることもありますが、そうでない場合、データベースの構造分析を行い、分析に必要なデータ項目がどのテーブルに存在するのか、どのデータ項目をキーとして関連テーブルを接続し、どのような形でイベントログの必須三項目、すなわち案件ID(プロセスID)、アクティビティ、タイムスタンプを抽出すべきかを検討しなければなりません。
このためには、次に述べるERPなどの業務システムの理解もさることながら、データベース、とくにリレーショナルデータベースの成り立ちを最低限理解しておくことが求められます。
DBの基本知識は、プロセスマイニングに関わるデータサイエンティスト、IT管理者、ビジネスアナリストに必須です。
５ 業務システム（ERP、CRM等）
プロセスマイニングの分析対象となることが多いプロセスは、P2P（Procure-to-Pay）、すなわち購買プロセス、およびO2C（Order-to-Cash）、すなわち受注プロセスですが、これらはしばしば、SAPやOracleなどのERPシステム上で行われています。
ERPは、企業活動全般をカバーする業務システムであるため、データベース構造も複雑ですし、機能も多岐に渡ります。したがって、データベースの基本知識に加えて、SAP、ORACLEなどのERPの基本的なアーキテクチャやDB構造、機能連関を理解しておくことでイベントログ抽出、前処理を円滑に進めることが可能となります。
ERPの知識は、プロセスマイニングに関わるデータサイエンティスト、IT管理者、ビジネスコンサルタントに必須です。
６ ETL & スクリプト（SQL、Pythonなど）
各種システムから抽出したデータ（トランザクションデータ）をそのままプロセスマイニングツールにアップロードすることはできません。プロセスマイニングツールで分析できる形式にデータを加工し、またノイズなどを除去してクリーンなファイルに仕上げる必要があります。
この工程を「データ前処理」と呼びますが、データ前処理に役立つツールが「ETL」です。私は、「KNIME」というオープンソースの利用を推奨しています。ただ、同等の機能を持つツールは他多数あり、自分に取って使いやすいものを採用していただければ結構です。なんにせよ、データ前処理を担当するのであれば、ETLツールの習得が有効です。
もちろん、エンジニアの方であれば、SQL、Python、Rなど得意なスクリプトでもデータ前処理は行えばよいと思います。ただ、ETLツールの場合、データ前処理の流れを「ワークフロー」、すなわち処理手順として視覚的に示すことができるため、関係者への説明がしやすいというメリットがあります。
なお、プロセスマイニングツール自体に、各種システムやDBにAPI接続、あるいはODBC接続し、データを抽出し、ある程度前処理が行えるコネクター機能を備えているものもあります。
しかし、システムがカスタマイズされていたり、文字化けやデータの抜け漏れなどの補正が必要な場合は、ETLツールなりスクリプトなりで別途加工する手間が生じます。
⇒ KNIME（ナイム）
ETL＆スクリプトは、データサイエンティスト、IT管理者の必須知識・スキルです。
７ ツール操作
ツール操作方法は、プロセスマイニングツールそれぞれで相当異なりますので、操作することになったツールを使い倒して覚えるしかありません。ただ、高度な分析を行う場合、標準機能ではまかなえないことが多く、ダッシュボードをカスタマイズして、様々な図表を作成することが多くなります。この場合、BI設計と同じアプローチ（分析次元＝ディメンション、および集計方法＝メジャーの設定）や、SQLライクな式を組むことになりますので相応の学習と慣れが必要です。
ツール操作は、データサイエンティスト、またはビジネスアナリストによる習得を推奨します。
８ リーン・シックスシグマ
トヨタ生産システムを源流とする「リーン・シックスシグマ」は、ビジネスプロセスの改革・改善のための根本原因の究明や解決策の立案に役立つアプローチとして世界の多くの企業が導入しています。
プロセスマイニングでは、現象としてのプロセスの非効率性やボトルネックをあぶりだすにすぎず、なぜそのような問題が生じているかの根本原因は教えてくれませんし、当然ながら解決策を提示してくれるわけでもありません。（手がかりは示してくれますが）
したがって、プロセスマイニングを含めた各種分析結果から得られた現状把握から、根本原因を突き止め、解決策を立案し、優先順位をつけて具体的な展開策に落とし込むための方法論が別途必要となります。
⇒ シックスシグマとは（シックスシグマオ フィシャルページ）
リーン・シックスシグマはプロセスマイニングに従事するビジネスコンサルタントに必須の知識・スキルです。
Experts who are familiar with process
mining are called “process miners”.
Process mining itself can be narrowly
defined as an “analysis method”, but if it is broadly regarded as the
main methodology for business process reform / improvement projects and
continuous process improvement, process mining The domains involved are as
broad as:
- Total management as a business reform / improvement project
- Creating scoping (analysis plan)
- Extract event log data from various systems
- Data preprocessing (cleaning, etc.)
- Creation of operation / analysis dashboard for process mining tools
- Root cause analysis and improvement plan
- Development and establishment of improvement measures
- Establish continuous monitoring and improvement system
Of course, it would be difficult for an
individual to do all of the above. In reality, a team of data scientists,
system administrators, tool operators, business analysts, business consultants,
and others with a certain title will work together.
I believe that a process miner, whatever
the title, is someone who has the knowledge and experience to derive insights
from data analysis related to business processes and lead to improvements.
Therefore, in order to be recognized as a
process minor, we believe that it is necessary for each to acquire a wide range
of process-related knowledge while possessing special skills.
Here is the knowledge you need to acquire
as a process miner.
1. Basic knowledge of process mining
It is desirable to understand the
principles and principles of what is process mining in the first place, and
what is the basic approach of an algorithm that reproduces a process model from
event log data.
I believe that basic knowledge of process
mining is a basic subject for everyone involved in process mining.
2 Business analysis
Business analysis is a comprehensive
methodology for collecting and analyzing data about various aspects of your
business. The main points of business analysis are to understand the current
situation as accurately as possible and to clearly identify business issues,
leading to superior strategy planning, effective system requirements definition
and organizational restructuring.
If you consider process mining as an
analysis method, it can be positioned as an analysis method specialized for
processes included in business analysis. In a real process mining project or
business reform / improvement project, analysis of event log data is not
enough.In many cases, peripheral investigation and analysis, interviews for
root causes, workshops, etc. are performed. Therefore, it is better to have
knowledge of business analysis.
Business analysis knowledge is something
that a business analyst, of course, also wants a data scientist to have.
3 Business Process Management (BPM)
Business process management (BPM) literally
means controlling business processes appropriately. The purpose is to increase
profits, reduce costs, and improve customer satisfaction through continuous
improvement of business processes.
Therefore, BPM develops and organizes
various ideas and methods that cover the entire cycle from process development
to operation and transformation. Process mining can provide various forms of
support such as understanding the current situation based on data, simulating
improvement measures, and operational support in each phase of BPM.
Since the ultimate goal of process mining
is to reform and improve processes, knowledge of BPM is very important.
Business process management knowledge is a
must for business analysts and business consultants involved in process mining.
4 Database
Most of the extraction sources of event
logs to be analyzed by the process mining tool are transaction data stored in
the database in the business system.
Depending on the system, a function that
can download past operation history and transaction history collectively may be
implemented, but if not, analyze the structure of the database and determine
which table contains the data items required for analysis, You need to consider
which data items should be used as keys to connect the related tables, and how
to extract the three required items of the event log, that is, matter ID
(process ID), activity, and time stamp.
To do this, it is necessary to understand
at least the formation of databases, especially relational databases, in
addition to understanding business systems such as ERP described below.
Basic knowledge of DB is essential for data
scientists, IT managers, and process analysts involved in process mining.
5 Business system (ERP, CRM, etc…)
The processes that are often analyzed in
process mining are P2P (Procure-to-Pay), that is, the purchasing process, and
O2C (Order-to-Cash), that is, the order receiving process, which are often SAP
and Oracle. Is done on the ERP system.
ERP is a business system that covers all
corporate activities, so its database structure is complicated and its
functions are diverse. Therefore, by understanding the basic architecture of
ERP such as SAP and ORACLE, the DB structure, and the relationship between
functions, in addition to the basic knowledge of the database, it becomes
possible to smoothly perform event log extraction and preprocessing.
ERP knowledge is a must for process mining
data scientists, IT managers and business consultants.
6 ETL & Scripts(SQL, Python, etc…)
Data (transaction data) extracted from
various systems cannot be uploaded to the process mining tool as it is. It is
necessary to process the data into a format that can be analyzed by a process
mining tool, and to remove noise and the like to make it a clean file.
This process is called “data
preprocessing”, and “ETL” is a useful tool for data
preprocessing. I recommend using the open source “KNIME”. However,
there are many other tools that have the same functions, so it is fine if you
adopt one that is easy for you to use. In any case, if you are in charge of
data pre-processing, learning the ETL tool is effective.
Of course, if you are an engineer, you
should be able to perform data pre-processing even for scripts that are good at
SQL, Python, R, etc. However, the ETL tool has the advantage that it is easy to
explain to the stakeholders because the flow of data preprocessing can be shown
visually as a “workflow”, that is, a processing procedure.
Some of the process mining tools themselves
have a connector function that allows API connection or ODBC connection to
various systems and DBs to extract data and perform some preprocessing.
However, if the system is customized or if
it is necessary to correct garbled characters or missing data, it will be
necessary to process the ETL tool or script separately.
ETL & Scripting is essential knowledge
and skills for data scientists and IT managers.
7 Tool operation
The tool operation method differs
considerably for each process mining tool, so you have to learn by using the
tool that you operated. However, when performing advanced analysis, standard
functions often cannot be covered, and dashboards are often customized and
various charts are created. In this case, the same approach as BI design
(analysis dimension = dimension and aggregation method = measure setting) and
SQL-like formulas are required, so it is necessary to learn and adapt
accordingly.
8 Lean Six Sigma
Lean Six Sigma, which originates from the
Toyota Production System, has been adopted by many companies worldwide as an
approach to help identify root causes and plan solutions for business process
reforms and improvements.
Process mining merely exposes process
inefficiencies and bottlenecks as phenomena, does not tell the root cause of
why such problems are occurring, and naturally suggests solutions. It doesn’t
even give me. (Although it gives us clues)
Therefore, a separate methodology is needed
to identify the root cause, plan a solution, prioritize it, and put it into a
concrete development plan based on the current situation obtained from various
analysis results including process mining.
Lean Six Sigma is essential knowledge and
skills for business consultants engaged in process mining.
