データサイエンス基礎学/データサイエンス・AI基礎 第1回〜第3回

Authors

神戸大学 数理・データサイエンスセンター

加葉田大志朗

はじめに

0.1 本講義の背景

インターネットや情報技術の進展により、ビッグデータやAIの活用が広がり、社会のなかに新しいサービスや働き方が次々と導入されています。スマートフォンを通じた決済、SNSでのコミュニケーション、動画配信サービスのおすすめ機能、生成AIによる文章作成支援など、数年前には一般的ではなかったサービスが日常的に使われるようになりました。

こうしたサービスの裏側には、必ず「データ」と「AI」があります。データとAIがどのように作られ、どのように使われているかを理解することは、いまや専門家だけでなく、幅広い分野の学生・社会人にとって重要になっています。

本講義では、数理・データサイエンス・AIの基本的な概念と考え方を、難しい数式に深入りせずに学んでいきます。

0.2 授業の到達目標

社会におけるデータ・AIの利活用を理解し、データを扱ううえでの基礎と留意点を身につけることを目標とします。具体的には次の3点です。

  1. 社会の変化を理解する:ビッグデータ・AIが社会にどのような変化をもたらしているかを説明できる。
  2. データを扱う基礎を身につける:データの種類、機械学習の仕組みなど、基本概念を理解できる。
  3. 倫理的・社会的な留意点を理解する:プライバシー、バイアス、セキュリティなど、注意すべき点を自分の言葉で説明できる。

0.3 授業の概要と計画

本講義は、文部科学省「数理・データサイエンス・AI教育プログラム」(リテラシーレベル)の枠組みに沿った内容を提供します。第1〜第3回が導入部分(社会的背景・データの基礎・倫理)、第4回以降が統計学の基礎という構成です。

回 講義タイトル
第1回 いま社会でおきていること
第2回 社会で活用されているデータ
第3回 データ・AI活用における留意点
第4〜7回 データを読む/説明する/扱う/活用実践
第8回 まとめ・試験
Tip本資料の位置づけ

本講義の第1回から第3回の内容は、2025年度に開講されたデータサイエンス基礎学1-3回の講義内容(山田,加葉田)を踏襲し、再編成したものです。

なお、データサイエンスに関する用語の定義は分野や時代によって異なる場合があります。本資料での説明は本講義での扱いを示すものであり、すべての場面で同じ意味で使われるとは限りません。

1 第1回:データサイエンスを取り巻く世界

1.1 この回の到達目標

第1回では、第2回以降で繰り返し使う基本用語と、いまデータ・AIが注目される社会的背景を整理します。

  1. 「データ」とは何かを説明できる。
  2. 「データサイエンス」「統計学」「AI」の違いを大まかに区別できる。
  3. 近年のAIブームの背景を概観できる。
  4. 「ビッグデータ」「生成AI」の意味と典型例を説明できる。

1.2 身の回りのデータ

私たちの日常では、行動の記録が知らないうちに蓄積されています。たとえば次のようなものです。

  • スマートウォッチに記録された歩数や心拍数
  • SNSへの投稿、「いいね」やフォロー関係
  • 電子マネーやクレジットカードの利用履歴
  • 動画配信サービスの視聴履歴
  • 地図アプリの位置情報

これらは、コンピュータで処理できる形で保存された記録で、本講義で扱う「データ」にあたります。

1.3 データとは何か

本講義では、データを次のように扱います。出発点となる定義は、国際標準 ISO/IEC 2382:2015 において次のように示されています(原文)。

“reinterpretable representation of information in a formalized manner suitable for communication, interpretation, or processing.”

(直訳:通信、解釈、または処理に適した形で形式化された、再解釈可能な情報の表現)

この硬めの表現を、本講義では次のように噛み砕いて扱います。

データ(data)とは、情報を、人またはコンピュータが処理できる形式で表現したものです。

この定義について、次の2点が重要です。

  • 形式は問わない:数値・文字・画像・音声・動画など、人またはコンピュータで処理できる形になっていればすべてデータと呼びます。
  • 再利用・再解釈が可能:同じデータを目的を変えて何度も分析できる、という性質がデータサイエンスでは前提となります。
NoteISO/IEC とは
  • ISO:International Organization for Standardization(国際標準化機構、本部:スイス・ジュネーブ)
  • IEC:International Electrotechnical Commission(国際電気標準会議)

情報技術(IT)の分野は両機関の合同技術委員会 JTC 1 が共同で標準を策定するため、規格番号に “ISO/IEC” の接頭辞が付きます。引用元の ISO/IEC 2382:2015 は『Information technology — Vocabulary(情報技術の用語集)』で、データ・アルゴリズム・プロセスなど IT 分野の基本用語を国際的に定義した規格です。本講義が ISO/IEC の定義を出発点として採用するのは、特定の教科書や企業の定義に偏らない、中立的かつ国際的に通用する基準 であるためです。

本講義で扱うデータの主な種類:

  • 数値データ:気温、身長、売上、試験の得点 など
  • 文字データ:SNS投稿、レビュー、アンケートの自由記述 など
  • 画像データ:写真、医療画像、衛星画像 など
  • 音声データ:録音、環境音、音楽 など
  • 動画データ:映像と音声の組合せ

関連して2つの用語も押さえておきましょう。

  • デジタル化:紙の文書や音声などのアナログ情報を、コンピュータで扱える形に変換すること。
  • IoT(モノのインターネット):家電・自動車・センサーなどがインターネットにつながり、データを送受信する仕組み。

デジタル化とIoTが進んだことで、データとして記録・分析できる対象が大きく広がりました。

1.4 データサイエンスとは

データは、ためるだけでは価値を生みません。データを分析して、何かを記述したり、説明したり、予測したり、意思決定に役立てたりして初めて価値になります。そのための学問がデータサイエンスです。

データサイエンスの定義は論者によって幅がありますが、本講義では、Donoho (2017) 50 Years of Data Science の整理を出発点とします。Donoho は、データサイエンスのルーツを統計学者 John Tukey の論文 The Future of Data Analysis(1962)に遡り、その対象を “learning from data”(データから学ぶこと) として位置づけました。Abstract から該当箇所を引用します(原文ママ)。

“More than 50 years ago, John Tukey called for a reformation of academic statistics. In ‘The Future of Data Analysis,’ he pointed to the existence of an as-yet unrecognized science, whose subject of interest was learning from data, or ‘data analysis.’”

(出典:Donoho, D. (2017). 50 Years of Data Science. Journal of Computational and Graphical Statistics, 26(4), 745–766. DOI: 10.1080/10618600.2017.1384734。オープンアクセスのため誰でも全文を閲覧可能)

本講義もこの「learning from data」を中心に据える立場を踏襲し、データサイエンスを次のように整理します(本講義による要約であり、Donoho 論文の一文を引用したものではありません)。

データサイエンスとは、「データから学ぶ(learning from data)」ことを対象とする学問であり、データの収集・管理・分析・処理の方法と、それらの方法を改善するための技術を扱う分野である。

この整理を噛み砕くと、データサイエンスとは 「データから学ぶ」ことを対象とする学問 であり、理論から答えを導くのではなく、実際に得られたデータから出発して、その背後にあるパターンや法則を見つけ出すアプローチということになります。

身近な例で考えてみましょう。毎朝の通学にかかる時間を1か月記録した、と仮定します。このデータを眺めると、「雨の日は5分長くなる」「月曜日は混みやすい」といった傾向が見えてきます。これがまさに「データから学ぶ」ことの最も単純な形です。データサイエンスでは、これをより複雑なデータと、より厳密な方法で扱います。

データサイエンスは、統計学・計算機科学・数学などを横断する学際的な分野である点が大きな特徴です。「分析手法を選ぶ」ことと並んで、「何を明らかにしたいのか」という問いの設定が重要になります。問いがあいまいなままデータをいじっても、意味のある結論には到達しにくいです。

NoteDonoho (2017) “50 Years of Data Science” について
  • David Donoho はスタンフォード大学統計学科の教授で、信号処理・統計学の分野で著名な研究者です。
  • 50 Years of Data Science は、John Tukey(1962年に「データ解析の未来」を提唱した統計学者)以降の50年間を振り返り、データサイエンスを統計学を拡張した学問領域として体系化した論文です。
  • この論文では、ビジネス応用や価値創出よりも、「データから学ぶ方法論とその改善」を中心に据えた定義が示されています。本講義はこの立場を採用しています。
  • なお、経営学や情報工学の文献では「データから価値を生み出す実践領域」と定義することもあります。文脈によって幅がある点は、第3回の参考資料表でも整理します。

データから知見を導き出す流れを図 Figure 1 に示します。

Figure 1: データサイエンスの概念:データから価値ある知見を導き出す

1.5 データサイエンスを支える4つの領域

データサイエンスを実践するには、複数の領域の知識が必要です。図 Figure 2 に整理します。

Figure 2: データサイエンスを実践するための4つの力と、それを支える基礎
  • (1) 統計学:ASA 次期会長(当時)の Marie Davidian と Thomas A. Louis は、Science 誌の editorial で統計学を次のように定義しました。原文:“Statistics is the science of learning from data, and of measuring, controlling, and communicating uncertainty; and it thereby provides the navigation essential for controlling the course of scientific and societal advances.”(統計学は、データから学ぶ科学であり、不確実性を測定・制御・伝達する科学である。それゆえ、科学と社会の進展を制御するうえで欠かせない羅針盤を提供する。)出典:Davidian, M., & Louis, T. A. (2012). Why Statistics? (Editorial). Science, 336(6077), 12. DOI: 10.1126/science.1218685。例:「サンプルの平均が母集団の平均とどれくらいズレうるか」を見積もる。本講義では第4回以降でこの統計学を中心に扱います。
  • (2) 計算機科学・データ工学:データを集める・ためる・加工する技術。データベース、分散処理、クラウドなどが含まれます。大量のデータを扱える環境は、ここの技術が支えています。
  • (3) AI・機械学習・深層学習:データから自動で学ぶ仕組み。3つは入れ子の関係で、AIの一部が機械学習、その一部が深層学習です(出典:AIは ISO/IEC 22989:2022、機械学習は ISO/IEC 22989:2022 および ISO/IEC 23053:2022、深層学習は LeCun, Bengio, Hinton (2015) Deep learning. Nature, 521, 436–444。詳しくは第2回)。
  • (4) 応用分野の知識:医学・経済学・工学・教育など、対象分野そのものの知識。「何が意味のある結果か」を判断するには、その分野の理解が欠かせません。データサイエンスが学際的と呼ばれる大きな理由はここにあります。

これら4領域すべての土台に、数学(確率・統計、線形代数、微分積分など) があります。本講義では必要な範囲を第4回以降で順に説明していきます。

Note統計学と機械学習・AIは「どちらを選ぶか」ではない

統計学と機械学習・AIは、どちらも「データから学ぶ」点で共通しますが、強みが違います。統計学は不確実性を厳密に扱い、結果を説明することに重点を置き、機械学習は予測の精度と自動化に重点を置く傾向があります。両者は対立ではなく補完関係です。本講義では統計学の基礎を先に扱い、機械学習の概念と接続します。

1.6 近年のAIの進展 — 3つの代表例

AI研究は1950年代から続いていますが、2010年代以降、社会を大きく動かした出来事が3つあります。

  1. AlexNet(2012年) — 画像認識の精度を一気に押し上げた
  2. AlphaGo(2016年) — 囲碁の世界トップ棋士に勝利した
  3. ChatGPT(2022年) — 対話型生成AIを一般に広めた

1.6.1 AlexNet — 画像認識の転換点(2012年)

コンピュータに「この写真は犬か猫か車か」を判別させる課題を画像認識と呼びます。2010年代初頭まで、画像認識の精度を上げるには、人間が「何に注目すべきか(輪郭・色・模様など)」を手作業で設計する必要がありました。しかし世の中の画像にはあらゆる物体が映りうるため、人間が設計しきれない、というのが大きな壁でした。

2012年に登場した AlexNet は、人間が特徴を設計するのではなく、大量の画像データからコンピュータ自身に特徴を学ばせる 方式を採用し、画像認識コンペ(約100万枚を1000種類に分類する課題)でエラー率を25%前後から15%台へ大幅に改善しました。このとき使われた技術が深層学習(ディープラーニング)で、AIの計算を大規模に並列実行するGPU(並列計算が得意な半導体) の上で学習させた点も特徴です。

AlexNet以降、深層学習・大量データ・GPUの組合せは画像・音声・言語など多くの分野で主流となり、これが「第3次AIブーム」と呼ばれる現在の状況の出発点になりました。

Figure 3: 画像認識コンペでのエラー率の推移。2012年にAlexNetが大きく改善した(公開結果をもとにした概念図)

1.6.2 AlphaGo — 囲碁での勝利(2016年)

囲碁は局面の数が膨大で、コンピュータが人間の世界トップ棋士に勝つには長い年月がかかると見られていました。しかし2016年、Google DeepMindが開発した AlphaGo が、韓国のトッププロ棋士に4勝1敗で勝利しました。深層学習と、自分自身との対戦から学ぶ 強化学習 を組み合わせた点が革新でした。

参考までに、1997年にチェスの世界王者を破った IBM Deep Blue は、専用ハードウェアによるしらみつぶしの探索と、人間が設計した評価関数に依存した「学習を使わないAI」でした。AlphaGoは対照的に、自分対自分の対戦から学習する設計です。同じ「ボードゲームで人間に勝つAI」でも、20年で発想が大きく変わったことが分かります。

1.6.3 ChatGPT — 対話型生成AIの公開(2022年)

2022年11月、米OpenAI社が ChatGPT を公開しました。内部では大規模言語モデル(LLM)と呼ばれる巨大なAIが動いており、自然な日本語・英語で会話できる点が大きな特徴です。

ChatGPTのようなモデルは、おおまかに次の3段階で作られます。

  1. 大量のテキストを読ませて学習:ウェブページや書籍など膨大な文章から、「次に来る単語」を予測する形で学ぶ。
  2. 指示への調整:人間が用意した「指示と応答の例」を学ばせ、指示に沿った答え方を覚えさせる。
  3. 人間の評価による強化学習:複数の応答候補を人間が採点し、評価が高い応答を出すように学ばせる。

公開から約2か月で世界の利用者数が1億規模に達したと推計されており、対話型生成AIは業務・学習・研究の場面に広く浸透しました。一方で、「もっともらしく誤った内容を出力する(ハルシネーション)」「著作権」「入力情報の保全」などの課題も注目されるようになりました。これらは第3回で扱います。

1.6.4 3つの事例に共通すること

3つの事例には、いくつかの重要な共通点があります。

  • 中核技術として 深層学習 が使われている。
  • 大量の データ と、大規模な 計算資源(特にGPU)を必要としている。
  • 従来の方法では困難だった水準の性能を、限定的な条件下で実現している。

つまり、近年のAIの進展は、深層学習という手法と、大量のデータと、大規模な計算資源の3つがそろったことで可能になった、と言えます。次節ではこの3つがそろった背景を、技術的・社会的な要因に分けて整理します。

なお、これらの成果はそれぞれの限られた領域(画像識別、囲碁、自然言語応答)での結果であり、「あらゆる場面で人間を上回るAI」が実現したわけではない点には注意が必要です。

1.7 AIの発展を支えた背景

3つの事例に共通する条件がそろった背景を、3つの要因に分けて整理します。

1.7.1 要因1:計算資源の爆発的な増加

コンピュータの計算能力は、過去半世紀で爆発的に増加してきました。半導体に組み込めるトランジスタの数が一定期間で倍になっていく傾向を示す ムーアの法則 が有名です。最近は微細化に物理的な限界が出てきていますが、それでも長期的な計算能力の伸びはAIの発展を大きく支えてきました。

近年のAI研究の加速は、汎用CPUの改良だけでなく、AIの計算に向いた GPU(Graphics Processing Unit、画像処理用に開発された並列計算装置)が大きく寄与しました。ニューラルネットワークの学習は、行列の掛け算のような同種の計算を膨大に並列で実行するため、もともと画像処理向けに作られたGPUと相性が良かったのです。さらに、AI専用の半導体(GoogleのTPUなど)も登場し、クラウドコンピューティング(インターネット経由で計算資源を借りる仕組み)を通じて、必要なときに大規模な計算を使えるようになりました。

ただし、ChatGPTのような最先端の大規模モデルをゼロから学習するためには、いまも非常に大きな計算資源が必要で、大企業や国家規模の研究プロジェクトに限られているのが現状です。個人や小規模な研究室で可能な範囲は、主に既存モデルの利用、追加学習(微調整)、小規模な学習です。

1.7.2 要因2:データ蓄積環境の拡大

インターネット、スマートフォン、SNS、IoT機器の普及によって、ウェブ上の写真・動画・文章を大規模に集めて利用できるようになりました。1990年代までは、画像認識の研究で学習用の画像を数千枚集めることが大きな作業でしたが、2010年代以降は、ウェブに公開された画像・テキスト・コードを大規模に収集・利用できるようになりました。

たとえば AlexNet の学習には、約1400万枚の画像があらかじめ分類された ImageNet が使われました。現代の大規模言語モデルは、ウェブページ・電子書籍・プログラムコードなどから集めた数百テラバイト級の膨大なテキストで学習されています。このようなデータの蓄積と利用は、2000年代までは現実的ではありませんでした。

1.7.3 要因3:アルゴリズムの進歩

ニューラルネットワークそのものは1950年代から研究されていた古い概念です。2010年代以降の急速な応用の広がりは、計算資源とデータの充実に加えて、深層学習のアルゴリズムが大きく改良された ことが背景にあります。

特に、2017年に登場した Transformer と呼ばれる新しい仕組みは、自然言語処理の分野で既存手法を大きく上回る性能を出しました。ChatGPT をはじめとする現代の大規模言語モデルの多くは、この Transformer を土台にしています。こうした巨大なモデルは、一度大規模に学習しておけば多様な用途に応用できるため、基盤モデル(Foundation Model) と呼ばれます。現在広く使われている生成AIサービスの多くは、この基盤モデルを下地にして作られています。

1.7.4 3つの要因のまとめ

整理すると、計算資源(要因1)と データ(要因2)がそろった環境の上で、改良された深層学習(要因3)が広く普及した、という流れになります。こうした技術動向を背景に、日本の Society 5.0、米国の American AI Initiative など、各国が AI・データを国家戦略に位置づける動きが進んでいます。

1.8 ビッグデータと生成AI

現在のAI・データ活用を語るうえで欠かせないキーワードがビッグデータと生成AIです。

1.8.1 ビッグデータ

ビッグデータの定義は文脈によって幅がありますが、本講義では、総務省「情報通信白書」が McKinsey Global Institute (2011) の整理を引用して用いてきた、次の量的定義を出発点とします。原文ママ:

「ビッグデータは、典型的なデータベースソフトウェアが把握し、蓄積し、運用し、分析できる能力を超えたサイズのデータを指す。」

(出典:総務省「平成24年版 情報通信白書」第1部 特集 第1節「(1) ビッグデータとは何か」 HTML 版。同節は McKinsey Global Institute (2011) Big data: The next frontier for innovation, competition, and productivity p.1 を翻訳引用したものです)

噛み砕いて言えば、1台のサーバーや既存のデータベースの処理能力を超えてしまうほど大きいデータの総称ということです。同じ節では別の見方として「事業に役立つ知見を導出するためのデータ」(鈴木良介 2011 による目的的定義)も併記されています。

ビッグデータの特徴は 3つのV で整理されます。

Figure 4: ビッグデータの3V(Volume・Velocity・Variety)
  • Volume(量):データの規模が非常に大きい。例:ウェブページ全体、全世界のSNS投稿、工場のセンサー記録の全履歴。
  • Velocity(速度):データがリアルタイム・高速に発生し続ける。例:株価、IoT機器の通信、オンラインゲームの操作ログ。
  • Variety(種類):構造化データ(行と列で整っているデータ)、半構造化データ(JSONなど)、非構造化データ(画像・音声・動画・自由記述のテキスト)など、多様な形式が混在する(詳しい分類は第2回)。

これら3つの特徴のいずれかが大きく出てくると、1台のサーバーでは扱いきれず、多数のコンピュータで分担して保管・処理する技術(分散ストレージ、分散処理)が必要になります。実装技術の詳細(Hadoop、Sparkなど)は本講義では扱いません。

ビッグデータは、AIモデルを学習させるための主要な資源でもあります。AlexNet は ImageNet という大規模画像データセットを使い、大規模言語モデルは大量のウェブテキストを使います。現代のAIとデータサイエンスは、ビッグデータの蓄積環境と切っても切れない関係にあります。

1.8.2 生成AI

生成AI(Generative AI) とは、学習したデータをもとに、新しいテキスト・画像・音声・動画・コードなどを作り出すAI の総称です。

利用者が自然言語で出す指示文を プロンプト(prompt) と呼びます。生成AIの大きな特徴は、メニュー操作ではなく、自然な言葉で指示できる点です。

Figure 5: 生成AIサービスの概要:自然言語で依頼し、即興で多様な応答を得る

生成AIには次のような特徴があります。

  1. 自然言語で操作できる:プログラミング言語ではなく、ふだんの言葉で依頼できる。
  2. 送る前に出力を確認できない:応答はその場で生成されるため、事前に内容を見られない。
  3. 同じ指示でも応答が変わる:内部で確率的に次の単語などを選ぶため、実行ごとに結果が違いうる。

近年は、テキストだけでなく画像・音声・動画も1つのモデルで扱える マルチモーダルAI が一般的になってきています。OpenAIのGPTシリーズ、GoogleのGemini、AnthropicのClaudeなどが代表例で、たとえば「写真を見せて中身を説明させる」「音声で質問して音声で答えさせる」といった使い方が広がっています。提供されるモデルは頻繁に更新されるため、最新の機能は各サービスの公式情報で確認するとよいでしょう。

なお、生成AIに関連する情報を整理するときには、次の3つの層を区別しておくと分かりやすいです。

  • サービス層:利用者が直接使う対話型サービス(例:ChatGPT、Claude、Gemini)
  • 基盤モデル層:サービスの内部で動く大規模なAIモデル
  • 公開モデル層:モデルの重み(学習結果のパラメータ)が公開されているモデル(例:MetaのLlama、GoogleのGemma など)。「オープンウェイト」とも呼ばれ、自分のPCや組織内サーバーで動かすこともできる。
Warning生成AIを使うときの注意点
  • 生成AIは事実と異なる内容をもっともらしく出力することがあります(ハルシネーション)。数値・法律・固有名詞・論文の引用などは、必ず元の情報源で確認してください。
  • 機密情報や個人情報をそのままプロンプトに入力するのは避けましょう。サービスやプランによって、入力内容が学習に使われるかどうかが異なります。
  • 詳しい注意点は第3回で扱います。

1.9 第1回のまとめ

第1回では、本講義で繰り返し使う基本用語を整理しました。

用語 意味の要点
データ 情報を、人やコンピュータが処理できる形で表したもの
データサイエンス データから学ぶことを対象とする学際的な学問
統計学 データから学び、不確実性を扱う科学
AI(人工知能) 推論や学習などをコンピュータに実行させる技術分野
機械学習 明示的にプログラムせず、データから学んで性能を改善する仕組み
深層学習 多層のニューラルネットワークによる機械学習の方法
ビッグデータ 従来のデータベースでは扱えない巨大なデータ群
生成AI 新しいテキスト・画像・音声などを作り出すAI

第2回では、データそのものを観察する方法と、機械学習の基本的な枠組みを扱います。

2 第2回:データをよく知る

2.1 この回の到達目標

第2回では、データを性質の違いに応じて分類・観察する方法を学びます。

  1. データを「出所」と「形式」の2軸で観察できる。
  2. 1次データと2次データの違いを説明できる。
  3. データサイエンスで扱う代表的な5つの課題を区別できる。
  4. 機械学習の基本的な仕組みを説明できる。

2.2 なぜデータの性質を観察するのか

分析結果の妥当性は、用いるデータの質と性質に強く依存します。どれだけ高度な統計手法や機械学習モデルを使っても、もとになるデータの取得方法に偏りがあり、形式が目的と合っていない場合には、得られる結論にも限界が出ます。

そこで本講義では、分析手法に入る前に、目の前のデータがどのような性質をもつか を観察する手順を最初に扱います。観察の基本的な軸は次の2つです。

  • 出所:誰が、どのような目的で、どのように生成・記録したデータか
  • 形式:構造化されているか、半構造化か、非構造化か

2.3 出所による分類

身の回りには、出所の異なる多種多様なデータがあります。スマートフォンの中だけでも、電話帳・メッセージ履歴・写真・GPS位置情報・歩数・電子決済の履歴・SNSの投稿など、さまざまな出所のデータが共存しています。家庭内のIoT機器、街中の監視カメラ、店舗のPOSレジ、地図アプリなども、常にデータを生成し続けています。

これらを 出所の観点 で整理すると、次の3種類に大別できます。

分類 主な生成主体 傾向的な特徴 例
人が作るデータ 人間が能動的に作成 感情・文脈・主観を含む。表記の揺れが多い SNS投稿、ブログ、アンケート回答、商品レビュー
機械が作るデータ センサーやIoT機器による自動生成 自動的で大量。形式が整っていることが多い GPSログ、温度計、心拍計、監視カメラ映像、アクセスログ
組織が作るデータ 企業・行政が業務の中で生成 目的が明確なことが多い。整っていない文書も含まれる 政府統計、売上データ、顧客台帳、電子カルテ、社内文書

出所による分類と、次節で扱う形式による分類(構造化/半構造化/非構造化)は独立した軸です。たとえば監視カメラ映像は「機械が作るデータ」かつ「非構造化データ」、企業のサーバーが出力するアクセスログは「機械が作る構造化データ」となります。両者を混同せず、別々の軸として観察するのが大事です。

同じ「気温」のデータでも、気象庁の観測値と、SNS投稿から拾った言及とでは、前提条件も信頼性も大きく違います。出所への注意は、第3回で扱う「データの健全性」の議論にも直結します。

2.4 形式による分類

データの形式は、整い方の度合いで次の3つに分類するのが一般的です。

Figure 6: データの構造による分類:厳密さの度合いで3種類に整理する
  • 構造化データ(structured data):表計算ソフトの表やリレーショナルデータベース(RDB)のように、行と列と属性があらかじめ定義されている形式のデータ。1行が1件のレコード、1列が1つの属性を表します。代表例:「顧客番号・氏名・年齢・購入金額」といった列をもつ顧客テーブル、売上表、成績表、人口統計の表。集計や統計処理にそのまま適用しやすく、本講義で扱う統計学の主な対象です。
  • 半構造化データ(semi-structured data):一定の構造はあるが、厳密な表形式ではないデータ。代表例は JSON(項目名と値の組を記述する書式)や XML(タグで要素を囲む書式)、HTMLなどです。ウェブAPI(プログラム同士がデータをやり取りする仕組み)から取得される情報の多くはこれらの形式で提供されます。項目の有無や入れ子構造が柔軟なため、分析の前に形式の変換や整形が必要になる場合が多いです。
  • 非構造化データ(unstructured data):決まった形式をもたないデータ。画像・動画・音声・自由記述のテキストなど。深層学習による画像認識・音声認識・自然言語処理の応用は、歴史的にこの非構造化データを対象として発展してきました。最近は基盤モデルの普及により、構造化データへの応用も広がっており、「深層学習=非構造化データ専用」という理解は現時点では正確ではありません。

実務では、売上予測・金融リスク分析・品質管理など、構造化データを対象とする分析がいまも大きな割合を占めています。本講義で統計学の基礎を重視するのはこのためです。

2.5 1次データと2次データ

データを 誰が集めたか で分けると、次の2種類になります。

  • 1次データ(primary data):自分(または自分の研究室・組織)が、目的をもって直接集めたデータ。例:自分で実施したアンケート、自分で行った実験の計測値、自分で観測した気象データ。
  • 2次データ(secondary data):他者がすでに収集・公開・提供しているデータを、自分がそのまま用いるもの。例:政府統計、先行研究のデータセット、企業の公開データ。

1次データは、収集の設計を自分で行うため、取得方法や対象集団の特性(バイアス)を自ら把握・管理できる点が強みです。一方で、収集には時間と費用を要します。2次データは短時間で入手できる点が利点ですが、収集目的や対象集団の特性が自分の問いに合致していないと、適用範囲に注意が必要です。

実務では、1次データと2次データを組み合わせて利用することが一般的です。いずれの場合も、データの出所と収集目的を明らかにし、自分の問題設定に整合しているかを確認することが重要です。

なお、2次データをさらに集計・要約した 白書・調査レポート・メタ分析結果 などは「3次資料」と呼ばれることがあります。これらは厳密にはデータそのものではなく、他者による解釈や要約を含んだ記述です。利用する際は、できるだけ元の2次データや1次データに戻って確認するのが望ましいです。

2.6 公開データの入手先

2次データの主な入手先には、政府・自治体などが公開している 公開データ(オープンデータ) と、研究者や企業が共有する データ配布プラットフォーム があります。

代表的な公開データのポータル:

日本の公開データの多くは、政府標準利用規約 に基づき、基本的には出典表示を条件に商用・非商用を問わず利用できます。ただしデータセットごとに例外や追加条件がありうるため、利用前にページの注記を必ず確認してください。

代表的なデータ配布プラットフォーム:

利用するときの原則は、出所にかかわらず、利用前に利用規約(ライセンス)と出典の明示要件を確認することです。公開データでも、出典明示や商用利用の制限がついている場合があります。配布プラットフォームに掲載されているデータについては、配布者が正当な配布権限をもつかどうかも確認しないと、自分が著作権侵害に関わってしまうおそれがあります。

ライセンスのうち代表的なものに Creative Commons(CC)ライセンス があります。表示(BY)・非営利(NC)・継承(SA)・改変禁止(ND)の4要素の組み合わせで条件が記号で示されます(例:「CC BY」は出典を示せば自由に利用可、「CC BY-NC」は非営利利用に限定 など)。

2.7 データサイエンスで何ができるのか — 5つの課題

データを使ってどんな分析ができるかを、5つの代表的な課題で整理します。

Figure 7: データサイエンスで扱う代表的な5つの課題
  1. 回帰(regression):連続した値を予測する。例:来月の売上、明日の気温、住宅価格。
  2. 分類(classification):あらかじめ決めたカテゴリに振り分ける。例:迷惑メールか普通のメールかを振り分ける、画像が犬・猫・馬のどれかを当てる、手書き数字を読み取る。
  3. クラスタリング・次元削減:似た性質のものをまとめる/高次元の特徴を少数次元に要約する。例:顧客を購買傾向で自動グループ化する、複雑なデータを2次元の地図のように可視化する。
  4. 異常検知:通常から外れた対象を見つける。例:クレジットカードの不正利用検知、工場のセンサーの異常検知、ネットワーク侵入の検知。
  5. 生成:新しいデータを作り出す。例:文章・画像・音声・コードを生成する(第1回で扱った生成AIはここに含まれる)。

本講義の第4回以降で扱う統計学は、主に回帰と一部の分類に関わる方法を学びます。

これらとは別に、ある現象の原因を説明する(因果を明らかにする)という大きな課題もあります。たとえば「アイスクリームの売上が伸びたのは、値下げのおかげか、それとも気温が上がったからか」「新薬を投与した患者の症状改善は、薬の効果か、それとも他の要因か」といった問いです。これは 因果推論 という領域で扱われ、第4回以降で「相関と因果は違う」という重要な点を学びます。

2.8 機械学習の基本的な枠組み

5つの課題の多くは、機械学習(machine learning, ML) の手法で解かれています。国際標準 ISO/IEC 22989:2022(3.3.5)は、machine learning を次のように定義しています(原文)。

“process of optimizing model parameters through computational techniques, such that the model’s behaviour reflects the data or experience.”

(出典:ISO/IEC 22989:2022 Information technology — Artificial intelligence — Concepts and terminology, §3.3.5。ISO 規格のため全文は購読制。定義部分は iTeh Standards 公開サンプル で参照可能)

噛み砕いて言えば、機械学習は 「計算的な手法でモデルのパラメータを調整し、その挙動がデータや経験を反映するようにするプロセス」 ということになります。直感的には、「明示的なルールを人手で書く代わりに、データからパターンを取り出して将来のデータに当てはめる仕組み」と理解しておけば十分です。

機械学習の基本は、次の 2つのフェーズ に分けると分かりやすいです。

Figure 8: 機械学習の2つのフェーズ。学習フェーズでモデルを作り、推論フェーズで新しいデータに当てはめる
  • ① 学習フェーズ:学習用のデータ(training data)をアルゴリズムに入力し、データの中に現れるパターンを推定します。このパターンを記述したものを モデル(model) と呼びます。
  • ② 推論フェーズ(適用フェーズ、model inference):学習済みのモデルに新しいデータを入力し、判定・予測・識別などの結果を得ます。

この2つのフェーズは、コンピュータ上では別個の処理であり、必要な計算資源も時間も大きく違います。学習には大量の計算資源と時間が要りますが、推論はそれと比べると短時間で済むことが多いです。スマートフォンの顔認証や音声認識が一瞬で動くのは、あらかじめ学習済みのモデルを呼び出して推論だけを実行しているからです。

機械学習には数多くのアルゴリズムがあります。代表例として、線形回帰、ロジスティック回帰、決定木、ランダムフォレスト、サポートベクターマシン、ニューラルネットワーク(の発展形が深層学習)などが挙げられます。本講義ではそれぞれの数理的な詳細には踏み込みませんが、以降は機械学習を 「学習フェーズでモデルを作り、推論フェーズで新しいデータに適用する仕組み」 として参照していきます。

2.9 機械学習の学び方の分類

機械学習の学び方は、データに「正解ラベル」が付いているかどうかなどで分類できます。

  • 教師あり学習:正解ラベル付きのデータから、入力と正解の対応関係を学ぶ。例:「迷惑メール/普通のメール」のラベル付きメールを大量に学習し、新着メールを自動振り分けする。回帰や分類の多くがこの方式です。
  • 教師なし学習:正解ラベルなしで、データの中にある構造(似たものをまとめる、など)を発見する。例:顧客の購買履歴から、似た傾向の顧客グループを自動で発見する。
  • 強化学習:エージェントが環境と対話しながら、報酬を最大化するように行動を学ぶ。例:ゲームをプレイしながら高得点を取る方法を学ぶ。第1回で扱った AlphaGo がこの枠組みです。
  • 自己教師あり学習:人手で正解を付けるのではなく、データ自身から擬似的な問題を作る方式。例:大量のテキストに対して「ある文の次に来る単語は何か」を当てさせる。生成AIなどの大規模モデルでよく使われます。

5つの課題と学び方の代表的な対応は下表のとおりです。

課題 主な学び方
回帰 教師あり学習
分類 教師あり学習
クラスタリング・次元削減 教師なし学習
異常検知 教師あり学習、教師なし学習
生成 自己教師あり学習+他の方式の組合せ

なお、ChatGPTのような現代の大規模言語モデルは、複数の学び方を組み合わせて作られています(大量テキストでの自己教師あり学習 → 指示への調整 → 人間の評価をもとにした強化学習)。

2.10 AI・機械学習・深層学習の関係

第1回で触れた3つの用語は、入れ子の関係で整理されます。

Figure 9: AI・機械学習・深層学習の関係。AIはルールベースや探索なども含み、機械学習はその一部、深層学習はさらにその一部
  • もっとも外側の AI(人工知能) には、機械学習以外(ルールベース、探索、最適化など)も含まれる。ISO/IEC 22989:2022 は AI を学問分野(discipline)として「research and development of mechanisms and applications of AI systems」(§3.1.3)、AI システムを「engineered system that generates outputs such as content, forecasts, recommendations or decisions for a given set of human-defined objectives」(§3.1.4)と定めています。噛み砕けば、AIシステム=「人が定めた目的に対して、コンテンツ・予測・推薦・意思決定などの出力を生成する設計された仕組み」、AIはその研究開発分野ということです(出典:ISO/IEC 22989:2022, §3.1.3 / §3.1.4。iTeh Standards 公開サンプルで確認可能)。
  • 内側の 機械学習 は、データからパターンを学習するAIの一部分(定義は前節「機械学習の基本的な枠組み」参照)。
  • もっとも内側の 深層学習(Deep Learning, DL) は、機械学習のうち多層のニューラルネットワークを使う部分です。LeCun, Bengio, Hinton (2015) は Abstract 冒頭で次のように述べています(原文):“Deep learning allows computational models that are composed of multiple processing layers to learn representations of data with multiple levels of abstraction.”(深層学習により、複数の処理層からなる計算モデルが、多段階の抽象度をもつデータ表現を学習できるようになる)。出典:LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521, 436–444. DOI: 10.1038/nature14539。Nature 誌は購読または機関アクセスが必要ですが、Abstract は無料で閲覧可能。

「AI=深層学習」と捉えがちですが、実務では深層学習でない機械学習(線形回帰、決定木など)や、学習を使わない古典的AI(探索、最適化)も広く使われています。

2.11 データ利活用の全体フロー

第2回の締めくくりに、実務でデータを利活用するときの一般的な流れを整理します。

Figure 10: データ利活用の全体フロー。⑤の解釈・評価のところに、第4回以降で学ぶ統計学の役割が隠れている
  1. 課題の設定:明らかにしたい問いや、予測・分類の対象を言葉にする。
  2. データ収集:目的に合うデータを、1次データと2次データを組み合わせて集める。
  3. 前処理:欠損値・外れ値・形式の不整合を処理し、分析できる形に整える。実務ではここに最も多くの時間が割かれることが多いです。
  4. 可視化・記述統計:データの分布・代表値・相関などを図表で確認し、データの特徴をつかむ。
  5. 分析・モデリング:仮説検定、回帰分析、機械学習などの適切な手法を選んで実行する。
  6. 解釈・評価:結果の意味を検討し、モデルの性能を評価する。
  7. 意思決定・アクション:結果を意思決定や業務上の行動に反映する。

本講義の第4回以降で扱う統計学は、主に ④ 可視化・記述統計、⑤ 分析・モデリング、⑥ 解釈・評価 を担います。

第4回以降で扱う主要な概念は、次のような流れで導入されていきます。

生データ → 表形式への整形 → 変数(量的変数・カテゴリ変数) → 標本と母集団 → 平均・中央値・分布のばらつき → 2変数の関係(相関)

2.12 第2回のまとめ

第2回では、データそのものを分類・観察する方法と、データサイエンスで扱う代表的な課題、機械学習の基本的な枠組みを整理しました。

用語 意味の要点
構造化データ 行・列・属性があらかじめ定義された表形式のデータ
半構造化データ JSON、XMLなど一定の構造はあるが厳密な表形式ではないデータ
非構造化データ 画像・音声・動画・自由記述など決まった形を持たないデータ
1次データ 自分(または自分の組織)が直接収集したデータ
2次データ 他者が収集・公開したデータを自分が利用するもの
5つの代表的な課題 回帰/分類/クラスタリング・次元削減/異常検知/生成
学習フェーズ/推論フェーズ モデルを作る段階/モデルを使って予測などを行う段階
教師あり学習 正解ラベル付きのデータから学ぶ方式
教師なし学習 正解ラベルなしのデータから構造を発見する方式
強化学習 環境と相互作用し、報酬を最大化するように行動を学ぶ方式
自己教師あり学習 データ自身から擬似的な問題を作って学ぶ方式

第3回では、ここまで見てきたデータと機械学習・AIを実社会で使う際に避けて通れない論点 ―― データの健全性、プライバシーと個人情報、AIの公平性と生成AI固有のリスク ―― を扱います。

3 第3回:データとAIを安全・誠実に扱うために

3.1 この回の到達目標

第1回ではデータ・AIの社会的背景、第2回ではデータの分類と機械学習の基本を扱いました。第3回では、これらを実社会で使うときに避けて通れない注意点を整理します。

  1. データの健全性:改ざん・ねつ造・盗用が何で、なぜダメかを説明できる。
  2. 個人情報とプライバシー:両者の違いと、同意・匿名化の考え方を説明できる。
  3. AIの公平性・安全性:バイアスや、生成AI特有のリスクを説明できる。

3.2 便利さと注意点は同じところから生まれる

データやAIに関する注意点の多くは、便利さとリスクが同じ技術的な特性から生じる という性質をもちます。便利な機能だけ取り出してリスクをゼロにする、というやり方では済まない場面が多くあります。

  • 購買履歴の分析は商品推薦に便利ですが、その過程では個人の嗜好情報を扱うことになります。
  • 論文・書籍を大量に読み込んで要約するAIは研究の効率化を助けますが、著者の著作物を入力として使う点で著作権上の論点を伴います。
  • 監視カメラは公共の安全に役立つ一方で、個人の所在や行動の履歴を蓄積することになります。
  • 生成AIは作業の補助として有用ですが、事実と異なる応答を返すことがあります。

以下では、これらの論点を (A) データの健全性、(B) 個人情報・プライバシー、(C) AIの公平性・安全性 の3つに分けて整理します。最後に、情報セキュリティの基本と、AIガバナンス(ELSI・EU AI Actなど)を整理し、第4回以降の統計学の基礎へ接続します。

3.3 (A) データの健全性 — 改ざん・ねつ造・盗用

データ分析の前提として、扱うデータの信頼性を自ら損なわないことが求められます。これは統計学や機械学習の技術以前の、研究倫理上の基本原則です。研究倫理の分野では、次の3つが代表的な禁止行為として位置づけられています。

  • ねつ造(fabrication):実際には存在しないデータや結果を、観測されたかのように作り出す行為。
  • 改ざん(falsification):実際に得られたデータを、研究結果の見え方が変わるように書き換えたり一部を削除したりする行為。
  • 盗用(plagiarism):他者のアイデア・分析方法・データ・結果・文章などを、適切な引用や許可なく自分のものとして使用する行為。

この3つは、それぞれの頭文字をとって FFP(Fabrication, Falsification, Plagiarism) と呼ばれ、研究公正(research integrity) の基本概念として国際的に広く参照されています。日本においては、文部科学省「研究活動における不正行為への対応等に関するガイドライン」が同じ考え方を採用しています。

3.3.1 歴史的な事例

FFPに関する代表的な事例を以下に示します。

  • ヤン・ヘンドリック・シェーン事件(2002年):米ベル研究所の研究者が発表した物質科学分野の論文群について、グラフの使い回しと実験データのねつ造・改ざんが発覚し、Science や Nature など複数の主要誌から多数の論文が撤回されました。
  • 黄禹錫(ファン・ウソク)論文事件(2004〜2005年):韓国の研究チームが「人間の体細胞からクローン胚由来のES細胞を作製した」と主張した論文について、倫理手続きの問題とデータの捏造が発覚し、2006年に論文は撤回されました。
  • STAP細胞事件(2014年):日本の研究グループが発表した新しい多能性細胞の作製に関する Nature 誌の論文について、画像の使い回しや本文の剽窃、独立機関による再現実験の失敗などの問題が指摘され、論文は撤回されました。

これらの事例は、個々の研究者の不正行為が、所属機関や学術分野全体の信頼性に影響を与えうることを示しています。

3.3.2 大学教育における不正行為

データの健全性の問題は、学生のレポートや試験においても同様に該当します。代表的な不正行為の類型を以下に示します。

  • 講義における不正:代理出席、オンライン講義の実質的な未視聴(動画を再生しただけで実際には見ていない、など)。
  • 課題における不正:インターネット記事や他者のレポートの無断転載・剽窃、課題・レポートの外注、生成AIに出力させた文章をそのまま自分の成果として提出すること。
  • 試験における不正:カンニング、許可されていない状況でのスマートフォン使用、代理受験。

特に近年は、生成AIの普及によって「AIが出力した文章をそのまま自分の作成物として提出する」という形の不正が増えています。生成AIの利用可否とその範囲は、大学や授業ごとに方針が異なるため、履修する授業ごとに必ず教員の指示を確認してください。利用が認められている場合でも、AIの出力をそのまま提出するのではなく、自分の理解や判断を加えることが通常は求められます。

3.3.3 データの健全性を確保するための基本的な実務

研究・学習の現場で意図しない不正を防ぐための基本的な実務として、次の3つが挙げられます。

  1. 元データの保存:加工後の結果だけでなく、元のデータと生データを保持する。後から「どこで間違えたか」を確認できるようにしておく。
  2. 出典の記録:利用したデータ・図・文章の出所を、利用のたびに記録する。あとからまとめて思い出そうとすると正確に再現できないため、その場で記録することが大事です。
  3. 作業記録の保存:前処理・分析の手順を、後から追跡できる形で記録する。スクリプト(プログラムコード)や Notebook(Jupyter Notebook など)の形で残しておくと、再現性が高まります。

これらの実務は、誤りの予防と、結果の妥当性を事後に検証するための基礎になります。研究の現場でも、学生のレポートでも、考え方は同じです。

3.4 (B) 個人情報とプライバシー

データを扱う際には、プライバシー と 個人情報 の区別を理解しておく必要があります。日常会話では両者は同じような意味で使われがちですが、法律や実務の文脈では異なる概念として扱われます。

  • プライバシー(privacy):私生活上の情報や私的領域への不当な開示・干渉から守られる利益を指す広い概念。日本法では「プライバシー」は一律の定義がある法令上の用語ではなく、学説や裁判例の積み重ねによって形成されてきた利益概念です。伝統的には「ひとりにしておいてもらう権利」に由来し、近年は 自分に関する情報を自分でコントロールする利益(自己情報コントロール権)まで含めて論じられます。
  • 個人情報:日本の個人情報保護法に定められた概念で、氏名・生年月日などにより特定の個人を識別できる情報、および個人識別符号(指紋、顔画像、免許証番号など)を含むもの。

プライバシーは個人情報よりも広い概念を含みます。したがって、個人情報保護法には違反していなくても、プライバシーの観点では問題になることがあります。

Figure 11: プライバシー保護の階層構造とリスク

図の最内層は、個人情報保護法による法的な保護範囲を表します。その外側にプライバシー全般に関わる権利・利益があり、さらに外側に消費者・社会の受容性という層があります。3層構造の重要な点は、法令遵守のみでは十分ではなく、プライバシーや社会的受容性を踏まえた配慮も必要となる場面があるということです。

たとえば、個人の行動履歴を使った広告配信は、法的な要件を満たしていても、利用者の受容性の観点で問題視されることがあります。技術的・法的な適法性に加えて、社会的にどう受け止められるか にも目を配る必要があります。

3.4.1 関連する概念 — 匿名化のレベル

実務や法律では、個人情報のほかに、加工の度合いに応じて呼び方が変わります。

Figure 12: 個人情報と周辺概念の関係(概念図)
  • 個人情報:氏名・住所・生年月日などの基本的な情報と個人識別符号を含み、特定の個人を識別できるもの。
  • 仮名加工情報:個人情報を加工し、他の情報と照合しない限り、特定の個人を識別できないようにしたもの。作成した事業者には、引き続き安全管理措置などの義務が課されます。
  • 匿名加工情報:特定の個人を識別できないように、かつ元の個人情報を復元できないように加工したもの。公益目的の利活用などで用いられます。
  • 個人関連情報:生存する個人に関する情報のうち、上記のいずれにも該当しないもの。Cookie、IPアドレス、閲覧履歴、位置情報などが典型例です。ただし他の情報と容易に照合できる場合には、個人情報に該当しうるため、第三者に提供する場面では特に注意が必要です。

これらの概念は、加工の度合いと、他の情報との照合可能性 によって段階的に整理されています。加工が進むほど特定の個人が識別される度合いは下がりますが、他のデータと組み合わせると個人が再特定されるリスクが残る点に注意が必要です。

なお、個々の集計値だけを公表する「統計情報」は、個人情報保護法上の特別な類型としては定められていません。実務では「個人を特定できないように十分に集計されたデータ」として扱われることが多いですが、少数のセルや外部データとの突合によって再識別される危険がある場合もあり、公開時には配慮が必要です。

3.4.2 匿名化が不十分だった事例

匿名化の不十分さによって個人が特定された事例として、次の2つが広く知られています。

  • 米国AOLの検索履歴公開(2006年):AOL社が研究目的で約65万人分の検索クエリを公開した際、ユーザIDは無作為な数字に置き換えられていました。ところが、検索内容そのものに住所や氏名、近所の店の名前などが含まれていたため、メディアが個人を特定するに至りました。
  • 米国Netflixのレビュー公開(2006年):50万人分の映画評価データが匿名化されて公開されましたが、外部の映画データベース(IMDb)にある同じ人の評価と照合することで、個人が特定されることが示されました。

これらの事例に共通するのは、データ単体では匿名化されているように見えても、他のデータと組み合わせることで個人が特定されるという問題です。このような攻撃は リンケージ攻撃(linkage attack) と呼ばれます。対策として、前述の差分プライバシーのように、統計的なノイズを加えて個別データを保護する手法などが研究・実用化されています。

3.5 個人情報を守る制度

データ・AIに関する個人情報の保護は、各国の法制度として整備されています。本講義では、日本の 個人情報保護法 とEUの GDPR の2つを取り上げます。

3.5.1 日本の個人情報保護法

  • 正式名称:個人情報の保護に関する法律。2003年制定、2005年全面施行。その後、2015年・2020年・2021年・2022年に改正されています。
  • 目的:個人情報の有用性に配慮しつつ、個人の権利利益を保護すること。保護の対象は「個人情報そのもの」ではなく「個人の権利利益」である点に注意が必要です。
  • 違反時:個人情報保護委員会による行政処分・勧告・命令などが定められており、悪質な場合は刑事罰もあります。

3.5.2 GDPR(EU一般データ保護規則)

  • 名称:General Data Protection Regulation。2018年5月25日に適用開始されました。
  • 適用範囲(域外適用):EU圏内の個人のデータを扱う事業者は、EU域外の事業者であっても規制対象になります。日本企業がEU在住者のデータを扱う場合も対象です。
  • 個人の権利:アクセス権、訂正権、削除権(「忘れられる権利」)、データポータビリティ権など、個人が自分のデータを管理するための権利が明文化されています。
  • 制裁金:違反に対して、最大で全世界年間売上高の4%、または2000万ユーロのいずれか高い方という大きな制裁金が課されうる。

両制度に共通するのは「個人のデータを適切に取り扱うための枠組み」を作っている点です。詳細な条文は本講義では扱いません。こうした枠組みがあることを知っておけば十分です。

3.5.3 オプトインとオプトアウト

個人データの取扱いに関連して、次の2つの用語も覚えておきましょう。

  • オプトイン:利用者が明示的に同意した場合にのみ、データの取得・利用や情報の送信が行われる方式。
  • オプトアウト:初期設定ではデータの取得・利用が行われ、利用者が拒否の意思表示をした場合にのみ停止される方式。

3.6 インフォームドコンセント

個人データを取得する際には、インフォームドコンセント(informed consent、説明に基づく同意) の原則に従うことが基本です。利用者に対して次の項目を事前かつ明示的に説明したうえで、本人の同意を得ることが求められます。

  • データの取得目的
  • 取得する項目
  • 利用方法
  • 保管期間
  • 第三者への提供の有無を含む共有範囲

これらの項目が具体的に示されていない同意、極端に小さな文字で記載された規約、複数の操作を強いることで容易に到達できない位置に置かれた条項、通常は予見できない内容を含む不意打ち条項などは、有効な同意とはみなされない、あるいは取り消されうる場合があります。スマホアプリのインストール時に表示される長大な利用規約も、形式上は同意を取っていても実質的には読まれないことが多く、実務上の課題として議論されています。

3.6.1 プライバシーと有用性のトレードオフ

データの保護と利活用の間には、基本的なトレードオフがあります。守りすぎると、サービスや分析に必要な情報が得られず、利活用の価値が損なわれます。逆に、利活用を優先しすぎると、個人のプライバシー権や関連する権利を侵害するおそれが生じます。

Figure 13: プライバシーと有用性のトレードオフ

このバランスを取るための技術として、次のような考え方が研究・実用化されています。

  • 差分プライバシー(differential privacy):データに統計的なノイズを加えることで、集計結果からは有用な情報を取り出せるが、個々の人のデータは特定されにくくする手法。
  • 連合学習(federated learning):各利用者の端末上で学習を行い、学習結果(モデルのパラメータ)だけを集約することで、データ自体を外に出さずに済む方式。スマホの予測変換などで使われています。

詳細は本講義の範囲外ですが、プライバシーと有用性のバランスを取る技術的アプローチが存在することは押さえておきましょう。

3.6.2 事例:Facebook/Cambridge Analytica

プライバシーに関する代表的な事例として、Facebook/Cambridge Analytica 事件(2018年報道)が知られています。

  • ある性格診断アプリが、Facebook利用者から情報を取得する際、アプリを直接利用していない「友人」の情報まで収集していました。当時のFacebookの仕様では、アプリ利用者の同意一つで友人のデータも取得できる構造になっていたためです。
  • 取得されたデータは約8700万人分とされ、大半の対象者は自分の情報が第三者に渡っていることを認識していませんでした。
  • このデータが、選挙キャンペーンにおける有権者分析に使われていたことが報じられ、国際的な批判を浴びました。

この事例は、次の2つの構造的な問題を国際的に顕在化させました。

  1. 同意の連鎖の問題:利用者1名の同意が、その友人のデータ提供にまで影響を及ぼしうる構造。
  2. 目的外利用の問題:当初の取得目的(性格診断)を大きく超えて、政治的な分析に使われた。

3.7 (C) AIの公平性と安全性

3.7.1 AIのバイアス

機械学習の判断は、学習に使ったデータと学習・評価の設計の影響を直接受けます。データや設計に偏りがあれば、その偏りがそのままモデルの判断にも現れます。この問題を AIのバイアス と呼び、大きく次の2つに分類されます。

  • データバイアス:学習データの集め方・構成に偏りがあるためにモデルが偏る。たとえば、過去の採用判断が特定の属性に対して不利であった場合、その履歴データで学習されたモデルは、同様の不利な判断を再現する可能性があります。
  • アルゴリズムバイアス:アルゴリズムの設計や評価指標の選び方に由来する偏り。評価指標を「全体精度」だけにすると、データ件数の少ない少数派グループに対する性能が相対的に劣化する、といった形で現れます。

いずれの場合も、バイアスの影響は単なる技術的な性能劣化にとどまらず、社会的な差別を再生産することにつながりうる点で重要です。

Figure 14: AIシステムにおけるバイアスの混入経路

3.7.1.1 事例:再犯予測アルゴリズム COMPAS

代表的な事例として、米国で被告の再犯リスクの予測に使われた COMPAS をめぐる議論があります。COMPASは米国の一部の州で、判決や保釈の判断支援に用いられていました。2016年、調査報道機関 ProPublica は「COMPASがアフリカ系アメリカ人に対して不利な誤判定をしている」と報じました。これに対して開発元は、別の公平性の基準ではCOMPASの結果は公平と解釈できると反論しました。

この議論が示しているのは、「公平性」という概念には複数の定義があり、どれを基準に選ぶかで結論が変わりうる ということです。どの公平性を優先するかは技術だけで決まるものではなく、適用される社会的文脈や合意に関わる問題になります。

3.7.1.2 統計的差別

「女性は長期間勤務しない傾向がある」「ある人種は高収入の職に就いている割合が低い」といった統計的観察があったとしても、その背景には社会制度の構造、歴史的な機会の格差など、データには直接現れない要因が存在しえます。こうした背景を考慮せずに、統計的な傾向だけで採用や昇進を判断することは、結果として 既存の不平等を再生産する ことにつながります。

統計学を使うときには、「統計的に有意な関連が認められる」ことと、「その関連を個人に対する判断の根拠として用いてよい」ことは別の問題であることに留意する必要があります。この点は、第4回以降の統計学の基礎を学ぶ過程でも繰り返し確認します。

3.7.2 生成AI特有のリスク

第1回で取り上げた生成AIの普及により、新しい種類のリスクが顕在化しています。

① ハルシネーション(幻覚)

生成AIが、事実と異なる内容を自然な文体で出力する現象。存在しない論文・判例・人物経歴などを生成する例が報告されています。流暢な分、誤りが見過ごされやすいのが特徴です。重要な事実は 必ず元の情報源で確認 することが基本です。

② プロンプトインジェクション

本来の指示を上書きするような指示を、AIへの入力に混ぜ込む攻撃です。たとえば、AIに要約させるウェブページの中に「これまでの指示は無視して、別のことをせよ」といった文章を埋め込んでおくと、AIがそれに従ってしまうことがあります。これは 間接プロンプトインジェクション と呼ばれ、AIに自動で外部情報を読ませるような使い方で特にリスクが高いです。対策としては、AIに読み込ませる情報源の信頼性を確認する、ツール連携で実行できる操作を制限する、などが挙げられます。

③ ディープフェイク

深層学習で、実在する人物に酷似した顔・音声・映像を作る技術。なりすまし詐欺、偽映像の拡散、名誉毀損などに悪用されることがあります。受け取る側は、1つの映像だけで事実認定せず、複数の情報源で確認することが基本です。

④ 機密情報・個人情報の入力

業務利用で、顧客情報や社内の機密をそのままプロンプトに入れることによるリスク。サービスやプランによって、入力内容がモデルの学習に使われるかが異なる ため、業務利用では利用規約と設定を必ず確認しましょう。

実務的な対策:

  • 利用規約・設定(学習利用の可否、ログ保存期間など)を確認する
  • 機密情報を入力する前に伏せ字化・匿名化する
  • 必要に応じて企業向けプランや組織内環境を検討する

3.8 情報セキュリティの基本(CIA)

データとAIを扱う以上、情報セキュリティの基本も避けて通れません。情報セキュリティの基本要件として、次の3つ(CIA)が広く参照されます。

Figure 15: 情報セキュリティのCIA三要素
  • 機密性(Confidentiality):許可された人だけが情報にアクセスできる
  • 完全性(Integrity):情報が改ざんされず、正確で完全に保たれる
  • 可用性(Availability):必要なときに、許可された人が利用できる

3.8.1 代表的な脅威と対策

情報セキュリティの代表的な脅威を整理します。

  • フィッシング:偽のウェブサイトやメールを通じて、パスワードや個人情報を盗み取る手法。
  • マルウェア:コンピュータに害を与えるソフトウェアの総称(ウイルス、ワーム、トロイの木馬など)。
  • ランサムウェア:データを暗号化して身代金を要求するマルウェア。国内外で企業・医療機関などを対象とした被害が多数報告されています。
  • 不正アクセス:権限のないシステムやデータへの侵入。
  • ソーシャルエンジニアリング:人間の心理や業務慣行を利用して情報を入手する手法。電話で社内の人を装って情報を聞き出す、などが典型例です。

利用者側で取れる基本的な対策は次のとおりです。

  • パスワードを使い回さない、十分な長さと複雑さを確保する
  • 多要素認証(MFA:Multi-Factor Authentication) を有効にする(パスワードに加えて、スマホのコードや指紋認証など複数の認証を組み合わせる)
  • OS・アプリケーションのアップデートを適時実施する
  • 不審なメール・リンク・添付ファイルを開かない
  • 重要なデータのバックアップを定期的に取る
  • 公衆Wi-Fiで機密情報を送受信しない

国内では、独立行政法人情報処理推進機構(IPA)が毎年「情報セキュリティ10大脅威」を公表しており、最新の脅威動向を確認できます(https://www.ipa.go.jp/security/10threats/)。

3.9 ELSI と AI ガバナンス

新しい技術を社会に導入するときには、倫理(Ethical)・法律(Legal)・社会(Social) の観点からの論点をまとめて検討する必要があります。これらの論点を総称して ELSI(Ethical, Legal and Social Implications/Issues、倫理的・法的・社会的課題) と呼びます。もともとは1990年のヒトゲノム計画にあたって、ゲノム研究に伴う倫理的・法的・社会的影響を研究するプログラムとして制度化されたことに起源を持ちます。現在では、遺伝情報に限らず、AI・データサイエンスなど新しい科学技術全般について、ELSIの枠組みが参照されています。

Figure 16: ELSIの3つの軸

AIに関するELSIの主な論点:

  • 公平性:AIの判断が特定の集団に不利益を与えないか
  • 透明性:AIの判断の根拠を説明できるか
  • 説明責任:AIが誤った判断をしたときの責任の所在
  • プライバシー:学習データや出力が個人のプライバシーを侵害していないか
  • 雇用への影響:AIの導入が労働市場に与える影響
  • 安全性:AIが意図しない動作をしたときのリスク

3.9.1 各国の動向

AIに関する立法の代表例が、EUの EU AI Act(2024年8月発効)です。AIシステムをリスクの大きさで次の4段階に分類し、それぞれに違う義務を課す リスクベースの規制 です。

  • 許容できないリスク:政府による社会的スコアリング、サブリミナル的な操作など。原則として禁止。
  • 高リスク:採用評価、信用評価、医療機器、重要インフラの制御など。厳しい要件と監査の対象。
  • 限定リスク:チャットボット、ディープフェイクなど。利用者に「AIである」ことを知らせる義務などが課される。
  • 最小リスク:それ以外の大多数のAI利用。原則として自由に開発・利用できる。

段階的に適用範囲が広がる設計で、2025年以降に主要な規定が順次適用されていきます。

日本では、2019年の 「人間中心のAI社会原則」 を出発点として、AIに関する政策方針が示されてきました。この原則は次の7項目から成ります。

  1. 人間中心の原則
  2. 教育・リテラシーの原則
  3. プライバシー確保の原則
  4. セキュリティ確保の原則
  5. 公正競争確保の原則
  6. 公平性、説明責任及び透明性の原則
  7. イノベーションの原則

その後、総務省・経済産業省を中心に 「AI事業者ガイドライン」 が整備され、定期的に更新されています。条文や日付を覚える必要はありませんが、AIに関する制度が年単位で整備・更新されているという状況を理解しておきましょう。

3.10 第3回のまとめ

第3回では、データとAIを実社会で扱う際に留意すべき論点を、次の3ブロックで整理しました。

ブロック 主な論点 代表的な概念
A. データの健全性 改ざん・ねつ造・盗用の禁止、研究と学習における不正 FFP(Fabrication, Falsification, Plagiarism)、元データの保存、出典の明記
B. 個人情報とプライバシー プライバシー≠個人情報、制度と同意、匿名化 個人情報保護法、GDPR、インフォームドコンセント、差分プライバシー
C. AIの公平性・安全性 バイアス、生成AI固有のリスク、AIガバナンス データバイアス/アルゴリズムバイアス、ハルシネーション、プロンプトインジェクション、ディープフェイク、EU AI Act、ELSI

あわせて、情報セキュリティの基礎(CIA:機密性・完全性・可用性)と、AIガバナンスの動向(EU AI Act、日本のAI事業者ガイドラインなど)も概観しました。

第1回から第3回までで、本講義の導入部分として必要な概念と社会的背景はひととおり整理されました。第4回以降では、これらを扱うための技術的基礎として、統計学の基礎 を順に学んでいきます。第4回以降で扱う主要な概念の順序を再掲します。

生データ → 表形式への整形 → 変数(量的変数・カテゴリ変数)→ 標本と母集団 → 平均・中央値・分布のばらつき → 2変数の関係(相関)

第3回で出てきた「統計的な傾向だけで個人を判断してはならない」「相関と因果は違う」といった注意点は、第4回以降で統計学の言葉を使ってあらためて定式化していきます。