写真・動画から暗黙知を抽出するマルチモーダルAI活用
ベテランの手元や設備の写真・動画には、言葉にならない暗黙知が詰まっています。マルチモーダルAIで動作・外観判定・異音を読み取り、手順や判断基準を文書化する方法を、現場の具体例と限界、技術伝承AIとの組み合わせまで解説します。
「手順書には書ききれない動きがある」。技術伝承の現場で、ベテランが必ず口にする言葉です。工具の当て方、力の抜き方、目で見て良否を判断する一瞬の感覚。これらは文章だけでは伝わらず、本人もうまく説明できません。だからこそ「暗黙知」と呼ばれ、継承の最大の壁になっています。
その壁に新しい角度から切り込むのが、写真や動画、音までを扱える「マルチモーダルAI」です。作業の様子を撮影するだけで、AIが手順や判断基準を読み取り、文書化を手伝ってくれます。本記事では、マルチモーダルAIとは何かという定義から、現場での具体的な活用例、できることと限界、そして技術伝承AIのドキュメント取込やインタビューとの組み合わせまでを解説します。
技術伝承AI（know-howAI）は、撮影した写真や動画、手順書を取り込み、ベテランへのAIインタビューと組み合わせて暗黙知を形式知に変えます。「映像に映った動き」と「本人の言葉」を一つのナレッジにまとめられます。
マルチモーダルAIとは何か：テキスト以外の情報も読み取るAI
マルチモーダルAIとは、テキストに加えて画像・動画・音声など複数の種類（モダリティ）の情報を同時に扱えるAIのことです。従来のAIが文字だけを処理していたのに対し、写真に写ったものを説明したり、動画の動きを言葉にしたり、音の異常を聞き分けたりできます。
技術伝承の文脈では、この「言葉以外を読み取れる」点が決定的に重要です。なぜなら、暗黙知の多くは映像や音の中にあり、文章には残っていないからです。
市場の動きもこれを裏付けています。マルチモーダルAI市場は2025年の21億7,000万米ドルから2026年には28億3,000万米ドルへ、CAGR30.6%で成長すると見込まれています（The Business Research Company, 2026年）。テキスト一辺倒だったAI活用が、画像・動画・音へ急速に広がっている段階です。
従来型AIとマルチモーダルAIの違いを整理すると、次のようになります。
| 項目 | 従来型AI（テキストのみ） | マルチモーダルAI |
|---|---|---|
| 入力できる情報 | 文字データ | 文字・画像・動画・音声 |
| 暗黙知への対応 | 言語化済みの知識のみ | 動作・外観・音など非言語情報も対象 |
| 現場での記録手段 | 入力・タイピング | 撮影・録画・録音 |
| 向いている用途 | FAQ、文章検索 | 作業動作の記録、外観判定、異音検知 |
つまりマルチモーダルAIは、「書く前提」だったナレッジ化を「撮る前提」へと変える技術だと言えます。
なぜ写真・動画に暗黙知が宿るのか
暗黙知が写真や動画に宿るのは、熟練者の判断の多くが「視覚」と「身体動作」に基づいているからです。本人が意識せずに行っている動きほど、言葉では再現できません。
製造業や建設業の現場では、技能の継承が長年の構造的課題とされ続けています。2025年版ものづくり白書でも、人口減少による人手不足と熟練技能の継承難が複数の構造的課題として指摘されています（2025年版ものづくり白書, 経済産業省・厚生労働省・文部科学省, 2025年）。ベテランが退職する前に、頭の中ではなく「動きそのもの」を残す必要があります。
文章では取りこぼされやすい暗黙知を、具体的に挙げてみます。
- 手元の動き：工具の角度、押し当てる力加減、手首の返し方
- タイミングと順序：どの瞬間に次の作業へ移るかの見極め
- 外観による良否判断：色味・艶・ムラを一目で見分ける感覚
- 音や振動の異常：正常時との「違い」を耳で察知する力
これらは「コツ」「カン」「目」といった一言でまとめられがちですが、その中身は映像と音に確かに記録されています。撮影して残しておけば、後からAIが読み解く手がかりになります。
ベテランの頭の中にある知識を質問で引き出す方法については「AIチャットボットで技能伝承を進める方法」もあわせてご覧ください。
現場での具体例：動作・外観・異音をどう読み取るか
マルチモーダルAIの活用は抽象論ではありません。製造・建設の現場で、すでに以下のような使い方が現実的になっています。
作業動作の記録と手順化
ベテランの作業を動画で撮影し、AIが「何をしているか」を時系列で説明文に起こします。例えば組立工程なら、「部品Aを溝に沿わせて差し込み、カチッと音がするまで押し込む」といった手順が映像から抽出されます。
人が後からゼロで文章化するより、たたき台が自動で用意される分、手順書づくりの負担が大きく減ります。AIが生成した手順を、本人が見ながら「ここは力を抜く」「この角度が大事」と補足すれば、文章だけでは残せなかったコツまで形式知になります。
外観判定の基準づくり
良品・不良品の写真をAIに学習・比較させることで、「どこを見て判断しているか」を可視化できます。熟練者が「なんとなく」で見分けていた傷やムラの基準を、画像つきで言語化できる点が価値です。
新人教育では、合格例と不合格例の写真を並べた判定基準集をつくれます。「この程度のムラは許容」「この艶のなさはNG」といった境界線を、言葉と画像の両方で示せます。
異音・振動の手がかり
設備の稼働音を録音し、正常時と異常時の違いを記録していく使い方もあります。ベテランが「いつもと音が違う」と感じる感覚は、まさに暗黙知の代表例です。
ただし音の異常検知は専門性が高く、後述するように現時点のマルチモーダルAIだけで完結させるのは難しい領域です。録音データを蓄積し、ベテランの説明とひもづけて残すことが、現実的な第一歩になります。
撮るだけで暗黙知を形式知に。まずは無料で
技術伝承AI（know-howAI）なら、現場で撮影した写真・動画を取り込み、AIインタビューでベテラン本人の言葉を重ねて、検索できるナレッジに変えられます。「書く時間がない」現場でも、撮るだけでノウハウが資産になります。
マルチモーダルAIにできること・できないこと
マルチモーダルAIは万能ではありません。導入で失敗しないためには、できることと限界を正しく線引きしておくことが大切です。
得意なことと不得意なことを整理します。
| できること | まだ難しいこと（限界） |
|---|---|
| 動画から作業手順のたたき台を生成 | 微妙な力加減や触感の完全な再現 |
| 写真から外観の特徴を言語化 | 業界固有の判断基準を学習なしで正確に適用 |
| 正常・異常の比較材料の整理 | 異音検知を単独で確実に判定 |
| 大量の映像・画像の一括説明づけ | 文脈のない映像から「なぜそうするか」を補完 |
特に注意したいのが、AIは「映っているもの」は説明できても、「なぜそうするのか」という意図までは映像だけからは読み取れない点です。たとえば「ここで一度手を止める」動作が映っていても、それが安全確認なのか、材料の状態を見ているのかは、本人に聞かなければ分かりません。
だからこそ、マルチモーダルAIは単独で使うより、ベテランへのインタビューと組み合わせてこそ力を発揮します。映像が「何を」を記録し、本人の言葉が「なぜ」を補う。この二つがそろって初めて、暗黙知は再現可能な形式知になります。
技術伝承AIのドキュメント取込・インタビューとどう組み合わせるか
マルチモーダルAIの出力を「使えるナレッジ」にするには、撮影・文書化・検索を一つの流れにつなぐ必要があります。技術伝承AI（know-howAI）は、この一連の流れを支える機能を備えています。
組み合わせの基本的な流れは次の通りです。
- 撮影・取込：作業動画や外観写真、既存の手順書を取り込む（ドキュメント取込）
- 言葉を重ねる：AIインタビューでベテラン本人に「なぜ」を質問し、意図を引き出す
- 構造化：映像から抽出した手順と、本人の説明を一つのナレッジにまとめる
- 検索・活用：必要なときに出典つきで引き出す（RAGチャット検索）、クイズやマニュアルに展開する
ここで重要なのは、映像だけ、文章だけで終わらせないことです。動画から起こした手順に、インタビューで得た判断理由を結びつけ、さらに出典つきで検索できる状態にして初めて、新人が「いつでも引ける知識」になります。
AIが出典つきで回答を返す仕組みについては「製造業のRAGナレッジ検索とは」で詳しく解説しています。また、文字を書くのが苦手な現場での記録方法は「音声入力で現場ナレッジを溜める仕組み」が参考になります。
どんな現場から始めるとよいか
マルチモーダルAIの活用は、すべての工程を一度に対象にする必要はありません。効果が出やすく、撮影しやすい工程から始めるのが定石です。
優先して取り組みやすい領域は次の通りです。
- 退職予定のベテランが担う工程：時間が限られているため最優先
- 手順書では伝わりにくい手作業：組立、調整、仕上げなど
- 外観で良否を判断する検査工程：基準を画像で残せる
- トラブル対応・段取り替え：頻度は低いが属人化しやすい
逆に、すでに手順が明文化され、誰でも同じ結果を出せる工程は後回しで構いません。「映像でしか残せない知識」を持つ人から着手することが、限られた時間を最大限に生かすコツです。
「聞ける相手がいなくなる」前に着手する重要性については「聞ける人がいない現場をAIナレッジ検索で解決する」もご覧ください。
技術伝承AI（know-howAI）でできること・料金
技術伝承AI（know-howAI）は、写真・動画・手順書の取込から、AIインタビュー、出典つきのRAGチャット検索、FAQ自動構築、クイズ自動生成、スキルマップ、QRコード、マニュアル自動生成までを一つにまとめたナレッジ継承SaaSです。中小製造業・建設業の現場で、撮るだけ・話すだけでノウハウを蓄積できます。
料金プランは以下の通りです。
| プラン | 月額 | 利用人数 |
|---|---|---|
| 無料 | 0円 | 3名まで |
| スタンダード | 4,980円 | 10名まで |
| プロ | 9,800円 | 人数無制限 |
| エンタープライズ | 個別見積 | 大規模・要件対応 |
まずは無料プランで、撮影した映像がナレッジに変わる手応えを確かめることをおすすめします。詳しい料金は料金プランのページをご確認ください。
よくある質問（FAQ）
Q. 特別なカメラや撮影機材が必要ですか？
A. 基本的にはスマートフォンで撮影した写真・動画で十分です。まずは手元が映る角度で、普段通りの作業を撮影することから始められます。
Q. 動画から自動でできた手順書は、そのまま使えますか？
A. たたき台として活用し、ベテラン本人が確認・補足する使い方を推奨します。AIは「映っている動き」は説明できますが、「なぜそうするか」という意図は本人の言葉で補う必要があるためです。
Q. 音の異常もマルチモーダルAIで判定できますか？
A. 録音データの蓄積や正常・異常の比較材料の整理には役立ちますが、異音検知を単独で確実に判定するのは現時点では難しい領域です。専用の設備保全ツールと併用するのが現実的です。
Q. 既存の手順書や写真も活用できますか？
A. はい。ドキュメント取込機能で既存の手順書・図面・写真を取り込み、新しく撮影した映像やインタビュー内容と一つのナレッジに統合できます。
Q. 費用をかけずに試せますか？
A. 3名までの無料プランがあります。費用をかけずに、撮影した映像がナレッジに変わる流れを体験できます。
撮影した映像を、引き出せる知識に
技術伝承AI（know-howAI）なら、写真・動画の取込とAIインタビューを組み合わせ、言葉にならない暗黙知を検索できる形式知に変えられます。ベテランが現場にいるうちに始めることが、何よりの近道です。まずは無料プラン（3名まで）でお試しください。
関連サービス：
- 現場DXツール9製品の比較ガイド — GenbaCompass：ナレッジ管理や動画マニュアルを含む現場DXツールを横断的に比較したい方向けの解説記事です。
- 設備故障につながる5つの異音パターン — PlantEar：設備の異音・振動の知見を技術伝承に活かしたい方におすすめのサービスです。
関連記事
めっき・表面処理の管理ノウハウ継承：液管理と外観判定の暗黙知
めっき・表面処理の現場は、処理液の管理と外観判定という熟練の暗黙知で支えられています。液の濃度・温度・電流密度の経験則とムラやヤケを見抜く目を、AIインタビューと記録でどう形式知化するか解説します。
形式知化が難しい暗黙知の種類と記録方法：種類別アプローチ
暗黙知と一口に言っても、身体技能型・判断型・状況依存型・関係性型・価値観型では記録の難しさも最適な手段も異なります。種類別に記録方法と優先順位を整理し、AIインタビューが効く領域まで具体的に解説します。
音声入力で現場ナレッジを溜める：手が離せない作業者でも記録できる仕組み
「書く時間がない・手が塞がっている」現場でもナレッジを蓄積するには。音声入力で話すだけで記録する仕組み、文字起こし精度、騒音対策、スキマ時間活用、構造化のコツを実践的に解説します。
セルフ診断
技術継承リスク診断
5つの質問に答えるだけで、あなたの組織の技術継承リスクを簡易診断します。所要時間は約1分です。