【この記事の位置づけと作成の経緯】
本記事は、福井大学における早期卒研配属を検討している学内学生への研究室紹介を出発点として、庄司研究室の音楽支援システム研究を、学外の方にも分かりやすく伝えるために再構成したものです。
もともとは、配属を検討している学生が、研究室の方向性、卒業研究テーマ、関連動画・資料を理解できるように、学内Classroom向けの研究室紹介として作成しました。
一方で、庄司研究室が取り組んでいる「音楽 × AI × MUSICROBOT」による研究は、学生募集にとどまらず、教育、福祉、生涯学習、音楽文化、ものづくり、ロボット工学など、学外の方にも広く関心を持っていただける内容です。
そこで本記事では、学内の配属対象学生が読むことも想定しつつ、学外の方にも研究の背景、特色、独自性が伝わるように、公開向けの研究紹介記事として整理しています。
なお、公開にあたっては、研究上の理由により、卒業研究テーマの詳細な技術仕様、具体的な実装方法、未公開の研究内容などは一部省略しています。学内の対象学生は、専用のClassroomに掲載している研究室紹介資料および連絡事項を確認してください。
【音楽 × AI × MUSICROBOTでつくるユニバーサルな音楽体験】
― 福井大学・庄司研究室の音楽×工学研究 ―
福井大学・庄司研究室（先端マテリアル創造ものづくり研究室）では、「誰もが楽しめる音楽体験の実現」をキーワードに、AI、MIDI、Scratch、可視化技術、インタラクティブ設計、演奏支援、そして打楽器演奏ロボット「MUSICROBOT」を組み合わせた音楽支援システムの研究開発に取り組んでいます。
私たちが目指しているのは、音楽を聴くだけでなく、演奏する、理解する、学ぶ、楽しむための新しい仕組みを、実際に動くシステムとして創り出すことです。
【音楽大学だけでも、情報工学だけでも到達しにくい研究領域】
みなさん、音楽は好きですか。
音楽が心の支えになった思い出はありますか。
音楽は、感性や表現だけで成り立っているものではありません。
音の高さ、リズム、和音、音階、響きの美しさの背後には、数学、物理学、情報処理と深く関わる構造があります。古代ギリシアのピタゴラス学派以来、音楽と数の関係は重要な探究対象とされてきました。例えば、オクターブや完全五度などの協和音程は、単純な数比によって説明されることが知られています。
音楽は、芸術や表現の分野として捉えられることが多い一方で、実は数学、物理学、情報工学とも深く結びついた分野です。音の周波数、リズムの周期性、和音の構造、音楽データの処理、AIによる生成や解析など、理工系の知識を活かせる場面が数多くあります。
庄司研究室では、さまざまな研究を進めています。その中で、学生のみなさんには、自分の興味や関心を活かしながら、自分のペースで自由に取り組める研究テーマとして、音楽に関する研究を進めてもらっています。
音楽大学や芸術大学では、演奏、作曲、表現、音楽文化に関する高度な教育研究が行われています。一方で、実際に動くロボット、アプリ、センサー、MIDI、AI、可視化技術を組み合わせて、音楽体験そのものを支援する工学システムとして創造する研究には、それらとは異なる専門性が必要です。
また、音楽データの解析や情報処理だけでは、実際に楽器を鳴らし、人とロボットが共演し、音楽体験そのものを変えていくところまでは到達しにくい面があります。
庄司研究室の特徴は、音楽への関心と、工学的なものづくり、AI、プログラミング、インターフェース設計、実機ロボット開発を結びつけ、音楽大学だけでも、情報工学だけでも実現しにくい、本格的な音楽×工学研究に取り組んでいる点にあります。
【実際に動く打楽器演奏ロボット「MUSICROBOT」】
本研究室には、材料の特性を軸として開発してきた打楽器演奏ロボット「MUSICROBOT」の実機があります。
MUSICROBOTは、単なる構想やCG、シミュレーションではありません。実際に打楽器を演奏するロボットとして開発され、IROPSシリーズとして、ハイハット、ドラムセット、マリンバ、複数の打楽器による演奏など、多彩な実験に取り組んできました。
このMUSICROBOTに、演奏支援機器やアプリを組み合わせることで、人とロボットが音楽を通してつながります。
MUSICROBOT ＋ 演奏支援機器・アプリ ＝ 打楽器演奏システム
庄司研究室では、この打楽器演奏システムを軸として、誰もが楽しめるユニバーサルな音楽体験の実現を目指しています。
【誰もが音楽に参加できる仕組みをつくる】
音楽に参加する方法は、一つではありません。
楽器を高度に演奏できる人だけが音楽のプレーヤーなのではなく、少ない操作で音楽に関わる、視覚情報を使ってリズムを理解する、アプリを通して演奏を支援する、ロボットと一緒に合奏するなど、さまざまな参加の形があります。
年齢、経験、身体的な特性、得意・不得意などによって、音楽への参加に難しさを感じていた人でも、自分に合った方法で音楽に関われるような演奏支援システムを実現することが、本研究室の重要な目標です。
これは、誰か特定の人だけのための技術ではありません。
教育、福祉、生涯学習、音楽愛好家の活動、プロフェッショナルな演奏家の演奏補助など、音楽文化に関わる幅広い分野で活用できる可能性があります。
さらに、MUSICROBOTは、AIが創り出した音楽を現実世界で演奏する「AIの手足」としての役割も担います。
AIは、作曲や編曲、リズムパターンの生成などを行うことができます。しかし、AIが生み出した音楽データを、実際の打楽器やドラムの音として現実空間に響かせるためには、その演奏を実行する仕組みが必要です。
MUSICROBOTは、AIが生成したリズムや演奏データを受け取り、実際の打楽器やドラムを演奏することで、デジタル空間で生み出された音楽を、実環境における生演奏へとつなぎます。
AIによる音楽生成とMUSICROBOTによる打楽器演奏を組み合わせることで、AIが作曲したリズムを、電子音源による再生だけではなく、実際の楽器の振動や響きを伴う生演奏として表現できます。
このように、MUSICROBOTは、人の音楽参加を支援するだけでなく、AIが創造した音楽に現実世界での身体性と表現力を与える、新しい音楽演奏基盤としても発展する可能性があります。
【2025年度の卒業研究テーマ】
2025年度は、音楽理解、リズム創造、学習支援、可視化表現に着目した4件の卒業研究が進められました。
なお、詳細な技術仕様については、研究上の理由により非公開としています。
■ 楽曲進行に同期したリアルタイムなコード情報の提示を実現する演奏支援システムの開発
MIDIデータに簡便にコード情報を付与し、楽曲のコード進行をリアルタイムに表示することで、ギター演奏の練習支援や和声理解の促進に活用できる演奏支援システムの開発を進めました。
■ 回転型時間表現によるリズム構造の可視化からリズムを創造的に探求できる演奏支援システムの開発
時間を円環状に配置する「回転型時間表現」を用いてリズム構造を可視化し、拍や周期性、リズムの重なりやズレを直感的に理解できる演奏支援システムの開発を進めました。音楽 × プログラミング教育、STEAM教育への展開も視野に入れています。
■ 日本の五音音階の特徴を活かした簡単な操作で演奏学習と成功体験を育む演奏支援システムの開発
日本の伝統的な五音音階に着目し、少ない操作でも自然な旋律が生まれる仕組みを活用した演奏支援システムの開発を進めました。初心者や音楽経験の少ない利用者でも、成功体験を得ながら合奏体験ができることを目指した研究です。
■ 楽曲の音楽的要素をリアルタイムに可視化し演奏の音楽的構造の理解に役立つ演奏支援システムの開発
音量、リズム、発音タイミングなどの音楽的要素をリアルタイムに解析し、演奏の構造を視覚情報として提示する演奏支援システムの開発を進めました。聴覚だけでなく、視覚からも演奏情報を知覚できる、新しい音楽理解と演奏支援の形を提案しています。
【関連動画・資料】
庄司研究室では、MUSICROBOTやIROPSシリーズの研究内容を、動画や資料として公開しています。
特に、打楽器演奏ロボットが実際に動いている様子を確認できる動画は、本研究室の特徴を理解するうえで重要です。
ハイハットを高速に演奏するIROPS-9、ドラムセットを演奏するIROPS-8、マリンバで「熊蜂の飛行」に挑戦するIROPS-7など、実際の演奏ロボットの動作を見ることで、単なる構想ではなく、実機を用いた音楽×工学研究であることが分かります。
また、人とロボットが一緒に音楽をつくる演奏会やリハーサルの動画、MUSICROBOTのパンフレット、研究室紹介資料なども公開しています。
これらの資料を通して、庄司研究室が目指している「誰もが楽しめるユニバーサルな音楽体験」と、実際に動く打楽器演奏システムの研究内容を、より具体的に理解できます。
【音楽が好きな学生・研究に関心のある方へ】
庄司研究室では、音楽が好きという気持ちを、AI、プログラミング、アプリ開発、演奏支援、MUSICROBOTと結びつけて、工学的な研究として深めていきます。
楽器が大好きな人はもちろん、楽器経験がなくても、音楽に関わる研究に挑戦できます。
作詞、作曲、メロディづくり、リズムづくりに興味がある人、音楽を題材としてディープラーニングを探究したい人、アプリ開発に挑戦したい人にも向いています。
最初から高度なプログラミング能力、音楽理論の知識、楽器演奏の経験がすべて必要というわけではありません。研究を進めながら、必要な知識や技術を身につけていきます。
ただし、庄司研究室では、継続して手を動かすこと、自分で調べること、ゼミや相談を通して少しずつ前に進める姿勢、そしてコミュニケーションと言葉を大切にしています。
【MUSICROBOTを自分の目で確認してください】
MUSICROBOTは、研究室内だけの名称ではありません。実際に打楽器演奏ロボット IROPSシリーズとして開発され、動画、写真、パンフレット、講演資料として公開されてきた研究成果です。
ぜひ一度、自分で「MUSICROBOT」と検索してみてください。
単なる音楽アプリや情報処理ではなく、実際の打楽器演奏ロボット、演奏支援装置、インターフェース、アプリ、デバイスを組み合わせた本格的な音楽×工学研究が、継続的に進められてきたことを、自分の目で確認できると思います。
【参考リンク】
福井大学 先端マテリアル創造ものづくり研究室
https://monozukuri-lab.com/
研究室プロフィール
https://monozukuri-lab.com/page-300/
MUSICROBOT
https://musicrobot.org
打楽器演奏ロボット・ユニバーサルな音楽体験に関する研究紹介動画
http://www.sound-zaidan.com/video/popularization/
【おわりに】
庄司研究室では、音楽とものづくり技術を融合させることで、専門家だけでなく、誰もが主体的に参加できる音楽体験の創出を目指しています。
音楽、AI、プログラミング、アプリ開発、演奏支援、MUSICROBOT。
これらのどれか一つでも気になるキーワードがあれば、庄司研究室の研究をぜひ知ってください。
アイデアをカタチにし、音楽の未来をつくる。
それが、庄司研究室の音楽×工学研究です。