2025年夏ごろに打ち上げを予定している超小型衛星RSP-03（愛称ハモるん）、そのメインミッションは「星のシンフォニー」。つまり宇宙の星々の取得データを音の要素に変換して多重音のシンフォニーを形成する、「作曲演奏家としての人工衛星」を実現することです。
はるかかなたの宇宙空間でハモるんがどのように作曲するか気になりませんか？

ハモるんの作曲プロセス

ハモるんが宇宙で音楽を作り出すプロセスは、主に三つのステップで構成されています。最初のステップは「星座判定」。これは、ハモるんが画像を撮影し、その画像から星座を判定する処理です。続く「モチーフ作成」では、星座判定の結果や衛星の計測データに基づいて、楽曲の核となる短いメロディーの断片＝モチーフを生成します。「AI作曲」の段階では、モチーフを元にAIがより長いフレーズやハーモニーを生成し、楽曲を豊かにしていきます。

本記事では、各ステップでハモるんがどのように作曲していくかを解説します！

ハモるんが宇宙空間で最初に行うのは、自身が観測する星座を特定する「星座判定」です。星座判定は「画像撮影」「星の特定」「星の位置の判定」「星と星座の照合」のプロセスで行われます。

星座判定　ステップ１：画像撮影

ハモるんが宇宙空間から写真を撮影します。ハモるんの黄金色の面の中央には、小さな高性能デジタルカメラ（Raspberry Pi カメラモジュール V2.1）が格納されています。このカメラで宇宙の星空を撮影します。

ハモるん外観と、ハモるんに搭載されたカメラ

星座判定　ステップ２：星の特定

撮影された画像全体から星を特定するために、Source-Extractorというソフトウェアを使用します。
Source-Extractorは、画像解析によって「周囲より一定レベル以上明るい画素の集まり」を星が映っている可能性の高い領域として検出し、さらにそれらの明るさの等級を計算します。

SExtractorによる銀河測光の例
出典：https://astro-dic.jp/sextractor/

星座判定　ステップ３：星の位置の判定

前のステップで判定された星の位置情報と明るさの等級情報をもとに、既知の星が登録された恒星カタログと照合を行い、星の天球上の位置（地球から見た星の方向を示す座標、赤経赤緯）を取得します。
恒星カタログは、米国イェール大学が作成しているカタログ「Bright Star Catalogue」を利用しています。このカタログには6.5等（肉眼で見える星相当）までの恒星が含まれています。

Bright Star Catalogueのカバレッジ
出典：http://tdc-www.harvard.edu/catalogs/bsc5.html

星座判定　ステップ４：星と星座の照合

前のステップで取得した「星の天球上の位置（赤経赤緯）」「明るさの等級」情報と、国際天文学連合（IAU）が定めた88つの星座の境界線データとを照らし合わせ、赤経赤緯がどの星座の領域に属しているかを判定します。

星座境界線データイメージ（左：いて座、右：さそり座）
出典：https://www.nao.ac.jp/news/blog/2022/20220809-constellation.htmlこれで、ハモるんが撮影した画像から星座の判定までを行うことができました。

いよいよ作曲へ

さて、ここから作曲フェーズに入っていきます！
まずはモチーフと呼ばれる、楽曲の核となる短いメロディーの断片を生成します。モチーフ生成では「（前述の）星座判定結果」「衛星の計測データ（温度、電圧、電流、回転速度）」の２つの情報を使います。「星座判定結果」からは音価（音の長さ）を、「衛星の計測データ」からは音名（ドレミ）をそれぞれ決定し、モチーフが作成されます。

以降で詳しく解説していきます。

モチーフ生成の概念図

モチーフ生成の流れ

モチーフ生成にあたっては、あらかじめ用意された作曲パラメータを利用します。作曲パラメータは88つの星座ごとにあらかじめ定義されているため、ここで「星座判定結果」からどのパラメータを使うか特定します。
作曲パラメータにより、先に述べた音の長さ以外に、音楽の雰囲気やテンポ等も定められます。例えば「こいぬ座は明るいメロディー、おおぐま座は穏やかなメロディー」のように、作曲パラメータから音楽の特徴が決まります。

作曲パラメータ例作曲パラメータが決まったら、「衛星の計測データ」の情報をもとに音名（ドレミ）を当て込んでいきます。例えば太陽の位置が遠くて衛星の温度が低い＝「レ」、バッテリーの充電が十分で電圧が高い＝「ラ」等と決めていきます。

音名の当て込み例これでモチーフは完成です！ここからは、より長いフレーズやハーモニーを生成し、楽曲を豊かにするための「AI作曲」に移りましょう。

ここまでのプロセスで、ハモるんが撮影した画像からモチーフを作成することができました。この段階ですでにメロディーはしっかり生成できているのですが、ハモるんが目指すのは「星のシンフォニー」。すなわちオーケストラのような多重音のシンフォニーです。ここからはAIの力を使って続きのメロディーを生成し、楽曲の完成度を高めていきましょう。

AI作曲には「Magenta」を使います。MagentaとはGoogleのAI研究チームが開発したオープンソースのAIプロジェクトで、大量の音楽データからメロディー、リズム、ハーモニーなどを学習しています。

Magentaには7つの作曲モデルがあり、それぞれに特徴がありますが、ハモるんが目指す音楽スタイルや実現したい機能の観点からハモるんは下記2つのモデルを採用しています。
・Improv RNN（コード進行に沿ったメロディー）
与えられた短いフレーズやリズムパターンを元に、続きを自然に生成することが可能なモデル。
・Polyphony RNN（バッハ風合唱曲）
バッハのような、複雑で豊かな音楽テクスチャを生成できるモデル。

さて、いよいよ楽曲の完成が近づいてきました。各プロセスで作成した楽曲を合成していきます。
「星座から作成したモチーフ」と「AIが作成した楽曲」以外に、「フレーズの終わりを示す終止音」「あらかじめハモるんに搭載された伴奏パートやベース音」もプラスして曲を合成、オーケストラのような多重音の楽曲が作成されます。