dtln-aec
breizhn/DTLN-aec という深層学習ベースのエコーキャンセラをブラウザで利用するためのライブラリです。
About Shiguredo's open source software
We will not respond to PRs or issues that have not been discussed on Discord. Also, Discord is only available in Japanese.
Please read https://github.com/shiguredo/oss/blob/master/README.en.md before use.
時雨堂のオープンソースソフトウェアについて
利用前 https://github.com/shiguredo/oss をお読みください。
使い方
基本的な使い方は以下のコードのようになります:
// 1. モデルをロード
const assetsPath = "path/to/dist/";
const dtlnAec = new Shiguredo.DtlnAec.loadModel(assetsPath);
// 2. キャンセル対象の音声を含む出力トラックを処理
const outputAudioTrack = ...;
const outputAudioGenerator = new MediaStreamTrackGenerator({ kind: "audio" });
const outputAudioProcessor = new MediaStreamTrackProcessor({ track: outputAudioTrack });
outputAudioProcessor.readable
.pipeThrough(
new TransformStream({
transform: (data, controller) => {
dtlnAec.processOutputAudioData(data);
controller.enqueue(data);
}
}))
.pipeTo(outputAudioGenerator.writable)
.catch((e) => {
console.log("Output stream transform stopped:", e);
});
// 処理後の出力音声ストリームを取得（内容は特に変わっていない）
const outputAudioStream = new MediaStream([outputAudioGenerator]);
// 3. エコーキャンセルの適用対象となる入力音声を処理
navigator.mediaDevices.getUserMedia({audio: true}).then((stream) => {
const inputAudioGenerator = new MediaStreamTrackGenerator({ kind: "audio" });
const inputAudioProcessor = new MediaStreamTrackProcessor({ track: stream.getAudioTracks()[0] });
inputAudioProcessor.readable
.pipeThrough(
new TransformStream({
transform: (data, controller) => {
for (const processedData of dtlnAec.processInputAudioData(data)) {
controller.enqueue(processedData);
}
data.close();
}
}))
.pipeTo(inputAudioGenerator.writable)
.catch((e) => {
console.log("Input stream transform stopped:", e);
});
// 処理後の入力音声ストリームを取得
const inputAudioStream = new MediaStream([inputAudioGenerator]);
});
実際に動作するコードに関しては examples/ 以下のデモファイルを参照してください。
Chromium ベースのブラウザの場合には、以下のページでデモを動作させることができます:
- ダブルトーク時のエコーキャンセル (examples/double-talk-aec.html)
- 自分の声をスピーカ出力した場合のハウリング抑制 (examples/howling-cancel.html)
ライセンス
Copyright 2022-2022, Takeru Ohta (Original Author)
Copyright 2022-2022, Shiguredo Inc.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
深層学習モデルやランタイムのライセンス
dist/ 以下に配置されている各種アセットファイルのライセンスについては、下記のリンク先を参照してください:
- 学習済みモデル（.tflite）: breizhn/DTLN-aec/LICENSE
- モデルを動作させるランタイム（tfjs-lite の .js や .wasm）: tensorflow/tfjs/LICENSE
音声ファイルのライセンス
デモページで使用している音声ファイルには あみたろの声素材工房 様の声素材を使用しています。
4 May 3, 2022
14 Jan 3, 2023
7 Sep 28, 2022
102 Dec 26, 2022
14 Dec 28, 2022
23 Nov 29, 2022
68 Dec 25, 2022
5 Nov 9, 2022
4.3k Jan 3, 2023
15k Dec 31, 2022
2.9k Jan 2, 2023
1 Jan 2, 2022
13.4k Jan 1, 2023
28 Dec 28, 2022
18.8k Jan 2, 2023
31 Nov 25, 2022
20 Dec 1, 2022
2 Apr 17, 2022
14 Dec 27, 2022