Laboratori d'innovació
Empoderem la indústria de la música amb tecnologies d’àudio revolucionàries.
Laboratori d'innovació
Introducció
Ens obsessiona desafiar-nos per trobar solucions millors, més ràpides, més sòlides i més precises per al que fem. Per això invertim més de 3 milions d’euros l’any en Recerca i Desenvolupament interns.
LES NOSTRES TECNOLOGIES D’ÀUDIO
Emparellem les empremtes digitals de qualsevol àudio amb 500 anys de música indexada a la nostra base de dades. Les nostres empremtes digitals mantenen un rendiment precís en tot tipus de circumstàncies, com ara interrupcions, diàlegs o efectes sonors, mitjançant la selecció d’una sèrie d’esdeveniments robustos discriminants. També s’empra per a la verificació de drets d’autor.
Combinem les metadades de plataformes digitals de venda amb les bases de dades internes de música de les entitats de gestió col·lectiva i les enriquim amb la nostra pròpia base de dades per assegurar-nos que siguin completes. Cada dia produïm 27 mil milions d’identificacions per assegurar-nos que els creadors de la música reben les regalies que mereixen.
Analitzem les gravacions d’àudio mitjançant tecnologies d’aprenentatge profund per detectar indicadors que mostren la presència de música. Per a cada segment de 2 segons, generem un valor per representar tant els sons musicals com els no musicals presents en la gravació.
L’avaluació de l’audibilitat determina si la música de fons d’un programa, una sèrie o un anunci de TV és «audible» o «inaudible». El client és qui marca els requisits en cada cas.
Apliquem el nostre algoritme ben entrenat perquè confirmi si 2 arxius d’àudio (quan es processa una cançó contra una altra de base) conformen el mateix treball musical o no.
Es proposen mètodes i dispositius per estimar l’audibilitat de mostres d’àudio en mescles d’àudio de programes de mitjans de difusió. Entre aquests mètodes s’inclouen, per exemple, els passos per proporcionar una matriu de representació d’una mescla d’àudio, la mescla d’àudio que inclou la mostra d’àudio i àudio addicional; proporcionar una matriu de representació de la mostra d’àudio; extraure la matriu de representació de la mostra d’àudio de la matriu de representació de la mescla d’àudio per generar una matriu de diferència; aplicar un model d’audibilitat a la matriu de diferència per generar una matriu d’audibilitat; determinar un nivell d’audibilitat per a cada element de la matriu d’audibilitat; i fer la mitjana dels nivells d’audibilitat determinats de la matriu per estimar l’audibilitat de la mostra d’àudio.
Es processa i s’avalua una gravació d’àudio. Es determina una seqüència de notes identificades corresponents a l’enregistrament d’àudio mitjançant la identificació iterativa de notes potencials dins de la gravació d’àudio. Llavors es classifica l’àudio enregistrat mitjançant una qualificació d’afinació i una d’expressió. La gravació d’àudio inclou l’enregistrament d’almenys una porció d’una composició musical.
Es proposen mètodes i dispositius per estimar l’audibilitat de mostres d’àudio en mescles d’àudio de programes de mitjans de difusió. Entre aquests mètodes s’inclouen, per exemple, els passos per proporcionar una matriu de representació d’una mescla d’àudio, la mescla d’àudio que inclou la mostra d’àudio i àudio addicional; proporcionar una matriu de representació de la mostra d’àudio; extraure la matriu de representació de la mostra d’àudio de la matriu de representació de la mescla d’àudio per generar una matriu de diferència; aplicar un model d’audibilitat a la matriu de diferència per generar una matriu d’audibilitat; determinar un nivell d’audibilitat per a cada element de la matriu d’audibilitat; i fer la mitjana dels nivells d’audibilitat determinats de la matriu per estimar l’audibilitat de la mostra d’àudio.
Es processa i s’avalua una gravació d’àudio. Es determina una seqüència de notes identificades corresponents a l’enregistrament d’àudio mitjançant la identificació iterativa de notes potencials dins de la gravació d’àudio. Llavors es classifica l’àudio enregistrat mitjançant una qualificació d’afinació i una d’expressió. La gravació d’àudio inclou l’enregistrament d’almenys una porció d’una composició musical.
Es proposen mètodes i dispositius per estimar l’audibilitat de mostres d’àudio en mescles d’àudio de programes de mitjans de difusió. Entre aquests mètodes s’inclouen, per exemple, els passos per proporcionar una matriu de representació d’una mescla d’àudio, la mescla d’àudio que inclou la mostra d’àudio i àudio addicional; proporcionar una matriu de representació de la mostra d’àudio; extraure la matriu de representació de la mostra d’àudio de la matriu de representació de la mescla d’àudio per generar una matriu de diferència; aplicar un model d’audibilitat a la matriu de diferència per generar una matriu d’audibilitat; determinar un nivell d’audibilitat per a cada element de la matriu d’audibilitat; i fer la mitjana dels nivells d’audibilitat determinats de la matriu per estimar l’audibilitat de la mostra d’àudio.
LES NOSTRES PATENTS
ELS NOSTRES PROJECTES DE RECERCA I DESENVOLUPAMENT
FuturePulse: Anàlisi predictiva multimodal i serveis de recomanació per a la indústria de la música, va rebre finançament del programa de recerca i innovació Horitzó 2020 de la Unió Europea, d’acord amb la subvenció Núm. 761634
Bloomen: Blockchains en la nova era d’experiència en mitjans de comunicació ha rebut finançament del programa de recerca i innovació Horitzó 2020 de la Unió Europea, d’acord amb la subvenció Núm. 762091.
L’Agència Estatal de Recerca del Ministeri de Ciència i Innovació, dins el marc Retos-Colaboración 2019, recolza el projecte Nova generació de tecnologia de monitoratge de música (NetCore), RTC 2019-007248-7.
Identi@rt: R+D en preservació del valor d’actius digitals de música, art i disseny, amb Distributed Ledger Tech (COM RD 18-1-0011) de la Comunitat Media (COM18-1-0002) rep el finançament d’ACCIÓ (Agència per la Competitivitat de l’Empresa, Generalitat de Catalunya) com a part dels projectes col•laboratius de recerca, desenvolupament i innovació de les Comunitats RIS3CAT.
Amb el suport de:
ACCIÓ (Agència per la Competitivitat de l’Empresa, Generalitat de Catalunya) dona suport al projecte LoudSense: Sistema d’intel·ligència artificial per a l’estimació automàtica d’audibilitat de la música de fons en produccions audiovisuals (ACE014/20/000051), dins la convocatòria INNOTEC 2020.
Amb el suport de:
PICAE: Publicació Intel•ligent de Continguts Audiovisuals i Editorials (COMRDI18-1-0007) de la Comunitat Media (COM18-1-0002) compta amb el finançament d’ACCIÓ (Agència per la Competitivitat de l’Empresa, Generalitat de Catalunya) com a part dels projectes col•laboratius de recerca, desenvolupament i innovació de les Comunitats RIS3CAT.
Amb el suport de:
El Ministeri d’Economia i Empresa, dins l’Acció Estratègica d’Economia i Societat Digital; Ajuts per a les Tecnologies Facilitadores Digitals 2019, dona suport al projecte Sistema per al monitoratge massiu d’àudio en temps real basat en intel·ligència artificial (DeepTrack), TSI-100903-2019-38.
El Ministeri d’Energia, Turisme i Agenda Digital, dins l’Acció Estratègica d’Economia i Societat Digital; Impuls Tecnològic 2017, recolza el projecte PlayIT: Big Data BI per al processament i la identificació escalable de metadades de música, TSI-100600-2017-20. Amb el cofinançament del Fons Europeu de Desenvolupament Regional (FEDER) – Una manera de fer Europa.
Els projectes Detecció de música/diàleg en programes de mitjans de difusió (DI46-2016) i Algorismes d’identificació de música amb tècniques d’aprenentatge profund (DI46-2020) reben el suport del Pla de Doctorats Industrials de la Secretaria d’Universitats i Recerca del Departament d’Empresa i Coneixement de la Generalitat de Catalunya.
Red.es (Ministeri d’Afers Econòmics i Transformació Digital), dins l’Acció Estratègica d’Economia i Societat Digital – Impuls de Tecnologies Habilitadores Digitals 2020, dona suport al projecte Plataforma cloud computing de monitoratge musical escalable i elàstic (BigWave), 2020/0720/00097949. Cofinançat per la Unió Europea a través del Fons Europeu de Desenvolupament Regional (FEDER) – Una manera de fer Europa.
Red.es (Ministeri d’Afers Econòmics i Transformació Digital) dona suport a aquest projecte d’R+D en Intel·ligència Artificial i altres tecnologies digitals juntament amb la seva integració a la cadena de valor (convocatòria C005/21-ED) dins del Pla Espanya Digital 2025. Projecte MatchingLearning: Motor de reconciliació d’entitats impulsat per IA per a la indústria de la música – 2021/C005/00149157.
La Secretaría de Estado de Telecomunicaciones e Infraestructuras Digitales (Ministerio para la Transformación Digital y de la Función Pública) dona suport al projecte de desenvolupament experimental i innovació de processos a través de tecnologíes associades al Metaverso i Web 3 (convocatòria Ordre ETD/653/2022, de 6 de juliol 2022) dins del Pla Espanya Hub Audiovisual d’Europa. Proof-*of-*Play muSIc oraCLE – Oracle blockchain per al registre descentralitzat d’usos d’obres musicals – FAV-010200-2022-0019 és finançat per:
El Ministerio de Ciencia, Innovación y Universidades i el Ministerio para la Transformación Digital y de la Función Pública recolzen aquest projecte subvencionat pel CDTI per al desenvolupament de noves tecnologies aplicades a la producció audiovisual i del sector dels videojocs, dins el Pla Nacional de Recerca Científica i Tècnica i de Innovació 2021-2023, en el marc del Pla de Recuperació, Transformació i Resiliència. Projecte resCUE: Sistema intel·ligent per a la comunicació automàtica d’usos d’obres musicals en produccions audiovisuals – SAV-20221147.
Aquest projecte E!693 Live Insights: Convertint les transmissions de música en línia en un èxit fora de línia, una plataforma basada en IA que analitza dades de música digital de serveis d’streaming i xarxes socials per descobrir oportunitats d’ingressos sense explotar per a artistes, sales de concerts i empreses de venda d’entrades d’esdeveniments, ha rebut finançament del programa conjunt Eurostars-3 amb cofinançament del CDTI, amb el suport del Ministeri de Ciència i Innovació i el Programa de Recerca i Innovació Horitzó de la Unió Europea.
MUSIC360: Una perspectiva de 360 graus sobre el valor de la música ha rebut finançament del Programa de Recerca i Innovació Horitzó de la Unió Europea, segons l’acord de subvenció Núm. 101094872.
BMAT ha resultat beneficiària del programa PADIH per dur a terme el projecte.El projecte consisteix en una consultoria per a l’assessorament especialitzat i aporta idees amb la finalitat de potenciar la competitivitat. La convocatòria PADIH està finançada per:
KEIA té com a objectiu establir els principis per a tècniques avançades d’auditoria de continguts en música generada per IA. Aborda la manca de transparència dels sistemes actuals mitjançant la investigació de l’ús de material protegit per drets d’autor en l’entrenament dels models i el desenvolupament d’estratègies per a obtenir i identificar aquest contingut en el material generat, amb la finalitat última de garantir l’ús ètic i sostenible de la IA en la creació musical. Projecte subvencionat per la Fundació Barcelona.
Aquest projecte 6256 – Auditio: Amplify Growth: Transformative Audio Insights Platform, una plataforma innovadora, rendible, escalable i transformadora per proporcionar dades musicals i recomanacions a locals de música, comerços minoristes i establiments d’hostaleria, ha rebut finançament del programa conjunt Eurostars-3 amb cofinançament del CDTI, amb el suport del Spanish Ministerio de Ciencias, Innovación e Universidades, i el programa de recerca i innovació Horitzó Europa de la Unió Europea.
ACCIÓ (Agència per la Competitivitat de l’Empresa, Generalitat de Catalunya) dona suport al projecte TROBA: Tecnologies per al reconeixement d’obres musicals en l’era de la generació dinàmica de continguts d’àudio (ACE014/20/000051), dins la convocatòria nuclis d’R+D 2024.
Amb el suport d’ACCIÓ.
Awards
El 2023, BMAT va ser reconeguda com una de les 135 Leading European Tech Scale-ups (LETS) que estan triomfant a nivell mundial destacant pel nostre abast internacional i la sostenibilitat del nostre model de negoci.
Awards
L’any 2018, MIREX, el certamen internacional més important d’algoritmes de MIR (de recuperació d’informació musical, en anglès Music Information Retrieval), va reconèixer el nostre algoritme de detecció de música com el millor del sector, amb una precisió de 10 punts percentuals per damunt de l’algoritme que ocupava el segon lloc. El 2019, la nostra primera posició va quedar refermada amb la presentació de dos nous algoritmes, els quals van obtenir millors resultats en comparació amb l’algoritme que vam presentar el 2018.
Awards
El Radar d’Innovació de la Comissió Europea va nomenar BMAT com a «Innovador Clau» pels desenvolupaments del projecte Bloomen H2020: Tecnologia blockchain emprada per aportar protecció de drets d’autor de contingut multimèdia.
Publications
Kapsoulis, Nikolaos; Psychas, Alexandros; Palaiokrassas, Georgios; Marinakis, Achilleas; Litke, Antonios; Varvarigou, Theodora; Bouchlis, Charalampos; Raouzaiou, Amaryllis; Calvo, Gonçal; Escudero Subirana, Ordi. 2020. “Consortium Blockhain Smart Contracts for Musical Rights Governance in a Collective Management Organizations (CMOs) Use Case“
Future internet 12, no. 8: 134.
Publications
Meléndex-Catalán, B. Molina, E., i Gómez, E. (2017). “BAT: an open-source web-based audio-events annotation tool“.
3rd Web Audio Conference
Meléndex-Catalán, B. Molina, E., i Gómez, E. (2019b). “Open broadcast media audio from TV: A dataset of TV broadcast audio with relative music loudness annotations“.
Transactions of the International Society for Music Information Retrieval
Meléndex-Catalán, B. Molina, E., i Gómez, E. (2020). “Relative music loudness estimation, using temporal convolutional networks and a CNN feature extraction front-end“.
A Proceedings of the 23rd International Conference on Digital Audio Effects (DAFx-20), volume 5, pages 273-280.
Meléndez-Catalán, B. (2021) “Relative Music Loudness Estimation in TV Broadcast Audio Using Deep Learning: An industrial perspective”.
Universitat Pompeu Fabra, Barcelona, Catalonia, Spain.
G. Cortès, Álex Ciurana, Emilio Molina, Marius Miron, Owen Meyers, Joren Six and Xavier Serra. “BAF: An Audio Fingerprinting Dataset For Broadcast Monitoring”.
In Proc. of the 23rd Int. Soc. for Music Information Retrieval Conf. (ISMIR), Bangalore, India, 2022 [dataset, Github]
Awards
El 2023, BMAT va ser reconeguda com una de les 135 Leading European Tech Scale-ups (LETS) que estan triomfant a nivell mundial destacant pel nostre abast internacional i la sostenibilitat del nostre model de negoci.
Awards
L’any 2018, MIREX, el certamen internacional més important d’algoritmes de MIR (de recuperació d’informació musical, en anglès Music Information Retrieval), va reconèixer el nostre algoritme de detecció de música com el millor del sector, amb una precisió de 10 punts percentuals per damunt de l’algoritme que ocupava el segon lloc. El 2019, la nostra primera posició va quedar refermada amb la presentació de dos nous algoritmes, els quals van obtenir millors resultats en comparació amb l’algoritme que vam presentar el 2018.
Awards
El Radar d’Innovació de la Comissió Europea va nomenar BMAT com a «Innovador Clau» pels desenvolupaments del projecte Bloomen H2020: Tecnologia blockchain emprada per aportar protecció de drets d’autor de contingut multimèdia.
Publications
Kapsoulis, Nikolaos; Psychas, Alexandros; Palaiokrassas, Georgios; Marinakis, Achilleas; Litke, Antonios; Varvarigou, Theodora; Bouchlis, Charalampos; Raouzaiou, Amaryllis; Calvo, Gonçal; Escudero Subirana, Ordi. 2020. “Consortium Blockhain Smart Contracts for Musical Rights Governance in a Collective Management Organizations (CMOs) Use Case“
Future internet 12, no. 8: 134.
Publications
Meléndex-Catalán, B. Molina, E., i Gómez, E. (2017). “BAT: an open-source web-based audio-events annotation tool“.
3rd Web Audio Conference
Meléndex-Catalán, B. Molina, E., i Gómez, E. (2019b). “Open broadcast media audio from TV: A dataset of TV broadcast audio with relative music loudness annotations“.
Transactions of the International Society for Music Information Retrieval
Meléndex-Catalán, B. Molina, E., i Gómez, E. (2020). “Relative music loudness estimation, using temporal convolutional networks and a CNN feature extraction front-end“.
A Proceedings of the 23rd International Conference on Digital Audio Effects (DAFx-20), volume 5, pages 273-280.
Meléndez-Catalán, B. (2021) “Relative Music Loudness Estimation in TV Broadcast Audio Using Deep Learning: An industrial perspective”.
Universitat Pompeu Fabra, Barcelona, Catalonia, Spain.
G. Cortès, Álex Ciurana, Emilio Molina, Marius Miron, Owen Meyers, Joren Six and Xavier Serra. “BAF: An Audio Fingerprinting Dataset For Broadcast Monitoring”.
In Proc. of the 23rd Int. Soc. for Music Information Retrieval Conf. (ISMIR), Bangalore, India, 2022 [dataset, Github]
Awards
El 2023, BMAT va ser reconeguda com una de les 135 Leading European Tech Scale-ups (LETS) que estan triomfant a nivell mundial destacant pel nostre abast internacional i la sostenibilitat del nostre model de negoci.
LES NOSTRES PUBLICACIONS CIENTÍFIQUES I PREMIS