MatrixCity：基于神經(jīng)渲染的大規(guī)模城市場(chǎng)景合成數(shù)據(jù)集（港中文&上海AI Lab）
由上海人工智能實(shí)驗(yàn)室、香港中文大學(xué)組成的團(tuán)隊(duì)，發(fā)布了一款名為MatrixCity的大型城市場(chǎng)景合成數(shù)據(jù)集，旨在為神經(jīng)渲染研究提供支持。此數(shù)據(jù)集已上線OpenDataLab，項(xiàng)目主頁(yè)為city-super.github.io/ma...。論文鏈接位于arxiv.org/pdf/2309.1655...。數(shù)據(jù)集可在Hugging face (huggingface.co/datasets...) 和OpenXLab（OpenDataLab的AI開放數(shù)據(jù)平臺(tái)）獲取。
神經(jīng)輻射場(chǎng)（NeRF）在神經(jīng)渲染領(lǐng)域取得了顯著進(jìn)展，但大多數(shù)工作集中在小規(guī)模對(duì)象或場(chǎng)景上。針對(duì)城市規(guī)模場(chǎng)景的神經(jīng)渲染方法在現(xiàn)實(shí)世界應(yīng)用中具有巨大潛力，然而，缺乏全面、高質(zhì)量的數(shù)據(jù)集阻礙了研究進(jìn)展，且收集真實(shí)城市規(guī)模場(chǎng)景數(shù)據(jù)成本高昂、敏感且技術(shù)上不可行。
MatrixCity構(gòu)建了一個(gè)大規(guī)模、全面、高質(zhì)量的數(shù)據(jù)集，以解決城市規(guī)模神經(jīng)渲染問題。此數(shù)據(jù)集通過GT相機(jī)位置和額外的數(shù)據(jù)模式，輕松收集了空中和街道城市視圖。它支持靈活控制環(huán)境因素，如光線、天氣、人員和汽車，以適應(yīng)城市規(guī)模神經(jīng)渲染各種任務(wù)的需求。數(shù)據(jù)集包含總面積28平方公里的兩張城市地圖，包括60萬(wàn)張航空?qǐng)D像和35萬(wàn)張街道圖像。
MatrixCity的貢獻(xiàn)主要體現(xiàn)在以下幾個(gè)方面：
1. 構(gòu)建了一個(gè)大規(guī)模、高質(zhì)量的數(shù)據(jù)集，名為MatrixCity，強(qiáng)調(diào)了城市規(guī)模場(chǎng)景的關(guān)鍵屬性，包括動(dòng)態(tài)交互和照明條件等。
2. 開發(fā)了一個(gè)插件，利用Unreal Engine 5自動(dòng)收集高質(zhì)量城市數(shù)據(jù)，簡(jiǎn)化了數(shù)據(jù)收集過程，并允許研究人員靈活控制照明、天氣和瞬態(tài)對(duì)象，為社區(qū)提供了一種寶貴工具。
3. 對(duì)數(shù)據(jù)集進(jìn)行了廣泛研究，揭示了城市級(jí)神經(jīng)渲染的挑戰(zhàn)，并為未來(lái)研究指明了改進(jìn)方向。
在數(shù)據(jù)集的搜集和構(gòu)建過程中，作者使用了Unreal Engine 5的城市樣本項(xiàng)目，能夠控制場(chǎng)景中的移動(dòng)人和汽車存在，模擬動(dòng)態(tài)環(huán)境。通過調(diào)整照明、天氣條件、霧量等，可以模擬現(xiàn)實(shí)世界中的基本動(dòng)態(tài)情況。此外，還能夠模擬運(yùn)動(dòng)模糊和散焦模糊等相機(jī)噪聲，進(jìn)一步增強(qiáng)真實(shí)感。
MatrixCity數(shù)據(jù)集與之前的數(shù)據(jù)集相比，在統(tǒng)計(jì)數(shù)據(jù)和屬性上進(jìn)行了詳細(xì)比較。數(shù)據(jù)集分為Small city和Big city兩個(gè)城市地圖，分別包含6k張航空?qǐng)D像和30k張街道級(jí)圖像，以及60k張航空照片和286k張街道級(jí)照片。數(shù)據(jù)集的評(píng)估指標(biāo)包括PSNR、SSIM、VGG LPIPS、MAE和MSE等，用于評(píng)估渲染性能和法向矢量、深度圖的估計(jì)質(zhì)量。
為了測(cè)試當(dāng)前神經(jīng)渲染方法在MatrixCity數(shù)據(jù)集上的性能，選擇了五種廣泛使用的基線方法：NeRF、DVGO、Instant NGP、TensoRF和MipNeRF360。評(píng)估結(jié)果表明，MipNeRF-360和Instant NGP在航空數(shù)據(jù)渲染中表現(xiàn)較好，而NeRF表現(xiàn)最差。在街道數(shù)據(jù)渲染中，基于MLP的NeRF方法優(yōu)于基于網(wǎng)格的方法。聯(lián)合類型數(shù)據(jù)的神經(jīng)渲染顯示，簡(jiǎn)單地將空中和街道數(shù)據(jù)融合在一起訓(xùn)練會(huì)導(dǎo)致性能下降。
MatrixCity數(shù)據(jù)集的發(fā)布為城市規(guī)模的神經(jīng)渲染研究提供了寶貴資源，為理解城市級(jí)神經(jīng)渲染挑戰(zhàn)和未來(lái)研究方向提供了基礎(chǔ)。數(shù)據(jù)集的高質(zhì)量和全面性使得其成為神經(jīng)渲染領(lǐng)域的重要貢獻(xiàn)，將推動(dòng)該領(lǐng)域的發(fā)展和創(chuàng)新。
自冠15625442805： matlab怎么讀取txt數(shù)據(jù)存放到矩陣中 -
墊江縣球面： ______ matlab怎么讀取txt數(shù)據(jù)存放到矩陣中 以Matlab R2012b為例. 首先打開matlab; 選擇current folder并加入當(dāng)前路徑; 選擇指定的txt文件,右鍵,選擇導(dǎo)入數(shù)據(jù); 選擇相應(yīng)的數(shù)據(jù)類型,這里應(yīng)選matrix.
自冠15625442805： matlab怎么求模糊關(guān)系子矩陣 -
墊江縣球面： ______ 如下:>> A=[0.1 0.2;0.3 0.4]; for i=1:2 Btemp3(i)=min(A(1,i),A(i,1)); Ctemp3(i)=min(A(1,i),A(i,2)); Dtemp3(i)=min(A(2,i),A(i,1)); Etemp3(i)=min(A(2,i),A(i,2)); end>> T3=[max(Btemp3),max(Ctemp3); max(Dtemp3),max(Etemp3)]
自冠15625442805： matlab是什么和什么 -
墊江縣球面： ______ MATLAB是矩陣實(shí)驗(yàn)室(Matrix Laboratory)的簡(jiǎn)稱,是美國(guó)MathWorks公司出品的商業(yè)數(shù)學(xué)軟件,用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計(jì)算的高級(jí)技術(shù)計(jì)算語(yǔ)言和交互式環(huán)境,主要包括MATLAB和Simulink兩大部分. MATLAB可以進(jìn)行矩陣運(yùn)算、繪制函數(shù)和數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語(yǔ)言的程序等,主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號(hào)處理與通訊、圖像處理、信號(hào)檢測(cè)、金融建模設(shè)計(jì)與分析等領(lǐng)域.
自冠15625442805： C語(yǔ)言中,二維數(shù)組matrix,*(matrix+1)+5為什么是指向第二行第六個(gè)元素 -
墊江縣球面： ______ 1. 數(shù)組名是指向第一個(gè)元素的指針,matrix第一個(gè)元素是什么?由于是二維數(shù)組,所以可以看作是整個(gè)第一行,所以matrix指向第一行,+1后指向第二行 2. *(matrix+1)就得到第二行這個(gè)一維數(shù)組,一維數(shù)組名指向第一個(gè)元素,所以*(matrix+1)指向第一個(gè)元素,+5后指向第六個(gè)元素 希望能幫到你!不懂在問吧
自冠15625442805： 灰度共生矩陣具體怎么用matlab實(shí)現(xiàn) -
墊江縣球面： ______ 已經(jīng)有現(xiàn)成的了http://www.mathworks.com/matlabcentral/fileexchange/11727-cooccurrence-matrix 如果你無(wú)法下載,源代碼如下:% Calculates cooccurrence matrix % for a given direction and distance%% out = cooccurrence (input, dir, dist, ...
自冠15625442805： matlab如何生成一個(gè)與圖像同樣大小,存儲(chǔ)掃描序列的矩陣? -
墊江縣球面： ______ [rows,columns]=size(image);%獲取圖像尺寸,image為圖像數(shù)據(jù)(默認(rèn)是二維灰度圖). matrix=zeros(rows,columns);%生成同大小的零矩陣. 往matrix里面賦值即可存儲(chǔ).
自冠15625442805： matlab中如何用灰度圖表示矩陣的值 -
墊江縣球面： ______ 如果只為了顯示矩陣直接使用imagesc(A);colormap(gray);即可,不需要?dú)w一化.
自冠15625442805： JAVA編程 聲明一個(gè)矩陣類Matrix,有這樣一些實(shí)例方法:將一個(gè)矩陣轉(zhuǎn)置、求兩個(gè)矩陣的和. -
墊江縣球面： ______ 我簡(jiǎn)單的敘述下,matrix就一個(gè)二維數(shù)組,矩陣的轉(zhuǎn)置就是對(duì)角上的折疊,說(shuō)白了就是兩個(gè)值的互換].求和就非常簡(jiǎn)單了,必須是行和列都相同的才行,把對(duì)應(yīng)位置的值加起來(lái)就ok.轉(zhuǎn)置的具體方式可參考線性代數(shù)里的介紹
自冠15625442805： 什么是細(xì)胞矩陣matlab -
墊江縣球面： ______ 比如 A={1,[2,3;4,5];sym('a'),'hello'} 于是A就是一個(gè)細(xì)胞矩陣,細(xì)胞矩陣可以看成是結(jié)構(gòu)數(shù)組的推廣.它里面的元素可以是任意類型的變量,而不必是統(tǒng)一的類型. 細(xì)胞數(shù)組A中第i行第j列元素的表示方法是A{i,j} 例如 A{1,2}=A{1,2}' A(1,2)得到的還是一個(gè)細(xì)胞數(shù)組,只不過他的元素只有一個(gè),即A{1,2} 通過這種方法我們可以像對(duì)待普通數(shù)組一樣提取細(xì)胞數(shù)組的某些元素構(gòu)成新的數(shù)組,例如 B=A(1,:)
自冠15625442805： 數(shù)學(xué)建模灰色系統(tǒng)matlab編程
墊江縣球面： ______ 給你一個(gè)例子,希望有所幫助 % 基于matlab灰色預(yù)測(cè)GM(1,1)實(shí)現(xiàn) function [y,p,e]=gm_1_1(X,k) %Build the calculating dieplate for the typical gray model. %Example [y,p]=gm_1_1([200 250 300 350],2) %Designed by NIXIUHUI,Dalian Fisher ...
神經(jīng)輻射場(chǎng)（NeRF）在神經(jīng)渲染領(lǐng)域取得了顯著進(jìn)展，但大多數(shù)工作集中在小規(guī)模對(duì)象或場(chǎng)景上。針對(duì)城市規(guī)模場(chǎng)景的神經(jīng)渲染方法在現(xiàn)實(shí)世界應(yīng)用中具有巨大潛力，然而，缺乏全面、高質(zhì)量的數(shù)據(jù)集阻礙了研究進(jìn)展，且收集真實(shí)城市規(guī)模場(chǎng)景數(shù)據(jù)成本高昂、敏感且技術(shù)上不可行。
MatrixCity構(gòu)建了一個(gè)大規(guī)模、全面、高質(zhì)量的數(shù)據(jù)集，以解決城市規(guī)模神經(jīng)渲染問題。此數(shù)據(jù)集通過GT相機(jī)位置和額外的數(shù)據(jù)模式，輕松收集了空中和街道城市視圖。它支持靈活控制環(huán)境因素，如光線、天氣、人員和汽車，以適應(yīng)城市規(guī)模神經(jīng)渲染各種任務(wù)的需求。數(shù)據(jù)集包含總面積28平方公里的兩張城市地圖，包括60萬(wàn)張航空?qǐng)D像和35萬(wàn)張街道圖像。
MatrixCity的貢獻(xiàn)主要體現(xiàn)在以下幾個(gè)方面：
1. 構(gòu)建了一個(gè)大規(guī)模、高質(zhì)量的數(shù)據(jù)集，名為MatrixCity，強(qiáng)調(diào)了城市規(guī)模場(chǎng)景的關(guān)鍵屬性，包括動(dòng)態(tài)交互和照明條件等。
2. 開發(fā)了一個(gè)插件，利用Unreal Engine 5自動(dòng)收集高質(zhì)量城市數(shù)據(jù)，簡(jiǎn)化了數(shù)據(jù)收集過程，并允許研究人員靈活控制照明、天氣和瞬態(tài)對(duì)象，為社區(qū)提供了一種寶貴工具。
3. 對(duì)數(shù)據(jù)集進(jìn)行了廣泛研究，揭示了城市級(jí)神經(jīng)渲染的挑戰(zhàn)，并為未來(lái)研究指明了改進(jìn)方向。
在數(shù)據(jù)集的搜集和構(gòu)建過程中，作者使用了Unreal Engine 5的城市樣本項(xiàng)目，能夠控制場(chǎng)景中的移動(dòng)人和汽車存在，模擬動(dòng)態(tài)環(huán)境。通過調(diào)整照明、天氣條件、霧量等，可以模擬現(xiàn)實(shí)世界中的基本動(dòng)態(tài)情況。此外，還能夠模擬運(yùn)動(dòng)模糊和散焦模糊等相機(jī)噪聲，進(jìn)一步增強(qiáng)真實(shí)感。
MatrixCity數(shù)據(jù)集與之前的數(shù)據(jù)集相比，在統(tǒng)計(jì)數(shù)據(jù)和屬性上進(jìn)行了詳細(xì)比較。數(shù)據(jù)集分為Small city和Big city兩個(gè)城市地圖，分別包含6k張航空?qǐng)D像和30k張街道級(jí)圖像，以及60k張航空照片和286k張街道級(jí)照片。數(shù)據(jù)集的評(píng)估指標(biāo)包括PSNR、SSIM、VGG LPIPS、MAE和MSE等，用于評(píng)估渲染性能和法向矢量、深度圖的估計(jì)質(zhì)量。
為了測(cè)試當(dāng)前神經(jīng)渲染方法在MatrixCity數(shù)據(jù)集上的性能，選擇了五種廣泛使用的基線方法：NeRF、DVGO、Instant NGP、TensoRF和MipNeRF360。評(píng)估結(jié)果表明，MipNeRF-360和Instant NGP在航空數(shù)據(jù)渲染中表現(xiàn)較好，而NeRF表現(xiàn)最差。在街道數(shù)據(jù)渲染中，基于MLP的NeRF方法優(yōu)于基于網(wǎng)格的方法。聯(lián)合類型數(shù)據(jù)的神經(jīng)渲染顯示，簡(jiǎn)單地將空中和街道數(shù)據(jù)融合在一起訓(xùn)練會(huì)導(dǎo)致性能下降。
MatrixCity數(shù)據(jù)集的發(fā)布為城市規(guī)模的神經(jīng)渲染研究提供了寶貴資源，為理解城市級(jí)神經(jīng)渲染挑戰(zhàn)和未來(lái)研究方向提供了基礎(chǔ)。數(shù)據(jù)集的高質(zhì)量和全面性使得其成為神經(jīng)渲染領(lǐng)域的重要貢獻(xiàn)，將推動(dòng)該領(lǐng)域的發(fā)展和創(chuàng)新。
相關(guān)評(píng)說(shuō)：
墊江縣球面： ______ matlab怎么讀取txt數(shù)據(jù)存放到矩陣中 以Matlab R2012b為例. 首先打開matlab; 選擇current folder并加入當(dāng)前路徑; 選擇指定的txt文件,右鍵,選擇導(dǎo)入數(shù)據(jù); 選擇相應(yīng)的數(shù)據(jù)類型,這里應(yīng)選matrix.
墊江縣球面： ______ 如下:>> A=[0.1 0.2;0.3 0.4]; for i=1:2 Btemp3(i)=min(A(1,i),A(i,1)); Ctemp3(i)=min(A(1,i),A(i,2)); Dtemp3(i)=min(A(2,i),A(i,1)); Etemp3(i)=min(A(2,i),A(i,2)); end>> T3=[max(Btemp3),max(Ctemp3); max(Dtemp3),max(Etemp3)]
墊江縣球面： ______ MATLAB是矩陣實(shí)驗(yàn)室(Matrix Laboratory)的簡(jiǎn)稱,是美國(guó)MathWorks公司出品的商業(yè)數(shù)學(xué)軟件,用于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計(jì)算的高級(jí)技術(shù)計(jì)算語(yǔ)言和交互式環(huán)境,主要包括MATLAB和Simulink兩大部分. MATLAB可以進(jìn)行矩陣運(yùn)算、繪制函數(shù)和數(shù)據(jù)、實(shí)現(xiàn)算法、創(chuàng)建用戶界面、連接其他編程語(yǔ)言的程序等,主要應(yīng)用于工程計(jì)算、控制設(shè)計(jì)、信號(hào)處理與通訊、圖像處理、信號(hào)檢測(cè)、金融建模設(shè)計(jì)與分析等領(lǐng)域.
墊江縣球面： ______ 1. 數(shù)組名是指向第一個(gè)元素的指針,matrix第一個(gè)元素是什么?由于是二維數(shù)組,所以可以看作是整個(gè)第一行,所以matrix指向第一行,+1后指向第二行 2. *(matrix+1)就得到第二行這個(gè)一維數(shù)組,一維數(shù)組名指向第一個(gè)元素,所以*(matrix+1)指向第一個(gè)元素,+5后指向第六個(gè)元素 希望能幫到你!不懂在問吧
墊江縣球面： ______ 已經(jīng)有現(xiàn)成的了http://www.mathworks.com/matlabcentral/fileexchange/11727-cooccurrence-matrix 如果你無(wú)法下載,源代碼如下:% Calculates cooccurrence matrix % for a given direction and distance%% out = cooccurrence (input, dir, dist, ...
墊江縣球面： ______ [rows,columns]=size(image);%獲取圖像尺寸,image為圖像數(shù)據(jù)(默認(rèn)是二維灰度圖). matrix=zeros(rows,columns);%生成同大小的零矩陣. 往matrix里面賦值即可存儲(chǔ).
墊江縣球面： ______ 如果只為了顯示矩陣直接使用imagesc(A);colormap(gray);即可,不需要?dú)w一化.
墊江縣球面： ______ 我簡(jiǎn)單的敘述下,matrix就一個(gè)二維數(shù)組,矩陣的轉(zhuǎn)置就是對(duì)角上的折疊,說(shuō)白了就是兩個(gè)值的互換].求和就非常簡(jiǎn)單了,必須是行和列都相同的才行,把對(duì)應(yīng)位置的值加起來(lái)就ok.轉(zhuǎn)置的具體方式可參考線性代數(shù)里的介紹
墊江縣球面： ______ 比如 A={1,[2,3;4,5];sym('a'),'hello'} 于是A就是一個(gè)細(xì)胞矩陣,細(xì)胞矩陣可以看成是結(jié)構(gòu)數(shù)組的推廣.它里面的元素可以是任意類型的變量,而不必是統(tǒng)一的類型. 細(xì)胞數(shù)組A中第i行第j列元素的表示方法是A{i,j} 例如 A{1,2}=A{1,2}' A(1,2)得到的還是一個(gè)細(xì)胞數(shù)組,只不過他的元素只有一個(gè),即A{1,2} 通過這種方法我們可以像對(duì)待普通數(shù)組一樣提取細(xì)胞數(shù)組的某些元素構(gòu)成新的數(shù)組,例如 B=A(1,:)
墊江縣球面： ______ 給你一個(gè)例子,希望有所幫助 % 基于matlab灰色預(yù)測(cè)GM(1,1)實(shí)現(xiàn) function [y,p,e]=gm_1_1(X,k) %Build the calculating dieplate for the typical gray model. %Example [y,p]=gm_1_1([200 250 300 350],2) %Designed by NIXIUHUI,Dalian Fisher ...
