API istirahat FileNotFoundException WebHDFS

Saya memposting pertanyaan ini sebagai kelanjutan dari posting webhdfs rest api membuang file tidak ditemukan pengecualian

Saya memiliki file gambar yang ingin saya BUKA melalui rest api WebHDFS.

1. file tersebut ada di hdfs dan memiliki izin yang sesuai
2. Saya dapat LISTSTATUSfile itu dan mendapatkan jawaban:

curl -i "http: // namenode: 50070 / webhdfs / v1 / tmp / file.png? op = LISTSTATUS"

HTTP/1.1 200 OK
Date: Fri, 17 Jul 2020 22:47:29 GMT
Cache-Control: no-cache
Expires: Fri, 17 Jul 2020 22:47:29 GMT
Date: Fri, 17 Jul 2020 22:47:29 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Content-Type: application/json
Transfer-Encoding: chunked

{"FileStatuses":{"FileStatus":[
{"accessTime":1594828591740,"blockSize":134217728,"childrenNum":0,"fileId":11393739,"group":"hdfs","length":104811,"modificationTime":1594828592000,"owner":"XXXX","pathSuffix":"XXXX","permission":"644","replication":3,"storagePolicy":0,"type":"FILE"}
]}}

Content-Type: application/octet-stream
Content-Length: 0

1. Jadi api dapat membaca metadata dengan benar, tetapi saya tidak bisa membuka file itu:

curl -i "http: // namenode: 50070 / webhdfs / v1 / tmp / file.png? op = OPEN"

HTTP/1.1 307 Temporary Redirect
Date: Fri, 17 Jul 2020 22:23:17 GMT
Cache-Control: no-cache
Expires: Fri, 17 Jul 2020 22:23:17 GMT
Date: Fri, 17 Jul 2020 22:23:17 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Location: http://datanode1:50075/webhdfs/v1/tmp/file.png?op=OPEN&namenoderpcaddress=namenode:8020&offset=0
Content-Type: application/octet-stream
Content-Length: 0

{"RemoteException":{"exception":"FileNotFoundException","javaClassName":"java.io.FileNotFoundException","message":"Path is not a file: /tmp/file.png......

1. Jadi, menurut webhdfs rest api throwing file not found exception , saya dapat melihat bahwa permintaan tersebut diteruskan dari namenode ke datanode1. Datanode1 ada di file host saya, saya dapat menyambungkannya untuk memeriksa status webhdf dari sana:

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
<final>true</final>
</property>

Itu diperbolehkan, sama pada namenode.

1. Saya juga pergi untuk melihat log hdfs /var/log/hadoop/hdfs/*.{log,out}untuk melihat apakah saya dapat menemukan kesalahan yang dipicu saat saya meringkuk, tetapi sepertinya tidak ada yang terjadi. Saya tidak melihat entri yang berkaitan dengan file atau kueri webhdfs saya. Saya mencobanya di namenode dan datanode1.

2. sebagai upaya terakhir saya mencoba meningkatkan izin (tidak ideal) dari 644 (terlihat pada poin 2 /) menjadi 666

hdfs dfs -chmod 666 /tmp/file.png

curl -i "http: // namenode: 50070 / webhdfs / v1 / tmp / file.png? op = LISTSTATUS"

HTTP/1.1 403 Forbidden
Date: Fri, 17 Jul 2020 23:06:18 GMT
Cache-Control: no-cache
Expires: Fri, 17 Jul 2020 23:06:18 GMT
Date: Fri, 17 Jul 2020 23:06:18 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Content-Type: application/json
Transfer-Encoding: chunked

{"RemoteException":{"exception":"AccessControlException","javaClassName":"org.apache.hadoop.security.AccessControlException","message":"Permission denied: user=XXXX, access=READ_EXECUTE, inode=\"/tmp/file.png\":XXXX:hdfs:drw-rw-rw-"}}

Jadi sepertinya itu beralih tetapi entah bagaimana saya mendapat masalah izin saat melonggarkan izin saat ini yang tidak saya dapatkan sebelumnya? Ini tidak seperti saya menghapus bendera X, itu tidak ada di sana untuk memulai. Apakah akses = READ_EXECUTE membutuhkan R dan X?

Sekarang saya bingung mengapa saya bisa melihat tetapi tidak membaca file ini dengan HDFS. Bisakah seseorang membantu saya memecahkan masalah ini?

Melihat lebih dekat pada kesalahan terakhir Anda ... inode=\"/tmp/file.png\":XXXX:hdfs:drw-rw-rw-"},, tampaknya menunjukkan bahwa file.pngsebenarnya itu adalah direktori ( dsimbol utama ) dan bukan file. Ini konsisten dengan kesalahan yang Anda dapatkan pada langkah # 3 *..."message":"Path is not a file: /tmp/file.png....

Anda dapat memeriksanya kembali hanya dengan melakukan $ hdfs dfs -ls /tmp/file.png/.

Kembali ke kesalahan akses Anda, Anda memang memerlukan xizin "mengeksekusi" ( ) untuk mencantumkan file dalam direktori.