WebHDFS FileNotFoundException API ที่เหลือ

ฉันกำลังโพสต์คำถามนี้เป็นความต่อเนื่องของไฟล์การโยน webhdfs ที่เหลือ api ไม่พบข้อยกเว้น

ฉันมีไฟล์ภาพที่ต้องการเปิดผ่าน WebHDFS rest api

1. ไฟล์มีอยู่ใน hdfs และมีสิทธิ์ที่เหมาะสม
2. ฉันสามารถLISTSTATUSไฟล์นั้นได้และรับคำตอบ:

curl -i "http: // namenode: 50070 / webhdfs / v1 / tmp / file.png? op = LISTSTATUS"

HTTP/1.1 200 OK
Date: Fri, 17 Jul 2020 22:47:29 GMT
Cache-Control: no-cache
Expires: Fri, 17 Jul 2020 22:47:29 GMT
Date: Fri, 17 Jul 2020 22:47:29 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Content-Type: application/json
Transfer-Encoding: chunked

{"FileStatuses":{"FileStatus":[
{"accessTime":1594828591740,"blockSize":134217728,"childrenNum":0,"fileId":11393739,"group":"hdfs","length":104811,"modificationTime":1594828592000,"owner":"XXXX","pathSuffix":"XXXX","permission":"644","replication":3,"storagePolicy":0,"type":"FILE"}
]}}

Content-Type: application/octet-stream
Content-Length: 0

1. ดังนั้น api สามารถอ่านข้อมูลเมตาได้อย่างถูกต้อง แต่ฉันไม่สามารถรับไฟล์นั้นเป็น OPEN:

curl -i "http: // namenode: 50070 / webhdfs / v1 / tmp / file.png? op = OPEN"

HTTP/1.1 307 Temporary Redirect
Date: Fri, 17 Jul 2020 22:23:17 GMT
Cache-Control: no-cache
Expires: Fri, 17 Jul 2020 22:23:17 GMT
Date: Fri, 17 Jul 2020 22:23:17 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Location: http://datanode1:50075/webhdfs/v1/tmp/file.png?op=OPEN&namenoderpcaddress=namenode:8020&offset=0
Content-Type: application/octet-stream
Content-Length: 0

{"RemoteException":{"exception":"FileNotFoundException","javaClassName":"java.io.FileNotFoundException","message":"Path is not a file: /tmp/file.png......

1. ดังนั้นตามที่webhdfs rest api ไฟล์โยนไม่พบข้อยกเว้นฉันเห็นว่าคำขอถูกส่งต่อจาก Namenode ไปยัง datanode1 Datanode1 อยู่ในไฟล์โฮสต์ของฉันฉันสามารถเชื่อมต่อได้โดยตรวจสอบสถานะของ webhdfs จากที่นั่น:

<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
<final>true</final>
</property>

ได้รับอนุญาตเช่นเดียวกันกับ Namenode

1. ฉันยังไปดูที่บันทึก hdfs /var/log/hadoop/hdfs/*.{log,out}เพื่อดูว่าฉันสามารถพบข้อผิดพลาดที่เกิดขึ้นเมื่อฉันม้วนงอ แต่ดูเหมือนจะไม่มีอะไรเกิดขึ้น ฉันไม่เห็นรายการที่เกี่ยวข้องกับไฟล์หรือแบบสอบถาม webhdfs ของฉัน ฉันลองใช้กับ namenode และ datanode1

2. ในฐานะที่เป็นความพยายามครั้งสุดท้ายฉันพยายามเพิ่มสิทธิ์ (ไม่เหมาะ) จาก 644 (ดูในจุดที่ 2 /) เป็น 666

hdfs dfs -chmod 666 /tmp/file.png

curl -i "http: // namenode: 50070 / webhdfs / v1 / tmp / file.png? op = LISTSTATUS"

HTTP/1.1 403 Forbidden
Date: Fri, 17 Jul 2020 23:06:18 GMT
Cache-Control: no-cache
Expires: Fri, 17 Jul 2020 23:06:18 GMT
Date: Fri, 17 Jul 2020 23:06:18 GMT
Pragma: no-cache
X-FRAME-OPTIONS: SAMEORIGIN
Content-Type: application/json
Transfer-Encoding: chunked

{"RemoteException":{"exception":"AccessControlException","javaClassName":"org.apache.hadoop.security.AccessControlException","message":"Permission denied: user=XXXX, access=READ_EXECUTE, inode=\"/tmp/file.png\":XXXX:hdfs:drw-rw-rw-"}}

ดูเหมือนว่ามันจะเปลี่ยนไป แต่ฉันได้รับปัญหาการอนุญาตเมื่อผ่อนคลายการอนุญาตปัจจุบันที่ฉันไม่ได้รับมาก่อน? มันไม่เหมือนกับว่าฉันลบแฟล็ก X ออก แต่ก็ไม่ได้มีไว้เพื่อเริ่มต้นด้วย access = READ_EXECUTE ต้องการทั้ง R และ X หรือไม่

ตอนนี้ฉันรู้สึกสูญเสียว่าทำไมฉันถึงมองเห็น แต่ไม่สามารถอ่านไฟล์นี้ด้วย HDFS ใครสามารถช่วยฉันแก้ปัญหานี้ได้ไหม

เมื่อดูข้อผิดพลาดสุดท้ายของคุณอย่างใกล้ชิด... inode=\"/tmp/file.png\":XXXX:hdfs:drw-rw-rw-"}ดูเหมือนว่าจะระบุว่าfile.pngเป็นไดเร็กทอรี ( dสัญลักษณ์นำหน้า) ไม่ใช่ไฟล์ สิ่งนี้สอดคล้องกับข้อผิดพลาดที่คุณได้รับในขั้นตอนที่ # 3 *..."message":"Path is not a file: /tmp/file.png....

$ hdfs dfs -ls /tmp/file.png/คุณสามารถตรวจสอบว่าได้ง่ายๆโดยการทำ

กลับไปที่ข้อผิดพลาดในการเข้าถึงของคุณคุณจำเป็นต้องมีสิทธิ์ "execute" ( x) เพื่อแสดงรายการไฟล์ในไดเร็กทอรี