cluster และ ขนาด file ที่ใหญ่กว่า 2 GB

ยะ

1. cluster แบบ diskless กับแบบทุก node มี disk กับตัว แบบไหนดีกว่ากันครับ (ทางห้อง lab กำลังมีแผนดำเนินการครับ)

2. เรื่องของระบบ file รับ ผมใช้ Open SuSE 10.1 ระบบ file แบบ Ext3 ครับ ถ้าผม run งาน แล้วสร้าง  output file  ที่มี ขนาดใหญ่กว่า 2 GB มันจะไม่สามารถสร้างได้ครับ (หยุดทันทีเลย) พี่เคยพบปัญหาแบบนี้มั้ยครับ  พอจะมีวิธีแก้มันบ้างมั้ยครับ

 

 

ขอบคุณนะครับพี่

ยะ 

 

คำตอบ

คำถาม:

1. cluster แบบ diskless กับแบบทุก node มี disk กับตัว แบบไหนดีกว่ากันครับ (ทางห้อง lab กำลังมีแผนดำเนินการครับ)

ตอบ อยู่ที่ว่าน้องมีการใช้ข้อมูลแบบไหนในการประมวลผลนะครับ เพราะแบบ diskless นั้นน้องต้องมีทุกอย่างอยู่ในเครื่องแม่ หากจะรับส่งข้อมูลกันช้าไหม สะดวกไหมในการโปรแกรม อยู่ที่ว่าข้อมูลน้องเป็นแบบไหน เคยอ่านพวก

  • หนึ่งคำสั่งหนึ่งข้อมูล SISD,  

  • หนึ่งคำสั่งหลายข้อมูล SIMD,

  • หลายคำสั่งหลายข้อมูล MIMD   

  • อะไรพวกนี้นะครับ

  • หากน้องจะเก็บข้อมูลไว้กับแต่ละเครื่อง ก็ควรมีที่เก็บข้อมูลด้วยครับ ที่พี่เคยใช้ก็คือว่ามีดิสก์ในแต่ละตัวด้วย แต่หากไม่มีก็ดีครับ ลดงบประมาณ มีแต่แผ่นบูทหรือว่าบูทจากระบบครับ

  • แบบไหนก็ได้ครับ ที่สะดวกต่อการคำนวณของเรานะครับ แต่การคำนวณส่วนใหญ่ใช้แต่ แรง CPU, RAM ของเครื่องลูกนะครับ

 

2. เรื่องของระบบ file รับ ผมใช้ Open SuSE 10.1 ระบบ file แบบ Ext3 ครับ ถ้าผม run งาน แล้วสร้าง  output file  ที่มี ขนาดใหญ่กว่า 2 GB มันจะไม่สามารถสร้างได้ครับ (หยุดทันทีเลย) พี่เคยพบปัญหาแบบนี้มั้ยครับ  พอจะมีวิธีแก้มันบ้างมั้ยครับ

  • พี่ยังไม่เคยทำแฟ้มใหญ่เกิน 2GB เลยครับ แต่แนะนำว่าให้เขียนลงแบบ Binary file ครับ อาจจะทำให้ขนาดของแฟ้มเล็กลงจาก text file สองเท่านะครับ

  • ทดสอบดูนะครับ แล้วมารายงานให้ทราบด้วยนะครับผม

  • ขอบคุณมากนะครับ มีไรก็เขียนไว้ต่อได้เลยที่นี่นะครับ

ขอบคุณพี่มากครับ สำหรับคำตอบทั้งสองข้อ

  •  สำหรับในข้อหนึ่งนั้น ผมเองยังไม่เคยศึกษาหรือว่าอ่านเรื่อง SISD, SIMD และ MIMD เลยครับ ยังไม่เข้าใจ (จริงๆแล้วไม่รู้เรื่องเลยครับ) คงต้องหามาอ่านก่อนครับว่าเป็นอย่างไร และเรื่องของการออกแบบ cluster นั้น ่ผมคิดว่าจะเลือกแบบมี disk ครับเพราะว่าข้อมูลค่อนข้างใหญ่ครับ แต่ก็ขอบคุณพี่ครับที่ทำให้ทราบถึงความแตกต่างระหว่างทั้งสองแบบ
  • สำหรับข้อสอง เนื่องจากผม run WRF-Model ดังนั้น output file ที่ได้จะอยู่ในรูปแบบ netCDF format ครับ ผมคิดว่าเคยได้คุยกับพี่ก่อนหน้านี้ทราบว่าท่าน ดร.วัฒนา ได้ใช้งาน MM5-Model ใช่มั้ยครับ ซึ่ง output file จะออกมาในรูปแบบเดียวกันกับผมครับ (อันนี้ผมจะลองขอความรู้จาก ท่าน ดร.วัฒนาอีกทีครับ)
  • ขอบคุณพี่มากครับ ถ้ามีความก้าวหน้ายังไงผมจะรายงานให้ทราบนะครับ
เม้ง สมพร ช่วยอารีย์
  • ไว้พี่จะเขียนอธิบายไว้ให้นะครับ เพิ่มเติมเพิ่มนะครับ
  • เป็นหลักการการศึกษาเกี่ยวกับ การคำนวณงาน กับการมีข้อมูลนะครับ
  • มีอะไรถามไว้อีกนะครับ