Người dùng đồng thời
300 / Normal
400 Users ở mức tải đỉnh (Peak)
Thời lượng kiểm thử
≥ 60 phút
Benchmark & Stress; Endurance ≥ 6 Giờ
Giao dịch IoT & VAS
≤ 5 giây
1 TV + 4 Đèn/phòng; Bật khi nhận cảnh báo
Hạn nộp Kế hoạch Test
≥ 1 Tháng
Trước ngày bấm máy test; dùng mẫu Authority
Executive Summary
Hồ Sơ Yêu Cầu Kỹ Thuật Kiểm Thử Hiệu Năng Hệ Thống (Tender Specs)
Tài liệu này bao gồm các yêu cầu khắt khe về hiệu năng cho hệ thống ứng dụng từ bản phát hành đầu tiên đến khi nghiệm thu vận hành (Commissioning). Mọi chi phí về môi trường, bản quyền, tạo dữ liệu, và phát sinh do test lại đều do Nhà thầu (Contractor) tự chịu.
Tần suất: Từng Release (15.1)
3 Bài test: Benchmark, Stress, Endurance (15.6)
Fail Stress Test = Trượt Hợp Đồng (15.24)
01 Sơ Đồ Luồng Quy Trình Kiểm Thử Toàn Diện (Lifecycle & Stages)
Từ đợt phát hành đầu tiên (1st release) đến nghiệm thu vận hành (Commissioning) • Chuẩn hóa cấu trúc 3 Cột Giai đoạn
Vuốt ngang xem đủ sơ đồ
Đồ họa Vector độ phân giải cao (1160px HD)
02 Ma Trận Phân Định Vai Trò & Tương Tác Giữa Các Bên (RACI Sequence Flow)
Phân định rõ trách nhiệm giữa Chủ đầu tư (Authority), Nhà thầu (Contractor) và Tư vấn kiểm thử (Test Consultant / QE)
Vuốt ngang xem đủ sơ đồ
Ma trận tuần tự 3 vai trò (1160px HD)
03 Sơ Đồ Cây Quyết Định Xử Lý Khi FAIL & Chế Tài Hợp Đồng (15.24 & 15.25)
Cơ chế đánh trượt nghiêm ngặt (Fail Stress Test) và 3 lựa chọn chế tài độc quyền của Chủ đầu tư (15.25)
Vuốt ngang xem đủ sơ đồ
Cây quyết định chế tài (1160px HD)
Lọc theo đối tượng:
Bấm nút "Xem bản gốc tiếng Anh" ở từng mục để đối chiếu chính xác từng từ.
Mục 3.7
Điều khoản chung
Dịch vụ Kiểm thử Hiệu năng Hệ thống (System Performance Testing Services)
3.7.1:
Mục đích: Cung cấp dịch vụ nhằm kiểm tra thiết kế và chất lượng của Phần mềm Ứng dụng, đảm bảo đáp ứng thời gian phản hồi (Response Time) theo yêu cầu của Authority dưới các hồ sơ tải trọng dự kiến (expected loading profiles).
3.7.2:
Kỹ sư QE & Kiểm thử Tải: Nhà thầu phải cung cấp Kỹ sư Đảm bảo Chất lượng (Quality Engineer(s)) để chạy test trên môi trường thử nghiệm vào thời gian được Authority chấp thuận bằng văn bản. Nhà thầu cũng phải thực hiện Kiểm thử Tải (Load Testing), ép hệ thống đến mức tải tối đa trong thời gian phản hồi chỉ định để đảm bảo ứng dụng chịu tải khi vận hành thực tế.
3.7.3:
Phê duyệt trước khi triển khai: Kết quả kiểm thử phải được trình nộp cho Authority xem xét và chấp thuận bằng văn bản trước khi cài đặt bất kỳ phần mềm nâng cấp, bản sửa lỗi (debugged software) hoặc bản vá (patch) nào.
3.7.1 The purpose of the System Performance Testing Services is to provide services to check that the design and quality of the Application Software is able to meet the response time or times required by the Authority in given loading profiles expected for the software.
3.7.2 The Contractor shall provide Quality Engineer(s) to perform the System Performance Test in a test environment and at a time agreed in writing by the Authority. The Contractor shall also perform the Load Testing where the Software is stressed to the maximum load and within the response time, as specified by the Authority, to ensure that the Application Software is able to handle the load during operation.
3.7.3 Test results shall be submitted to the Authority for review and written acceptance prior to installing any enhanced or debugged Application Software or any patch on the Application Software.
Mục 15.1 – 15.5
100% Chi phí Nhà thầu chịu
Phạm Vi, Dữ Liệu Kiểm Thử & Chi Phí Môi Trường
15.1:
Tần suất theo Release: Chứng minh đạt yêu cầu Part 2 Chapter 14 Clause 2.5. Phải thực hiện kiểm thử hiệu năng cho từng đợt phát hành (each release) bắt đầu từ bản 1st release cho đến khi Nghiệm thu vận hành (System Commissioning).
15.2:
Quy trình nạp dữ liệu tại Site: Sau khi cài đặt hoàn chỉnh trên phần cứng tại Site, Authority nạp dữ liệu test phù hợp; cùng với sự tư vấn của Nhà thầu, vận hành hệ thống trong thời gian thỏa thuận để: (a) chạy giao dịch thường nhật; (b) chạy bài benchmark/demo; (c) xác định tính sẵn sàng, thời gian phản hồi, tải trọng; (d) kiểm tra tài liệu hệ thống; (e) chạy các giao dịch kiểm thử cần thiết khác.
15.3:
Tinh chỉnh ứng dụng (Tuning): Được Authority chấp thuận, Nhà thầu phải tiến hành test kết hợp tinh chỉnh (tuning) để tối ưu hóa hiệu năng trong môi trường test.
15.4:
Công cụ & Bản quyền: Nhà thầu phải thông báo và xin phê duyệt của Authority về các công cụ kiểm thử (testing tools) và số lượng bản quyền (software licences) đề xuất.
15.5:
Trách nhiệm & Chi phí (Bẫy chi phí): Nhà thầu phải tự bỏ toàn bộ chi phí (at its own costs) để dựng môi trường test, thực thi test, chuẩn bị dữ liệu test, làm mới (refresh) dữ liệu, lập kế hoạch/chạy/giám sát batch jobs và mọi công việc cần thiết khác.
15.1 The Contractor shall note that the purpose of the Performance Tests is to demonstrate that the proposed System meets the performance of the System specified in Part 2, Chapter 14 - Technical Requirements Clause 2.5. The Contractor shall perform Performance test for each release starting from 1st release till System Commissioning.
15.2 After the Software has been fully installed on the Hardware at the Site, the Authority shall load into the System test data which, in the reasonable opinion of the Authority, is suitable for testing whether the System is in accordance with the Part 2 specifications, and with the advice and assistance of the Contractor, operate the System for a mutually agreed period to: a. perform routine transactions; b. perform benchmark tests / vendor demonstrations; c. carry out system functions test; d. determine documentation requirements; e. perform other transactions necessary.
15.3 Subject to the Authority’s approval, the Contractor shall carry out the performance testing as well as application tuning to optimise the application performance in the System Performance Test environment.
15.4 The Contractor shall notify and obtain the Authority’s approval on the recommended testing tools and number of software licences.
15.5 The Contractor shall, at its own costs, be responsible for setting up the System Performance Test environment and executing system performance testing, including preparing all the data required for the System Performance Tests, refreshing the data where required, plan, execute and monitor all related batch job runs and other necessary work required by the System Performance Tests.
Mục 15.6 – 15.9
Quy chuẩn kỹ thuật
Ba Loại Kiểm Thử Hiệu Năng Bắt Buộc (Test Types)
a. Benchmark Test (15.7)
Xác thực hiệu năng với 100% hệ số tải đỉnh đồng thời (400 users) kết hợp 100% thời gian suy nghĩ thông thường (normal think-times). Authority sẽ chốt normal think-times trong giai đoạn yêu cầu.
b. Stress Test (15.8)
Xác thực hiệu năng với 100% hệ số tải đỉnh đồng thời (400 users) nhưng giảm xuống chỉ còn 50% thời gian suy nghĩ (50% think-times) đã định nghĩa trong bài Benchmark.
c. Endurance Test (15.9)
Xác lập tính ổn định/nhất quán của hệ thống (system consistency) dưới mức tải đỉnh đồng thời kéo dài liên tục trong ít nhất 6 giờ.
15.6 The Contractor shall note that the System Performance Tests comprises the following: a. Benchmark Test; b. Stress Test; and c. Endurance Test.
15.7 The Benchmark Test shall validate system performance with the peak concurrent load factor (ONE HUNDRED PERCENT (100%) of peak concurrent load factor) and normal think-times. The Authority shall confirm the normal think-times during the requirements phase.
15.8 The Stress Test shall validate system performance with the peak concurrent load factor (ONE HUNDRED PERCENT (100%) of peak concurrent load factor) and FIFTY PERCENT (50%) of the think-times defined in the Benchmark Test.
15.9 The Endurance Test shall establish system consistency over prolonged sustained peak concurrent load factor.
Mục 15.10 – 15.19
Quy trình vận hành
Kế Hoạch Kiểm Thử, Vai Trò Test Consultant & Bảo Vệ Môi Trường Chung
15.10:
Kế hoạch kiểm thử Master hoặc Performance Test Plan chi tiết cập nhật phải được Authority xem xét và phê duyệt.
15.11:
Mẫu biểu Test Plan: Test Consultant phải dùng biểu mẫu của Authority (cung cấp sau trúng thầu), ghi chép tối thiểu: tổng quan hệ thống, mục tiêu, vai trò/trách nhiệm đội ngũ, phương pháp kiểm thử, các quy trình nghiệp vụ trọng yếu, thước đo thành công, đề xuất tinh chỉnh.
15.12:
Mô phỏng như Live: Test Consultant đề xuất cách tạo tải giao dịch như vận hành thực tế (độ lớn dữ liệu, kịch bản dùng, tập người dùng tương đồng). Test Consultant trực tiếp chạy test, Authority xác minh kết quả.
15.13:
Tham số kiểm thử xác lập theo tài nguyên môi trường test; chứng minh đạt mục tiêu hiệu năng tương ứng với cấu hình quy mô (System sizing) đề xuất.
15.14:
Hạn chót (Deadline): Phải nộp Master Test Plan hoặc Performance Test Plan cập nhật cho Authority duyệt chậm nhất 01 THÁNG (not later than 1 month) trước ngày bắt đầu kiểm thử hiệu năng.
15.15-16:
Độ bao phủ test & lượng dữ liệu tải thực tế (kết hợp xử lý batch) phụ thuộc vào kiến trúc, số user đồng thời, request đồng thời,... và phải được Authority thẩm tra, phê duyệt.
15.17:
Thiết lập đường cơ sở (baselined) cho hệ thống dưới mức tải yêu cầu trong thời gian phản hồi quy định.
15.18:
Kiểm thử phải làm song song với việc tinh chỉnh (tuning) ứng dụng, bất kể thực hiện onsite hay offsite.
15.19:
Không làm ảnh hưởng môi trường dùng chung: Chạy phân tách tải cao/thấp, chọn giờ thấp điểm (off-peak) và lập lịch khoa học để tránh tác động đến các ứng dụng khác cùng hạ tầng.
15.10 The updated Master Test Plan or detailed Performance Test Plan shall be reviewed and approved by the Authority.
15.11 The Test Consultant shall update the Master Test Plan or provide a separate Performance Test Plan using the Authority’s Performance Test Plan template which documents minimally the background i.e. system overview, objectives, roles and responsibilities of the project team, testing methodology, key business processes, measurement of success, areas required for refinement and fine-tuning recommendations. The Authority’s Performance Test Plan template will be provided to Contractor upon Contract award.
15.12 The Test Consultant shall propose in the Master Test Plan or Performance Test Plan how to generate the transaction load to test the System as though it were operating under live conditions, such as similar data size, usage scenarios and user base. The Test Consultant’s Performance Test shall be carried out by the Test Consultant and the results of the test will be verified by the Authority.
15.13 The Test Consultant shall note that the Performance Test parameters shall be established according to the available resource in the Performance Test environment. The Contractor shall provide the results to the Authority to show that the application meets the performance targets for the System sizing proposed.
15.14 The Contractor shall submit the updated Master Test Plan or Performance Test Plan to the Authority for review and approval not later than ONE (1) MONTH before the commencement of the System Performance Test.
15.15 The Test Consultant shall generate sufficient test coverage and a realistic amount of load together with batch processing on the application and system under test. The proposed test coverage and suggested amount of test data to be generated is subject to the Authority’s review and approval.
15.16 The test coverage, the type of testing services and the amount of load generated on the system and application, which is subject to the Authority’s approval, are dependent on the business requirements of the System, the System application architecture, the size of the user base, the number of concurrent users, the number of concurrent access, the number of concurrent requests, the system configurations, etc.
15.17 The performance of the System shall be baselined under the required load for user base and concurrent users within the specified System Response Time.
15.18 The Contractor shall ensure that performance testing shall be conducted in conjunction with applications’ tuning to optimise the System performance in the Performance Test environment, regardless of whether the Performance Test are performed onsite or offsite.
15.19 The Contractor shall ensure that the performance testing shall be conducted without impact to other applications, implementation schedule or resource requirements by executing the test in a different mix of scenarios such as low load vs high load, off peak periods and scheduling to ensure that the shared environment is not affected and mitigate any impact from the performance testing conducted.
Mục 15.20 – 15.25
CỰC KỲ QUAN TRỌNG
Báo Cáo, Trách Nhiệm Chi Phí, Tiêu Chí FAIL & 3 Chế Tài Hợp Đồng
15.20:
Báo cáo nghiệm thu: Nhà thầu nộp và thuyết trình Performance Test Report (gồm test cases, kết quả thực tế vs kỳ vọng, thống kê làm chứng cứ, lỗi phát hiện và khuyến nghị tuning).
15.21:
Authority xem xét và xác nhận dựa trên 3 bài test có đạt tiêu chuẩn Part 2 không.
15.22:
Chi phí test lại: Nếu hệ thống không đạt dẫn đến phải test thêm các vòng bổ sung, Nhà thầu phải chịu 100% chi phí phát sinh (kể cả mua thêm phần cứng, phần mềm).
15.23:
Suy giảm hiệu năng: Nếu bị suy giảm hiệu năng hoặc không tương thích, Nhà thầu tự bỏ chi phí bổ sung tài nguyên để khắc phục theo phê duyệt của Authority.
15.24:
ĐIỀU KIỆN ĐÁNH TRƯỢT (DEEMED TO FAIL): Hệ thống bị coi là rớt kiểm thử nếu:
- (a) Thiếu bất kỳ tính năng, giao dịch hay chức năng nào nêu trong Part 2; HOẶC
- (b) Không đạt Thời gian phản hồi (System Response Time) trong bài KIỂM THỬ ÁP LỰC (Stress Test).
15.25:
3 LỰA CHỌN CHẾ TÀI CỦA AUTHORITY (Tùy ý Authority quyết định):
(a) Bắt sửa & Test lại: Nhà thầu đề xuất giải pháp, ấn định ngày test lại. Toàn bộ chi phí Authority phát sinh do test lại phải được Nhà thầu hoàn trả. Đợt test lại này KHÔNG ĐƯỢC COI LÀ GIA HẠN THỜI GIAN, Nhà thầu vẫn bị phạt chậm tiến độ hợp đồng.
(b) Giảm giá hợp đồng (Abatement): Nghiệm thu kèm giảm trừ giá hợp đồng một khoản hợp lý. Nếu không thống nhất được mức giảm trong vòng 14 NGÀY, Authority kích hoạt phương án (c).
(c) Chấm dứt Hợp đồng: Coi Nhà thầu vi phạm hợp đồng, từ chối nhận hệ thống, hủy hợp đồng theo Điều 50 Phần 1 Mục B và yêu cầu bồi thường.
15.20 Upon completion of the Performance Tests, the Contractor shall submit and present the Performance Test Report to the Authority for review and approval. The Performance Test Report shall document test cases with results (expected and actual), statistics as evidence that performance tests have been carried out and the System is ready for review by the Authority, problems identified and recommendations for the application and system fine-tuning.
15.21 The Authority shall review and confirm if, based on the results of the Benchmark Test, Stress Test and Endurance Test, the System meets the performance requirements in the Part 2 specifications, and if not, whether the corrective actions to be undertaken by the Contractor to meet the requirements are acceptable to the Authority.
15.22 If the System is unable to meet the performance standards required by Authority, resulting in the need to conduct additional rounds of Performance Tests, the Contractor shall bear all the costs and expenses incurred for the additional resources needed, to conduct the additional round(s) of Performance Tests, including additional hardware and software.
15.23 In the event of non-compatibilities or System degradation during or as a result of the Performance Tests, the Contractor shall propose and implement solution(s) such as adding System resources to meet the System’s requirements as approved by the Authority. The Contractor shall bear all the costs and expenses incurred to implement the solution(s).
15.24 The System shall be deemed to fail the System Performance Tests if: a. it fails to provide any facility, transaction or function specified in the Part 2 specifications; or b. it fails to meet the System Response Time for the Stress Test.
15.25 If the System fails to pass the System Performance Tests, then the Authority may, by written notice to the Contractor elect at its sole option: a. to have the Contractor provide a solution and to fix a new date for carrying out further tests... all costs reimbursed by Contractor... shall not be construed as grant of extension of time; or b. to accept the System subject to an abatement of the Contract Price... within 14 days...; or c. to treat the Contractor as being in breach of Contract and terminate in accordance with Part 1 Section B Clause 50.
Mục 2.5.5 – 2.5.8
Rủi ro thầu
Chịu Lỗi, Bẫy Hạ Tầng Mạng, Xử Lý Batch & Tinh Chỉnh
2.5.5:
Khả năng chịu lỗi (Fault Tolerance): Hệ thống phải có khả năng chịu lỗi, thể hiện qua khả năng suy giảm hiệu năng êm ái/uyển chuyển (graceful degradation) khi vượt quá yêu cầu hiệu năng tối thiểu.
2.5.6:
BẪY CHI PHÍ HẠ TẦNG MẠNG HIỆN HỮU: Nhà thầu tham gia dự thầu (Tenderer) phải chủ động khảo sát hạ tầng mạng hiện tại và tự đảm bảo đáp ứng được thời gian phản hồi. Nếu theo ý kiến chuyên môn thấy hạ tầng không đáp ứng, phải báo cáo chi tiết ngay cho Authority. Nếu không báo cáo, Nhà thầu phải tự chịu 100% chi phí nâng cấp mạng để đạt thời gian phản hồi.
2.5.7:
Xử lý hàng loạt (Batch Processes): Phải hoàn thành trong khung thời gian định trước (batch window). Có thể đề xuất chạy batch trong giờ làm việc (Operating Hours) với điều kiện tiên quyết là không ảnh hưởng đến các thao tác online.
2.5.8:
Trách nhiệm tinh chỉnh (Fine-tuning): Nhà thầu phải tiến hành fine-tuning hệ thống bất kỳ lúc nào Authority yêu cầu hoặc khi thấy cần thiết để đảm bảo chuẩn hiệu năng.
2.5.5 The System shall be fault tolerant. An example of fault tolerance is the System’s ability to handle graceful degradation of the system performance beyond the minimal performance requirements.
2.5.6 As far as System Performance is concerned, the Tenderer shall review the existing network infrastructure requirement and satisfy itself that the required response time could be met. The Tenderer shall highlight to the Authority, in detail, all necessary actions required for the existing network infrastructure, if according to its expert opinion, the existing network infrastructure could not satisfy the performance requirements. Failing which, the Tenderer shall bear all costs required to achieve the required response time.
2.5.7 The Contractor shall ensure that all ‘batch processes’ are completed within the designated batch window. The Contractor may choose to recommend the execution of certain batch processes to be performed during the daily Operating Hours, provided that they do not in any way affect the performance of the on-line operations.
2.5.8 The Contractor shall fine-tune the System when necessary, as requested by the Authority or when the Contractor deems that tuning is required, to ensure that the System meets the performance standards as specified in this Tender.
Định Nghĩa Cốt Lõi (Clauses 2.5.1 & 2.5.2)
System Response Time (2.5.1)
Khoảng thời gian trôi qua giữa lúc người dùng nhấn phím để bắt đầu giao dịch cho đến khi nhận được màn hình phản hồi hoàn chỉnh đầu tiên chứa kết quả, hoặc khi dấu nhắc hệ thống (system prompt) xuất hiện chờ lệnh tiếp theo.
Giao dịch - Transaction (2.5.2)
Một đơn vị hoạt động hoàn chỉnh của người dùng trên máy trạm tương tác trực tuyến, gồm 1 hoặc nhiều thao tác nhập (bàn phím, máy quét mã vạch, máy quét laser) và nhận về 1 hoặc nhiều ký tự phản hồi từ hệ thống.
data-i18n="tab3_curricula_heading">Bảng Tham Số Kiểm Thử Hệ Thống Curricula (Clause 2.5.3)
Các tham số môi trường và tải bắt buộc phải tuân thủ
Vuốt ngang để xem đủ 5 cột
Clause 2.5.4
| Tham số kiểm thử (Parameters) | Giá trị quy định (Value) | Ghi chú nghiệp vụ |
|---|---|---|
| Số người dùng ở mức tải đồng thời bình thường (Normal Concurrent Load) | 300 users | Mức tải hoạt động tiêu chuẩn hàng ngày |
| Số người dùng ở mức tải đồng thời đỉnh điểm (Peak Concurrent Load) | 400 users | Mức tải tối đa bắt buộc dùng cho Benchmark, Stress & Endurance |
| Thời gian suy nghĩ tối đa (Maximum Think Time)* | ≤ 5 giây | Áp dụng cho mọi giao dịch (Xác định chi tiết trong Test Plan) |
| Thời lượng bài Benchmark & Stress Tests | ≥ 60 PHÚT | Chạy liên tục không gián đoạn |
| Thời lượng bài Endurance Test (chung và giao dịch web) | ≥ 6 GIỜ | Duy trì tải đỉnh 400 user trong suốt 6 tiếng liên tục |
| Thiết bị điện tử đồng thời điều khiển bởi IoT (IoT Transactions) | 1 TV & tối đa 4 Đèn | Quy mô tính trên mỗi buồng/phòng (per dorm) |
| Thời gian phản hồi khi nhận cảnh báo từ VAS (IoT Transactions) | ≤ 5 giây | Để TV, đèn và hệ thống phát thanh (PA system) bắt đầu bật |
data-i18n="tab3_chart_heading">Biểu Đồ Trực Quan Hóa Ngưỡng Thời Gian Phản Hồi (SLA Benchmark vs Stress)
So sánh ngưỡng thời gian phản hồi cho các loại giao dịch tính bằng Giây (Lower is Better)
data-i18n="tab3_exit_heading">Bảng Tiêu Chí Hoàn Thành Nghiệm Thu (Exit Criteria - Clause 2.5.4)
Áp dụng cho 6 loại giao dịch và phải duy trì được đến tải 400 concurrent users (Clause 1.5.3 / 2.5.3)
| STT | Loại giao dịch / Báo cáo | Mô tả hành vi | Tiêu chí Benchmark Test (100% Think time) | Tiêu chí Stress Test (50% Think time) |
|---|---|---|---|---|
| 1 | Truy vấn trực tuyến (Online Query) |
Người dùng chạy truy vấn ad-hoc trực tuyến. | • 90% giao dịch: ≤ 3 giây • 5% tiếp theo: ≤ 5 giây |
• 80% giao dịch: ≤ 5 giây • 15% tiếp theo: ≤ 7 giây |
| 2 | Giao dịch trực tuyến (Online Transactions) |
Người dùng thực thi giao dịch, nhập dữ liệu vào màn hình và submit. |
• 90% giao dịch: ≤ 3 giây • 5% tiếp theo: ≤ 5 giây |
• 80% giao dịch: ≤ 5 giây • 15% tiếp theo: ≤ 7 giây |
| 3 | Báo cáo chạy ngầm (Background Report do user kích hoạt) |
User kích hoạt xuất báo cáo nhưng chọn chạy ngầm để làm việc khác trong cùng phiên. |
• 90% báo cáo: ≤ 10 PHÚT • 5% tiếp theo: ≤ 30 PHÚT |
Không áp dụng (Not applicable) |
| 4 | Báo cáo trực tuyến (Online Reports) |
Người dùng thực thi và chờ xem kết quả báo cáo trực tiếp trên màn hình. |
• 90% báo cáo: ≤ 1 PHÚT • 5% tiếp theo: ≤ 3 PHÚT |
• 80% báo cáo: ≤ 3 PHÚT • 15% tiếp theo: ≤ 5 PHÚT |
| 5 | Lập lịch Điều trần / Hẹn gặp (Scheduling of Hearing / Appointment) |
Thao tác tạo lịch hẹn, phiên điều trần trên hệ thống nghiệp vụ. |
• 90% giao dịch: ≤ 3 giây • 5% tiếp theo: ≤ 5 giây |
• 80% giao dịch: ≤ 5 giây • 15% tiếp theo: ≤ 7 giây |
| 6 | Tạo mẫu tài liệu (Generation of document templates) |
Hệ thống sinh/kết xuất các biểu mẫu tài liệu động. |
• 90% giao dịch: ≤ 3 giây • 5% tiếp theo: ≤ 5 giây |
• 80% giao dịch: ≤ 5 giây • 15% tiếp theo: ≤ 7 giây |
Rủi ro tài chính lớn #1
Bẫy Chi Phí Hạ Tầng Mạng (Clause 2.5.6)
Hồ sơ thầu quy định: Nhà thầu (Tenderer) có nghĩa vụ tự khảo sát và đánh giá hạ tầng mạng hiện hữu của Authority.
Nếu không báo cáo và chỉ rõ các điểm mạng không đáp ứng ngay từ đầu, Nhà thầu sẽ phải tự bỏ 100% tiền túi để mua sắm thiết bị, nâng cấp mạng nhằm đạt được Response Time theo yêu cầu.
Rủi ro tài chính lớn #2
Chi Phí Test Lại & Đền Bù Authority (15.22, 15.25a)
Nếu trượt bài Stress Test hoặc thiếu tính năng dẫn tới phải test lại:
- Nhà thầu chịu 100% chi phí phần cứng, phần mềm bổ sung (15.22).
- Nhà thầu phải hoàn trả (reimburse) toàn bộ tổn thất chi phí mà Authority phải gánh chịu khi test lại (15.25a).
- Không được gia hạn hợp đồng, đồng nghĩa với việc đối mặt phạt vi phạm tiến độ (Delay Liquidated Damages).
data-i18n="tab4_chk_heading">Bảng Kiểm Tuân Thủ Toàn Diện (Interactive Compliance Checklist)
Tích chọn để tự kiểm tra độ sẵn sàng trước khi nộp hồ sơ và tiến hành thử nghiệm
Tiến độ tuân thủ:
0%
Part 2 Chapter 14 Clause 15 & 2.5 • Clause 3.7
data-i18n="tab5_evidence_heading">Hồ Sơ Mời Thầu Gốc Song Ngữ (Split View)
Đối chiếu song song từng điều khoản: Cột trái là Diễn giải Kỹ thuật & Ràng buộc Pháp lý Tiếng Việt; Cột phải là 100% Nguyên văn Tiếng Anh (Verbatim Specifications) trích xuất nguyên gốc từ hồ sơ mời thầu.
Bảo toàn 100% nguyên tác
36 Điều khoản & SLA
Zero Omission
Hiển thị: 36 / 36
Nhảy nhanh:
Mục 3.7
Yêu cầu cung cấp kỹ sư QE chuyên trách, kiểm thử tải tối đa và nghiệm thu bằng văn bản trước khi vá lỗi
Mục 3.7: Dịch Vụ Kiểm Thử Hiệu Năng Hệ Thống (3.7 System Performance Testing Services)
3.7.1
Mục đích Dịch vụ Kiểm thử Hiệu năng Hệ thống
Mục đích & Phạm vi
Authority & Contractor
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Mục đích của Dịch vụ Kiểm thử Hiệu năng Hệ thống là cung cấp dịch vụ nhằm thẩm tra và xác nhận thiết kế cũng như chất lượng của Phần mềm Ứng dụng, đảm bảo đáp ứng đầy đủ (các) thời gian phản hồi theo yêu cầu của Chủ đầu tư (Authority) dưới các hồ sơ tải trọng dự kiến dành cho phần mềm.
Trọng tâm thực thi: Trọng tâm: Xác minh ứng dụng đạt response time dưới mọi kịch bản tải trọng quy định.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
3.7.1 The purpose of the System Performance Testing Services is to provide services to check that the design and quality of the Application Software is able to meet the response time or times required by the Authority in given loading profiles expected for the software.
3.7.2
Cung cấp Kỹ sư QE & Thực hiện Kiểm thử Tải tối đa
Nhân sự & Ép tải
Contractor Bắt buộc
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu (Contractor) bắt buộc phải cung cấp (các) Kỹ sư Đảm bảo Chất lượng (Quality Engineer(s) - QE) để thực thi kiểm thử hiệu năng trên môi trường thử nghiệm và vào thời gian được Chủ đầu tư chấp thuận bằng văn bản. Nhà thầu cũng phải thực hiện Kiểm thử Tải (Load Testing), trong đó phần mềm được ép tới mức tải tối đa trong thời gian phản hồi quy định nhằm chứng minh ứng dụng chịu tải an toàn khi vận hành.
Trọng tâm thực thi: Ràng buộc: Bắt buộc bố trí Kỹ sư QE chuyên trách; thời gian chạy phải có phê duyệt văn bản.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
3.7.2 The Contractor shall provide Quality Engineer(s) to perform the System Performance Test in a test environment and at a time agreed in writing by the Authority. The Contractor shall also perform the Load Testing where the Software is stressed to the maximum load and within the response time, as specified by the Authority, to ensure that the Application Software is able to handle the load during operation.
3.7.3
Chấp thuận bằng văn bản trước khi cài bản vá / nâng cấp
Phê duyệt Nghiệm thu
Authority Phê duyệt
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Kết quả kiểm thử phải được trình nộp cho Chủ đầu tư để xem xét và CHẤP THUẬN BẰNG VĂN BẢN (written acceptance) TRƯỚC KHI được phép cài đặt bất kỳ phần mềm ứng dụng cải tiến, phần mềm sửa lỗi (debugged software) hoặc bản vá (patch) nào lên hệ thống.
Trọng tâm thực thi: Cổng kiểm soát: Nghiêm cấm vá lỗi hay đưa bản build mới vào môi trường thật mà thiếu văn bản phê duyệt của Authority.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
3.7.3 Test results shall be submitted to the Authority for review and written acceptance prior to installing any enhanced or debugged Application Software or any patch on the Application Software.
Mục 15.1 – 15.5
Tần suất kiểm thử từng release, nạp dữ liệu tại site và nguyên tắc 100% chi phí môi trường do nhà thầu chịu
Mục 15.1 – 15.5: Phạm Vi & Chi Phí (5 TEST TYPE: PERFORMANCE TEST - 15 Performance Test Requirements)
15.1
Mục đích & Tần suất Kiểm thử từ Bản phát hành đầu tiên
Tần suất & Chu kỳ
Toàn chu kỳ dự án
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu cần lưu ý mục đích của Kiểm thử Hiệu năng là chứng minh Hệ thống đề xuất đáp ứng hiệu năng quy định tại Phần 2, Chương 14 - Yêu cầu Kỹ thuật Mục 2.5. Nhà thầu PHẢI thực hiện kiểm thử hiệu năng cho TỪNG ĐỢT PHÁT HÀNH (each release), bắt đầu từ đợt phát hành đầu tiên (1st release) cho đến khi Nghiệm thu Đưa vào vận hành (System Commissioning).
Trọng tâm thực thi: Chu kỳ liên tục: Không phải chỉ test một lần cuối dự án mà phải test lặp lại cho mọi release.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.1 The Contractor shall note that the purpose of the Performance Tests is to demonstrate that the proposed System meets the performance of the System specified in Part 2, Chapter 14 - Technical Requirements Clause 2.5. The Contractor shall perform Performance test for each release starting from 1st release till System Commissioning.
15.2
Nạp Dữ liệu Kiểm thử tại Hiện trường & Thời gian Vận hành Thử nghiệm
Dữ liệu & Vận hành
Authority & Contractor
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Sau khi phần mềm được cài đặt hoàn tất trên phần cứng tại Hiện trường (Site), Chủ đầu tư sẽ nạp vào Hệ thống dữ liệu kiểm thử thực tế (test data) phù hợp để thẩm định, và với sự tư vấn, hỗ trợ của Nhà thầu, cùng vận hành hệ thống trong một khoảng thời gian hai bên thống nhất để:
• (a) Thực hiện các giao dịch thường nhật của Chủ đầu tư;
• (b) Thực hiện các giao dịch trong bài kiểm thử chuẩn (Benchmark tests) hoặc trình diễn của nhà cung cấp;
• (c) Kiểm tra toàn diện chức năng hệ thống, độ sẵn sàng (System Availability), thời gian phản hồi và khối lượng tải;
• (d) Xác định tài liệu kỹ thuật có đáp ứng yêu cầu hợp đồng;
• (e) Thực hiện các giao dịch kiểm tra hiệu năng cần thiết khác.
• (a) Thực hiện các giao dịch thường nhật của Chủ đầu tư;
• (b) Thực hiện các giao dịch trong bài kiểm thử chuẩn (Benchmark tests) hoặc trình diễn của nhà cung cấp;
• (c) Kiểm tra toàn diện chức năng hệ thống, độ sẵn sàng (System Availability), thời gian phản hồi và khối lượng tải;
• (d) Xác định tài liệu kỹ thuật có đáp ứng yêu cầu hợp đồng;
• (e) Thực hiện các giao dịch kiểm tra hiệu năng cần thiết khác.
Trọng tâm thực thi: Thực địa: Dữ liệu do Authority nạp tại Site; thời gian phối hợp vận hành 5 mục tiêu a-e.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.2 After the Software has been fully installed on the Hardware at the Site, the Authority shall load into the System test data which, in the reasonable opinion of the Authority, is suitable for testing whether the System is in accordance with the Part 2 specifications, and with the advice and assistance of the Contractor, operate the System for a mutually agreed period to:
a. perform the Authority's routine transactions;
b. perform the transactions performed during any benchmark tests or other vendor demonstrations included, referenced, or incorporated in the Part 2 specifications;
c. carry out system functions test to determine whether the System meets the specifications, performs the functions, and meet the criteria for System Availability, response time and workload requirements set forth in the Part 2 specifications;
d. determine whether the documentation for the System meets the requirements of this Contract;
e. perform such other transactions as may be necessary to test the System performance specified in the Part 2 specifications.
a. perform the Authority's routine transactions;
b. perform the transactions performed during any benchmark tests or other vendor demonstrations included, referenced, or incorporated in the Part 2 specifications;
c. carry out system functions test to determine whether the System meets the specifications, performs the functions, and meet the criteria for System Availability, response time and workload requirements set forth in the Part 2 specifications;
d. determine whether the documentation for the System meets the requirements of this Contract;
e. perform such other transactions as may be necessary to test the System performance specified in the Part 2 specifications.
15.3
Kiểm thử Kết hợp Tinh chỉnh Tối ưu hóa Ứng dụng
Tinh chỉnh Ứng dụng
Contractor Thực hiện
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Dưới sự phê duyệt của Chủ đầu tư, Nhà thầu phải tiến hành kiểm thử hiệu năng kết hợp đồng thời với việc tinh chỉnh ứng dụng (application tuning) nhằm tối ưu hóa hiệu năng phần mềm trong môi trường Thử nghiệm Hiệu năng.
Trọng tâm thực thi: Không chỉ đo đạc mà phải liên tục tuning mã nguồn và database trong lab.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.3 Subject to the Authority’s approval, the Contractor shall carry out the performance testing as well as application tuning to optimise the application performance in the System Performance Test environment.
15.4
Phê duyệt Công cụ Kiểm thử và Bản quyền Phần mềm
Công cụ & Bản quyền
Authority Duyệt
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải thông báo chính thức và ĐƯỢC CHỦ ĐẦU TƯ PHÊ DUYỆT về các công cụ kiểm thử (testing tools) được khuyến nghị cùng số lượng giấy phép bản quyền phần mềm (software licences).
Trọng tâm thực thi: Ràng buộc pháp lý: Công cụ test (JMeter/LoadRunner/Locust...) và licenses phải được duyệt trước.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.4 The Contractor shall notify and obtain the Authority’s approval on the recommended testing tools and number of software licences.
15.5
100% Chi phí Môi trường, Dữ liệu & Giám sát Batch Jobs
100% Chi phí Nhà thầu
Rủi ro Tài chính Cao
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
NHÀ THẦU BẰNG CHI PHÍ TỰ CHỊU (at its own costs) chịu hoàn toàn trách nhiệm thiết lập môi trường kiểm thử hiệu năng và thực thi kiểm thử, bao gồm: chuẩn bị toàn bộ dữ liệu cần thiết, làm mới (refresh) dữ liệu khi cần, lập kế hoạch, thực thi và giám sát toàn bộ các tiến trình xử lý hàng loạt (batch job runs) cùng mọi công tác cần thiết khác phục vụ kiểm thử.
Trọng tâm thực thi: Cảnh báo tài chính: Mọi chi phí dựng lab, sinh dữ liệu, refresh DB và chạy batch đều do Nhà thầu chi trả 100%.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.5 The Contractor shall, at its own costs, be responsible for setting up the System Performance Test environment and executing system performance testing, including preparing all the data required for the System Performance Tests, refreshing the data where required, plan, execute and monitor all related batch job runs and other necessary work required by the System Performance Tests.
Mục 15.6 – 15.9
Benchmark Test (100% tải đỉnh), Stress Test (50% think-time) và Endurance Test (duy trì tải đỉnh liên tục)
Mục 15.6 – 15.9: Bộ 3 Bài Kiểm Thử Hiệu Năng Bắt Buộc
15.6
Bộ 3 Bài Kiểm Thử Hiệu Năng Bắt Buộc
Cơ cấu Bài Test
Bắt buộc Đầy đủ 3 Bài
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu cần ghi nhớ Kiểm thử Hiệu năng Hệ thống bắt buộc phải bao gồm đầy đủ 3 bài kiểm thử:
• (a) Bài kiểm thử chuẩn chuẩn mực (Benchmark Test);
• (b) Bài kiểm thử tải cực hạn (Stress Test); và
• (c) Bài kiểm thử độ bền bỉ liên tục (Endurance Test).
• (a) Bài kiểm thử chuẩn chuẩn mực (Benchmark Test);
• (b) Bài kiểm thử tải cực hạn (Stress Test); và
• (c) Bài kiểm thử độ bền bỉ liên tục (Endurance Test).
Trọng tâm thực thi: Quy định khung: Thiếu bất kỳ bài nào trong 3 bài đều không đủ điều kiện nghiệm thu.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.6 The Contractor shall note that the System Performance Tests comprises the following:
a. Benchmark Test;
b. Stress Test; and
c. Endurance Test.
a. Benchmark Test;
b. Stress Test; and
c. Endurance Test.
15.7
Bài 1: Benchmark Test (100% Tải đỉnh + Think-time Bình thường)
Bài 1 - Benchmark
Tiêu chuẩn Cơ sở
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Bài kiểm thử Benchmark phải xác thực hiệu năng hệ thống dưới hệ số tải đồng thời đỉnh điểm (100% peak concurrent load factor - tức 400 concurrent users) và thời gian suy nghĩ thông thường (normal think-times). Chủ đầu tư sẽ xác nhận mức think-time bình thường trong giai đoạn phân tích yêu cầu.
Trọng tâm thực thi: Quy mô: 100% tải đỉnh (400 users) + think-time ≤ 5s, kéo dài ≥ 60 phút.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.7 The Benchmark Test shall validate system performance with the peak concurrent load factor (ONE HUNDRED PERCENT (100%) of peak concurrent load factor) and normal think-times. The Authority shall confirm the normal think-times during the requirements phase.
15.8
Bài 2: Stress Test (100% Tải đỉnh + ÉP GIẢM 50% Think-time)
Bài 2 - Stress
Cổng Đánh Trượt Trực Tiếp
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Bài kiểm thử Stress phải xác thực hiệu năng hệ thống dưới hệ số tải đồng thời đỉnh điểm (100% peak concurrent load factor - 400 users) và NĂM MƯƠI PHẦN TRĂM (50%) thời gian suy nghĩ đã xác định trong Bài kiểm thử Benchmark (tức think-time giảm một nửa, mật độ giao dịch tăng gấp đôi).
Trọng tâm thực thi: Nguy cơ cao nhất: Trượt Response Time ở bài Stress Test này sẽ bị coi là trượt toàn bộ theo Clause 15.24.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.8 The Stress Test shall validate system performance with the peak concurrent load factor (ONE HUNDRED PERCENT (100%) of peak concurrent load factor) and FIFTY PERCENT (50%) of the think-times defined in the Benchmark Test.
15.9
Bài 3: Endurance Test (Độ Ổn Định Kéo Dài Duy Trì Tải Đỉnh)
Bài 3 - Endurance
Chống Leak Bộ nhớ
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Bài kiểm thử Endurance nhằm xác lập tính nhất quán, ổn định và không suy giảm hiệu năng của hệ thống khi duy trì liên tục ở hệ số tải đồng thời đỉnh điểm kéo dài (ít nhất 6 giờ liên tục theo Mục 2.5.3).
Trọng tâm thực thi: Mục tiêu: Đảm bảo không memory leak, không connection pool exhaustion trong suốt ≥ 6h tải đỉnh.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.9 The Endurance Test shall establish system consistency over prolonged sustained peak concurrent load factor.
Mục 15.10 – 15.19
Mẫu Test Plan của Authority, hạn chót nộp trước 1 tháng, thiết lập đường cơ sở và kịch bản chạy giờ thấp điểm
Mục 15.10 – 15.19: Biểu Mẫu Test Plan, Baseline & Bảo Vệ Môi Trường Chung
15.10
Phê duyệt Kế hoạch Kiểm thử Tổng thể / Chi tiết
Thẩm quyền Phê duyệt
Authority Quyết định
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Kế hoạch Kiểm thử Tổng thể (Master Test Plan) được cập nhật hoặc Kế hoạch Kiểm thử Hiệu năng chi tiết (Performance Test Plan) bắt buộc phải được Chủ đầu tư xem xét và phê duyệt chính thức bằng văn bản.
Trọng tâm thực thi: Không tự ý thực hiện: Mọi kịch bản phải nằm trong plan được Authority phê duyệt.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.10 The updated Master Test Plan or detailed Performance Test Plan shall be reviewed and approved by the Authority.
15.11
Sử dụng Biểu mẫu Test Plan của Chủ đầu tư & Nội dung Bắt buộc
Biểu mẫu Chuẩn
Test Consultant Lập
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Tư vấn kiểm thử (Test Consultant) phải cập nhật Master Test Plan hoặc cung cấp riêng Kế hoạch kiểm thử hiệu năng theo đúng biểu mẫu (template) của Chủ đầu tư. Mẫu này quy định tối thiểu: bối cảnh tổng quan hệ thống, mục tiêu, vai trò & trách nhiệm các bên, phương pháp luận kiểm thử, quy trình nghiệp vụ cốt lõi, tiêu chí đo lường thành công, các vùng cần hoàn thiện và khuyến nghị tinh chỉnh. Biểu mẫu sẽ được bàn giao ngay sau khi Trao Hợp đồng.
Trọng tâm thực thi: Bắt buộc dùng form mẫu của Authority trao sau ngày ký HĐ.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.11 The Test Consultant shall update the Master Test Plan or provide a separate Performance Test Plan using the Authority’s Performance Test Plan template which documents minimally the background i.e. system overview, objectives, roles and responsibilities of the project team, testing methodology, key business processes, measurement of success, areas required for refinement and fine-tuning recommendations. The Authority’s Performance Test Plan template will be provided to Contractor upon Contract award.
15.12
Mô phỏng Điều kiện Tải Thực tế & Thẩm tra Kết quả
Mô phỏng Live Data
Test Consultant & Authority
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Tư vấn kiểm thử phải đề xuất trong Test Plan phương án tạo tải giao dịch mô phỏng như thể hệ thống đang chạy trong điều kiện thực tế (live conditions), bao gồm kích thước dữ liệu, kịch bản nghiệp vụ và tập người dùng tương đồng. Bài kiểm thử do Test Consultant trực tiếp thực hiện và kết quả sẽ do Chủ đầu tư thẩm tra xác nhận.
Trọng tâm thực thi: Tính trung thực: Tải giả lập phải tương đương dữ liệu thực tế cả về độ lớn và nghiệp vụ.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.12 The Test Consultant shall propose in the Master Test Plan or Performance Test Plan how to generate the transaction load to test the System as though it were operating under live conditions, such as similar data size, usage scenarios and user base. The Test Consultant’s Performance Test shall be carried out by the Test Consultant and the results of the test will be verified by the Authority.
15.13
Tham số theo Môi trường Sẵn có & Chứng minh System Sizing
Cấu hình Tài nguyên
Contractor Chứng minh
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Tư vấn kiểm thử cần lưu ý các tham số kiểm thử phải được thiết lập căn cứ vào tài nguyên sẵn có trong môi trường thử nghiệm. Nhà thầu phải cung cấp kết quả cho Chủ đầu tư để chứng minh rằng phần mềm đáp ứng mục tiêu hiệu năng tương ứng với quy mô phần cứng (System sizing) đã đề xuất.
Trọng tâm thực thi: Kiểm chứng Sizing: Chứng minh giải pháp phần cứng đã chào thầu đủ năng lực tải.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.13 The Test Consultant shall note that the Performance Test parameters shall be established according to the available resource in the Performance Test environment. The Contractor shall provide the results to the Authority to show that the application meets the performance targets for the System sizing proposed.
15.14
HẠN CHÓT NỘP TEST PLAN: Trước Ít Nhất 01 THÁNG
Hạn chót Tiến độ
Ràng buộc Thời hạn
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải nộp bản cập nhật Master Test Plan hoặc Performance Test Plan cho Chủ đầu tư xem xét và phê duyệt KHÔNG MUỘN HƠN MỘT (1) THÁNG trước ngày chính thức bắt đầu đợt Kiểm thử Hiệu năng Hệ thống.
Trọng tâm thực thi: Mốc đỏ tiến độ: Chậm nộp bản kế hoạch này sẽ kéo theo vi phạm tiến độ toàn dự án.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.14 The Contractor shall submit the updated Master Test Plan or Performance Test Plan to the Authority for review and approval not later than ONE (1) MONTH before the commencement of the System Performance Test.
15.15
Độ Bao Phủ Kiểm Thử & Chạy Đồng Thời Xử Lý Hàng Loạt (Batch)
Test Coverage & Batch
Authority Phê duyệt
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Tư vấn kiểm thử phải tạo đủ độ bao phủ kiểm thử (test coverage) và khối lượng tải thực tế kết hợp với các tiến trình xử lý hàng loạt (batch processing) trên ứng dụng và hệ thống thử nghiệm. Độ bao phủ đề xuất và khối lượng dữ liệu tạo mẫu chịu sự thẩm duyệt của Chủ đầu tư.
Trọng tâm thực thi: Tải hỗn hợp: Vừa có tương tác online của users vừa có batch processing chạy nền.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.15 The Test Consultant shall generate sufficient test coverage and a realistic amount of load together with batch processing on the application and system under test. The proposed test coverage and suggested amount of test data to be generated is subject to the Authority’s review and approval.
15.16
Các Yếu Tố Quyết Định Độ Bao Phủ & Khối Lượng Tải
Căn cứ Thiết kế Test
Căn cứ Kỹ thuật
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Độ bao phủ kiểm thử, loại hình dịch vụ kiểm thử và khối lượng tải phát sinh (chịu sự phê duyệt của Authority) phụ thuộc vào: yêu cầu nghiệp vụ, kiến trúc phần mềm hệ thống, quy mô tập người dùng, số lượng người dùng đồng thời, số phiên truy cập đồng thời, số yêu cầu (requests) đồng thời, cấu hình hệ thống, v.v.
Trọng tâm thực thi: Tiêu chí kỹ thuật: Test Plan phải dựa trên đầy đủ các tham số kiến trúc và tải đồng thời.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.16 The test coverage, the type of testing services and the amount of load generated on the system and application, which is subject to the Authority’s approval, are dependent on the business requirements of the System, the System application architecture, the size of the user base, the number of concurrent users, the number of concurrent access, the number of concurrent requests, the system configurations, etc.
15.17
Thiết Lập Đường Cơ Sở (Baseline) Theo Mức Tải Chỉ Định
Thiết lập Chuẩn Baseline
Đo đạc Cơ sở
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Hiệu năng của Hệ thống phải được đo đạc thiết lập Đường cơ sở (Baselined) dưới mức tải quy định về tập người dùng và lượng người dùng đồng thời trong giới hạn Thời gian Phản hồi Hệ thống (System Response Time) chỉ định.
Trọng tâm thực thi: Căn cứ đối chiếu: Điểm chuẩn Baseline là mốc để so sánh mọi kết quả Benchmark và Stress sau đó.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.17 The performance of the System shall be baselined under the required load for user base and concurrent users within the specified System Response Time.
15.18
Thực Hiện Kiểm Thử Song Hành Với Tinh Chỉnh (Onsite / Offsite)
Tinh chỉnh Song song
Contractor Thực hiện
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải bảo đảm việc kiểm thử hiệu năng được tiến hành song song, phối hợp chặt chẽ với công tác tinh chỉnh ứng dụng nhằm tối ưu hóa hiệu năng hệ thống trong môi trường thử nghiệm, bất kể kiểm thử được thực hiện tại hiện trường (onsite) hay từ xa (offsite).
Trọng tâm thực thi: Bảo đảm tính liên tục: Không tách rời kiểm thử và tinh chỉnh tối ưu.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.18 The Contractor shall ensure that performance testing shall be conducted in conjunction with applications’ tuning to optimise the System performance in the Performance Test environment, regardless of whether the Performance Test are performed onsite or offsite.
15.19
Không Ảnh Hưởng Môi Trường Dùng Chung & Lập Lịch Khung Giờ Thấp Điểm
Bảo vệ Môi trường
Cách ly Rủi ro
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải đảm bảo quá trình kiểm thử hiệu năng không gây tác động tiêu cực đến các ứng dụng khác, tiến độ triển khai hoặc nhu cầu tài nguyên, bằng cách phối hợp các kịch bản tải thấp / tải cao, xếp lịch vào các khung giờ thấp điểm (off-peak periods) nhằm bảo vệ môi trường dùng chung và triệt tiêu mọi xung đột.
Trọng tâm thực thi: Quy định an toàn hạ tầng: Phải test ngoài giờ hoặc giờ thấp điểm để tránh sập môi trường chung.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.19 The Contractor shall ensure that the performance testing shall be conducted without impact to other applications, implementation schedule or resource requirements by executing the test in a different mix of scenarios such as low load vs high load, off peak periods and scheduling to ensure that the shared environment is not affected and mitigate any impact from the performance testing conducted.
Mục 15.20 – 15.25
Thuyết trình báo cáo, cơ chế đánh trượt Stress Test (15.24) và 3 quyền chế tài tối thượng của Chủ đầu tư (15.25)
Mục 15.20 – 15.25: Báo Cáo, Tiêu Chuẩn Đánh Trượt & 3 Chế Tài Hợp Đồng
15.20
Nộp & Trực Tiếp Thuyết Trình Báo Cáo Kiểm Thử Hiệu Năng
Báo cáo & Thuyết trình
Contractor Báo cáo
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Ngay sau khi hoàn thành các đợt kiểm thử hiệu năng, Nhà thầu phải nộp và trực tiếp THUYẾT TRÌNH Báo cáo Kiểm thử Hiệu năng (Performance Test Report) cho Chủ đầu tư xem xét, phê duyệt. Báo cáo phải ghi nhận đầy đủ các ca kiểm thử kèm kết quả (kỳ vọng vs thực tế), số liệu thống kê làm BẰNG CHỨNG (evidence) việc kiểm thử đã hoàn tất, các vấn đề phát hiện và khuyến nghị tinh chỉnh hệ thống.
Trọng tâm thực thi: Yêu cầu bằng chứng: Bắt buộc nộp thống kê thô, đối chiếu kỳ vọng vs thực tế và thuyết trình trước hội đồng.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.20 Upon completion of the Performance Tests, the Contractor shall submit and present the Performance Test Report to the Authority for review and approval. The Performance Test Report shall document test cases with results (expected and actual), statistics as evidence that performance tests have been carried out and the System is ready for review by the Authority, problems identified and recommendations for the application and system fine-tuning.
15.21
Chủ Đầu Tư Thẩm Tra Toàn Diện & Phê Duyệt Hành Động Khắc Phục
Thẩm tra Nghiệm thu
Authority Quyết định
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Chủ đầu tư sẽ thẩm định và ra văn bản xác nhận xem liệu trên cơ sở kết quả của cả 3 bài kiểm thử (Benchmark, Stress, Endurance), Hệ thống có đáp ứng các yêu cầu hiệu năng nêu tại Phần 2 hay không; và nếu không đạt, liệu các biện pháp khắc phục mà Nhà thầu cam kết thực hiện có được Chủ đầu tư chấp nhận hay không.
Trọng tâm thực thi: Cổng nghiệm thu cuối cùng: Quyết định hệ thống PASS được vận hành hay rơi vào kịch bản FAIL 15.24/15.25.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.21 The Authority shall review and confirm if, based on the results of the Benchmark Test, Stress Test and Endurance Test, the System meets the performance requirements in the Part 2 specifications, and if not, whether the corrective actions to be undertaken by the Contractor to meet the requirements are acceptable to the Authority.
15.22
Chi Phí Các Đợt Kiểm Thử Bổ Sung (100% Nhà Thầu Chịu)
Chi phí Re-test
Rủi ro Tài chính
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nếu Hệ thống không đáp ứng các tiêu chuẩn hiệu năng theo yêu cầu của Chủ đầu tư, dẫn đến việc phải tổ chức các vòng kiểm thử hiệu năng bổ sung (additional rounds), Nhà thầu PHẢI CHỊU TOÀN BỘ MỌI CHI PHÍ và tổn thất phát sinh cho các tài nguyên tăng thêm cần thiết, bao gồm cả phần cứng và phần mềm bổ sung.
Trọng tâm thực thi: Trách nhiệm tài chính không giới hạn: Test lại bao nhiêu lần thì Nhà thầu tự bỏ tiền túi bấy nhiêu.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.22 If the System is unable to meet the performance standards required by Authority, resulting in the need to conduct additional rounds of Performance Tests, the Contractor shall bear all the costs and expenses incurred for the additional resources needed, to conduct the additional round(s) of Performance Tests, including additional hardware and software.
15.23
Xử Lý Bất Tương Thích & Suy Giảm Hiệu Năng Bằng Giải Pháp Mới
Nâng cấp Tài nguyên
Contractor Bù đắp
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Trong trường hợp phát sinh hiện tượng bất tương thích hoặc suy giảm hiệu năng hệ thống trong hoặc do kết quả kiểm thử, Nhà thầu phải đề xuất và triển khai giải pháp (chẳng hạn như nâng cấp bổ sung tài nguyên hệ thống) nhằm đạt yêu cầu theo phê duyệt của Chủ đầu tư. Toàn bộ chi phí triển khai giải pháp do Nhà thầu chi trả 100%.
Trọng tâm thực thi: Bắt buộc bù tài nguyên: Nếu suy thoái hiệu năng, phải mua thêm server/RAM/storage tự bỏ tiền.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.23 In the event of non-compatibilities or System degradation during or as a result of the Performance Tests, the Contractor shall propose and implement solution(s) such as adding System resources to meet the System’s requirements as approved by the Authority. The Contractor shall bear all the costs and expenses incurred to implement the solution(s).
15.24
TIÊU CHUẨN ĐÁNH TRƯỢT TỨC THÌ (Deemed to Fail)
Cơ chế Đánh Trượt
ĐIỀU KHOẢN TỬ THẦN
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Hệ thống sẽ BỊ COI LÀ ĐÃ THẤT BẠI (DEEMED TO FAIL) trong đợt Kiểm thử Hiệu năng nếu rơi vào một trong hai trường hợp sau:
• (a) Không cung cấp được bất kỳ tiện ích, giao dịch hoặc chức năng nào quy định trong Phần 2; HOẶC
• (b) KHÔNG ĐẠT THỜI GIAN PHẢN HỒI (System Response Time) CHO BÀI KIỂM THỬ STRESS TEST.
• (a) Không cung cấp được bất kỳ tiện ích, giao dịch hoặc chức năng nào quy định trong Phần 2; HOẶC
• (b) KHÔNG ĐẠT THỜI GIAN PHẢN HỒI (System Response Time) CHO BÀI KIỂM THỬ STRESS TEST.
Trọng tâm thực thi: CỰC KỲ NGUY HIỂM: Chỉ cần trượt Response Time bài Stress Test là bị đánh rớt toàn bộ, kích hoạt 15.25.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.24 The System shall be deemed to fail the System Performance Tests if:
a. it fails to provide any facility, transaction or function specified in the Part 2 specifications; or
b. it fails to meet the System Response Time for the Stress Test.
a. it fails to provide any facility, transaction or function specified in the Part 2 specifications; or
b. it fails to meet the System Response Time for the Stress Test.
15.25
3 LỰA CHỌN CHẾ TÀI HỢP ĐỒNG ĐỘC QUYỀN CỦA CHỦ ĐẦU TƯ (Sanctions a, b, c)
Chế tài Pháp lý Hợp đồng
Chủ đầu tư Quyết định
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nếu Hệ thống không vượt qua bài kiểm thử, Chủ đầu tư có quyền bằng văn bản gửi cho Nhà thầu LỰA CHỌN THEO TOÀN QUYỀN CỦA MÌNH (elect at its sole option) một trong ba phương án:
• Phương án (a) - Khắc phục & Test lại: Buộc Nhà thầu đưa giải pháp và ấn định ngày test lại với cùng điều khoản. Toàn bộ chi phí của Chủ đầu tư phát sinh phải do Nhà thầu hoàn trả. Đợt test lại KHÔNG ĐƯỢC COI LÀ GIA HẠN THỜI GIAN và Nhà thầu vẫn phải chịu trách nhiệm phạt chậm trễ theo Hợp đồng.
• Phương án (b) - Giảm trừ Giá Hợp Đồng (Price Abatement): Nghiệm thu hệ thống kèm theo việc khấu trừ giá hợp đồng một khoản hợp lý. NẾU KHÔNG ĐẠT THỎA THUẬN GIẢM GIÁ TRONG VÒNG MƯỜI BỐN (14) NGÀY kể từ thông báo, Chủ đầu tư có quyền kích hoạt ngay Phương án (c).
• Phương án (c) - HỦY BỎ HỢP ĐỒNG DO VI PHẠM (Clause 50): Coi Nhà thầu vi phạm hợp đồng, bác bỏ toàn bộ hệ thống và Chấm dứt Hợp đồng theo Điều 50 Hợp đồng (Part 1 Section B).
• Phương án (a) - Khắc phục & Test lại: Buộc Nhà thầu đưa giải pháp và ấn định ngày test lại với cùng điều khoản. Toàn bộ chi phí của Chủ đầu tư phát sinh phải do Nhà thầu hoàn trả. Đợt test lại KHÔNG ĐƯỢC COI LÀ GIA HẠN THỜI GIAN và Nhà thầu vẫn phải chịu trách nhiệm phạt chậm trễ theo Hợp đồng.
• Phương án (b) - Giảm trừ Giá Hợp Đồng (Price Abatement): Nghiệm thu hệ thống kèm theo việc khấu trừ giá hợp đồng một khoản hợp lý. NẾU KHÔNG ĐẠT THỎA THUẬN GIẢM GIÁ TRONG VÒNG MƯỜI BỐN (14) NGÀY kể từ thông báo, Chủ đầu tư có quyền kích hoạt ngay Phương án (c).
• Phương án (c) - HỦY BỎ HỢP ĐỒNG DO VI PHẠM (Clause 50): Coi Nhà thầu vi phạm hợp đồng, bác bỏ toàn bộ hệ thống và Chấm dứt Hợp đồng theo Điều 50 Hợp đồng (Part 1 Section B).
Trọng tâm thực thi: Hậu quả pháp lý tối thượng: Chủ đầu tư nắm toàn quyền chọn (a), (b) hoặc (c). Đàm phán giảm giá quá 14 ngày sẽ bị hủy HĐ.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
15.25 If the System fails to pass the System Performance Tests, then the Authority may, by written notice to the Contractor elect at its sole option:
a. to have the Contractor provide a solution and to fix (without prejudice to its other rights and remedies) a new date for carrying out further tests on the System on the same terms and conditions, save that all costs which the Authority may incur as a result of carrying out such tests shall be reimbursed by the Contractor. Unless otherwise agreed in writing between the Parties, all such further tests shall not be construed as any grant of extension of time by the Authority and the Contractor remains liable for any delay in complying with its obligations under the Contract; or
b. to accept the System subject to an abatement of the Contract Price, such abatement to be such amount as, taking into account the circumstances, is reasonable. In the absence of written agreement as to abatement within FOURTEEN (14) DAYS after the date of such notice, the Authority shall be entitled to exercise Sub-Clause (c) below; or
c. to treat the Contractor as being in breach of Contract and to reject the System as not being in conformity with the Contract, in which event the Authority shall be entitled to terminate this Contract, without prejudice to the Authority’s other rights and remedies, in accordance with Part 1 Section B – Conditions Of Contract, Clause 50.
a. to have the Contractor provide a solution and to fix (without prejudice to its other rights and remedies) a new date for carrying out further tests on the System on the same terms and conditions, save that all costs which the Authority may incur as a result of carrying out such tests shall be reimbursed by the Contractor. Unless otherwise agreed in writing between the Parties, all such further tests shall not be construed as any grant of extension of time by the Authority and the Contractor remains liable for any delay in complying with its obligations under the Contract; or
b. to accept the System subject to an abatement of the Contract Price, such abatement to be such amount as, taking into account the circumstances, is reasonable. In the absence of written agreement as to abatement within FOURTEEN (14) DAYS after the date of such notice, the Authority shall be entitled to exercise Sub-Clause (c) below; or
c. to treat the Contractor as being in breach of Contract and to reject the System as not being in conformity with the Contract, in which event the Authority shall be entitled to terminate this Contract, without prejudice to the Authority’s other rights and remedies, in accordance with Part 1 Section B – Conditions Of Contract, Clause 50.
Mục 2.5
Định nghĩa Response Time & Transaction, bảng 300/400 users, IoT ≤ 5s, bảng tiêu chuẩn thoát cho 6 loại giao dịch
Mục 2.5: Tham Số Kiểm Thử & Tiêu Chuẩn Thoát (2.5 System Performance Test Parameters and Exit Criteria)
2.5.1
Định Nghĩa Chuẩn Về Thời Gian Phản Hồi Hệ Thống (System Response Time)
Định nghĩa Kỹ thuật
Chuẩn Đo lường
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Thời gian Phản hồi Hệ thống (System Response Time) quy định trong tài liệu này là khoảng thời gian trôi qua tính từ khi người dùng ấn một phím để bắt đầu giao dịch cho đến khi toàn bộ màn hình kết quả phản hồi đầu tiên được hiển thị đầy đủ hoặc xuất hiện dấu nhắc lệnh (prompt) sẵn sàng nhận lệnh tiếp theo của người dùng.
Trọng tâm thực thi: Đoạn thời gian: Từ Keypress đến First Completed Screen Response hoặc System Prompt.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.1 The System Response Time used herein refers to the elapsed time between a user pressing a key to start a transaction and the first completed screen response containing the results or the appearance of the system prompt awaiting further user commands.
2.5.2
Định Nghĩa Chuẩn Về Giao Dịch Tương Tác (Transaction)
Định nghĩa Giao dịch
Chuẩn Nghiệp vụ
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Một giao dịch (Transaction) được định nghĩa là một đơn vị hoạt động hoàn chỉnh của người dùng tương tác trực tiếp trên máy trạm trực tuyến (workstation). Đơn vị này được cấu thành từ một hoặc nhiều dữ liệu nhập của người dùng qua các thiết bị ngoại vi (bàn phím, đầu đọc mã vạch, máy quét laser). Sau khi hệ thống xử lý, một hoặc nhiều ký tự phản hồi thông tin sẽ được gửi trả lại máy trạm phát lệnh.
Trọng tâm thực thi: Bao gồm cả thiết bị ngoại vi: Hỗ trợ bàn phím, barcode scanner, laser scanner.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.2 A transaction is defined as a completed unit of activity by a user of the System utilizing an on-line workstation interactively. The unit of activity is made up of one or more inputs by the users that result from input devices, such as a computer keyboard, barcode scanner or laser scanner. Upon processing of the input by the System, one or more characters of information response will be sent to the workstation that originated the input.
2.5.3
Bảng Tham Số Tải Trọng Curricula & Giao Dịch Thiết Bị IoT
Tham số Tải Trọng & IoT
Ràng buộc Tuyệt đối
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải tuân thủ nghiêm ngặt các tham số kiểm thử hiệu năng quy định trong bảng Curricula:
• Số người dùng đồng thời tải bình thường: 300 users
• Số người dùng đồng thời tải đỉnh: 400 users
• Think-time tối đa (*): Không quá 5 giây cho mọi giao dịch
• Thời lượng Benchmark & Stress Tests: Tối thiểu 60 PHÚT
• Thời lượng Endurance Test: Tối thiểu 6 GIỜ
• Thời lượng Endurance Test (web page): Tối thiểu 6 GIỜ
• Thiết bị IoT điều khiển đồng thời: 1 TV và tối đa 4 Đèn trên mỗi phòng ký túc xá (dorm)
• Thời gian phản hồi IoT khi nhận cảnh báo từ VAS: Không quá 5 giây để TV, đèn và hệ thống truyền thanh (PA system) bắt đầu bật sau khi nhận tín hiệu cảnh báo từ VAS.
(*) Think-time thay đổi tùy theo quy trình nghiệp vụ và sẽ được xác định trong quá trình lập Test Plan.
• Số người dùng đồng thời tải bình thường: 300 users
• Số người dùng đồng thời tải đỉnh: 400 users
• Think-time tối đa (*): Không quá 5 giây cho mọi giao dịch
• Thời lượng Benchmark & Stress Tests: Tối thiểu 60 PHÚT
• Thời lượng Endurance Test: Tối thiểu 6 GIỜ
• Thời lượng Endurance Test (web page): Tối thiểu 6 GIỜ
• Thiết bị IoT điều khiển đồng thời: 1 TV và tối đa 4 Đèn trên mỗi phòng ký túc xá (dorm)
• Thời gian phản hồi IoT khi nhận cảnh báo từ VAS: Không quá 5 giây để TV, đèn và hệ thống truyền thanh (PA system) bắt đầu bật sau khi nhận tín hiệu cảnh báo từ VAS.
(*) Think-time thay đổi tùy theo quy trình nghiệp vụ và sẽ được xác định trong quá trình lập Test Plan.
Trọng tâm thực thi: Các chỉ số vàng: 300 normal, 400 peak, think time ≤ 5s, 60m bench/stress, 6h endurance, IoT: 1 TV + 4 đèn, VAS phản hồi ≤ 5s.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.3 The Contractor shall comply with the performance test parameters as stated in the table below.
Parameters for Curricula Value:
- Number of users at normal concurrent load factor: THREE HUNDRED (300) users
- Number of users at peak concurrent load factor: FOUR HUNDRED (400) users
- Maximum Think Time*: Not more than FIVE (5) seconds for all transactions
- Duration for Benchmark and Stress Tests: At least SIXTY (60) MINUTES
- Duration for Endurance Test: At least SIX (6) HOURS
- Duration for Endurance Test (web page transactions): At least SIX (6) HOURS
- Number of concurrent electronic devices to be controlled by a IOT (IOT transactions): ONE (1) TV and up to FOUR (4) lights per dorm
- Maximum response time from receiving alert from VAS to result shown by electronic devices (IOT transactions): Not more than FIVE (5) seconds for TV, lights and PA system to start switching on upon receiving alert(s) from VAS.
* The think time varies based on the business process defined in performance tests and shall be determined during the development of the performance test plan.
Parameters for Curricula Value:
- Number of users at normal concurrent load factor: THREE HUNDRED (300) users
- Number of users at peak concurrent load factor: FOUR HUNDRED (400) users
- Maximum Think Time*: Not more than FIVE (5) seconds for all transactions
- Duration for Benchmark and Stress Tests: At least SIXTY (60) MINUTES
- Duration for Endurance Test: At least SIX (6) HOURS
- Duration for Endurance Test (web page transactions): At least SIX (6) HOURS
- Number of concurrent electronic devices to be controlled by a IOT (IOT transactions): ONE (1) TV and up to FOUR (4) lights per dorm
- Maximum response time from receiving alert from VAS to result shown by electronic devices (IOT transactions): Not more than FIVE (5) seconds for TV, lights and PA system to start switching on upon receiving alert(s) from VAS.
* The think time varies based on the business process defined in performance tests and shall be determined during the development of the performance test plan.
2.5.4
Bảng Tiêu Chuẩn Nghiệm Thu Thoát Bài Test (SLA Exit Criteria - 6 Loại Giao Dịch)
SLA Exit Criteria
Tiêu chuẩn Đạt/Trượt
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Tiêu chuẩn thoát (Exit Criteria) bài kiểm thử hiệu năng bắt buộc phải đáp ứng thời gian phản hồi quy định cho 6 nhóm giao dịch / báo cáo:
1. Tra cứu trực tuyến (Online Query): Người dùng chạy truy vấn ad-hoc trực tuyến.
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì đến mức người dùng đồng thời theo Clause 1.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì đến mức người dùng đồng thời theo Clause 1.5.3).
2. Giao dịch trực tuyến (Online Transactions): Người dùng thực thi giao dịch, nhập dữ liệu và gửi đi.
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì tải theo Clause 1.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì tải theo Clause 1.5.3).
3. Báo cáo chạy nền do người dùng kích hoạt (Background Report): Người dùng chạy báo cáo trực tuyến nhưng chọn chạy ngầm. Người dùng có thể tiếp tục dùng cùng phiên làm việc để làm việc khác trong khi backend xử lý.
• Benchmark Test: 90% báo cáo ≤ 10 phút; 5% tiếp theo ≤ 30 phút.
• Stress Test: Không áp dụng (Not applicable).
4. Báo cáo trực tuyến (Online Reports): Người dùng chạy báo cáo trực tuyến trực tiếp.
• Benchmark Test: 90% báo cáo ≤ 1 phút; 5% tiếp theo ≤ 3 phút.
• Stress Test: 80% báo cáo ≤ 3 phút; 15% tiếp theo ≤ 5 phút.
5. Đặt lịch điều trần / Cuộc hẹn (Scheduling of Hearing / Appointment):
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì tải theo Clause 1.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì tải theo Clause 1.5.3).
6. Xuất mẫu văn bản tài liệu (Generation of document templates):
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì tải theo Clause 2.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì tải theo Clause 2.5.3).
1. Tra cứu trực tuyến (Online Query): Người dùng chạy truy vấn ad-hoc trực tuyến.
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì đến mức người dùng đồng thời theo Clause 1.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì đến mức người dùng đồng thời theo Clause 1.5.3).
2. Giao dịch trực tuyến (Online Transactions): Người dùng thực thi giao dịch, nhập dữ liệu và gửi đi.
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì tải theo Clause 1.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì tải theo Clause 1.5.3).
3. Báo cáo chạy nền do người dùng kích hoạt (Background Report): Người dùng chạy báo cáo trực tuyến nhưng chọn chạy ngầm. Người dùng có thể tiếp tục dùng cùng phiên làm việc để làm việc khác trong khi backend xử lý.
• Benchmark Test: 90% báo cáo ≤ 10 phút; 5% tiếp theo ≤ 30 phút.
• Stress Test: Không áp dụng (Not applicable).
4. Báo cáo trực tuyến (Online Reports): Người dùng chạy báo cáo trực tuyến trực tiếp.
• Benchmark Test: 90% báo cáo ≤ 1 phút; 5% tiếp theo ≤ 3 phút.
• Stress Test: 80% báo cáo ≤ 3 phút; 15% tiếp theo ≤ 5 phút.
5. Đặt lịch điều trần / Cuộc hẹn (Scheduling of Hearing / Appointment):
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì tải theo Clause 1.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì tải theo Clause 1.5.3).
6. Xuất mẫu văn bản tài liệu (Generation of document templates):
• Benchmark Test: 90% giao dịch ≤ 3 giây; 5% tiếp theo ≤ 5 giây (duy trì tải theo Clause 2.5.3).
• Stress Test: 80% giao dịch ≤ 5 giây; 15% tiếp theo ≤ 7 giây (duy trì tải theo Clause 2.5.3).
Trọng tâm thực thi: Phân phối phần trăm: Phải đo cả mốc 90%/95% ở Benchmark và 80%/95% ở Stress Test.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.4 As exit criteria, the Performance Test shall meet the response time of the Curricula as stated in the table below.
Response Time
S/N | Type of transaction/report | Exit Criteria (Benchmark Test) | Exit Criteria (Stress Test)
1. Online Query:
• User runs ad-hoc query online.
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
2. Online Transactions:
• User executes transaction online, enters information into the transaction screen and submits.
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
3. Background Report (activated by user):
• User executes report online but selects it to run as a background job. When this option is chosen, user can use the same session to perform other tasks while the report is being processed in the backend.
• Benchmark Test: For NINETY per cent (90%) of the reports, shall not exceed TEN (10) minutes. For the next FIVE per cent (5%) of the reports, shall not exceed THIRTY (30) minutes.
• Stress Test: Not applicable.
4. Online Reports:
• User executes the report online.
• Benchmark Test: For NINETY per cent (90%) of the reports, shall not exceed ONE (1) minute. For the next FIVE per cent (5%) of the reports, shall not exceed THREE (3) minutes.
• Stress Test: For EIGHTY per cent (80%) of the reports, shall not exceed THREE (3) minutes. For the next FIFTEEN per cent (15%) of the reports, shall not exceed FIVE (5) minutes.
5. Scheduling of Hearing / Appointment:
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
6. Generation of document templates:
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 2.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 2.5.3.
Response Time
S/N | Type of transaction/report | Exit Criteria (Benchmark Test) | Exit Criteria (Stress Test)
1. Online Query:
• User runs ad-hoc query online.
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
2. Online Transactions:
• User executes transaction online, enters information into the transaction screen and submits.
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
3. Background Report (activated by user):
• User executes report online but selects it to run as a background job. When this option is chosen, user can use the same session to perform other tasks while the report is being processed in the backend.
• Benchmark Test: For NINETY per cent (90%) of the reports, shall not exceed TEN (10) minutes. For the next FIVE per cent (5%) of the reports, shall not exceed THIRTY (30) minutes.
• Stress Test: Not applicable.
4. Online Reports:
• User executes the report online.
• Benchmark Test: For NINETY per cent (90%) of the reports, shall not exceed ONE (1) minute. For the next FIVE per cent (5%) of the reports, shall not exceed THREE (3) minutes.
• Stress Test: For EIGHTY per cent (80%) of the reports, shall not exceed THREE (3) minutes. For the next FIFTEEN per cent (15%) of the reports, shall not exceed FIVE (5) minutes.
5. Scheduling of Hearing / Appointment:
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 1.5.3.
6. Generation of document templates:
• Benchmark Test: For NINETY per cent (90%) of the transactions, shall not exceed THREE (3) seconds. For the next FIVE per cent (5%) of the transactions, shall not exceed FIVE (5) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 2.5.3.
• Stress Test: For EIGHTY per cent (80%) of the transactions, shall not exceed FIVE (5) seconds. For the next FIFTEEN per cent (15%) of the transactions, shall not exceed SEVEN (7) seconds. The above response time should be sustained up to the expected number of concurrent users for the System as specified in Clause 2.5.3.
2.5.5
Khả Năng Chịu Lỗi & Suy Thoái Hiệu Năng Mềm (Graceful Degradation)
Khả năng Chịu lỗi
Độ Ổn định Hệ thống
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Hệ thống phải có khả năng chịu lỗi (fault tolerant). Một ví dụ điển hình của khả năng chịu lỗi là năng lực xử lý suy thoái hiệu năng mềm mại (graceful degradation) của hệ thống khi vượt ra ngoài các yêu cầu hiệu năng tối thiểu mà không gây sự cố sập hoặc treo toàn bộ dịch vụ.
Trọng tâm thực thi: Kiến trúc bền vững: Khi quá tải đột biến, hệ thống phải từ từ chậm lại chứ không được sập trắng trang.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.5 The System shall be fault tolerant. An example of fault tolerance is the System’s ability to handle graceful degradation of the system performance beyond the minimal performance requirements.
2.5.6
RÀNG BUỘC HẠ TẦNG MẠNG HIỆN HỮU: Bẫy Chi Phí Toàn Bộ Nhà Thầu
Hạ tầng Mạng Hiện hữu
BẪY PHÁP LÝ & CHI PHÍ
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Về mặt hiệu năng hệ thống, Nhà thầu dự thầu (Tenderer) có nghĩa vụ phải tự rà soát các yêu cầu hạ tầng mạng hiện hữu và tự cam kết thỏa mãn rằng thời gian phản hồi theo yêu cầu có thể đạt được. Nhà thầu PHẢI CHỈ RÕ CHO CHỦ ĐẦU TƯ MỘT CÁCH CHI TIẾT mọi hành động cần thiết đối với hạ tầng mạng hiện hữu, nếu theo đánh giá chuyên môn của mình, hạ tầng mạng hiện hữu không thể đáp ứng yêu cầu hiệu năng. NẾU KHÔNG CẢNH BÁO TRƯỚC, NHÀ THẦU SẼ PHẢI TỰ CHỊU TOÀN BỘ MỌI CHI PHÍ CẦN THIẾT ĐỂ ĐẠT ĐƯỢC THỜI GIAN PHẢN HỒI YÊU CẦU.
Trọng tâm thực thi: ĐIỀU KHOẢN GÀI BẪY: Không khảo sát mạng từ đầu và báo cáo bằng văn bản thì sau này nghẽn mạng do hạ tầng Nhà thầu phải tự bỏ tiền túi nâng cấp mạng.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.6 As far as System Performance is concerned, the Tenderer shall review the existing network infrastructure requirement and satisfy itself that the required response time could be met. The Tenderer shall highlight to the Authority, in detail, all necessary actions required for the existing network infrastructure, if according to its expert opinion, the existing network infrastructure could not satisfy the performance requirements. Failing which, the Tenderer shall bear all costs required to achieve the required response time.
2.5.7
Khung Thời Gian Chạy Batch (Batch Window) & Giờ Hành Chính
Khung Giờ Batch
Điều phối Tác vụ
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải bảo đảm tất cả các tiến trình xử lý hàng loạt (batch processes) được hoàn tất trong khung thời gian ấn định (designated batch window). Nhà thầu có thể đề xuất chạy một số tiến trình batch trong Giờ Làm Việc bình thường (Operating Hours), với điều kiện các tiến trình này tuyệt đối không làm ảnh hưởng dưới bất kỳ hình thức nào tới hiệu năng của các thao tác trực tuyến (on-line operations).
Trọng tâm thực thi: Cô lập Batch: Tiến trình chạy ngầm không được tranh chấp CPU/I/O với người dùng online.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.7 The Contractor shall ensure that all ‘batch processes’ are completed within the designated batch window. The Contractor may choose to recommend the execution of certain batch processes to be performed during the daily Operating Hours, provided that they do not in any way affect the performance of the on-line operations.
2.5.8
Nghĩa Vụ Tinh Chỉnh Hệ Thống Khi Có Yêu Cầu Hoặc Nhận Thấy Cần Thiết
Nghĩa vụ Tinh chỉnh
Contractor Trách nhiệm
[VI] Diễn Giải Kỹ Thuật & Pháp Lý
Bản chuẩn hóa
Nhà thầu phải tiến hành tinh chỉnh Hệ thống khi cần thiết, theo yêu cầu của Chủ đầu tư hoặc khi Nhà thầu nhận thấy việc tinh chỉnh là cần thiết, nhằm bảo đảm Hệ thống đáp ứng các tiêu chuẩn hiệu năng quy định trong Hồ sơ mời thầu này.
Trọng tâm thực thi: Cam kết tối ưu: Authority yêu cầu là phải tinh chỉnh, không được thoái thác.
[EN] Nguyên Văn Hồ Sơ Thầu (Verbatim)
Tender Performance Spec
2.5.8 The Contractor shall fine-tune the System when necessary, as requested by the Authority or when the Contractor deems that tuning is required, to ensure that the System meets the performance standards as specified in this Tender.