Quang's corner - Color my life with the chaos of trouble

NodeJS – Single threaded Model

Khi mới bắt đầu tìm hiểu Nodejs, có một câu hỏi phổ biến liên quan đến cơ chế hoạt động bên dưới Nodejs được đặt ra cho người mới bắt đầu:

Tại sao Nodejs lại chỉ dùng 1 thread và được kỳ vọng sẽ có hiệu năng cao hơn các nền tảng sử dụng đa luồng (multi-thread) ? Chẳng phải đa luồng thì sẽ xử lý cùng lúc được nhiều việc hơn sao.

Cùng tìm hiểu lý giải phù hợp cho câu hỏi này.

Trước hết cùng tìm hiểu cách các ứng dụng đa luồng handle request:

request ──> spawn thread
              └──> wait for database request
                     └──> answer request
request ──> spawn thread
              └──> wait for database request
                     └──> answer request
request ──> spawn thread
              └──> wait for database request
                     └──> answer request

request ──> spawn thread

└──> wait for database request

└──> answer request

request ──> spawn thread

└──> wait for database request

└──> answer request

request ──> spawn thread

└──> wait for database request

└──> answer request

Mỗi khi có 1 request tới, app sẽ sinh ra 1 thread để xử lý request được. Thread này sẽ chạy logic code, gọi các I/O event (tương tác DB, file, network …), đợi kết quả, và trả về cho client. Vì mỗi request được handle bởi 1 request, kiến trúc này thường được gọi là one thread per request model. Hầu hết các webserver Java sử dụng mô hình này.

Điểm yếu của mô hình này:

Khi số lượng request tăng lên, số thread cũng tăng lên => ngốn RAM
Mỗi thread khi handle request liên quan đến I/O, trong khi đợi kết quả từ I/O thì ở trong trạng thái rảnh rỗi => lãng phí tài nguyên.

Mô hình single-threaded

request ──> make database request
request ──> make database request
request ──> make database request
database request complete ──> send response
database request complete ──> send response
database request complete ──> send response

request ──> make database request

database request complete ──> send response

Trong mô hình này, khi nhận request, main-thread sẽ xử lý và gọi các I/O event, sau đó tiếp tục nhận các request khác mà không chờ đợi kết quả từ I/O event => Chúng ta tránh được các điểm yếu của mô hình one thread per request.

Image result for multi threaded vs single threaded

Trở lại với câu hỏi ở đầu bài, ta có thể nhận thấy mặc dù Nodejs là single thread nhưng không phải mọi tác vụ đều được xử lý tại thread này. Ví dụ khi request cần gọi vào database, process riêng của database sẽ xử lý việc gọi vào database, và rõ ràng là process của database này là multi-thread. Nói cách khác, main-thread của Nodejs sẽ ủy quyền đặc tính multi-thread cho các process khác. Trong thực tế, mọi tác vụ bất đồng bộ đều được main-thread ủy quyền cho các thread của process khác hoặc thread trong thread-pool (gồm mặc định 4 threads) của libuv.
Từ luận điểm trên ta có thể suy ra điểm yếu của mô hình single-thread, đó là các tác vụ đồng bộ cần nhiều CPU (Fourier transform, 3D rendering) đều được xử lý ở main-thread => nó sẽ busy và không thể nhân thêm request mới => block cả app. Ngoài ra nếu máy tính có nhiều core thì single thread cũng chỉ tận dụng được 1 core.

Bạn hiểu Nodejs tới mức nào?

V8 là gì? Node có chạy được không nếu thiếu V8?
– V8 là một javascript engine dùng để compile, tối ưu và chạy Node.js
– Node có thể chạy mà không cần V8, một vài js engine khác: SpiderMonkey, ChakraCore
exports và module.exports
Ban đầu exports và module.exports cùng trỏ vào 1 object rỗng. Nhưng hãy luôn nhớ rằng, ở cuối mỗi module trong Nodejs, module.exports là object được return.
– Khi bạn code như sau:

JavaScript

exports.a = function() { console.log("a"); } exports.b = function() { console.log("b"); }

1
2
3
4
5
6

exports.a = function() {
    console.log("a");
}
exports.b = function() {
    console.log("b");
}

Nodejs sẽ add thêm 1 thuộc tính a và b vào object rỗng ban đầu. Do exports và module.exports vẫn đang trỏ vào cùng 1 object nên sẽ không có sự khác biệt khi bạn code:

JavaScript

module.exports.a = function() { console.log("a"); } module.exports.b = function() { console.log("b"); }

1
2
3
4
5
6

module.exports.a = function() {
    console.log("a");
}
module.exports.b = function() {
    console.log("b");
}

– Khi bạn code như sau:

JavaScript

exports = function Something() { console.log('bla bla'); } var x = require('./file1.js')(); //Error: require is not a function

1
2
3
4

exports = function Something() {
    console.log('bla bla');
}
var x = require('./file1.js')(); //Error: require is not a function

Nodejs sẽ báo lỗi ngay lập tức. Bởi vì exports giờ đã được trỏ tới 1 object hoàn toàn mới (function Something), trong khi module này vẫn return exports.module

Tips: chỉ dùng exports.module cho đỡ phải nhọc não
Khi khai báo 1 biến global trong 1 module, tại sao nó không global với các module khác?
Do mỗi module trong Nodejs được wrap bởi 1 function:

JavaScript

(function (exports, require, module, __filename, __dirname) { // module code });

1
2
3

(function (exports, require, module, __filename, __dirname) {
// module code
});
Có thể dùng nhiều version của 1 package trong cùng 1 app ko?
Không
Event-loop là gì?
<wait-for-it>
Call-stack là gì?
Là 1 cấu trúc dữ liệu stack ghi lại các lời gọi hàm:Khi 1 hàm được gọi, nó được push vào stack. Khi 1 hàm return, nó được pop khỏi stack.Mỗi khi chương trình gặp lỗi, browser sẽ hiển thị trạng thái hiện tại của call-stack. Trong Node, call-stack được xử lý bởi V8.
Sự khác nhau giữa spawn, exec, và fork
Xem memory used by Node?

JavaScript

process.memoryUsage()

1

process.memoryUsage()
V8 Object là gì?
La object C++ native biểu diễn object JS. Nói cách khác V8 object là cách V8. biểu diễn object của JS.
Libuv là gì?
Một thư viện đa nền tảng tập trung vào xử lý các tác vụ I/O bất đồng bộ: file system event, event loop, thread pool, timers…
Làm sao để thực hiện 1 function trước khi exit process?

JavaScript

process.on('exit', () => { console.log('Do something') })

1
2
3

process.on('exit', () => {
console.log('Do something')
})
Node buffer có sử dụng V8 memory ko?
Không. Node buffer mem được allocated bên ngoài V8 heap.

Trường main trong file package.json có tác dụng gì?

{
  "name": "test",
  "version": "0.0.0",
  "private": true,
  "main": "index.js",
  "scripts": {
    "start": "node .",
    "start:dev": "nodemon .",
    "lint": "eslint .",
    "test": "mocha --recursive --exit"
  }
}

{

"name": "test",

"version": "0.0.0",

"private": true,

"main": "index.js",

"scripts": {

"start": "node .",

"start:dev": "nodemon .",

"lint": "eslint .",

"test": "mocha --recursive --exit"

}

Xác định entry point khi app được chạy. Ví dụ khi app với package.json trên được chạy, nó sẽ chạy vào file index.js đầu tiên.

3 loại file sẽ được chạy khi require
.json, .node, .js
Bằng cách nào 1 module có thể được gọi trực tiếp và require từ module khác đồng thời?

JavaScript

if (require.main === module) { // call directly } else { // required as a module }

1
2
3
4
5

if (require.main === module) {
// call directly
} else {
// required as a module
}
Đo execute time ntn?

JavaScript

console.time('label') console.endTime('label')

1
2

console.time('label')
console.endTime('label')
Callback là gì?
Là 1 hàm được gọi sau khi 1 tác vụ được hoàn thành.

Error-first callback là gì?
Là 1 callback với argument đầu tiên luôn là error, các argument khác được dùng để pass data.

fs.readFile(filePath, function(err, data) {  
  if (err) {
    // handle the error, the return is important here
    // so execution stops here
    return console.log(err)
  }
  // use the data object
  console.log(data)
})

fs.readFile(filePath, function(err, data) {

if (err) {

// handle the error, the return is important here

// so execution stops here

return console.log(err)

}

// use the data object

console.log(data)

})

Promise là gì?
Là 1 cơ chế giúp xử lý các tác vụ bất đồng bộ.

const wait(n) = new Promise((resolve) => { setTimeout(resolve, n) })

1
2
3

const wait(n) = new Promise((resolve) => {
setTimeout(resolve, n)
})

Async/await Javascript

Wait millisecond

JavaScript

const wait = (ms) => new Promise((resolve) => setTimeout(resolve, ms))

1

const wait = (ms) => new Promise((resolve) => setTimeout(resolve, ms))

Parallel

const [res1, res2] = await
    Promise.all([boo(),far()])

1 2	const [res1, res2] = await Promise.all([boo(),far()])

example:

async function bar() {
  await wait(3000)
  console.log('bar done')
  return 2
}

async function test() {
  const f = await foo()
  console.log(f)
  const b = await bar()
  console.log(b)
}

async function testPromiseAll() {
  const [f, b] = await Promise.all([foo(), bar()])
  console.log(f)
  console.log(b)
}

testPromiseAll()

async function bar() {

await wait(3000)

console.log('bar done')

return 2

}

async function test() {

const f = await foo()

console.log(f)

const b = await bar()

console.log(b)

}

async function testPromiseAll() {

const [f, b] = await Promise.all([foo(), bar()])

console.log(f)

console.log(b)

}

testPromiseAll()

I don’t know what I am doing with my life.

But I know I’m doing it wrong.

The Little Book of Talent tips

Tip #3: Steal without apology

Good artists borrow. Great artists steal
Tip #6: Choose Spartian over Luxurious

Humble spaces help focus attention on the deep-practice task at hand
Tip #14: Take off your watch

Deep practice is not measured in minutes but how many connections you form in your brain
Tip #15: Break every move into chunk
Tip #17: Embrace struggle

Because no pain, no gain

Continue reading The Little Book of Talent tips

[WILFLC] GIT cheat sheet

Set/Edit remote repo

git remote add origin <git repo path> git remote set-url origin <git repo path>

1
2

git remote add origin <git repo path>
git remote set-url origin <git repo path>
Ghi đè nhánh trên remote repo lên nhánh trên local

git fetch origin git reset --hard origin/<tên nhanh muon ghi đe>

1
2

git fetch origin
git reset --hard origin/<tên nhanh muon ghi đe>

Dùng trong trường hợp code, commit linh tinh trên local => muốn reset lại từ đầu cho nó nét =)))
Ghi đè 1 nhánh lên nhánh khác

git checkout dev git merge -s ours master git checkout master git merge dev

1
2
3
4

git checkout dev
git merge -s ours master
git checkout master
git merge dev

Dùng trong trường hợp: backup code (đã) chuẩn vào 1 nhánh dev, code code code trong nhánh master => fail => ghi đè nhánh backup dev lên master như cũ
Sửa nội dung commit message

git commit --amend

1

git commit --amend

Dùng trong trường hợp lỡ ghi bậy bạ, chửi rủa do bug quá ức chế trong message commit =)) (chỉ áp dụng cho commit mới nhất)
gitignore file thừa sau khi lỡ commit

~~ edit file .gitignore ~~ git rm -r --cached . git add . git commit -m 'Removed all files that are in the .gitignore' git push origin master

1
2
3
4
5

~~ edit file .gitignore ~~
git rm -r --cached .
git add .
git commit -m 'Removed all files that are in the .gitignore'
git push origin master
Lưu công việc đang giở trên 1 branch lại mà ko cần commit

git stash save git stash pop stash@\{0\}

1
2

git stash save
git stash pop stash@\{0\}

[WILFLC] Deploy nodejs server to DigitalOcean

Push code lên git
Access vào server bằng ssh
Cài nodejs và npm:

wget https://nodejs.org/download/release/v5.4.0/node-v5.4.0-linux-x64.tar.gz sudo tar -C /usr/local --strip-components 1 -xzf node-v5.4.0-linux-x64.tar.gz

1
2
3

wget https://nodejs.org/download/release/v5.4.0/node-v5.4.0-linux-x64.tar.gz

sudo tar -C /usr/local --strip-components 1 -xzf node-v5.4.0-linux-x64.tar.gz
Clone code từ git về
cd vào thư mục project

npm install

1

npm install
Cài foreverjs =>

[sudo] npm install forever -g

1

[sudo] npm install forever -g
Start server

forever start bin/www

1

forever start bin/www

Khi có modify code thì chạy lại bằng:

forever restart bin/www

1

forever restart bin/www

[WILFLC] Detect OS device Nodejs

Xác định device của user request lên server: ios, android, web?

function findPlatform(userAgent){
  var iphoneReg = /\biphone\b/gi;
  var ipadReg = /\bipad\b/gi;
  var androidReg = /\bandroid\b/gi;

  if(!userAgent){
    sails.log.error("cant infer user agent");
    return "others";
  }
  if(userAgent.search(androidReg) > -1){
    return "android";
  }
  else if(userAgent.search(iphoneReg) > -1){
    return "iphone";
  }
  else if(userAgent.search(ipadReg) > -1){
    return "ipad";
  }
  else {
    return "others";
  }
}

var ua = request.headers['user-agent'];
result = findPlatform(ua);

function findPlatform(userAgent){

var iphoneReg = /\biphone\b/gi;

var ipadReg = /\bipad\b/gi;

var androidReg = /\bandroid\b/gi;

if(!userAgent){

sails.log.error("cant infer user agent");

return "others";

}

if(userAgent.search(androidReg) > -1){

return "android";

}

else if(userAgent.search(iphoneReg) > -1){

return "iphone";

}

else if(userAgent.search(ipadReg) > -1){

return "ipad";

}

else {

return "others";

}

var ua = request.headers['user-agent'];

result = findPlatform(ua);

[WILFLC] Xử lí vấn đề “Cross-origin resource sharing” khi gọi API – Nodejs

Vấn đề gặp phải khi mình phải code 1 con server để upload ảnh và trả về url. Code xong xuôi, test trên postman chạy ok nhưng khi ốp vào client vkt thì tạch:

XMLHttpRequest cannot load http://localhost:3000/upload. 
No 'Access-Control-Allow-Origin' header is present on the requested resource. 
Origin 'http://localhost:8080' is therefore not allowed access.

XMLHttpRequest cannot load http://localhost:3000/upload.

No 'Access-Control-Allow-Origin' header is present on the requested resource.

Origin 'http://localhost:8080' is therefore not allowed access.

Nguồn gốc vấn đề
Same-Origin Policy: một biện pháp bảo mật an ninh hạn chế sự tương tác giua 2 document có nguồn gốc khác nhau.Về cơ bản, đây là một chính sách quy định nội dung từ một website chỉ được đọc và thay đổi bởi một thành phần khác cùng site đấy, trường hợp truy cập nằm ngoài phạm vi site sẽ bị chặn.Nếu không có SOP, khi người dùng vô tình truy cập một trang web độc hại, script được đặt sẵn trên này có thể truy cập được dữ liệu và thực hiện tính năng của bất kỳ trang web nào người dùng đã dùng trước đóNguôn gốc ở đây được xác định bởi: protocol, host và port.

Continue reading [WILFLC] Xử lí vấn đề “Cross-origin resource sharing” khi gọi API – Nodejs

M	T	W	T	F	S	S
« Nov
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30	31