Ứng dụng RFX framework trong hệ thống Big Data ở 1 công ty start-up e-commerce như thế nào?

By
RFX framework là 1 Java framework được dùng để giải quyết các vấn đề thường gặp ở lớp bài toán Real-time Big Data.
Được xây dựng trên kinh nghiệm phát triển các ứng dụng dạng data-intensive processing như quảng cáo online, analytics ở các dự án đã tham gia ở FPT như VnExpress, eClick, iTVad .
https://github.com/rfxlab/rfx

Phía trên là hình vẽ minh họa cho RFX khi ứng dụng vào lĩnh vực e-commerce (chỉ là VD minh hoạ cho các case study tưởng tượng nếu mình làm ở Lazada hay Tiki thì cần giải quyết các bài toán gì )
VD:

  1. CRM là module giúp quản lý khách hàng, họ cần xem thông tin các mặt hàng thường được xem nhiều, mua nhiều hay được chia sẻ, bình luận nhiều)
  2. Marketing Automation cần biết loại mặt hàng nào cần thiết để ưu tiên chạy marketing để tối ưu ngân sách marketing)
  3. Search API trả về kết quả tìm kiếm , xếp hàng theo xu hướng độ hot theo mùa, click, giá, ...
  4. Recommendation API sẽ tối ưu trải nghiệm mua sắm theo từng gu (cá nhân hóa) của user.

RFX framework gồm 5 phần chính:

  1. RFX-track: Event tracking logs server  với core là Netty ( http://netty.io  )
  2. RFX-stream: Data Stream processing jobs, core là Akka ( http://akka.io )
  3. RFX-jobs: Data job synchronized jobs : extends tư Quartz framework ( http://www.quartz-scheduler.org )
  4. RFX-query:  Data Query service ( http://vertx.io )
  5. RFX-report: base reporting UI được viết bằng NodeJS, dùng WebSocket cho real-time view và reactive ad-hoc query.
Áp dụng mô hình pattern Lambda Architecture

  • Real-time view có thể dùng Kafka + Redis ( http://redis.io ) để tính real-time vì Redis vốn là 1 in-memory NoSQL database
  • Batch view có thể dùng HBase với Phoenix SQL , vừa lưu trữ toàn bộ data và sử dụng SQL cho việc xây dựng 1 Data Warehouse , viết các ad-hoc query (SQL) cũng dễ dàng. 


Comments

Post a Comment

Popular posts from this blog

Vì sao chúng ta cần ứng dụng Dataism cho đời sống

By
Image
Dataism là một triết lý cho rằng dữ liệu là nền tảng của thực tại.  Theo triết lý này, dữ liệu là thứ tạo ra mọi thứ, từ các sự kiện trong thế giới thực đến suy nghĩ và cảm xúc của con người. Trong bối cảnh cuộc cách mạng công nghiệp 4.0 và sự phát triển mạnh mẽ của công nghệ thông tin. Tên gọi "Dataism" được đặt ra để mô tả một quan điểm cho rằng dữ liệu, đặc biệt là dữ liệu số và thông tin, chính là một nguyên tắc lớn trong tự nhiên và xã hội. Nguyên gốc của Dataism không thể được liên kết chặt chẽ với một cá nhân hay tổ chức cụ thể, nhưng một số tác giả và nhà nghiên cứu nhất định đã đóng góp vào việc phát triển và mô tả triết lý này. Một số tác giả nổi tiếng trong lĩnh vực này bao gồm: Yuval Noah Harari: Tác giả của cuốn sách nổi tiếng "Sapiens: Lược sử loài người" và "Homo Deus: Lược sử tương lai", Harari đã đề cập đến khái niệm Dataism trong việc mô tả sự tiến hóa của con người và xã hội.  https://dataethics.eu/humanism-dataism-future-scenario/ Wiki...
Read more

Netty Cookbook - free ebook for Java Developer

By
Image
Introduction Netty.io is a popular open source library that greatly simplifies the development of network applications on top of the JVM.  It abstracts the burden to deal with tedious low level details and allows you to concentrate on your business logic instead.  It is used by high profile companies like Red Hat, Twitter or Facebook and designed from the ground up to handle high throughput at low latency, even with thousands of connections at the same time. In this book, you are going to build both client and server using netty best practices, which are communicating with each other in a completely asynchronous fashion.  We are going to explore the netty pipeline, how you can reuse existing protocol handlers and how to write your own. Source code for book  https://github.com/trieu/netty-cookbook Table of Contents Chapter 1: Communicating in Asynchronous World with Netty (15 pages) Introduction Recipe 1.1 Building an asynchronous TCP server and...
Read more

Các lý thuyết tâm lý học cổ điển về động lực sống của con người

By
Image
Hôm nay, mình viết 1 bài post tóm tắt theo kiến thức cơ bản về tâm lý học, theo những gì mình đã đọc + kinh nghiệm sống của cá nhân mình.  sự thật thú vị là Sigmund Freud là thầy của Carl Jung và Adler. Điểm chung:  cả 3 Bác đều tập trung nghiên cứu về các nguyên lý cơ bản mà tâm trí, ý thức của con người hoạt động.  Bản chất là các dữ liệu trong bộ não, ở trạng thái vô thức ảnh hưởng trực tiếp đến cách con người nhận thức về thế giới xung quanh họ, bao gồm cả đạo đức, cách suy nghĩ, cảm xúc và ý chí.  Một người không thể hành động mà không có 1 động lực tác động trong suy nghĩ của họ, nó phải có nguyên nhân. Hầu hết các nguyên nhân nằm trong mode "vô thức", bạn rất ít khi tự nhận ra chúng  Điểm khác biệt và đặc trưng: 1) #SidmundFreud  mô hình tâm lý của Freud tập trung vào  1.1 cõi vô thức con người,   1.2 tình dục và động lực sinh sản là năng lượng chính trong cõi vô thức 1.3 các chấn thương tâm lý nhưng bị ý thức kiềm chế lâu ngày 1.4 các...
Read more