Học viện Dữ liệu DATA GYM

Xưa học Hoá có bảng tuần hoàn, học tiếng Anh có bảng các thì. Nay học Python thì có Python Cheat Sheet.
Các mem ghiền Python lưu lại dắt túi làm phao thi nhé 😜

Cảm ơn tác giả.

LÀM VIỆC VỚI KIỂU NGÀY-GIỜ BẰNG MỘT SỐ HÀM BUILT-IN SQL TRONG PostgreSQL

✅ 𝟭. 𝗗𝗔𝗧𝗘_𝗧𝗥𝗨𝗡𝗖

Hàm DATE_TRUNC hiệu quả trong việc đưa nhanh ngày-giờ về ngày đầu tháng, ngày đầu tuần, ngày đầu năm,...

Ví dụ: có thể sử dụng chức năng này nếu bạn muốn vẽ các xu hướng KPI như Doanh số hàng quý, active users, đơn đặt hàng hàng tháng,...

SELECT DATE_TRUNC('month',calendar_date) AS Month,
COUNT(DISTINCT user_id) AS active_users
FROM usage
GROUP BY 1;

✅ 𝟮. 𝗖𝗨𝗥𝗥𝗘𝗡𝗧_𝗗𝗔𝗧𝗘

Có thể đây là hàm được sử dụng nhiều nhất trong tất cả các truy vấn. CURRENT_DATE như tên của chính nó sẽ cho biết ngày hiện tại.

Ví dụ: giả sử tôi muốn xem doanh số bán hàng của mình đang hoạt động như thế nào hàng tháng trong 12 tháng vừa rồi. Tôi có thể sử dụng current_date để lấy tháng gần nhất và trừ đi mười hai tháng để có đủ một năm.

SELECT DATE_TRUNC('month',calendar_date) AS Month,
SUM(sales) AS monthly_sales
FROM sales
WHERE calendar_date BETWEEN DATE_TRUNC('month',CURRENT_DATE) -INTERVAL '12 Months' AND DATE_TRUNC('month',calendar_date)
GROUP BY 1;

✅ 𝟯. 𝗗𝗔𝗧𝗘𝗗𝗜𝗙𝗙

Hàm để tính hiệu khoảng cách giữa hai ngày, chúng ta có thể chỉ định phần khoảng cách nàydưới dạng giây, phút, giờ, ngày, tuần, tháng, năm,...

Ví dụ: truy vấn bên dưới tính lượng người xem phim theo phút dựa trên thời gian người dùng bắt đầu và kết thúc phiên xem.

SELECT movie,
SUM(DATEDIFF ('minutes',watch_start_time,watch_end_time)) AS watch_minutes
FROM movie
GROUP BY 1;

✅ 𝟰. 𝗗𝗔𝗧𝗘_𝗣𝗔𝗥𝗧

Hàm DATE_PART trích xuất các giá trị của phần ngày tháng, có thể là Day of Week (DOW), ngày, giờ, tháng, năm,...

Ví dụ: truy vấn bên dưới phân tích số lượng phiên sử dụng (session) của 1 ứng dụng theo ngày trong tuần (Weekday) và cuối tuần (Weekend)

SELECT
CASE WHEN DATE_PART('dow',calendar_date) IN (1,6) THEN 'Weekend'
ELSE 'Weekday'
END AS time_of_week,
COUNT(DISTINCT session_id) AS sessions
FROM sessions
GROUP BY 1;

✅ 𝟱. 𝗧𝗢_𝗧𝗜𝗠𝗘𝗦𝗧𝗔𝗠𝗣

Hàm này chuyển đổi thời gian thành dạng thời gian có múi giờ và chúng ta có thể chọn định dạng mong muốn ở đầu ra. Thường sẽ phải sử dụng nó khi phân tích dữ liệu mà nguồn dữ liệu đang thu thập trong múi giờ UTC và một nguồn khác ở múi giờ local. Theo mặc định, múi giờ là UTC / GMT

SELECT to_timestamp('2011-12-18 04:38:15', 'YYYY-MM-DD HH24:MI:SS');

Result:
to_timestamp
----------------------
2011-12-19 04:38:15+00

✅ 𝟲. 𝗜𝗡𝗧𝗘𝗥𝗩𝗔𝗟

Sử dụng khi chúng ta muốn cộng thêm khoảng thời gian được chỉ định vào ngày mà chúng ta truy vấn.

Ví dụ: giả sử chúng ta có một tập dữ liệu chứa dữ liệu về một bài kiểm tra trực tuyến có thời lượng 30 phút và bài kiểm tra tự động kết thúc sau 30 phút. Nếu chúng ta chỉ có thời gian bắt đầu cho mỗi thí sinh, chúng ta có thể sử dụng để tính thời gian kết thúc cho mỗi thí sinh.

SELECT start_datetime+ INTERVAL '30 minutes'
FROM table_name;

5 BƯỚC CHÍNH TRONG QUY TRÌNH PHÂN TÍCH DỮ LIỆU:

🎯 1 - THU THẬP DỮ LIỆU:
Bước đầu tiên trong phân tích dữ liệu là thu thập hoặc tập hợp dữ liệu có liên quan từ nhiều nguồn. Dữ liệu có thể đến từ các cơ sở dữ liệu khác nhau, từ website, từ các kênh media, các dạng files EXCEL, CSV, JSON,...

🎯 2 - CHUẨN BỊ DỮ LIỆU:
Bước tiếp theo trong quy trình là chuẩn bị dữ liệu. Nó liên quan đến việc làm sạch dữ liệu để loại bỏ các giá trị không mong muốn và dư thừa, chuyển đổi nó thành định dạng phù hợp và làm cho nó sẵn sàng để phân tích.

🎯 3 - KHÁM PHÁ DỮ LIỆU:
Sau khi dữ liệu đã sẵn sàng, việc khám phá dữ liệu được thực hiện bằng cách sử dụng các kỹ thuật trực quan hóa dữ liệu khác nhau để tìm ra các insights, trending từ dữ liệu mà không thể thấy bằng mắt thường.

🎯 4 - LẬP MÔ HÌNH DỮ LIỆU:
Bước tiếp theo là xây dựng các mô hình dự đoán của bạn bằng cách sử dụng các thuật toán phân tích, thống kê, Machine Learning (ML) để đưa ra các phân tích từ dữ liệu lịch sử và có thể dự đoán trong tương lai.

🎯 5 - DIỄN GIẢI KẾT QUẢ:
Bước cuối cùng trong bất kỳ quy trình phân tích dữ liệu là thu được các kết quả có ý nghĩa và kiểm tra xem kết quả đầu ra có phù hợp với kết quả mà chúng ta mong đợi hay không.

📌 TẠI SAO PHÂN TÍCH DỮ LIỆU BẰNG 𝗣𝗬𝗧𝗛𝗢𝗡 ?

Có rất nhiều ngôn ngữ lập trình hỗ trợ ứng dụng phân tích có sẵn, nhưng PYTHON được sử dụng phổ biến bởi các nhà thống kê, kỹ sư và nhà khoa học để thực hiện phân tích dữ liệu.

Dưới đây là một số lý do tại sao Phân tích dữ liệu sử dụng PYTHON trở nên phổ biến:

✅ Python rất dễ học, dễ hiểu và có cú pháp đơn giản.
✅ Ngôn ngữ lập trình có thể mở rộng và linh hoạt.
✅ Nó có một bộ sưu tập lớn các thư viện để tính toán, thao tác với dữ liệu và đặc biệt là PYTHON cung cấp một loạt các thư viện về phân tích dữ liệu cực kỳ mạnh.
✅ PYTHON cung cấp các thư viện cho đồ họa và trực quan hóa dữ liệu để xây dựng các biểu đồ, dashboard phân tích.
✅ Nó có cộng đồng người dùng rộng rãi để giúp giải quyết nhiều câu hỏi coding từ phía người dùng.
✅ Thư viện Python cho Phân tích dữ liệu là một trong những lý do chính khiến phân tích dữ liệu sử dụng PYTHON đã trở thành phương thức được ưa thích và phổ biến nhất.

Các bộ thư viện KINH ĐIỂN nổi tiếng CỦA PYTHON
👉 NumPy: NumPy hỗ trợ mảng n-chiều và cung cấp các công cụ tính toán số. Nó rất hữu ích cho đại số tuyến tính và biến đổi Fourier.

👉 Pandas: Pandas cung cấp các chức năng để xử lý dữ liệu bị thiếu, thực hiện các phép toán và thao tác trên dữ liệu, đọc và ghi các dạng files thông dụng (EXCEL, CSV, TEXT, JSON,...)

👉 Matplotlib: Thư viện Matplotlib thường được sử dụng để trực quan hóa dữ liệu và tạo hình ảnh trực quan tương tác của dữ liệu.

👉 SciPy: Thư viện SciPy được sử dụng cho tính toán khoa học. Nó chứa các module để tối ưu hóa, đại số tuyến tính, tích hợp, nội suy, các chức năng đặc biệt, xử lý tín hiệu và hình ảnh

👉 Scikit-Learn: Thư viện Scikit-Learn có các tính năng cho phép bạn xây dựng các mô hình Machine Learning trong đó bao gồm hồi quy, phân loại và phân cụm...

🎯🎯 Ở 𝗗𝗔𝗧𝗔 𝗚𝗬𝗠 khóa 𝗣𝗬𝗧𝗛𝗢𝗡 𝗔𝗡𝗔𝗟𝗬𝗧𝗜𝗖𝗦 được thiết kế hội tụ đủ 5 bước chính trong quy trình phân tích dữ liệu giúp học viên lĩnh hội được kiến thức và thực hành sát với thực tế công việc nhất.

✅ Đăng ký tư vấn Khóa học 𝗣𝗬𝗧𝗛𝗢𝗡 𝗔𝗡𝗔𝗟𝗬𝗧𝗜𝗖𝗦 tại link: https://bit.ly/37Pl1Xs

✅ HOẶC INBOX FANPAGE 𝗗𝗔𝗧𝗔 𝗚𝗬𝗠 NGAY VÀ LUÔN 😁

DATA GYM BÁO LỚP THÁNG 9-2021

📌Vẫn có lớp kèm như tháng 7 cho những anh chị có nhu cầu học nhóm nhỏ.
📌 Lớp luôn có Instructor và TA (trợ giảng) support xuyên suốt khóa học.
📌 Chương trình hỗ trợ mùa dịch 𝗕𝗨𝗬 𝟮 𝗚𝗘𝗧 𝟭 - Đăng ký 2 tặng 1 suất Học bổng

⏰ Lịch học:
+ Lớp 𝗣𝗬𝗧𝗛𝗢𝗡 𝗔𝗡𝗔𝗟𝗬𝗧𝗜𝗖𝗦: Tối thứ 3 và thứ 6, khai giảng 2021-09-21
+ Lớp 𝗦𝗤𝗟 𝗙𝗢𝗥 𝗕𝗨𝗦𝗜𝗡𝗘𝗦𝗦: Tối thứ 4 và tối thứ 7, khai giảng 2021-09-22

🎯 Đăng ký tư vấn Khóa học tại link: https://bit.ly/37Pl1Xs
🎯 THÔNG TIN KHÓA HỌC CHI TIẾT SẼ ĐƯỢC CẬP NHẬT TRONG THỜI GIAN TỚI

TOP 16 CÂU HỎI KINH ĐIỂN KHI BẠN ỨNG TUYỂN VỊ TRÍ YÊU CẦU KỸ NĂNG SỬ DỤNG SQL

1️⃣. Hãy giới thiệu qua kinh nghiệm của bạn và tại sao bạn biết vị trí này ở công ty chúng tôi?
2️⃣. SQL là gì ?
3️⃣. Tại sao bạn muốn làm việc cho công ty chúng tôi ở vị trí yêu cầu biết sử dụng về SQL ?
4️⃣. MySQL là gì?
5️⃣. Bạn có biết điểm khác biệt chính giữa SQL và MySQL?
6️⃣. JOIN trong SQL để làm gì ? Có bao nhiêu kiểu JOINS ?
7️⃣. INDEX là gì, tại sao cần sử dụng INDEX?
8️⃣. Bạn có thể mang lại giá trị gì cho team chúng tôi ?
9️⃣. Một số common types về SQL constraint và chúng nghĩa là gì ?
1️⃣0️⃣. Bây giờ là 5PM, thứ 6 và bạn nhận được một request yêu cầu cần gấp từ stakeholder, bạn được assign task đó và giả sử cần gấp trong khoảng 1 tiếng nữa. Bạn sẽ làm gì ?
1️⃣1️⃣. Bạn thường xử lý kiểu dữ liệu ngày giờ như thế nào ?
1️⃣2️⃣. Primary Key khác Foreign Key như thế nào ?
1️⃣3️⃣. Tại sao bạn muốn leave công việc hiện tại ?
1️⃣4️⃣. Bạn mong muốn mức lương bao nhiêu cho vị trí yêu cầu về kỹ năng SQL này ?
1️⃣5️⃣. Subquery là gì ? Bạn có thường sử dụng subquery không? Khi nào nên sử dụng ? Khi nào không nên ?
1️⃣6️⃣. Bây giờ là đoạn kết của buổi interview hôm nay rồi, bạn có câu hỏi gì khác cho chúng tôi không ?

𝗚𝗢𝗢𝗗 𝗟𝗨𝗖𝗞 !

SO SÁNH TOOL VISUALIZATION - TRỰC QUAN HÓA DỮ LIỆU
𝗣𝗼𝘄𝗲𝗿𝗕𝗜 𝘃𝘀 𝗧𝗮𝗯𝗹𝗲𝗮𝘂 - TOOL NÀO TỐT HƠN ?

𝟭- 𝗔𝗽𝗽𝗹𝗶𝗰𝗮𝘁𝗶𝗼𝗻:
- Cả 2 tools đều hỗ trợ người dùng thao tác drag-drop để build chart rất đơn giản, việc tiếp cận sử dụng ở Tableau ban đầu khó hơn PowerBI nhưng khi đã làm quen và có thời gian sử dụng thì về mặt lâu dài người sử dụng Tableau có thể xử lý các tác vụ phức tạp một cách đơn giản hơn so với trên PowerBI. Ngược lại PowerBI lại rất dễ tiếp cận và giao diện thân thiện dễ sử dụng ngay từ những bước đầu tiên.

- Chart visualize thì Tableau nhỉnh hơn PowerBI khi thể hiện nhiều chart/thông số trên cùng 1 dashboard và thiết kế visualization cũng được đánh giá "nice looking" hơn PowerBI, tuy nhiên việc này phụ thuộc vào thị hiếu của cá nhân/tập user sử dụng.

𝟮- 𝗗𝗮𝘁𝗮 𝗽𝗿𝗲𝗽𝗮𝗿𝗮𝘁𝗶𝗼𝗻:
- Cả 2 tools đều hỗ trợ kết nối đến rất nhiều data source (MS SQL Server, PostgreSQL, mySQL, Excel, Bigquery, Oracle, Cloudera Hadoop, Google Analytics, SAP HANA, Snowflake,...)
- Khả năng ETL (Extract- Transform -Load):
📌 𝗣𝗼𝘄𝗲𝗿𝗕𝗜 - 𝗣𝗼𝘄𝗲𝗿 𝗤𝘂𝗲𝗿𝘆:
✅ Hoạt động gần tương tự như trên Excel và chúng ta chỉ cần xử lý từ Extract - Transform cho đến Load chỉ trong 1 App Power Query. ĐIều này rất phù hợp cho những ai mong muốn thực hiện mọi khâu trong "One-stop" application.
✅ PowerQuery hoạt động xử lý data chưa được "làm sạch" tốt hơn trên Tableau vì các thiết kế để transform trong PowerQuery hoạt động cực kỳ hiệu quả cho các tác vụ này.
✅ Điểm chưa được tốt trên Power Query là phần relationship và diagram thể hiện mối liên kết giữa các bảng dữ liệu cực kỳ khó nhìn và phức tạp. Việc này cơ bản sẽ lấy đi tài nguyên xử lý trên máy tính để lưu trữ và giữ cái liên kết này xuyên suốt các query và điều này làm giảm hiệu năng trên PowerQuery, đó là một trong những lý do khi Dashboard của chúng ta có 500 thứ thì PowerBI loading chậm rất nhiều.

📌 𝗧𝗮𝗯𝗹𝗲𝗮𝘂 - 𝗣𝗿𝗲𝗽 𝗕𝘂𝗶𝗹𝗱𝗲𝗿:
✅ Tableau tiếp cận ở ETL theo một cách khác, ở Tableau tách riêng App cho phần này. Ở Tableau khi cần thực hiện 1 dashboard thì dữ liệu đầu vào cần phải đã được làm sạch để hoạt động được hiệu quả hơn, không như PowerQuery. Tableau Prep Builder giúp chúng ta thực hiện việc này dễ dàng và diagram mô tả flow cực kỳ dễ nhìn, rõ ràng từng bước xử lý, dễ quản lý các bước Transform của chúng ta và không quá phức tạp như trên PowerQuery.
✅ Vì ETL đã được tách ra ở App riêng Prep Builder nên khi đưa vào Tableau thì hiệu năng query trên Tableau trội hơn trên PowerBI và hiện tượng "loading" được xử lý smooth hơn trên Tableau.

𝟯- 𝗦𝗵𝗮𝗿𝗶𝗻𝗴 𝗦𝗲𝗿𝘃𝗶𝗰𝗲𝘀:
📌 Tableau: Tableau có Tableau Server và Tableau Online giúp user có thể truy cập từ web browser
📌 PowerBI: PowerBI có Power Cloud Service, PowerBI Galleries và Office 365 là hỗ trợ rất tốt cho việc public và sử dụng chung hệ sinh thái Microsoft, đây là một ưu điểm rất lớn của PowerBI

Power BI vs Tableau - Best BI Tool In this I share the key differences (and similarities) between these two top business intelligence (BI) solutions, as I've been working with both these busin...

[𝗛𝗼̂𝗺 𝗻𝗮𝘆 𝗰𝗼́ 𝗴𝗶̀ 𝘃𝘂𝗶?]

𝗦𝗤𝗟 𝗙𝗢𝗥 𝗕𝗨𝗦𝗜𝗡𝗘𝗦𝗦
SQL là một trong những kỹ năng cốt lõi mà một người làm BA (Business Analyst/Business System Analyst) cần thiết phải có. Video bên dưới sẽ giải thích về SQL và chỉ ra cho chúng ta một vài ví dụ cụ thể về KHI NÀO THÌ BA CẦN SỬ DỤNG ĐẾN SQL

----------------------------------------------------
SQL is one of the core skills that business system analysts will need to have. In this video, we explain what SQL is, and provide a few examples of when the business analyst is required to use it.

SQL for the Business Analysts - How important is it? SQL is one of the core skills that business system analysts will need to have. In this video, we explain what SQL is, and provide a few examples of when the...

DATA GYM phát hiện lớp 𝗦𝗔𝗣 𝗙𝗶𝗻𝗮𝗻𝗰𝗶𝗮𝗹 𝗧𝗿𝗮𝗶𝗻𝗶𝗻𝗴 hoàn toàn 𝗙𝗥𝗘𝗘, muốn giới thiệu đến mọi người!
- Khóa học được chia ra thành các Topics nhỏ (3-5 phút/video) giúp người học dễ nhớ và nắm từng bài.
- Có câu hỏi Quiz tóm tắt lại các ý chính trong Topic.
- Bài học thực hành ngay trên SAP
- Và hoàn toàn FREEE
Link học:

Money and asset management with SAP financials - SAP Financials Essential Training Video Tutorial | LinkedIn Learning, formerly Lynda.com Join Justin Valley for an in-depth discussion in this video, Money and asset management with SAP financials, part of SAP Financials Essential Training.

𝗧𝗢𝗣 𝟯 𝗦𝗤𝗟 𝗜𝗡𝗧𝗘𝗥𝗩𝗜𝗘𝗪 𝗤𝗨𝗘𝗦𝗧𝗜𝗢𝗡𝗦:

Có lẽ SQL là khái niệm mà không Data Analyst/ Business Analyst hay thậm chí là dân Finance, Banking nào là không biết tới.

Trong hầu hết các cuộc phỏng vấn, các câu hỏi về SQL được đưa ra rất nhiều từ mức độ đơn giản đến phức tạp. Vì vậy, trước mỗi lần phỏng vấn cho vị trí DA/BA, Phân tích Finance, Data Engineer,... việc chuẩn bị kiến thức nền tảng về SQL là không thể thiếu.

https://towardsdatascience.com/my-top-3-sql-interview-questions-8a42597e8505
--------------------------------------------------------------------------
DATA GYM - Fitness For Data
💒Địa chỉ : Mind X, 253 Điện Biên Phủ, P7, Q.3, HCM.

My Top 3 SQL Interview Questions I frequently interview candidates for positions of Data Analysts, Data Engineers and Data Architects, and sometimes participate in…