Nguyễn Tuấn Anh - Blog: Bigdata

Showing posts with label Bigdata. Show all posts

27/02/2026

Scrapling – Framework Web Scraping thế hệ mới cho Web hiện đại

Trong bối cảnh các website ngày càng phức tạp, sử dụng JavaScript động, cơ chế chống bot và thay đổi cấu trúc liên tục, các công cụ web scraping truyền thống như BeautifulSoup hay requests dần bộc lộ nhiều hạn chế.

Scrapling ra đời nhằm giải quyết chính những vấn đề này — một framework web scraping thích nghi (adaptive scraping) giúp thu thập dữ liệu web nhanh, ổn định và dễ mở rộng chỉ với vài dòng Python.

Nhập môn học máy và khai phá dữ liệu

Bài giảng khóa học Nhập môn học máy và khai phá dữ liệu cho sinh viên Chương trình tài năng tại viện CNTT&TT, ĐH BKHN
Dưới đây là bài giảng của khóa học Nhập môn học máy và khai phá dữ liệu (Introduction to Machine Learning and Data Mining) kì 2022-2 được giảng dạy cho sinh viên chương trình tài năng tại trường CNTT&TT, đại học Bách Khoa Hà Nội
Khóa học được thực hiện bởi PGS. TS. Thân Quang Khoát
Bài giảng có slide tiếng Anh nhưng video bài giảng thì là tiếng Việt các bạn nhé

Link: https://users.soict.hust.edu.vn/khoattq/ml-dm-course/

Nghiên cứu khoa học

Video #1: Sử dụng AI ảnh hưởng như thế nào tới não bộ? https://youtu.be/tI_KyiqZWzo
Video #2: Làm tổng quan nghiên cứu khoa học (literature review) với AI: https://youtu.be/abXVfIVrcxE
Video #3: Làm nghiên cứu hệ thống (systematic review) với AI https://youtu.be/V48XOGXLKrw

11/08/2024

LangChain + RAG + Crawl Tiếng Việt

https://colab.research.google.com/drive/1VGWsGXXw0V6gRl6s3Nm3tiBDA9wM0-VZ?usp=sharing&fbclid=IwY2xjawEmTJRleHRuA2FlbQIxMAABHXIU8brr0Soq5WFb1_g6Ye8uhrjALdPojOTzVJhVOMmMWSx8MVKhRbxaHQ_aem_3AZV_97siMzMcwtzXb3sEQ

17/06/2024

Build a Larger Language Model from Scratch

https://www.manning.com/books/build-a-large-language-model-from-scratch?utm_source=raschka&utm_medium=affiliate&utm_campaign=book_raschka_build_12_12_23&a_aid=raschka&a_bid=4c2437a0&chan=mm_github

Codes demo: https://github.com/rasbt/LLMs-from-scratch/tree/main

04/01/2024

Knime là gì

Knime là viết tắt của từ Konstanz Information Miner, là một nền tảng phân tích, báo cáo và tích hợp dữ liệu nguồn mở và hoàn toàn miễn phí. Knime tích hợp nhiều thành phần khác nhau để học máy và khai thác dữ liệu thông qua khái niệm "Lego of Analytics" theo mô-đun dữ liệu mô-đun. Một giao diện mà người dùng đồ họa sử dụng JDBC cho phép lắp ráp các nút pha trộn các nguồn dữ liệu lại với nhau.

19/12/2023

Vizro: Thư viện Python giúp tạo các ứng dụng web và dashboard tương tác 1 cách dễ dàng

Mình xin giới thiệu với các bạn thư viện Vizro - 1 thư viện Python giúp cho các bạn Data Scientist có thể tạo các ứng dụng web cũng như các interactove dashboard chuyên nghiệp 1 cách dễ dàng mà không cần các bạn phải có kiến thức về web development

Vizro là gì

Nhanh chóng tạo và sắp xếp các bảng điều khiển tùy chỉnh trong vài phút - mà không cần kiến thức lập trình hoặc kinh nghiệm thiết kế cao cấp - để tạo ứng dụng trực quan dữ liệu linh hoạt và có khả năng mở rộng, hỗ trợ Python.

Sử dụng vài dòng cấu hình đơn giản để tạo ra các bảng điều khiển phức tạp, được tự động xây dựng sử dụng thư viện như Plotly và Dash, với các quy ước lập trình và thiết kế tích hợp sẵn.

Xác định các danh mục cấp cao trong cấu hình bao gồm:

- components: tạo biểu đồ, bảng, giao diện nhập/ra, và nhiều hơn nữa

- controls: tạo bộ lọc, đầu vào tham số, và bộ điều khiển hành động tùy chỉnh

- pages, layouts và navigation: tạo nhiều trang, với bố cục có thể tùy chỉnh và điều hướng linh hoạt giữa chúng

- actions và interactions: tạo tương tác giữa các biểu đồ và sử dụng các hành động được xác định trước hoặc tùy chỉnh (như xuất khẩu)

Cấu hình có thể được viết dưới nhiều định dạng bao gồm các mô hình Pydantic, JSON, YAML hoặc từ điển Python để tăng tính linh hoạt của việc triển khai.

Các phần mở rộng cao mã (high-code extensions) tùy chọn cho phép tùy chỉnh gần như vô hạn theo cách modul, kết hợp tốt nhất của mã ít và mã nhiều - để tạo ra các ứng dụng trực quan dữ liệu linh hoạt và có khả năng mở rộng, hỗ trợ Python.

Link to repo: https://github.com/mckinsey/vizro

Nguyễn Tuấn Anh - Blog

Trang