Data Science

Chuyển âm thanh thành văn bản cover

Chuyển giọng nói thành văn bản miễn phí bằng OpenAI whisper trong 3 bước

Kể từ khi đọc được thông tin về mô hình máy học Whisper giúp chuyển giọng nói thành văn bản bởi OpenAI vào tháng 9/2022 tôi nhận thấy đây sẽ là một công nghệ rất thiết thực trong cuộc sống. Sau một thời gian theo dõi và thử nghiệm, tôi cũng đã sử dụng thành công mô hình này với Python trên Google Colab. Nhằm giúp những người không quen thuộc với lập trình cũng có thể sử dụng whisper, tôi viết thư viện python ur_audio_sub và tối giản hết sức các câu lệnh cần thiết giúp chuyển giọng nói thành văn bản. Whisper giúp nhận diện giọng nói từ nhiều ngôn ngữ khác nhau trong đó ~15 ngôn ngữ có tỉ lệ sai số 10%. Trong tutorial này, tôi sẽ hướng dẫn các bạn tạo phụ đề cho youtube video và chuyển đổi file ghi âm thành văn bản chỉ với 3 bước cực kỳ đơn giản.

kinh nghiem tu hoc data analysis jpg

10 Kinh nghiệm tự học Data Analysis với Python thành công

“Education is not the learning of FACTS, but the training of the mind to THINK”.

Albert Einstein

Là một người đam mê về Digital Marketing và Data Analysis, tôi dành nhiều thời gian để tự học và cho rằng việc tự đào tạo bản thân đóng vai trò cực kỳ quan trọng trong việc phát triển sự nghiệp của mình. Theo tôi, trường học, viện đào tạo không phải là nơi duy nhất quyết định con đường học tập của bạn. Bạn mới chính là người biết bản thân mình cần gì, bạn làm chủ việc sắp xếp thời gian học linh hoạt và theo tiến độ riêng của mình để đạt kết quả tốt nhất. Thông qua bài viết này tôi sẽ chia sẻ với các bạn những kinh nghiệm trong việc tự học data analysis với Python, hy vọng những điều này cũng có thể áp dụng linh hoạt với việc tự học trong nhiều lĩnh vực khác.

1. "Problem solving" - Kỹ năng giải quyết vấn đề tốt là yếu tố then chốt để thành công

"Nếu cho tôi 6 giờ để đốn hạ một cái cây, tôi sẽ dành 4 giờ đầu để mài sắc lưỡi rìu."

Abraham Lincoln

Kỹ năng giải quyết vấn đề cung cấp cho bạn một phương pháp tư duy toàn diện khi tiếp cận và tìm cách giải quyết bất kỳ vấn đề nào trong cuộc sống, không chỉ riêng việc tự học data analysis.

Tải dữ liệu chứng khoán từ TCBS api

vnstock – Tải dữ liệu chứng khoán với Python qua API

vnstock là gói thư viện Python cho phép tải dữ liệu chứng khoán với cú pháp đơn giản sử dụng dữ liệu đáng tin cậy được cung cấp bởi public api từ Techcombank Security (TCBS) và SSI.

Thư viện này được tôi tạo ra lấy cảm hứng từ investingpy (sử dụng nguồn cấp dữ liệu từ investing.com). Phiên bản đầu tiên của vnstock lần đầu tiên được phát hành ngày 27/2/2022.

Version Download Badge Commit Badge License Badge

Giới thiệu chung

Lý do ra đời của dự án này cũng thật đặc biệt, tôi rất thích phân tích dữ liệu với Python và thử áp dụng vào việc phân tích đầu tư thực tế để nâng cao kỹ năng kỹ thuật và rèn luyện tư duy. Cho đến hiện tại, khi tìm kiếm trên internet về “api dữ liệu chứng khoán”, “nguồn cấp dữ liệu chứng khoán” hay "tải dữ liệu chứng khoán" thì đa phần những cái tên hiện ra đều khá truyền thống như cophieu68, vietstock, cafef mà đặc thù là bạn có thể xem trên web hoặc tải file excel hoặc csv dùng cho phần mềm Amibroker. Một số dịch vụ khác cung cấp api dữ liệu nhưng cần trả phí hoặc thủ tục đăng ký rắc rối trong khi tôi muốn sử dụng cho mục đích nghiên cứu và tiết kiệm chi phí nhất có thể (không cần trả phí càng tốt). Thêm nữa, để giảm thiểu các thao tác truy xuất dữ liệu và đưa vào model tính toán thông thường với Excel mất thời gian, tôi thích sử dụng Google Sheets kết hợp với Python để tự động hoá các khâu phân tích cơ bản. Tất nhiên với một số phân tích và nhóm dữ liệu nhất định, bạn có thể gọi API để kéo data trực tiếp vào Google Colab đơn giản nhưng khi sử dụng ở nhiều môi trường máy tính khác nhau (desktop lẫn server), hay thay đổi giữa các tài khoản Google khác nhau thì việc tạo ra 1 thư viện giúp đơn giản hoá việc tận dụng lại những đoạn code viết sẵn, workbook trở nên thanh thoát và dễ làm việc hơn nhiều.

automated facebook ads report to google sheets 2

Cập nhật báo cáo Facebook Ads tự động với Google Sheets và Apps Script

Quảng cáo Facebook từ lâu đã là 1 trong những lựa chọn hàng đầu của các doanh nghiệp, tổ chức và kể cả cá nhân khi muốn thực hiện chiến dịch marketing trên nền tảng mạng xã hội. Không mất nhiều thời gian để tìm kiếm các nội dung hướng dẫn cách chạy quảng cáo facebook hay làm sao để tối ưu chi phí hiệu quả. Tuy nhiên dễ dàng nhận ra rằng sẽ không có nhiều nội dung chất lượng để có thể tham khảo miễn phí vì đơn giản đó là bí quyết, là nghề kiếm cơm của các marketer hay agency. Cá nhân tôi sau nhiều năm làm về performance marketing từ vị trí vận hành cho đến quản lý, không ngừng tìm kiếm những cách làm mới và hiệu quả để giảm bớt gánh nặng của các công việc tay chân ít giá trị thay vào đó là dành thời gian suy nghĩ về các chiến lược, chiến thuật thực sự đem lại hiệu quả cho đội ngũ. Khi làm việc với các doanh nghiệp, agency, SME có thể dễ dàng nhận thấy cách làm việc thủ công tải báo cáo quảng cáo để theo dõi hiệu quả chiến dịch cực kỳ phổ biến, mất nhiều thời gian thao tác và khó theo dõi sát sao tình hình nhưng không nhiều đơn vị có cách giải quyết.

Để thiết lập báo cáo Facebook Ads tự động có thể thấy sẽ thực hiện được bằng 2 cách cơ bản: mua dịch vụ của bên thứ 3 hoặc tự phát triển công cụ thông qua lập trình. Với tuỳ chọn sử dụng dịch vụ của bên thứ 3 thì SuperMetrics là cái tên rất phổ biến có thể bạn đã từng nghe tới. Bạn có thể phải bỏ ra 99EUR/tháng để mua gói dịch vụ cơ bản Supermetrics for Google Sheets hoặc 69 EUR/tháng cho dịch vụ Supermetrics for Data Studio với duy nhất 1 nguồn dữ liệu. Một số công cty có đội ngũ lập trình, sử dụng dịch vụ đám mây bài bản thì có thể tự động hoá quy trình nhập dữ liệu quảng cáo vào database một cách đơn giản nhưng phần đông các marketer tôi gặp không may mắn làm ở các đơn vị như vậy.

Hướng dẫn sử dụng Google Colab - Google Colab Tutorial 101

Hướng dẫn sử dụng Google Colab đầy đủ – Python Tutorial

Xin chào các bạn, trong bài trước tôi đã giới thiệu đến các bạn bài hướng dẫn Thiết lập Linux server chạy Python tự động sử dụng Oracle Cloud (Always Free) để tạo cho mình môi trường thực thi và lên lịch các Python script hoàn toàn tự động trên server. Đối với những người mới làm quen và bắt đầu học Python có lẽ các bạn sẽ khá bối rối với những khái niệm mới lạ nào là cài đặt Python thuần hay Anaconda, sử dụng Visual Studio Code hay PyCharm, vv để lập trình Python. Chưa hết, khi các bạn sử dụng Macbook thì cách thức thiết lập môi trường thực hành và hành vi của máy lại khác xa với máy tính Windows, khiến việc làm quen và thực hành Python gặp không ít khó khăn. Nếu các bạn biết và sử dụng tốt Google Colab, tôi tin bạn chẳng phải đối mặt với những rắc rối nêu trên. Trong thực tế, Google Colab được tôi chọn sử dụng là môi trường thực hành và lập trình duy nhất cho lớp học Python mà tôi đang hướng dẫn bởi những lợi ích hết sức rõ ràng. Không để các bạn phải đợi lâu thêm nữa, hãy cùng tôi khám phá Bí kíp lập trình Python và phân tích dữ liệu với Python qua hướng dẫn sử dụng Google Colab nhé.

1. Google Colab là gì?

Google Colab là một dạng Jupyter Notebook tùy biến cho phép thực thi Python trên nền tảng đám mây, được cung cấp bởi Google. Sử dụng Google Colab có những lợi ích ưu việt như: sẵn sàng chạy Python ở bất kỳ thiết bị nào có kết nối internet mà không cần cài đặt, chia sẻ và làm việc nhóm dễ dàng, sử dụng miễn phí GPU cho các dự án về AI.

oracle cloud homepage

Thiết lập Linux server chạy Python tự động sử dụng Oracle Cloud (Always Free)

Xin chào các bạn! Hôm nay Thịnh sẽ hướng dẫn các bạn thiết lập 1 máy ảo Ubuntu trên nền tảng Oracle Cloud để sử dụng cho việc lên lịch thực thi tự động các tác vụ với Python. Như các bạn đã biết, trong 1 bài chia sẻ của về chủ đề Phân tích dữ liệu với Python, tôi đã đầu tư 1 chiếc máy tính nhúng Raspberry Pi để sử dụng như 1 server giúp lên lịch thực thi Python script ví dụ như tự động refresh dữ liệu báo cáo, web scraping hay gửi tin nhắn cập nhật thông tin tự động thông qua Telegram bot. Tuy rằng cấu hình 1 chiếc Raspberry Pi 4B là quá ổn và đủ mạnh để dùng làm server thực thi Python, nhưng cũng có nhiều điểm bất cập chưa thể giải quyết triệt để điển hình là tuổi thọ của máy và phụ kiện khi phải hoạt động liên tục trong thời gian dài. Tiêu hao năng lượng cũng là 1 vấn đề nữa với Raspberry Pi tuy không lớn vì công suất tiêu thụ chỉ ở mức 15W/h. Dù sao nếu có 1 giải pháp thay thế để có 1 server chạy Python script 24/7 và không phải lo về chi phí thì thực sự quá tuyệt vời.

Không để các bạn phải đợi lâu, giải pháp tôi đang muốn giới thiệu tới các bạn chính là tạo 1 máy ảo Linux (đặc biệt là Ubuntu trong hướng dẫn này) trên dịch vụ Oracle Cloud sử dụng tài nguyên ưu đãi miễn phí từ Oracle Cloud Free Tier. Rốt cuộc Oracle Cloud Free Tier là gì mà hay ho đến vậy?

Oracle Cloud Free Tier gồm 2 gói ưu đãi là Always Free cloud services30-day Free Trial (với credit là $300 sử dụng trong 30 ngày). Trong đó gói Always Free cloud services cho phép bạn sử dụng một số tài nguyên hệ thống nhất định nhưng không giới hạn về thời gian.

google sheet python

Đọc và xuất dữ liệu Google Sheets với Python & Jupyter Notebook

Xin chào các bạn!

Google Sheets từ lâu đã là 1 công cụ bảng tính cực kỳ hữu ích, quen thuộc với nhiều người trên nền tảng web nhất là trong làm việc nhóm. Thật lòng mà nói, tôi sử dụng Google Sheets trong công việc và cuộc sống hàng ngày còn nhiều hơn bộ công cụ Microsoft Excel trên máy tính nhờ trải nghiệm xuyên suốt trên nhiều thiết bị, những hàm đặc biệt và khả năng mở rộng tính năng thông qua Google Apps Script và các Add on.

Khi sử dụng Python để phân tích dữ liệu, tôi chọn tải dữ liệu trực tiếp từ Google Sheets vào project cho tiện thay vì phải xuất file định dạng csv, xlsx rồi mới tải. Sau khi xử lý xong xuôi, tôi cũng thường xuyên lựa chọn xuất dữ liệu ra Google Sheets để lưu trữ và chia sẻ tới đội nhóm trong công ty và đối tác. Ngoài ra với các ứng dụng web scraping, trích xuất dữ liệu từ các báo thì Google Sheets cũng được chọn để lưu trữ các dữ liệu đã qua xử lý một cách tiện lợi, đính kèm link khi gửi thông tin chi tiết cho người nhận tin.

Thông qua bài hướng dẫn ngắn này, hy vọng các bạn có thể đọc và xuất dữ liệu Google Sheets với Python dễ dàng để ứng dụng vào công việc của mình nhé.

Tạo Alert Bot – Cập nhật thông tin chi tiêu quảng cáo qua Telegram tự động

Tạo Alert Bot – Cập nhật thông tin chi tiêu quảng cáo qua Telegram tự động

Xin chào các bạn!
Quản lý tài khoản quảng cáo nói chung và ngân sách/chi tiêu quảng cáo luôn là mối bận tâm lớn đối với rất nhiều cá nhân/doanh nghiệp dù bạn làm ở Agency hay team Digital Marketing in-house. Làm sao để các marketer có thể chủ động nắm thông tin, quản lý hiệu quả quảng cáo đã là 1 chủ đề thôi thúc mình suy nghĩ trong thời gian khá dài. Từ những năm 2016, Data Studio là công cụ hữu hiệu nhất của mình để tạo dashboard và kiểm soát hiệu quả/chi phí quảng cáo so với KPI đề ra. Tuy nhiên dùng 1 dashboard vẫn chưa đảm bảo cho bạn tính chủ động, vì bạn vẫn cần phải tự nhắc nhở mình mở dashboard ra kiểm tra. Nếu có cách nào đó giúp thông báo tình hình tài khoản 1 cách chủ động hẳn sẽ hiệu quả hơn nhiều. Thế là mình đã tìm hiểu về lập trình Apps Script và Python để hiện thực hoá ý tưởng trên. Apps Script không được thiết kế dành cho phân tích dữ liệu nên Python chính là câu trả lời cuối cùng của mình cho dự án này. Mời các bạn theo dõi series bài hướng dẫn Tạo Alert Bot Telegram thông báo chi phí quảng cáo Facebook tự động của mình nhéHy vọng những chia sẻ nhỏ này sẽ giúp bạn tìm được hướng đi mới trong Digital Marketing và như đốm lửa nhỏ khơi dậy đam mê lập trình trong bạn.

telegram bot on python

Tạo Telegram Bot cực đơn giản để lập trình ứng dụng với API & Python

Xin chào các bạn, đây là 1 bài viết trong series bài hướng dẫn Tạo Telegram Bot thông báo chi phí quảng cáo Facebook tự động. Telegram bot này giúp các bạn có thể theo dõi chiến dịch quảng cáo của mình (cụ thể là chi phí QC trong trường hợp này) một cách thường xuyên và tiện lợi trong khi không cần quá nhiều công sức. Việc tạo Telegram Bot rất đơn giản, không phát sinh bất kỳ chi phí nào và Telegram API cũng cực kỳ dễ sử dụng. Do đó các bạn có thể thiết kế nhiều ý tưởng không chỉ là alert bot mà còn có thể phát triển nhiều tính năng đa dạng như tự động thay đổi bidding, thay đổi ngân sách QC, tạm dừng hay bật lại chiến dịch, vv sau đó gửi thông báo trạng thái qua Telegram. Teaser vậy nhé, để theo dõi nội dung chi tiết các bài viết trong series, bạn có thể tham khảo tại đây. Bài hướng dẫn này yêu cầu bạn có một tài khoản Telegram và cần đăng nhập phiên bản Telegram Web thông qua trình duyệt web để tiện thao tác.

Trang chủ Facebook Developer / facebook developer homepage

Facebook Marketing API – Tạo 1 ứng dụng Facebook và lấy access token để tương tác với API cực đơn giản

Qua bài viết này mình sẽ hướng dẫn các bạn tạo một ứng dụng Facebook, lấy access token để tương tác với các dịch vụ của Facebook Marketing API. Bạn có thể lập trình ứng dụng của mình để tương tác với API theo ngôn ngữ lập trình ưa thích của mình. Trong khuôn khổ blog này mình sẽ tập trung vào lập trình với Python để phân tích dữ liệu và tối ưu hiệu quả công việc đối với các nền tảng quảng cáo trực tuyến.