Skip to main content

How to Become a Big Data Engineer

Big Data Engineer, a large role for data field. Which brings a lot of money with lot of opportunities. lol.

To become a Big Data Engineer , you just need the enthusiasm, and nothing else, trust me.

Just follow the roadmap to become a big data engineer. You can learn from here or there or from anywhere these topics.


  • Introduction to Data Engineering
  • SQL Basics
  • Linux with Python Basics
  • Cloud Computing
  • Big Data Processing
  • BI Tool Familiarity
  • ETL Jobs
If you go in depth- 

  • Big Data Engineering Funda
    • Welcome to Big Data Engineering
    • What is Big Data?
    • What is Data Engineering?
    • Data Analysis Vs Big Data Engineering vs Other Data Related Jobs
    • Data Engineer Job Description & Discussion
  • SQL Basics
    • Setting up Database
    • Using Database Tools for More Comfort
    • Basic SQL
    • SQL Joins
    • More
  • Linux with Python
    • Introduction to Shell
    • Setting up shell
    • Overview of basic shell commands
    • Informational commands
    • File directory & navigation commands
    • Parameters
    • Files Downloading
    • Viewing objects
    • Removing objects
    • Searching objects
    • Variables
    • Command Substitution
    • Command Line Argument
    • Installing libraries
    • Python Installation
    • Python basics programming
    • Python Functions
    • Python Collections
    • Loops
    • Python I/O
    • Database Connection
    • Database Operation
    • Basic CRUD operations
  • Cloud Computing for DE’s
    • AWS
      • RDS
      • EC2
      • IAM
      • Storage
    • GCP
      • Bigquery
      • Storage
      • IAM
      • Service Acs
  • Hadoop
    • HDFS Architecture
    • Yarn
    • Hadoop Commands
  • MapReduce
    • Unerstanding Mapreduce work flow
    • Creating Mapreduce Project
    • Running Mapreduce Project locally
    • Running Mapreduce Project in Hadoop
  • Sqoop
    • Understanding scoop
    • Sqoop commands
    • Sqoop data migration
  • Hive
    • Understanding Hive
    • Hive commands
  • Spark
    • Intro to PySpark
    • Spark Architecture
    • Installing PySpark
    • PySpark RDD (Resilient Distributed Datasets) Operation
    • Dataframe
    • Spark SQL
    • Transformation
      • Narrow Transformation
      • Wide Transformation
  • ETL Familiarity
    • ETL with Tool
    • ETL with Script
  • BI Tool Familiarity
    • Google Data Studio (GDS)

Just go with it. Learn these things to be a boss. Best wishes.


You can also follow this channel to start your career: 

Learn Data Engineering Here


Stay reading Big Data Engineering Tutorials 

Comments

Post a Comment

Popular posts from this blog

Installing VirtualBox and Ubuntu/Cloudera in VirtualBox

A  step-by-step guide on how to install VirtualBox, Ubuntu, and Cloudera using the provided .vmdk and .ovf files. [IF YOU HAVE ALREADY WSL INSTALLED, YOU CAN OMMIT STEP: B] STEP A: Install VirtualBox: Virtualbox Installation: i. Go to the Oracle VirtualBox download page:  https://www.virtualbox.org/wiki/Downloads ii. Download the appropriate version for your operating system (Windows, macOS, or Linux). c iii. Run the downloaded installer and follow the prompts to complete the installation. Virtualbox Install VirtualBox Extension Pack: i. Download the Extension Pack from the provided link:  https://download.virtualbox.org/virtualbox/7.0.6/VirtualBoxSDK-7.0.6-155176.zip ii. Extract the contents of the zip file. Open VirtualBox, go to “File” > “Preferences” > “Extensions”. Click the “+” icon to add a new extension and browse to the extracted folder, then select the .vbox-extpack file. Click “Install” and accept the license agreement to install the Extension Pack. =====...
Post a Comment
Read more

ডেটা এবং ক্যারিয়ার

  শোনা যাচ্ছে যে ডেটা-ই নাকি এখন টেকনোলোজির প্রাণ! তবে আজ কাল তো শোনা কথায় ও কান দিতে নেই। সে যা-ই হোক , প্রবাদ আছে “যা রটে, তা কিছু তো বটে !” কিছু ই হোক বা অনেক কিছু হোক একটু তদন্ত করে জানতে তো আর দোস নেই। যত জানবো, ততই শিখবো। তাহলে চলুন ডেটা কি? কেন এই ব্যাটার এর দাপট? আর রটনা কতটা সঠিক? ডেটা কি ? ধরুন, আপনি বললেন “পিপ!” । কি মনে হচ্ছে লেখক পাগল হয়ে গেসে? লেখার সময় বাইরে একটা গাড়ি যাচ্ছে, আর এটা হর্ণ দিলো  পিপ । এখন এইযে প্রথম আপনি পিপ বললেন। কেউ কি কিছু বুঝবে? বা কোন কাজ হবে এটা দিয়ে? না কেউ কুছু বুঝবে না বা কিছু ঘটবে না। কিন্তু মজার ব্যাপার হলো এই যে “ পিপ” বললেন এটা কিন্তু একটা ডেটা! একটু সহজ করে যদি বলি, অনেকতা এরকম সংজ্ঞা দেয়া যায় — ডেটা হচ্ছে এমন একটি অকেজো একক যা কোনো নির্দিষ্ট অর্থ বহন করে না বা যা দারা কিছু বোঝায় না। তাহলে যে জিনিস টা কে বলছি অকেজো, তার আবার এত দাম কিসের? চলুন এবার অকেজো জিনিস নিয়ে আরেকটু সময় নষ্ট করি, তার জন্য বুঝতে হবে ইনফরমেশন। ইনফরমেশন আবার কি ? যখন কোন ডেটা বা ডেটা-সেট কে কোন কাজের উদ্দেশ্যে সাজানো হয় বা সংগঠিত করা হয় এবং যখন এটি অকেজো জিনিস থে...
Post a Comment
Read more

Installing Windows Subsystem for Linux (WSL) on Windows

Windows Subsystem for Linux (WSL) allows you to run Linux distributions on your Windows computer. This guide will walk you through the process of installing WSL on a Windows machine. Prerequisites: A computer running Windows 10 (version 1607 or later) or Windows Server 2019. Administrator privileges on the computer. ====================================== Step-by-step guide: Step 1: Enable WSL Visit Control Panel Select Program & Features Select Turn Windows Features on & off Search Windows Subsystem for Linux and select the radio button and then enable. Now, please allow the PC to download the needed resources and when finished, select Restart Now. Open PowerShell as Administrator. You can do this by right-clicking on the Start button and selecting “Windows PowerShell (Admin)” or searching for “PowerShell” in the Start menu and selecting “Run as Administrator.” Run the following command to enable WSL: wsl — install Note: If you’re using an older version of Windows 10, you might...
Post a Comment
Read more