💻
Cheet Sheets
  • 🦁Başlarken
  • 🟧DevOps Pre-Requisite
    • ❤️Why Linux? | Linux Basics #1
    • 💛Vi Editor | Linux Basics #2
    • 💙Basics Commands | Linux Basics #3
    • 🧡Package Managers | Linux Basics #4
    • 💚Services | Linux Basics #5
    • 💛Networking Basics
    • 🤎DNS Basics
    • 🩶Applications Basics
    • 🟨Java introduction
    • 🟩NodeJS Introduction
    • 🟦Python Introduction
    • 🟪GIT Introduction
    • 🟧Apache Web Server Introduction
    • ⬛Apache Tomcat
    • 🟫Python Flask
    • 🟥Node.js Express App
    • 🟨Databases
    • 🟩MySQL
    • 🟪MongoDB
    • 🟨SSL & TLS
    • 🟦YAML & JSON - JSON Path
    • ⬛Labs Resources
  • 🍎Kubernetes
    • 🍏Kubernetes: Nedir ?
    • 🍒Bileşenler
    • 🍵Kubectl ve Versiyon
    • ❤️Pod
    • 🏷️Label ve Selector
    • 🔎Annotation
    • 📲Namespaces
    • 📦Deployments
    • 🔁ReplicaSet
    • 🔙Rollout & Rollback
    • 🌐Networking - 1
    • 🌏Service
    • 🛠️Liveness Probe & Readiness Probe
    • 🥐Resource Limits
    • 💰Environment Variables
    • 📃Ephemeral Volumes
    • 🔑Secrets
    • 🌂ConfigMap
    • 🖥️Node Affinity
    • 🔌Pod Affinity
    • ✍️Taint and Toleration
    • 🔦DaemonSet
    • 🧀PV/PVC
    • 🌜Storage Class
    • 🗿StatefulSet
    • 🕹️Job & Cronjob
    • 🔐Authentication
    • 📏Role-based access control (RBAC)
    • 🈷️Service Account
    • 📈Ingress
    • 📂ImagePullPolicy & ImageSecret
    • 📖Static Pods
    • 🌐Network Policy
    • 🫐Helm Nedir?
    • 📽️Prometheus Stack - Monitoring
    • 💼EFK Stack - Monitoring
    • 🥳CRD & Operator
  • 🧑‍⚕️GIT & GITHUB
    • 👉Girizgah
    • 🌴Branch
    • 🤝Merge
    • 🤔Conflict - Rebase
    • 🇸🇴Alias
    • 🛑Gitignore
    • 🥢Diff
    • ◀️Checkout
    • 🔦Stash
    • 👉Other
  • ☁️AWS
    • 🪣S3
    • 🚙EC2
    • ⚖️ELB
    • 🤝Auto Scaling
    • 🗄️EFS
    • 🔐VPC
    • 🎆CloudFront
    • ❤️Route53
    • 🦈RDS
    • 🏢ElastiCache
    • 🔭CloudWatch
    • 👀CloudTrail
    • 📃CloudFormation
    • 🔕SNS
    • 📬SQS
    • 🎇SWF
    • 📧SES
    • 📦Kinesis
    • 📐AWSConfig
    • 👩‍🏭OpsWork
    • 🚀Lambda - Api Gateway
    • 📌ECS - EKS
    • 🔑KMS
    • 📂Directory Service
    • 🏐Snowball
    • 💾Storage Gateway
    • 💽Volume Gateway
    • 📼Tape Gateway
    • 🏠Organizations
    • 🔙Backup-Transfer-CloudShell
    • 🆔IAM
    • 📀DataSync
    • 🗃️FSx
    • 🎒Aurora Serverless
    • 🌐Global Accelerator
    • 💪HPC
    • 🎰Outposts
    • 🗼Others
  • 👨‍🔬Ansible
    • 👉Girizhah
    • 📔YAML
    • ⚙️Komponentler
    • 🎒Inventory
    • 🏑ad-hoc
    • ▶️Playbook
  • 👨‍⚕️PROMETHEUS
    • 📈Terminoloji
    • 🦯Ubuntu 20.04 Prometheus Kurulum
    • 🗒️prometheus.yml dosyasına ilk bakış:
    • 🧭promQL up query
    • 📇Exporters
    • 🔦promQL Data Types
    • 🦯Selectors & Matchers
    • 🔢Binary Operators
    • 💀ignoring and on
    • ✍️Aggregation Operators
    • 🧠Functions
    • 🖊️Alıştırma
    • 💻Client Libraries
    • 🐍Examining the data of our Python application
    • 🐐Examining the data of our GO application
    • ⏺️Recording Rules
    • 💡rate functions
    • ⏰Alerting
    • ⌚Alert Routing
    • ⏰Slack integration with Prometheus
    • 🤯PagerDuty integration with Prometheus
    • ◼️BlackBox exporter
    • 📍Push Gateway
    • 🪒Service Discovery
    • 🧊kube cadvisor with external prometheus
    • 👉aws with prometheus
    • ☁️CloudWatch Exporter
    • 👨‍🚒mysql exporter
    • 🛃Custom exporter with Python
    • ⚙️Prometheus with HTTP API
    • 🤖Prometheus Federation For Kubernetes
    • 📺Grafana
    • ⁉️Prometheus: Ne zaman kullanılmalı? Ne zaman kullanılmamalıdır?
  • 🍪Sheets
    • 🛳️Docker Sheets
    • 🐐Kube Sheets
  • 🔢12 Factor APP
    • 🏗️Introduction
    • 1️⃣Codebase
    • 2️⃣Dependencies
    • 3️⃣Concurrency
    • 4️⃣Processes
    • 5️⃣Backing Services
    • 6️⃣Config
    • 7️⃣Build, release, run
    • 8️⃣Port binding
    • 9️⃣Disposability
    • 🔟Dev/prod parity
    • 🕚Logs
    • 🕛Admin processes
  • ☁️Azure 104
    • 👨‍👨‍👧‍👧Azure Active Directory ( Entra ID )
    • 💰Subscriptions
    • 🌎Virtual Network (VNET)
    • 💻Virtual Machines
    • 🧑‍🌾Load Balancing
    • 🥍Network Advanced
    • 🪡Automating Deployment and Configuration
    • 💂Securing Storage
    • 📓Administering Azure Blobs and Azure Files
    • 🔧Managing Storage
    • 🎁App Service
    • 🛳️Azure Container
    • 🥇Backup And Recovery
    • 🪐Network Watcher
    • ⏰Resource Monitoring And Alerts
  • ⛅AZURE 305
    • 🆔identity and access management
    • 💼Desing Azure AD (Entra ID)
    • 👨‍💼Desing for Azure B2B
    • 🛃Desing for Azure B2C
    • 💳Design for MFA and Conditional Access
    • ⛑️Design for Identity Protection
    • 🚶Access Reviews
    • 🚦Managed identity Demostration
    • 🔐Key Vault Demostration
    • 👑Governance hierarchy
    • 💠Design for Management Groups
    • 🔑Desing for Subscriptions
    • 🍇Desing for resource groups
    • 📟Design for resource tags
    • 🚷Azure Policy & RBAC
    • 🫐Desing For Blueprints
    • 🪡Desing for Virtual Networks
    • 🛫Design for on-premises connectivity to Azure
    • 🔽Design for network connectivity
    • 📦Design for application delivery
    • 🥞Design for network security and application protection
    • 📕Choose a compute solution
    • 🌊Design for virtual machines
    • 🔋Azure Batch Demostration
    • 🛰️Design for Azure App Service
    • ⛲Design for Azure Container Instances
    • 🎢Design for Azure Kubernetes Service
    • 📠Azure Functions Demostration
    • 💪Azure Logic Apps Demostration
    • 🧑‍💼Design for data storage
    • 🎞️Design for Azure storage accounts
    • 🌟Choose the storage replication
    • 📹Azure blob storage - Lifecycle & immutable demo
    • 🥌Azure Files Demostration
    • 🕸️Design Azure disks
    • 🦼Design for storage security
    • 🔮Azure Table Storage And Cosmos DB Demostration
    • 🟧Azure SQL Solutions
    • 🎡Azure SQL Database - Purchasing models
    • 🕯️Database availability
    • 📜Data security strategy
    • 🧮Azure SQL Edge
    • 🚲Azure Data Factory
    • 🔅Azure Data Lake Storage
    • 🧘‍♂️Azure Databricks
    • 🎒Azure Synapse Analytics
    • 🅰️Azure Stream Analytics
    • 📼Data flow strategy
    • 🍥Cloud Adoption Framework
    • ☣️Azure Migration Framework
    • 🦿Assessing workloads
    • 🪡Migration tools
    • 🤖Azure Database migration
    • 👥Storage migration
    • 👜Azure Backup
    • ⏲️Azure Blob Backup and Recovery
    • 💈Azure files backup and recovery
    • 🎞️Azure VM backup and recovery
    • 🧺Azure SQL backup and recovery
    • ⏰Azure Site Recovery
    • 📩Differentiate event and message
    • ✈️Azure messaging solutions
    • 🚜Event Hub
    • 🥍Application optimization solution
    • 🎁Application lifecycle
    • 📺Azure Monitor
    • 🅱️Log Analytics
    • 👥Azure workbooks and Insights
    • 🚌Azure Data Explorer
  • Github Actions
    • Github Actions Nedir?
    • Workflow & Schedule Triggers
    • Single and Multiple Events
    • Manuel Events
    • Webhook Events
    • Conditional Keywords For Steps
    • Expressions - 1
    • Expressions - 2
    • Runners
    • Workflow Commands
    • Workflow Context
    • Dependent Jobs
    • Encrypted Secrets
    • Configuration Variables
    • Default & Custom Env Varb
    • Set Env Varb with Workflow Commands
    • Github Token Secret
    • Add Script to workflow
    • Push Package #1
    • Push Package #2 Docker
    • Service Containers
    • Routing workflow to runner
    • CodeQL Step
    • Caching Package and Dependency Files
    • Remove workflow Artifact
    • Workflow Status Badge
    • Env Protection
    • Job Matrix Configuration
    • Disable & Delete Workflows
    • Actions type for Action
    • Inputs and Outputs for actions
    • Action Versions
    • Files and Directories for Actions
    • Exit Codes
    • Reusable Workflow & Reuse Templates for Actions and Workflows
    • Configure Self Hosted Runners for Enterprise
  • Loki
    • What is Loki?
    • Architecture of Loki
    • Install Loki For Ubuntu
    • Install Promtail For Ubuntu
    • Querying Logs
    • Loki in Kubernetes
    • Deploying Loki in Kubernetes
    • Connecting to Grafana
    • Viewing Kubernetes logs
    • Promtail Customize & Pipeline
  • Ansible
    • Ansible Introduction
    • Introduction to Ansible Configuration Files
    • Ansible Inventory
    • Inventory Formats
    • Ansible Variables
    • Variable Types
    • Registering Variables and Variable Precedence
    • Variable Scoping
    • Magic Variables
    • Ansible Facts
    • Ansible Playbooks
    • Verifying Playbooks
    • Ansible lint
    • Ansible Conditionals
    • Ansible Conditionals based on facts, variables, re-use
    • Ansible Loops
    • Ansible Modules
    • Introduction to Ansible Plugins
    • Modules and Plugins Index
    • Introduction to Handlers
    • Ansible Roles
    • Ansible Collections
    • Introduction to Templating
    • Jinja2 Templates for Dynamic Configs
  • 🅰️Ansible Advanced
    • Playbook run options
    • Facts
    • Configuration files
Powered by GitBook
On this page

Was this helpful?

  1. AZURE 305

Azure Synapse Analytics

PreviousAzure DatabricksNextAzure Stream Analytics

Last updated 1 year ago

Was this helpful?

Azure Synapse Analytics, Microsoft tarafından sunulan entegre bir veri analizi hizmetidir. Bu platform, veri işleme, veri entegrasyonu, veri depolama gibi çözümleri tek bir çatı altında birleştirir. SQL ve Apache Spark desteğiyle veri sorgulama, analiz ve raporlama işlemlerini kolaylaştırır. Ayrıca, Power BI ve Azure Machine Learning ile entegre çalışarak analizler ve görselleştirmeler sunar. Synapse, büyük miktarda verinin hızlı ve etkin bir şekilde işlenmesi için ideal bir çözümdür.

Komponentler;

  1. Synapse SQL Pool: Bu, SQL tabanlı analizler için kullanılan, ölçeklenebilir ve yönetilen bir veritabanı hizmetidir. Sunucusuz ve tahsis edilmiş kaynak seçenekleri sayesinde, kullanıcılar büyük veri kümeleri üzerinde karmaşık sorgular çalıştırabilir.

  2. Synapse Spark Pool: Bu, büyük veri işlemleri için Apache Spark kümelerini barındıran bir servistir. Kullanıcılar bu serviste Python, Scala, SQL ve .NET kullanarak veri işleme ve analitik işlemleri gerçekleştirebilirler.

  3. Synapse Pipelines: ETL işlemleri (veriyi çıkarma, dönüştürme ve yükleme) için bir otomasyon ve entegrasyon aracıdır. Azure Data Factory'nin özelliklerinden faydalanarak, veri aktarım işlemleri tasarlayabilir ve otomatik hale getirebilirsiniz.

  4. Synapse Link: Bu bileşen, gerçek zamanlı olarak veri analizi yapabilmeniz için Azure Synapse ortamını Azure Cosmos DB ile bağlamanıza imkan tanır. Cosmos DB'deki veriler üzerinde doğrudan Synapse içerisinden analitik işlemler yapılabilir.

  5. Synapse Studio: Bu, tüm bu servislerin yönetildiği ve kullanıcıların veri setleri üzerinde çalışmalarını kolaylaştıran bir web tabanlı IDE'dir. Synapse Studio üzerinden SQL ve Spark havuzları oluşturabilir, veri aktarım işlemleri gerçekleştirebilir ve çeşitli veri kaynaklarına bağlantılar kurabilirsiniz.

Compare ADF and Azure Synapse Analytics

  1. Entegrasyon Runtime'ın Paylaşımı:

    • Azure Data Factory: Çalışma zamanı (runtime), birden fazla ADF arasında paylaşılabilir.

    • Azure Synapse Analytics: Entegrasyon runtime'ının paylaşımına izin verilmez. Her Synapse ortamının kendi özel runtime vardır.

  2. Çözüm Şablonları:

    • Azure Data Factory: Çeşitli ETL işlemleri için şablonlar ADF şablon galerisinde mevcuttur.

    • Azure Synapse Analytics: Şablonlar, Synapse Çalışma Alanı Bilgi Merkezi'nde bulunabilir ve bu şablonlar analiz ve veri işlemleri için kullanılabilir.

  3. Bölgeler Arası Veri Akışları:

    • Azure Data Factory: Farklı bölgelerdeki veri kaynakları arasında veri akışları desteklenir.

    • Azure Synapse Analytics: Bölgeler arası veri akışları desteklenmez, bu nedenle veri işlemleri aynı bölge içerisinde gerçekleştirilir.

  4. Veri Akışı İzleme için Spark İşleri:

    • Azure Data Factory: ADF içindeki veri akışlarını izlemek için Spark işlerini desteklemez.

    • Azure Synapse Analytics: Synapse Spark havuzları (pools) kullanılarak veri akışlarının izlenmesi sağlanır.

ADF, daha çok ETL ve veri entegrasyon senaryolarına yönelikken, Synapse Analytics, analitik ve veri işleme yetenekleriyle öne çıkar.

Compare Azure Databricks and Azure Synapse Analytics

  1. Makine Öğrenimi:

    • Azure Databricks: TensorFlow, PyTorch ve Keras gibi popüler açık kaynak makine öğrenimi kütüphanelerini destekler ve GPU kullanımına izin verir, bu sayede compute gerektiren işlemler hızlandırılabilir.

    • Azure Synapse Analytics: Azure ML'nin yerleşik desteği mevcut olup, SparkML ve MLLib gibi açık kaynak makine öğrenimi kütüphaneleri ile model eğitimi yapılabilir. Ayrıca, GPU destekli pools sunar.

  2. Özellik Seti:

    • Azure Databricks: Apache Spark ortamı desteği sunar, bu da veri işlemleri ve analitik için hızlı ve etkin bir platform sağlar.

    • Azure Synapse Analytics: Dağıtık bir T-SQL sistemine sahiptir ve kendi Spark ortamını, veri entegrasyon özelliklerini içerir. Ayrıca, Synapse Studio ile birleşik bir kullanıcı deneyimi sunar.

  3. Raporlama:

    • Azure Databricks: Power BI için özel bir bağlayıcı (connector) sunar, böylece kullanıcılar Databricks üzerinde gerçekleştirilen analitik işlemlerin sonuçlarını Power BI'a aktarabilir ve görselleştirebilir.

    • Azure Synapse Analytics: Power BI ile doğrudan entegrasyona sahiptir, Synapse Studio üzerinden Power BI raporları oluşturulabilir ve yönetilebilir.

Her iki platformun da veri bilimi ve büyük veri analitiği için güçlü araçlar olduğunu gösterirken, kullanılacak platformu seçerken iş yüküne ve kullanım senaryolarına özel gereksinimlere bağlı olarak karar vermek önemlidir. Azure Databricks, özellikle makine öğrenimi ve gelişmiş analitik için uygunken, Azure Synapse Analytics geniş çapta veri yönetimi ve entegrasyon yetenekleriyle birleşik bir deneyim sunar.

⛅
🎒
Ingesting data into Azure Synapse Analytics using PolyBaseSQL Shack - articles about database auditing, server performance, data recovery, and more
Logo