Como é Trabalhar com Apache Spark na Visão de uma Engenharia de Dados Iniciante

No episódio de hoje Mateus Oliveira entrevistou  Ananda Ellen (Engenharia de Dados),  Leonardo Côco e Victor Grutner, integrantes do time de dados da One Way Solution.Spark e Engenharia de Dados para Iniciantes, são tópicos extremamente relevantes nos dias de hoje, afinal, todos nós fomos iniciantes um dia.Nesse bate-papo conversamos sobre quais desafios e conquistas temos durante o aprendizado de Apache Spark.Não somente isso, falamos também sobre a área de Analytics na visão do Leonardo e do Victor, consultores da One Way Solution.Neste podcast iremos falar sobre:Área de AnalyticsApache Spark para IniciantesEsse podcast tem como principal intuito mostrar os desafios que os profissionais iniciantes na área de dados tem em comum, e como você pode se sobressair nestes desafios, com experiências de quem já passou por isso. Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje Mateus Oliveira entrevistou Alessandro Gums (Analytics Engineer), Bruno Bento (Analytics Engineer) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign. Analytics Engineer se tornou uma grande thread do mercado e também uma necessidade nas empresas de hoje. fazer o split das responsabilidades de uma determinada área é comum e isso tinha que acontecer na engenharia de dados, devido a complexidade dos processos e necessidades de especialistas.Neste bate papo iremos falar sobre:Analytics EngineerModelagem de Dados nas empresasEsse podcast tem como principal intuito mostrar o dia-a-dia dos Analytics Engineer nas empresas para que você, aspirante a esta área, entenda o exercicio da profissão na realidade.Além disso, queremos demonstrar o quanto esta profissão vem crescendo e expandindo em grandes empresas como Clicksign.Linkedin do time ClicksignFranklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/Alessandro Gums (Analytics Engineer):https://www.linkedin.com/in/alessandro-gums/Bruno Bento (Analytics Engineer):https://www.linkedin.com/in/bruno-pereira-bento/ Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Mateus Oliveira entrevistam Franklin Ferreira (Arquiteto de Dados) e Vinicius Gasparaini (Engenheiro de Dados), ambos integrantes do time de dados da Clicksign.Arquitetura de Dados & Engenharia de Dados, são áreas que estão ganhando muita tração nos últimos anos, entender como elas funcionam dentro de uma empresas data-driven é, não só um dos melhores metódos de estudo de mercado, como também escolha de qual caminho seguir.Neste bate papo iremos falar sobre:Arquiteturas de DadosEngenharia de DadosEsse podcast tem como principal intuito entender melhor como criar e evoluir arquiteturas de dados para melhor atender o negócio e como a engenharia de dados é usada dentro das grandes empresas, indo além de tecnologias e falando de metodologias e processos.Linkedin do time ClicksignFranklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/Vinicius Gasparini (Engenharia de Dados): https://www.linkedin.com/in/vngasp/ (editado)  Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Leonardo Souza & Mateus Oliveira entrevistam Filipe Mubarac (Analista de dados), Acácio Komesu (Analista de BI), Levi de Carvalho (Analista de Dados) e Franklin Ferreira (Arquiteto de Dados),  integrantes do time de dados e analytics da Clicksign.Data Analytics  sempre foi um das principais áreas dentro de uma empresa. Nos últimos anos, com certeza, passou de uma área de apoio a tomada de decisão a uma área core da empresa, pois o mundo hoje é data-driven, e tornou-se uma questão competitiva produzir e ler dados em grande escala, além de analisá-los para decisões usando Machine Learning, NLP e Generativa.Neste bate-papo iremos falar sobre:Data Analytics;Analytics e Business.Este podcast tem como principal objetivo mostrar como as empresas constroem suas áreas de dados e analytics no dia a dia, como se tornar um profissional atrativo para empresas data-driven como a  Clicksign, e como alinhar tudo com o business da empresa.Linkedin do time ClicksignFranklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/Filipe Mubarac (Analista de Dados): https://www.linkedin.com/in/filipemubarac/Acácio Komesu (Analista de BI): https://www.linkedin.com/in/ac%C3%A1cio-komesu-14b244b5/Levi de Carvalho (Analista de Dados) :https://www.linkedin.com/in/levidecarvalho/ Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistam o time do Orion da One Way Solution.Plataforma de Dados no Kubernetes é um dos tópicos mais pedidos para falarmos aqui no Podcast, principalmente para quem tem a necessidade de uma plataforma agnóstica a cloud e de baixo custo.Neste bate papo iremos falar sobre:Nas trincheiras da consultoria;Aprendendo Kubernetes;Plataforma de Dados no Kubernetes.Esse podcast tem como principal objetivo mostrar os desafios de criar uma plataforma customizada usando open-source.LinkedIn do time OrionSite da One Way SolutionStrimziMinIOAirflow  Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno & Mateus Oliveira entrevistaram Thiago Rocha (Scrum Master), Marco Coimbra (Data Product Manager), José Ivamotto (Head de Dados) e Franklin Ferreira (Arquiteto de Dados), integrantes do time de dados da Clicksign.Gestão & Dados com Produto são tópicos extremamente relevantes nos dias de hoje.Falar sobre dados sem se preocupar com a gestão, pode trazer impactos negativos às entregas envolvendo dados nas organizações.Além disso, entender como as empresas vem produzindo dados é um excelente benchmarking para inovações.Neste bate papo iremos falar sobre:Dados como Produto;Times de dados;Gestão de Dados.O principal objetivo deste episódio é mostrar como as empresas estão tratando esses tópicos no cotidiano.Não apenas no nível técnico e gerencial, mas também com a visão de todos os envolvidos, Scrum Master e DPM (Data Product Manager).Linkedin do time ClicksignThiago Rocha (Scrum Master): https://www.linkedin.com/in/thiago-rocha98/Marco Coimbra (Data Product Manager): https://www.linkedin.com/in/marcoantoniocoimbrafilho/Jose Ivamotto (Head de dados): https://www.linkedin.com/in/jose-ivamotto/Franklin Ferreira (Arquiteto de dados): https://www.linkedin.com/in/franklinfs390/ Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistaram Aron Willians, atualmente como Community Manager/ Developer Advocate na Ampare. Aaron é apaixonado por trazer novas tecnologias para desenvolvedores atuais e para a próxima geração, por meio de hacking e treinamento prático. Neste podcast, você vai aprender sobre: Desafios na construção da comunidade de código aberto; Visão gerencial de comunidades de dados;Empresas que estão investindo no impulsionamento do Pulsar.Falamos também nesse bate-papo sobre os seguintes temas:Tecnologia como Kuberbetes; Apache Pulsar.Aprenda mais sobre as comunidades de dados e sobre as principais tecnologias do Mercado.Ararob Willians= https://www.linkedin.com/in/aaron-don-williams/ Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Ivan Lima, atualmente Director of Machine Learning & Data Engineering no Ifood.Ifood é uma das maiores empresas do Brasil e, claro, leva o assunto sobre dados muito a serio. Imagine receber diversos dados do aplicativo, além de possuir várias sessões analíticas e dados em alto volume.Neste podcast, conversamos sobre:Desafios na área de dados de grandes corporações;Visão gerencial.Falamos também sobre os seguintes temas:Mercado de trabalho no Brasil em 2022;Tecnologias usadas dentro do Ifood;Softskills;Gestão de times de dados.Aprenda mais sobre como as empresas estão lidando com o desafio de dados internamente, principalmente de grande porte como Ifood.Ivan Lima = Linkedin Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno, Mateus Oliveira e Orlando Marley entrevistam Bill Inmon, criador do conceito de Data Warehouse e escritor de diversos livros com temáticas voltadas para dados.Data Warehouse é o conceito de centralização de dados analíticos das organizações, de forma estruturar um visão 360° do business. Neste episódio, você irá aprender: Diferenças entre OLTP e OLAP;Histórico dos dados para tomada de decisão;Criar um processo resiliente para entender os fatos dos dados.Falamos também, neste bate-papo, sobre os seguintes temas: História do Bill Inmon;Pilares de sistemas analíticos;Nova geração de plataforma de dados analíticos;Aprenda mais sobre análise de dados, como utilizar tecnologias para tornar o seu ambiente analítico confiável e resiliente com as palavras do pai do Data Warehouse. Bill Inmon = Linkedin Luan Moreno = https://www.linkedin.com/in/luanmoreno/

No episódio de hoje, Luan Moreno e Mateus Oliveira entrevistam Brian Olsen, atualmente Head of Developer Relations na Tabular.Trino é um produto open-source, para virtualizar os dados através de queries. Imagine uma engine de SQL capaz de consultar dados do Apache Kafka, Cloud Storage, Databases e diversas outras fontes de forma simples e extremamente eficaz. Com Trino, você tem os seguintes benefícios:Diversos conectores para múltiplas fontes de dadosGerar queries analytics de forma simples e eficazTrabalhar com modelos de Lakehouse como Iceberg e DeltaFalamos também neste bate-papo sobre os seguintes temas:História do TrinoCapacidades do TrinoRecursos avançados Novas featuresAdaptive Query ExecutionCasos de UsoAprenda mais sobre Trino, e como utilizar esta tecnologia para explorar os dados em diversas fontes diferentes, junto com um dos principais vozes da comunidade. Brian Olsen Luan Moreno = https://www.linkedin.com/in/luanmoreno/