ご無沙汰しております。 アカウントを作ったテンションで最初は頑張っていたけど、そのモチベが切れちゃっていたというやつですね。 言い訳をさせてもらえるのなら、精神的に疲れていました。主に人間関係によるものです。ちょっとずつ仕事を任せられる中で…

前回に引き続きessential pysparkの第一章を攻めていく。 Big data processing with Spark SQL and DataFrames Transforming data with Spark DataFrames Domain Specific Language (DSL)という操作方法で構築されている immutable 各列はどんなデータ型も取…

業務で使用するためこの本を読みながらコードとか試していきます。 本のリンクはこちら https://www.amazon.com/Essential-PySpark-Scalable-Data-Analytics/dp/1800568878 Distributed Computing Data Parallel processing 基本的な考え方はデータが分散し…

表題の本を読みました！現在、業務でPySparkを使って大規模データを使って機械学習させるって感じのことをやっています。そうなのですが、知識が不足していて結構手が止まっちゃうことが多いんですよね。特にgroupbyとかの操作だったりデータの可視化部分で…

タイトル通りです。ブログ作ってみました。 目的は自分の学習内容のアウトプットやデータサイエンティストというクソでかワードでは伝わりにくい職種の説明、あとテンションに関する情報も発信していきたいです。 普段はnotionでメモ書きをしていましたが、…