逆光海

前言 本文承接上文 用户的交互 我们使用python从键盘输入的时候,这时需要使用python的input语法 例如： name = input("What is your name?")print("Hello " + name ) 运行结果为 What is your name?(这时用户开始输入)张三Hello 张三 这样我们就实现了接受从键盘输入的用户指令 (注)input接受的用户指令全是str类型的,这里如果用户想输入的命令一定要是int类型的,我们在使用input时就要进行数据类型的转换 例如： age= int(input("What is your age?"))print(age)print(type(age)) 运行结果为 What is your age?2020<class 'int'> 这时输入的20就不会作为str类型,而是int类型 格式化字符串 而当你输入字符串,而想实现一些格式的摆放时,这需要用到格式化字符串的操作了 在创建字符串时，可以在字符串中指定占位符: ...

前言 本系列意在复习python基础,在家太久,感觉很多基础快忘完了,人都快傻了,现在开始复习 Python介绍 python的创始人为吉多·范罗苏姆（Guido van Rossum）。1989年的圣诞节期间，吉多·范罗苏姆（中文名字：龟叔）为了在阿姆斯特丹打发时间，决心开发一个新的脚本解释程序，作为ABC语言的一种继承。 (大佬没事干开发语言,我没事做只能打王者) 而python是1989开发的,现在已经更新到了python3.x的版本,而python2.x版本与python3.x版本差别有点大,本篇内容代码基于python3.6编写,而python近年来,碰上人工智能的风口,流行速度飞涨,加上本身代码优雅简单,易于上手,现在部分地区小学都开始学python了 目前Python主要应用领域： 云计算: 云计算最火的语言， 典型应用OpenStack WEB开发: 众多优秀的WEB框架，众多大型网站均为Python开发，Youtube, Dropbox, 豆瓣。。。， 典型WEB框架有Django 科学运算、人工智能: 典型库NumPy, SciPy, Matplotlib, E ...

前言 寒假太无无聊,看了点算法,本次写算法入门中最简单的二分法查找,二分法查找，也称为折半法，是一种在有序数组中查找特定元素的搜索算法 算法优点 1.计算简单，方法可靠 2.二分法计算过程简单,程序容易实现 3.二分查找每一次判断即可筛选掉一半数据, 效率比全遍历的线性查找的确高很多, 算法缺点 1.只对有序数据有效 2.只能返回一个值 代码展示与解释 def lgfind(arr, v): arr = sorted(arr) # 排序数组，从小到大 print(arr) start = 0 # 变量开始 arrLen = len(arr) - 1 # 变量结束 while start<=arrLen: mid=(start+arrLen)//2 guess=mylist[mid] if guess==v: return mid# 如果中间的找到直接返回 if guess>v: arrLen=mid-1 # 结果在前半段 ...

前言 寒假没事做,博客好久没更新了,这次写个Hadoop3.0版本的完全分布式集群的安装 开始安装 安装Hadoop3.0和之前的安装Hadoop集群差别不大,Hadoop3.x和Hadoop2.x的区别大家可以看下这篇文章https://blog.csdn.net/c36qUCnS2zuqF6/article/details/82111579 前期环境配置不多写.前面的文章中写过太多了. 本文直接从配置Hadoop开始,hadoop-3.1.3和jdk1.8.0_191都放在/usr/local/src下 系统说明 操作环境 主机名 IP地址 jdk hadoop版本 centos7.0 master 192.168.128.180 jdk1.8.0_191 hadoop-3.1.3 slave1 192.168.128.181 slave2 192.168.128.182 修改配置文件 core-site.xml <property> <name>fs.default.name</n ...

前言 今天是新年的第一天,新的一年也要努力去成为更好的自己呀,过去的事情会随着时间过去的,人总是要像前看的呀,2020,冲呀! 也祝愿大家在新的一年里,新年快乐呀!在新的一年里遇到的都是最好的安排. 附上一段python代码 import turtle as tx = -200y = 100def txt(): t1 = (x, y) t2 = (x + 12, y - 12) penSize = 5 t.screensize(400, 400, "#fff") t.pensize(penSize) t.pencolor("#ff0000") t.speed(10) t.hideturtle() # 点、 t.up() t.goto(t1) t.down() # 移动，画线 t.goto(t2) # 横 - x1 = x - 18 y1 = y - 22 t3 = (x1, y1) t4 = (x1 + 60, y1) t.up() ...

前言 本文是对于前面一段时间学习的总结,可能会有点长,本文可能搭建各种可能会用到的环境的基本步骤，包括：Hadoop，Hive，Zookeeper，Kafka，Hbase，Spark,Storm,Sqoop等。在实际应用中可能未必需要用到所有的这些，请读者们按需取舍。 注意：因为有些环境之间存在相互依赖，所以在搭建环境或者使用其的过程中要注意顺序。比如说Hive是依赖于Hadoop的，搭建使用Hive前，Hadoop集群肯定要提前搭建好并启动起来；搭建使用Hbase时，由于其依赖于Hadoop和Zookeeper，所以需要提前搭建并启动好Hadoop和ZooKeeper集群。一定要注意! 系统说明 系统：CentOS 7 节点信息： 节点 ip master 192.168.128.160 slave1 192.168.128.161 slave2 192.168.128.162 同时为了读者下载方便,现将本文用到的安装包放在百度网盘中 链接：https://pan.baidu.com/s/1hTMAMP3zw5CiyRdDDDGPfg 提取码：mvhu ...

前言 作为与大数据相关的一种重要的编程模型,mapreduce是我们需要知道的,而mapreduce入门基本都是从单词计数开始的,我们本次就来粗解一下wordcount的源码. 代码部分 map部分 package com.qqa.MapReduce;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import java.io.IOException;/** * @author qqa * @date 2020/7/17 22:02 */public class wordcount_Mapper extends Mapper<LongWritable, Text,Text, IntWritable> { Text k=new Text(); IntWritable v=new IntWrita ...

比赛有感 比赛也算过去了，离拿奖还差一分，这次没拿奖我作为队长要付大部分的责任:经验不足，作为队长就是应该在每个任务都应该了解一些，这样在比赛时和队员讨论时才能发现问题，在任务三时差两个jar包没打好，当代码写出来的时候因为jar包没打好而导致无法运行时心情是真的难受，但是只差一分是真的不甘心，但是也算是在比赛过程中学到了点东西，这个学期也就快过完了，在放假前一个月看看还能做些什么来提升自己，没拿奖是自己不够优秀，但是学习终究还是自己的。未来依旧还有机会，努力学习，未来可期。

前言 之前写过Sqoop的安装,现在学到了Sqoop的使用,所以写点Sqoop的使用 测试Sqoop能否连接上mysql 虽然我们在之前的Sqoop的安装上做过测试了,但是我们再做一次也无妨 输入 sqoop list-databases --connect jdbc:mysql://master:3306 --username root --password 123456 可以看到mysql上的数据库名称,证明Sqoop是可以正常使用的 Sqoop的简单使用案例 导入数据 在Sqoop中的导入数据与我们一般理解的导入数据不同,Sqoop中的导入数据是指:从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。 RDBMS到HDFS 我们先在mysql创建一个新的数据库,叫做company mysql> create database company;mysql> create table company.staff(id int(4) primary key not null aut ...

前言 本文为接上文Hive使用(一),本文主要写表的管理 创建内部表 从上文可知,表有两种,外部表和内部表,一般表的创建都是创建内部表 内部表的创建有三种方法 一.自己通过建表语法直接创建 hive (test)> create table if not exists student( > id int, name string > ) > row format delimited fields terminated by '\t' > stored as textfile > location '/user/hive/warehouse/student'; 我们在创建这张表时, 指定了数据的切分的格式为\t 切分 同时指定了存储文件类型为文本类型, 还指定了表存放在HDFS的位置/user/hive/warehouse/student,我们可以通过web端查看表存放的位置 表 ...