在满洲社会，阿哈(奴仆)没有披甲当兵的权利，他们只能跟随主人出征，充当“库图勒”(kutule)，也就是通常所说的厮卒、跟役，在战争中或打草喂马，采薪烧饭，或协助家主抢掠人畜财物。八旗兵没有庞大的后勤系统，原因就是随征的库图勒们分别承担了这项工作。在这样的历史环境中，汉兵的组建，也必须是从一部分归降汉人被承认为“伊尔根”(irgen)即“民”开始的。
汉人不堪阶级压迫越过辽东边墙逃往建州由来已久，其中最著名的人物刘兴祚就是万历三十三年(1605年)投奔努尔哈赤的。但这批人数量毕竟很少，而且，他们在生活习俗、语言以至心理素质方面也满洲化了，汉人大量归顺满洲是在天命三年(1618年)明金战争揭幕之后，这一年四月努尔哈赤偷袭抚顺得手，俘获人畜30万，其中的人口一律设为阿哈，他们当然没有资格当兵。不过，在这次战役中，明军抚顺游击李永芳被迫归降，此外还有数以千计的汉人降附。对这一部分汉人，努尔哈赤没有作为战利品，而是编成了“一千民户”，“照过去尼堪国的旧制委任大小官员，归原来的官李永芳管辖”，迁往赫图阿拉。明末边将降金始于李永芳，而大规模编汉族降人为民户则自抚顺之役始。
此后，金军相继攻占清河、开原、铁岭等辽东城镇，天命六年(1621年)又挥军南下，席卷辽河以东，翌年再克广宁、锦州、义州等辽西重镇，努尔哈赤最后虽然决策放弃辽西，但还是把那里的汉人驱赶到了辽东。以上各次战役，有明军大小将领如鲍承先、石廷柱、金砺、吴守进、王一屏、金玉和等降金，他们都成为日后汉军的重要骨干;同时又有大批汉人归降，他们同样被编为民户，并被征调从征，日后的汉军即滥觞于此。
与八旗“三丁披甲一副”的兵役制不同，辽东汉民实行的是20丁抽1人当兵。天命六年七月，努尔哈赤晓谕汉民“计丁授田”规定“二十男丁内，一人当兵”，从当年年底开始，就按照“计丁授田谕”征兵比例抽调汉兵。第二年年初，为准备进攻辽西，特降谕：“尼堪官员管辖四千人者，出兵二百，管辖三千人者，征兵一百五十，……;管辖二千人者，征兵一百……”。
除征兵制度外，在汉民中所实施的土地、赋役、行政管理制度也与八旗有别。占领辽东之初，努尔哈赤任命“游击八员，都司二员”管理汉民事务。八游击之上，以佟养性管辖辽东五卫汉民，李永芳管辖沈阳中卫汉民，刘兴祚管辖金、复、海、盖所谓“南四卫”汉民;八游击之下，又设千总、百总作为管民的基层官吏。
总之，努尔哈赤开始占据辽东的时候，给予了归降的汉人以民的地位，从他们享有的权利和应尽的义务看，其身分接近于满族国人，亦即牛录属员。考虑到这些汉民与满洲的文化传统迥异，努尔哈赤也没把他们编入八旗。在这一历史背景下出现的汉兵，可以说是满洲统治者组建被征服民族的军队的最初尝试。不幸的是，这种尝试很快就失败了。
天命七年(1622年)以后，满汉之间的民族矛盾迅速激化，其原因错综复杂，但从根本上讲，是满族落后的生产方式与汉族先进的生产方式交汇之初不可避免的对抗，由于历史原因形成的民族隔阂使这种对抗呈现出极其残酷剧烈的形式。
天命十年(1625年)十月，努尔哈赤竟下令屠戮仇金的汉民，结果是火炎昆冈，玉石俱焚，而原来明朝的地主绅士、青衿生员首当其冲，遭到一场空前的浩劫。经过这次惨绝人寰的大屠杀，幸存的汉民被强制编为庄屯，分隶八旗，给诸贝勒、大臣为奴。绝大多数汉民沦为满洲奴仆，只有极少的汉民才被保护下来。在下达屠杀、编庄命令的同时，亲金的汉官被告诫说：“你们尼堪官员要各自收取各自的近亲，远亲勿得收取。若纳贿乱收，恐尔等脸面羞辱。”佟养性、李永芳、石廷柱等汉官及其族属总算逃脱了被戮或为奴的噩运，但他们也分别隶属于八旗之下。天聪年间所谓“旧汉官”、“旧汉兵”指的就是这些人。
随着努尔哈赤晚年对汉族政策的急转直下，辽东汉民大部分沦为八旗权贵的奴仆，因此，相当长的一段时间里，汉兵也就销声匿迹，不复成军了